JP3846488B2 - 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法 - Google Patents

画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法 Download PDF

Info

Publication number
JP3846488B2
JP3846488B2 JP2004139754A JP2004139754A JP3846488B2 JP 3846488 B2 JP3846488 B2 JP 3846488B2 JP 2004139754 A JP2004139754 A JP 2004139754A JP 2004139754 A JP2004139754 A JP 2004139754A JP 3846488 B2 JP3846488 B2 JP 3846488B2
Authority
JP
Japan
Prior art keywords
data
unit
image data
quantized
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004139754A
Other languages
English (en)
Other versions
JP2005323167A (ja
Inventor
嘉政 近藤
恭一 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004139754A priority Critical patent/JP3846488B2/ja
Priority to US11/124,806 priority patent/US7688890B2/en
Publication of JP2005323167A publication Critical patent/JP2005323167A/ja
Application granted granted Critical
Publication of JP3846488B2 publication Critical patent/JP3846488B2/ja
Priority to US12/704,921 priority patent/US8325802B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法に関する。
静止画像又は動画像の画像データや音声データといったマルチメディア情報に対する汎用的な符号化方式として、ＭＰＥＧ−４（Moving Picture Experts Group Phase 4）が規格化されている。近年の携帯機器は、このＭＰＥＧ−４の規格に準拠した画像データのエンコード及びデコードを実現し、動画像の再生やネットワークを介した送受信ができる。
ＭＰＥＧ−４の規格では、動画像の画像データをエンコードした圧縮データを、一定のレートで生成する必要がある。ところが、動画像の画像データを圧縮する場合、画像データの内容に依存して圧縮効率が大きく変動してしまう。非特許文献１には、この変動を所定の範囲に収めるように、発生する符号量を制御することで、一定のレートで圧縮データを生成するレートコントロール方式が述べられている。
MPEG-4 Visual Part(勧告書ISO/IEC 14496-2:1999(E) Annex L)
ＭＰＥＧ−４のエンコード（圧縮）処理を行う場合、一連の処理をすべてハードウェアにより実施することが考えられる。しかしながら、この場合、回路規模が大きくなり、ＩＣ（半導体装置、集積回路）化した場合の小型化を図ることが困難となる。特に携帯電話機等の携帯機器では、機器の小型化への要請に応えられない。
一方、エンコードの一連の処理を、すべてソフトウェアを用いて実施することが考えられる。しかしながら、この場合、ソフトウェアを処理するＣＰＵ（Central Processing Unit）の負荷が増大してしまう。そのため、ＣＰＵが他の処理に費やす時間に制約が生じ、このＣＰＵを搭載する機器のパフォーマンスを低下させてしまう。またＣＰＵの処理時間の増加を招き、消費電力が大きくなってしまう。特に携帯電話機等の携帯機器では、バッテリの消耗を抑えるための低消費電力化への要請に応えられない。
そこで、エンコードの一連の処理をハードウェアとソフトウェアとに分担させることが考えられる。しかしながら、本発明者の検討の結果、エンコードの一連の処理についてハードウェアとソフトウェアとの分担の最適化を図る場合、非特許文献１に開示されたレートコントロール方式を実施できないということが判明した。即ち処理速度が異なるハードウェアの処理とソフトウェアの処理とに分担させる場合、処理速度の差を吸収するバッファが必要となる。ところが、このバッファを設けると、上述のレートコントロール方式を実施できなくなり、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化と、一定レートでの圧縮データの生成とを両立できないという問題があることが判明した。
また圧縮データの生成レートをコントロールできたとしても、非特許文献１に述べられているレートコントロール方式では、該圧縮データを伸張した画像にはブロックノイズが表示されることが多く、表示品質を劣化させる場合があるという問題がある。
その一方で表示品質の劣化を防止するために圧縮データの量が増え、所望のレートを維持できない場合も生ずるという問題もある。
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化を図り、表示品質の劣化を防止しながら、一定レートで確実に圧縮データの生成を行う画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法を提供することにある。
上記課題を解決するために本発明は、画像データを圧縮するための画像データ圧縮装置であって、画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部と、前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、フレーム毎に、前記量子化部の量子化ステップを変化させて符号化データのデータサイズを制御するレートコントロール部と、前記量子化部に供給される画像データの生成処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、前記レートコントロール部が、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、前記フレームスキップ部が、前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行う画像データ圧縮装置に関係する。
本発明においては、量子化部と符号化データ生成部との間にＦＩＦＯバッファ部を設けている。こうすることで、量子化部と符号化データ生成部との処理を非同期で、かつ並列に動作させることができる。そして、符号化データ生成部による符号化データの生成のレートを制御する場合、レートコントロール部が、ＦＩＦＯバッファ部に書き込まれる量子化データのデータサイズから、符号化データ生成部によって生成される符号化データの予測データサイズを求め、該予測データサイズに基づいて、量子化部の量子化ステップを変化させるようにしている。
これにより、量子化部と符号化データ生成部との処理を非同期で行うように構成した結果、非特許文献１に開示されたレートコントロール方式を実施できない場合であっても、符号化データの生成のレートを制御でき、一定のレートで画像データを圧縮した符号化データを生成できるようになる。しかも、そのレートコントロールを正確に行うことができる。
そしてフレームスキップ部を設け、量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、スキップ処理を行うようにしている。従って、上述のレートコントロールの実施したとしても、画像（特に自然画像ではない画像）によっては符号化データのサイズが増加してビットレートを確実に維持できなくなるような場合に、フレームごとに生成される符号化データの増加量を抑え、ビットレートを維持させることができるようになる。
また本発明は、画像データを圧縮するための画像データ圧縮装置であって、画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部と、前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、フレーム毎に、前記量子化部の量子化ステップを変化させて符号化データのデータサイズを制御するレートコントロール部と、前記量子化部に供給される画像データの生成処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、前記レートコントロール部が、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、前記フレームスキップ部が、前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が、複雑度閾値以上のとき、前記スキップ処理を行う画像データ圧縮装置に関係する。
本発明においては、量子化部と符号化データ生成部との間にＦＩＦＯバッファ部を設けている。こうすることで、量子化部と符号化データ生成部との処理を非同期で、かつ並列に動作させることができる。そして、符号化データ生成部による符号化データの生成のレートを制御する場合、レートコントロール部が、ＦＩＦＯバッファ部に書き込まれる量子化データのデータサイズから、符号化データ生成部によって生成される符号化データの予測データサイズを求め、該予測データサイズに基づいて、量子化部の量子化ステップを変化させるようにしている。
これにより、量子化部と符号化データ生成部との処理を非同期で行うように構成した結果、非特許文献１に開示されたレートコントロール方式を実施できない場合であっても、符号化データの生成のレートを制御でき、一定のレートで画像データを圧縮した符号化データを生成できるようになる。しかも、そのレートコントロールを正確に行うことができる。
そしてフレームスキップ部を設け、動き検出の際に求められたり、量子化パラメータの算出の際に用いられる複雑度が、複雑度閾値のとき、スキップ処理を行うようにしている。従って、上述のレートコントロールの実施したとしても、画像（特に自然画像ではない画像）によっては符号化データのサイズが増加してビットレートを確実に維持できなくなるような場合に、フレームごとに生成される符号化データの増加量を抑え、ビットレートを維持させることができるようになる。
また本発明に係る画像データ圧縮装置では、前記レートコントロール部が、前記予測データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように量子化パラメータを求めることができる。
本発明によれば、量子化パラメータ上限閾値以下となるように量子化パラメータを求めるようにしたので、画質を劣化させない程度に、量子化データのサイズを小さくして符号化データのサイズを小さくできるようになる。しかも、上述のようにスキップ処理を行うことができるので、一定のビットレートも維持できる。
また本発明に係る画像データ圧縮装置では、前記レートコントロール部が、前記予測データサイズを用いて、前記量子化パラメータ上限閾値以下で、かつその値が設定可能な量子化パラメータ下限閾値以上となるように前記量子化パラメータを求めることができる。
本発明では、レートコントロール部が、量子化パラメータ上限閾値以下となるように量子化パラメータを求めるようにしている。一般的に、量子化パラメータの値を大きくするほど、画像データを大きく間引いて量子化データのサイズを小さくし、符号化データのサイズを小さくできる。その反面、該符号化データをデコードした画像にはブロックノイズが目立つようになる。従って、本発明によれば、上述のようにレートコントロールを実施したとしても、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ事態を回避できるようになる。
またレートコントロール部が、量子化パラメータ下限閾値以上となるように量子化パラメータを求めるようにしている。一般的に、量子化パラメータの値を小さくするほど、画像データの間引き量が少なくなって量子化データのサイズを大きくなる。その反面、該符号化データをデコードした画像にはブロックノイズが少なくなる。従って、本発明によれば、上述のようにレートコントロールを実施したとしても、無駄にデータサイズを大きくすることがなくなる。
従って、本発明によれば、圧縮効率と画質との最適化を図るレートコントロールを容易に実現できる。
また本発明に係る画像データ圧縮装置では、前記ＦＩＦＯバッファ部のアクセス回数に対応したカウントデータが保持されるカウントレジスタを含み、前記レートコントロール部が、前記カウントデータから前記予測データサイズを求めることができる。
本発明によれば、簡素な構成で、量子化データのデータサイズと等価な情報を得ることができるので、非特許文献１で規定されたレートコントロール方式をより簡素な構成で実現できる画像データ圧縮装置を提供できる。
また本発明に係る画像データ圧縮装置では、前記予測データサイズは、前記１フレーム前の量子化データのデータサイズを１次変換することにより求められるデータサイズであってもよい。
また本発明に係る画像データ圧縮装置では、前記一次変換は、前記符号化データ生成部の符号化効率に対応した係数を用いた変換であってもよい。
また本発明に係る画像データ圧縮装置では、前記一次変換は、更に、前記符号化データに付加されるヘッダサイズ分の補正を行う変換であってもよい。
本発明においては、量子化データのデータサイズと符号化データのデータサイズとがほぼ線形関係にあることに着目し、この線形関係を表す１次変換式により予測データサイズを求めることができるようにしている。これにより、処理負荷を増加させることなく、正確なレートコントロールを実現させることができる。
また本発明に係る画像データ圧縮装置では、量子化ステップ値を記憶する量子化テーブルを含み、前記レートコントロール部が、前記量子化パラメータと前記量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させることができる。
また本発明に係る画像データ圧縮装置では、離散コサイン変換された前記画像データを、フレーム単位で前記量子化部に供給する離散コサイン変換部を含むことができる。
また本発明に係る画像データ圧縮装置では、動画像の画像データをハードウェアにより処理するハードウェア処理部と、前記ＦＩＦＯバッファ部から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成するソフトウェア処理部とを含み、前記ハードウェア処理部が、前記量子化部と、前記ＦＩＦＯバッファ部とを含み、前記ソフトウェア処理部が、前記符号化データ生成部、前記レートコントロール部及び前記フレームスキップ部を含むことができる。
ここで、量子化された動画像データは、ゼロデータが圧倒的に多く、量子化前のデータと比較すればデータの情報量の種類が圧倒的に少ない場合が多い。しかも、一般的に符号化のための演算自体の負荷も少ない。よって、情報量が少なく演算負荷の軽い処理をソフトウェア処理部で処理しても、その処理の負荷は小さい。逆に、量子化の処理の多くは、情報量が多い上に演算も複雑で、ソフトウェアで処理するには負荷が大きい。そして、これらは負荷が重い処理ではあるが、規格化されている場合には、変更の必要性は乏しく、また、繰り返し処理が多いため、ハードウェア処理部での処理に適している。また、ハードウェア処理部での処理後のデータ量が少ないので、ハードウェア処理部からソフトウェア処理部に伝送されるデータ量が少なく、伝送負荷も軽くなる。また、ソフトウェア処理部とハードウェア処理部との間には、ＦＩＦＯバッファ部が介在するので、ソフトウェア処理とハードウェア処理とを並列的に処理することができる。更に、ソフトウェア処理とハードウェア処理とを使い分けることで、装置の小型化と消費電力の低減の双方を実現できる。
また本発明に係る画像データ圧縮装置では、前記ハードウェア処理部が、現在のフレームの入力画像データと現在のフレームの１フレーム前の過去画像データとの差分を動きベクトル情報として出力し、該動きベクトル情報に対して離散コサイン変換を行って前記画像データとして前記量子化部に出力し、前記量子化データに対して前記量子化ステップで逆量子化して求められる逆量子化データに基づいて、前記過去画像データを生成することができる。
また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データを可変長符号に符号化することができる。
また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することができる。
また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データからＤＣ成分及びＡＣ成分とを求め、前記ＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することができる。
また本発明は、画像データに対して圧縮処理を行うエンコーダであって、画像データを入力するためのインタフェース処理を行う画像入力インタフェースと、前記画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部と、前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で、前記ＦＩＦＯバッファ部に記憶された量子化データを読み出すホストとのインタフェース処理を行うホストインタフェースと、前記画像データの生成処理をスキップするためのスキップフラグレジスタとを含み、前記ホストが、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、該量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したことを条件に、前記スキップフラグレジスタをセットし、前記スキップフラグレジスタがセットされたとき、現在のフレームの画像データの生成処理がスキップされるエンコーダに関係する。
また本発明は、画像データに対して圧縮処理を行うエンコーダであって、画像データを入力するためのインタフェース処理を行う画像入力インタフェースと、前記画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部と、前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で、前記ＦＩＦＯバッファ部に記憶された量子化データを読み出すホストとのインタフェース処理を行うホストインタフェースと、前記画像データの生成処理をスキップするためのスキップフラグレジスタとを含み、前記ホストが、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、前記量子化部で量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分情報が複雑度閾値以上であることを条件に、前記スキップフラグレジスタをセットし、前記スキップフラグレジスタがセットされたとき、現在のフレームの画像データの生成処理がスキップされるエンコーダに関係する。
本発明によれば、例えば撮像部からの動画像の画像データを圧縮するためのエンコードの処理を、エンコーダとホストとに分担させることができる。従って、上述のエンコードの処理の量子化と符号化データの生成とを並列的に実行することができる。更に、エンコーダとホストとを使い分けることで、このエンコーダを搭載する装置の小型化と消費電力の低減の双方を実現できる。
また本発明は、上記のいずれか記載の画像データ圧縮装置を含む電子機器に関係する。
また本発明は、上記記載のエンコーダを含む電子機器に関係する。
本発明によれば、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化を図り、表示品質の劣化を防止しながら、一定レートで確実に圧縮データの生成を行う電子機器を提供できる。
また本発明は、画像データを圧縮するための画像データ圧縮方法であって、フレーム単位で画像データが量子化される量子化データであって、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、前記予測データサイズを用いて量子化パラメータを求め、前記現在のフレームの画像データを、前記量子化パラメータに基づいて変化する量子化ステップで量子化して、該画像データを符号化した符号化データのデータサイズを変化させ、前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記画像データの生成処理をスキップさせる画像データ圧縮方法に関係する。
また本発明は、画像データを圧縮するための画像データ圧縮方法であって、フレーム単位で画像データが量子化される量子化データであって、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、前記予測データサイズを用いて量子化パラメータを求め、前記現在のフレームの画像データを、前記量子化パラメータに基づいて変化する量子化ステップで量子化して、該画像データを符号化した符号化データのデータサイズを変化させ、量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が、複雑度閾値以上のとき、前記画像データの生成処理をスキップさせる画像データ圧縮方法に関係する。
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
１． ＭＰＥＧ−４
まずＭＰＥＧ−４のエンコード処理について簡単に説明する。またこのエンコード処理によって符号化された圧縮データを伸張するためのデコード処理についても説明する。
図１（Ａ）、（Ｂ）に、ＭＰＥＧ−４のエンコード処理と、デコード処理の説明図を示す。この処理の詳細については、例えば日本実業出版社の「JPEG&MPEG 図解でわかる画像圧縮技術」（越智宏、黒田英夫の共著）に説明されているので、本発明に関する処理についてのみ主として説明する。
図１（Ａ）に示すエンコード処理では、まず、連続する２枚（２フレーム）の画像間の動き検出（ＭＥ：Motion Estimation）が実施される（ステップＳ１）。具体的には２枚の画像間の同一画素同士の差分を求める。２枚の画像間で変化のない画像領域では差分が０になるので、情報量を少なくできる。この画像領域のゼロデータに加え、２枚の画像間で変化のある画像領域の差分（プラス・マイナス成分）が動き検出後の情報となる。
次に、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）が実施される（ステップＳ２）。この離散コサイン変換（ＤＣＴ）は、図２に示す８画素×８画素の１ブロック単位で演算され、１ブロック毎にＤＣＴ係数を求めるものである。離散コサイン変換後のＤＣＴ係数は、１ブロック内の画像の濃淡変化を、全体の明るさ（ＤＣ成分）と空間周波数（ＡＣ成分）とで表わしたものである。図３は、８画素×８画素の１ブロック内のＤＣＴ係数の一例を示している（上述の図書の第１１６頁の図５−６を引用）。その左上隅のＤＣＴ係数がＤＣ成分を示し、それ以外のＤＣＴ係数がＡＣ成分を示す。なお、ＡＣ成分のうち、高周波成分を省略しても画像認識への影響が少ない。
次に、ＤＣＴ係数の量子化が行われる（ステップＳ３）。この量子化は、１ブロック内の各ＤＣＴ係数を、量子化テーブル中の対応する位置の量子化ステップ値で除算して、情報量を少なくするために実施される。例えば、図３のＤＣＴ係数を図４の量子化テーブルを用いて量子化した１ブロック内のＤＣＴ係数を図５に示す（上述の図書の第１１７頁の図５−９及び図５−１０を引用）。図５に示す通り、特に、高周波成分のＤＣＴ係数を量子化ステップ値で除算し、その小数点以下を四捨五入すると、ほとんどがゼロデータとなり、情報量が大幅に減少している。
このエンコード処理には、現フレームと該現フレームの次のフレームとの間で上述の動き検出（ＭＥ）を実施するために、帰還ルートが必要となる。この帰還ルートでは、図１（Ａ）に示すように、逆量子化（ｉＱ）、逆ＤＣＴ及び動き補償（ＭＣ：Motion Compensation）が実施される（ステップＳ４〜Ｓ６）。なお、動き補償の詳細な動作については省略するが、この処理は図２に示す１６画素×１６画素の１マクロブロック単位で実施される。
本実施形態では、上述したステップＳ１〜Ｓ６の処理が、ハードウェアによって実施される。
図１（Ａ）のステップＳ７で実施されるＤＣ／ＡＣ（直流／交流成分）予測処理及びステップＳ８で実施されるスキャン処理は、共にステップＳ９の可変長符号（ＶＬＣ：Variable Length Code）の符号化の効率を高めるために必要な処理である。なぜなら、ステップＳ９の可変長符号への符号化は、ＤＣ成分については隣接ブロック間での差分を符号化し、ＡＣ成分についてはブロック内を周波数が低い側から高い側に向けてスキャン（ジグザグスキャンとも称する）して符号化の順序を決める必要があるからである。
ステップＳ９の可変長符号への符号化とは、エントロピー符号化とも称され、符号化原理として、出現頻度の多いものは少ない符号で表わすように符号化するものである。このエントロピー符号化には、ハフマン符号化が採用される。
そしてステップＳ７、ステップＳ８での結果を利用して、ＤＣ成分について隣接ブロック間での差分を符号化し、ＡＣ成分についてはスキャンされた順番で低周波側から高周波側から順にＤＣＴ係数値を符号化する。
ここで、画像データは、その画像の複雑さや動きの激しさによって情報の発生量が変動する。この変動を吸収し、一定の伝送レートで伝送するには符号発生量の制御が必要であり、これがステップＳ１０のレートコントロールである。レートコントロールのために通常バッファメモリが設けられ、そのバッファメモリがオーバーフローしないように蓄積情報量を監視し、情報発生量を抑えるようにする。具体的には、ステップＳ３での量子化特性を粗くして、ＤＣＴ係数値を表すビット数を減らしている。
本実施形態では、上述したステップＳ７〜Ｓ１０の処理が、ソフトウェアによって実施される。即ち、ステップＳ７〜Ｓ１０の処理が、ソフトウェアを読み込んだハードウェアによって実現される。
図１（Ｂ）は、図１（Ａ）のエンコード処理によって圧縮された画像データのデコード処理を示す。このデコード処理は図１（Ａ）のエンコード処理を逆順でかつ逆処理することで達成される。なお、図１（Ｂ）中の「ポストフィルタ」とは、ブロックノイズを消去するためのフィルタである。また図１（Ｂ）中の「ＹＵＶ／ＲＧＢ変換」とは、ポストフィルタの出力を、ＹＵＶフォーマットからＲＧＢフォーマットに変換することを指す。
２． レートコントロール
次に、図１（Ａ）に示すステップＳ１０で実施されるレートコントロールに関し、非特許文献１に記載される手法について簡単に説明する。この手法では、エンコード時の量子化パラメータを変化させる。量子化パラメータを変化させることで、図１（Ａ）に示す量子化（ステップＳ３）の量子化ステップを変化させて量子化特性を変化させ、発生する符号量（データのサイズ）を制御する。
この手法では、フレームごとに量子化パラメータＱｃを設定して、１フレームを符号化したときの発生符号量Ｒの制御を行う。このとき、図６に示すモデル式に従って、量子化パラメータＱｃを求める。
図６において、Ｒは１フレームを符号化しときの発生符号量、Ｑｃは量子化パラメータ、Ｅｃはフレームの複雑度、Ｘ１、Ｘ２は本モデルのパラメータを示す。フレームの複雑度Ｅｃは、符号化対象とする画素の絶対値平均を用いる。ここでフレーム間符号化マクロブロックに関しては、フレームの複雑度Ｅｃは、現フレームと該現フレームの前のフレームとの差分値ｘ´ｉｊの絶対値の総和を面積Ａで除した値として、動き検出後に求められる。フレーム内符号化マクロブロックに関しては、現フレームと基準値μとの差分値の絶対値（｜ｘｉｊ−μ｜）の総和を面積Ａで除した値として求められる。なお基準値μは、マクロブロック内の全画素の平均値とすることができる。
このように、図６では、発生符号量はフレームの複雑度と量子化パラメータの逆数の２次式とによってモデル化される。
図７に、図６に示すモデル式を用いたレートコントロールの処理フローの一例を示す。
まず、初期フレームを、所定の量子化パラメータを用いてエンコードする（ステップＳ３０）。次に、モデルパラメータＸ１、Ｘ２の初期値を設定する（ステップＳ３１）。続いて、現フレームの複雑度Ｅｃを算出する（ステップＳ３２）。複雑度Ｅｃは、図６に示す式を用いて求めることができる。そして、エンコードに使用する符号量を、使用可能な残りの符号量及び前フレームで使用した符号量を基に求める（ステップＳ３３）。
更に、ステップＳ３１で設定されたモデルパラメータＸ１、Ｘ２、ステップＳ３２で求められた複雑度Ｅｃを、図６に示すモデル式に設定する。また、ステップＳ３３で求められたエンコードに使用する符号量から、前フレームで使用したビット数のうちヘッダや動きベクトル等の情報以外のビット数を減算した値を、１フレームを符号化したときの発生符号量Ｒとして図６に示すモデル式に設定する。そして、図６に示すパラメータをＱｃとする２次方程式を解いて、量子化パラメータＱｃを求める（ステップＳ３４）。
次に、ステップＳ３４で求められた量子化パラメータＱｃを用いてフレームの量子化と符号化とを行って（ステップＳ３５）、現フレームの１フレーム前にエンコードしたフレームの量子化パラメータと発生符号量等とを基に、図６に示すモデル式からモデルパラメータＸ１、Ｘ２を求めて更新する（ステップＳ３６）。
所定の条件でこの処理フローを終了するとき（ステップＳ３７：Ｙ）、一連の処理を終了し（エンド）、終了しないとき（ステップＳ３７：Ｎ）、ステップＳ３２に戻る。以上のような処理を毎フレーム行う。
このように非特許文献１に記載されるレートコントロール方式では、１フレーム前のエンコード結果を次のフレームのエンコードに反映させる必要がある。
３． 画像データ圧縮装置
ところで本実施形態は、上述したエンコードの一連の処理をハードウェアとソフトウェアとに分担させ、この分担の最適化を図る画像データ圧縮装置を提供するものである。
図８に、本実施形態における画像データ圧縮装置の構成の概要のブロック図を示す。
本実施形態における画像データ圧縮装置１０は、量子化部２０を有する画像データ処理部７０を含む。画像データ処理部７０は、フレーム単位に入力される画像データを圧縮するための処理を行う。量子化部２０は、図１（Ａ）に示すステップＳ３の処理を行う。量子化部２０は、フレーム単位で、画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する。量子化部２０では、フレームごとに設定される量子化パラメータが設定される。ここで画像データは、例えば図１（Ａ）に示すステップＳ２のＤＣＴ処理後のＤＣＴ係数により表わすことができる。この場合、図３に示すＤＣＴ係数が、図４に示す量子化テーブルの量子化ステップ値と量子化パラメータとの積で除算され、図５に示すように量子化される。
画像データ圧縮装置１０は、ＦＩＦＯバッファ部３０を含む。ＦＩＦＯバッファ部３０には、量子化部２０によって量子化された複数フレーム分の量子化データがバッファリングされる。フレーム単位で量子化部２０から出力される量子化データは、ＦＩＦＯバッファ部３０に順次書き込まれる。そしてＦＩＦＯバッファ部３０は、先入れ先出し記憶回路として機能する。
画像データ圧縮装置１０は、符号化データ生成部４０を含む。符号化データ生成部４０は、ＦＩＦＯバッファ部３０から１フレーム分の量子化データを読み出し、該量子化データを符号化した符号化データを生成する。この符号化データ生成部４０は、ＦＩＦＯバッファ部３０への書き込みと非同期で、ＦＩＦＯバッファ部３０から１フレーム分の量子化データを読み出す。
このように量子化部２０（画像データ処理部７０）と符号化データ生成部４０との間にＦＩＦＯバッファ部３０を設けることで、処理負荷の重い量子化部２０の処理をハードウェアに負担させ、処理負荷の軽い符号化データ生成部４０の符号化処理をソフトウェア処理で実現させると共に、両者の処理を並列に処理できるようになる。
以下では、量子化部２０（画像データ処理部７０）が例えば高速なハードウェアによって実現され、符号化データ生成部４０が例えば低速なソフトウェア処理によって実現されるものとして説明するが、これに限定されるものではなく、符号化データ生成部４０が、ＦＩＦＯバッファ部３０への書き込みと非同期でＦＩＦＯバッファ部３０から量子化データを読み出す場合に本実施形態を適用することができる。従って、量子化部２０（画像データ処理部７０）が例えば高速なハードウェアによって実現され、符号化データ生成部４０が例えば低速なハードウェアによって実現されてもよい。或いは量子化部２０（画像データ処理部７０）と符号化データ生成部４０がソフトウェアを読み込むハードウェアによって実現され、互いに非同期で処理するようにしてもよい。
画像データ圧縮装置１０は、レートコントロール部５０を含む。レートコントロール部５０は、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データのデータサイズを予測して予測データサイズとして求め、該予測データサイズに基づいて量子化ステップを変化させる。図５より明らかなように、量子化ステップを大きくすれば、量子化されたＤＣＴ係数のゼロデータが増える。一方、量子化ステップを小さくすれば、量子化されたＤＣＴ係数のゼロデータが減る。こうしてゼロデータが増減される量子化データは、ＦＩＦＯバッファ部３０に書き込まれる。その結果、ＦＩＦＯバッファ部３０から読み出した量子化データを、符号化データ生成部４０が符号化した符号化データのサイズも、量子化パラメータに応じて変更できるようになる。
上述のように非特許文献１に記載されたレートコントロール方式では、１フレーム前のエンコード結果を次のフレームのエンコードに反映させる必要がある。ところが、量子化部２０の量子化と符号化データ生成部４０の符号化とを、ハードウェアとソフトウェアとに分担させるようにすると、互いに非同期で処理されることになる。そのため、ＦＩＦＯバッファ部３０で読み出された量子化データが、量子化部２０で量子化されるデータの２フレーム以上過去のフレームのデータとなってしまうことがある。このため、１フレーム前のエンコード結果を次のフレームのエンコードに反映させた非特許文献１に記載されたレートコントロール方式を実現できなくなる。
そこで本実施形態では、レートコントロール部５０は、上述のように現在のフレームの１フレーム前の符号化データの予測データサイズを求め、該予測データサイズに基づいてレートコントロールを行う。この際、本実施形態では、以下のような特性に着目して、予測データサイズを求める。
図９に、量子化データのデータサイズと符号化データのデータサイズとの関係の説明図を示す。ここで量子化データは、量子化部２０から読み出されたデータであり、図１（Ａ）においてステップＳ３において生成されたデータである。また符号化データは、符号化データ生成部４０によって該量子化データを符号化したデータであり、図１（Ａ）においてステップＳ９において生成されたデータである。
図９に示すように、量子化データのデータサイズと符号化データのデータサイズとの間には線形関係がある。即ち、量子化データのデータサイズｘ、符号化データのデータサイズをｙとすると、ｘを変数としてｙを次の（１）式により近似的に求めることができる。
ｙ＝ａｘ−ｂ（ａ、ｂは正の実数） ・・・（１）
従って、量子化データのデータサイズｘ０を１次変換（線形変換）することで符号化データのデータサイズの予測値ｙ０として求めることができる。（１）式において、ａは、符号化データ生成部４０の符号化効率に対応した係数である。この係数は、符号化データ生成部４０の処理の特性に対応して定められる。更に具体的には、この係数は、符号化データ生成部４０において行われるハフマン符号化のためのハフマンエンコード処理の圧縮係数ということもできる。
また（１）式において、ｂは符号化データ生成部４０によって生成される符号化データのヘッダ情報のデータサイズに対応する数値である。例えば符号化データがＭＰＥＧ−４のストリームデータである場合、ＭＰＥＧ−４のヘッダ情報のデータサイズをｂとする。これにより、（１）式の１次変換は、更に、符号化データに付加されるヘッダサイズ分の補正を行う変換ということができる。
以上のような（１）式のａ、ｂは、例えば複数種類の画像データについて、量子化データのデータサイズと符号化データのデータサイズとの関係を統計的に処理して求められる。
こうして求められた予測データサイズを１フレーム前のエンコード結果として次のフレームのエンコードに反映させることで、非特許文献１に記載されたレートコントロール方式を行う。これにより、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化と、より正確なレートコントロールの実現とを両立する。
なお図８では、量子化データのデータサイズから予測データサイズを求めるようにしていたが、これに限定されるものではない。量子化データのデータサイズと等価な情報から、該予測データサイズを求めることも可能である。
以下では、量子化データのデータサイズと等価な情報として、各フレームのＦＩＦＯバッファ部３０へのアクセス回数（書き込み回数又は読み出し回数）を用いる。ＦＩＦＯバッファ部３０への書き込みを所定バイト数単位で行って、各フレームのアクセス回数を各フレームの量子化データのデータサイズと等価な情報とすることができる。またＦＩＦＯバッファ部３０からの読み出しを所定バイト数単位で行って、各フレームのアクセス回数を各フレームの量子化データのデータサイズと等価な情報とすることができる。
図１０に、本実施形態におけるレートコントロールの手法の説明図を示す。但し、図８に示す画像データ圧縮装置１０と同一部分には同一符号を付し、適宜説明を省略する。なお図１０では、ＦＩＦＯバッファ部３０が、７フレーム分の量子化データを記憶できるものとする。
図１１に、図１０に示すレートコントロール手法の動作タイミングの模式図を示す。
量子化部２０は、フレーム単位で画像データを量子化する。例えば図４に示す量子化ステップ値が設定された量子化テーブル２２を設ける。そして、量子化部２０は、量子化テーブル２２に設定された量子化ステップ値とレートコントロール部５０からの量子化パラメータとに基づいて、フレーム単位で画像データを量子化する。より具体的には、量子化パラメータを量子化ステップ値の係数とし、量子化部２０が、該量子化パラメータと量子化ステップ値との積を用いて量子化を行うことで、量子化ステップを変化させる。
量子化部２０は、時刻ｔ１、ｔ２、・・・において、フレーム単位で画像データを量子化し、量子化データを第１のフレームＦ１、第２のフレームＦ２、・・・の順にＦＩＦＯバッファ部３０に書き込む。各フレームにおいてカウントレジスタ３２が保持するカウントデータは、毎フレームにおいて初期化され、ＦＩＦＯバッファ部３０への書き込みが発生する毎にインクリメントされて更新される。こうすることで、各フレームの量子化データの書き込みが完了した時点で、カウントレジスタ３２には、ＦＩＦＯバッファ部３０への書き込み回数に対応したカウントデータが設定されていることになる。
その一方で、符号化データ生成部４０は、ＦＩＦＯバッファ部３０への量子化データの書き込みタイミングとは非同期で、ＦＩＦＯバッファ部３０から量子化データをフレーム単位で読み出し、符号化処理を行う。
レートコントロール部５０は、符号化データ生成部４０の処理とは独立して、各フレームの量子化データの書き込みが完了した時点のカウントデータに基づいて、量子化部２０の量子化ステップを変化させて次のフレームに反映させる。これにより、量子化データの書き込みが完了したフレームの次のフレームでは、量子化部２０で量子化された量子化データのサイズが変化し、この結果として符号化データ生成部４０が生成する符号化データのサイズも変化する。
図１１では、符号化データ生成部４０がＦＩＦＯバッファ部３０から第１〜第４のフレームＦ１〜Ｆ４の量子化データを順次読み出して、各フレームの符号化データをそれぞれ生成して出力している。
カウントレジスタ３２には、第１のフレームＦ１の量子化データのＦＩＦＯバッファ部３０への書き込みが完了した時点で、カウントデータＤ１が保持される。カウントデータＤ１は、第１のフレームＦ１の量子化データのＦＩＦＯバッファ部３０への書き込み回数に対応したデータである。カウントデータＤ１は、第１のフレームＦ１の量子化データのデータサイズに対応づけられる。このカウントデータは、第２のフレームＦ２の開始時点で初期化され、第２のフレームＦ２の量子化データのＦＩＦＯバッファ部３０への書き込みが完了した時点で、カウントデータＤ２が保持される。カウントデータＤ２は、第２のフレームＦ２の量子化データのＦＩＦＯバッファ部３０への書き込み回数に対応したデータである。
レートコントロール部５０は、ＦＩＦＯバッファ部３０への書き込みが終了する毎にカウントデータを読み出して、次のフレームの量子化ステップを変化させる。図１１では、第１のフレームＦ１の量子化データの書き込みが完了すると、レートコントロール部５０がカウントデータＤ１を読み出し、カウントデータＤ１から予測データサイズを求める。そして図６及び図７で説明したように、レートコントロール部５０は、この予測データサイズを用いて第２のフレームＦ２のエンコードに使用する符号量を算出して、量子化パラメータＱｃを求める。この結果、量子化部２０は、第２のフレームＦ２の画像データの量子化を、第１のフレームＦ１の符号化データの予測データサイズに基づいて求められた量子化パラメータＱｃと量子化テーブル２２の量子化ステップ値との積を用いて量子化する。この量子化結果が、ＦＩＦＯバッファ部３０に書き込まれる。こうして、フレームごとに１フレーム前の予測データサイズを用いることで、所望のレートで符号化データを生成できるようになる。
また図８において、画像データ圧縮装置１０は、フレームスキップ部６０を含む。フレームスキップ部６０は、画像データ処理部７０における画像データの生成処理をスキップさせるスキップ処理を行う。即ち、フレームスキップ部６０は、量子化部２０に供給される画像データの生成を中止させる。
本実施形態では、レートコントロール部５０のレートコントロールの結果、符号化データのデータサイズが大きくなって一定のビットレートを維持できない場合に、フレームスキップ部６０がスキップ処理を行う。
そのため、フレームスキップ部６０は、フレームごとに求められる量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、スキップ処理を行う。或いは、フレームスキップ部６０は、量子化部２０によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分情報に対応した複雑度が、複雑度閾値以上のとき、スキップ処理を行う。こうすることで、フレームスキップ部６０は、毎フレーム生成される符号化データの増加量を抑え、ビットレートを維持させることができるようになる。
また上述のようにレートコントロールを実施したとしても、エンコード対象の画像によっては、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ場合も想定される。これは、非特許文献１に述べられているレートコントロール方式により、圧縮データの生成レートをコントロールしたとしても、該圧縮データをデコード（伸張）した画像にはブロックノイズが表示されることが多く、表示品質を劣化させる場合があるからである。
図１２に、量子化パラメータ、符号化データのデータサイズ及びブロックノイズの関係を模式的に示す。図１２では、横軸が量子化パラメータを表わし、縦軸がデータサイズ及びブロックノイズを表わす。なお、非特許文献１に記載されるレートコントロール方式では、量子化パラメータＱｃの値の範囲が１〜３１である。
図１２に示すように、量子化パラメータの値を大きくするほど、画像データを大きく間引いてＤＣＴ係数をゼロデータにすることになり量子化データのサイズを小さくし、符号化データのサイズを小さくできる。その反面、該符号化データをデコードした画像にはブロックノイズが目立つようになる。即ち、データサイズが小さいほど、ブロックノイズが多くなる。
そこで本実施形態では、量子化パラメータＱｃの値が一定値より大きくならないように、量子化パラメータ上限閾値QcUpperLimitを設けている。この量子化パラメータ上限閾値QcUpperLimitの値は、レートコントロールに先立って設定される。従って、レートコントロール部５０は、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように量子化パラメータを求める。このように、Ｑｃ≦QcUpperLimitとすることにより、上述のようにレートコントロールを実施したとしても、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ事態を回避できるようになる。
一方、量子化パラメータの値を小さくするほど、画像データを間引く量が小さくなり、ＤＣＴ係数のゼロデータが少なくなる。そのため量子化データのサイズが大きくなり、符号化データのサイズも大きくなる。その反面、該符号化データをデコードした画像にはブロックノイズが少なくなる。即ち、データサイズが大きいほど、ブロックノイズが少なくなる。例えば量子化パラメータＱｃの値が１のとき、デコードした画像を最高画質にできるが、１フレーム分の符号化データとして使用されるデータ量が膨大となってしまう。このとき、人間の眼では確認できないような撮像部のノイズもすべて残った状態となる。
そこで本実施形態では、量子化パラメータＱｃの値が一定値より小さくならないように、量子化パラメータ下限閾値QcLowerLimitを設けている。この量子化パラメータ下限閾値QcLowerLimitの値は、レートコントロールに先立って設定される。従って、レートコントロール部５０は、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて、その値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求める。このように、Ｑｃ≧QcLowerLimitとすることにより、上述のようにレートコントロールを実施したとしても、無駄にデータサイズを大きくすることがなくなる。
以上のように、レートコントロール部５０は、予測データサイズを用いて量子化パラメータ上限閾値QcUpperLimit以上となるように又は量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるようにしてもよいが、これに限定されるものではない。
レートコントロール部５０は、上述のように予測データサイズを用いて、量子化パラメータ上限閾値QcUpperLimit以下で、かつ量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるようにしてもよい。この場合、量子化パラメータＱｃの値を、図１２に示す範囲RangeQcとすることで、データサイズの範囲RangeDataとすることができ、圧縮効率と画質との最適化を図るレートコントロールを容易に実現できる。
ところで、フレームごとに圧縮処理を行っていると、画像（特に自然画像ではない画像）によっては符号化データのサイズが増加し、ビットレートを確実に維持できない可能性がある。特に、上述のように量子化パラメータＱｃの量子化パラメータ上限閾値QcUpperLimitを設けた場合には、画質劣化を防止できる反面、個々のフレームでの符号化データのサイズが増加せざるを得ず、ビットレートの維持を阻害する可能性が高くなる。
そのため本実施形態では、フレームスキップ部６０が、上述のように一定の条件で、スキップ処理を行う点で、有効である。特に、量子化パラメータ上限閾値QcUpperLimit以下となるように量子化パラメータＱｃを求めたときに、フレームスキップ部６０が、該量子化パラメータＱｃがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、スキップ処理を行うことで、画質の劣化を防止する一方で、確実にビットレートを維持できる。或いは、量子化パラメータ上限閾値QcUpperLimit以下となるように量子化パラメータＱｃを求めたときに、フレームスキップ部６０が、量子化部２０によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分情報に対応した複雑度が、複雑度閾値以上のとき、スキップ処理を行うことで、画質の劣化を防止する一方で、確実にビットレートを維持できる。
３．１ 量子化パラメータＱｃの算出処理
次に、レートコントロール部５０で行われる量子化パラメータＱｃの算出処理について具体的に説明する。
以下では、予測データサイズを用いて、量子化パラメータ上限閾値QcUpperLimit以下で、かつ量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるものとする。
図１３及び図１４に、量子化パラメータＱｃの算出処理のフローの一例を示す。ここでは、図１５に示す量子化パラメータＱｃの算出処理で用いられる変数の説明図を参照しながら、図１３及び図１４に示すフローを説明する。図１３及び図１４に示すフローが、毎フレーム行われる。
まず前フレームで使用したビット数Ｓを算出する（ステップＳ４０）。ここで、変数Ｓに、前フレームで求められた、エンコードに使用したビット数（現フレームのエンコードに使用したビット数）Ｒｃの値が設定される。
図１６に、エンコードに使用したビット数Ｒｃの値の算出処理のフローの一例を示す。ここでは、現在のフレームの１フレーム前の量子化データのデータサイズと等価な情報としてカウントレジスタ３２から読み出されたカウントデータをｘ０とし、（１）式に代入して現在のフレームの符号化データの予測データサイズｙ０を求める（ステップＳ６０）。
そしてステップＳ６０で求めた予測データサイズｙ０を、エンコードに使用したビット数Ｒｃの値として設定する（ステップＳ６１）。
こうして求められた変数Ｒｃの値は、次のフレームで変数Ｓに設定される。
図１３に戻って、説明を続ける。変数Ｓの値が求められると、現フレームに割り当てるビット数Ｔを求める（ステップＳ４１）。ステップＳ４１では、残りの使用可能ビット数Ｒｒと、残りにエンコードフレーム枚数Ｎｒとにより、１フレーム当たりの平均割り当てビット数（Ｒｒ／Ｎｒ）を求め、その値と前フレームの割り当てビット数Ｓとの比で、現フレームに割り当てられるビット数Ｔを求める。ステップＳ４１では、例えば０．９５：０．０５となっている。そして、現フレームに割り当てられるビット数Ｔが、下限値であるＲｓ／３０の値を下回らないようにする。
次に、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと、ＦＩＦＯバッファ部３０のビット数Ｂｓとの比から、現フレームに割り当てられるビット数Ｔを調整する（ステップＳ４２）。この結果、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂが、ＦＩＦＯバッファ部３０のビット数Ｂｓの半分より小さい場合は、変数Ｔの値を大きくし、逆に大きい場合は変数Ｔの値を小さくする。
そして、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと変数Ｔの加算値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割を超えたか否かを判別する（ステップＳ４３）。該加算値が変数Ｂｓの値の９割を超えたと判別されたとき（ステップＳ４３：Ｙ）、変数Ｔの値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割から変数Ｂの値を減算した値に設定（クリップ）される（ステップＳ４４）。即ち、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと変数Ｔの加算値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割を超えないように設定される。また、ステップＳ４１と同様に、変数Ｔの値が、下限値であるＲｓ／３０の値を下回らないようにする。
一方、ステップＳ４３において、該加算値が変数Ｂｓの値の９割を超えていないと判別されたとき（ステップＳ４３：Ｎ）、変数Ｔの値は、１フレームあたりの平均発生ビット数Ｒｐから変数Ｂの値を減算し、変数Ｂｓの値の１割を加算した値に設定される（ステップＳ４５）。即ち、変数Ｂｓと変数Ｔの加算値から１フレームあたりの平均発生ビット数Ｒｐを減算した値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの１割を下回らないように設定される。
ステップＳ４４又はステップＳ４５に続いて、変数Ｔの値が、残りの使用可能ビット数Ｒｒより大きくならないように設定する（ステップＳ４６）。次に、フレーム間で極端に変数Ｔの値が変化しないように、変数Ｔの値を調整する（ステップＳ４７）。
次に、量子化パラメータＱｃの値を求めるため、図６に示したモデル式を、変数Ｑｃの２次方程式として解く。そのため図１４に示すように、まず変数ｔｍｐの値を求める（ステップＳ４８）。
ここで、モデルパラメータＸ２が０のとき、或いは変数ｔｍｐの値が負の値のとき（ステップＳ４９：Ｙ）、１次方程式となるモデル式より量子化パラメータＱｃを求める（ステップＳ５０）。ここで、変数Ｒは、現フレームに割り当てられるビット数Ｔから、前のフレームで使用したビット数のうちヘッダ等の情報以外のビット数Ｈｐを減算した値となるため、Ｑｃ＝Ｘ１×Ｅｃ／（Ｔ−Ｈｐ）より求められる。また変数Ｅｃの値は、図６に示したようにフレームの画素の絶対値平均の値である。
ステップＳ４９において、モデルパラメータＸ２が０ではなく、かつ変数ｔｍｐの値が０以上の値のとき（ステップＳ４９：Ｎ）、図６に示すモデル式から導かれる２次方程式の解を、量子化パラメータＱｃの値とする（ステップＳ５１）。
ステップＳ５０又はステップＳ５１に続いて、量子化パラメータＱｃの値が前フレームの量子化パラメータＱｐとの差が２５パーセント以内に収まり、かつ量子化パラメータＱｃの値が１〜３１の値となるように処理する（ステップＳ５２、ステップＳ５３、ステップＳ５４、ステップＳ５５）。ステップＳ５２、ステップＳ５４において、ｃｅｉｌ（ｘ）は、ｘの値を正の方向に切り上げて整数にすることを意味する。
本実施形態では、更にステップＳ５５で求められた量子化パラメータＱｃの値の調整処理を行い（ステップＳ５６）、一連の処理を終了する（エンド）。
図１７に、量子化パラメータＱｃの値の調整処理のフローの一例を示す。
まずステップＳ５５で求められた量子化パラメータＱｃの値が、この調整処理に先立ってその値が設定される量子化パラメータ上限閾値QcUpperLimit以上か否かを判別する（ステップＳ１００）。
量子化パラメータＱｃの値が、量子化パラメータ上限閾値QcUpperLimit以上であると判別されたとき（ステップＳ１００：Ｙ）、量子化パラメータＱｃの値を量子化パラメータ上限閾値QcUpperLimitに設定する（ステップＳ１０１）。
量子化パラメータＱｃの値が量子化パラメータ上限閾値QcUpperLimit以上ではないと判別されたとき（ステップＳ１００：Ｎ）、或いはステップＳ１０１に続いて、量子化パラメータＱｃの値が、この調整処理に先立ってその値が設定される量子化パラメータ下限閾値QcLowerLimit以下であるか否かを判別する（ステップＳ１０２）。
量子化パラメータＱｃの値が、量子化パラメータ下限閾値QcLowerLimit以下であると判別されたとき（ステップＳ１０２：Ｙ）、量子化パラメータＱｃの値を量子化パラメータ下限閾値QcLowerLimitに設定する（ステップＳ１０３）。
量子化パラメータＱｃの値が量子化パラメータ下限閾値QcLowerLimit以下ではないと判別されたとき（ステップＳ１０２：Ｎ）、或いはステップＳ１０３の後では、その時点の量子化パラメータＱｃの値が量子化部２０に供給されることになる（図１７のエンド、図１４のエンド）。
なお図１４及び図１７では、ステップＳ５６において調整処理を行っていたが、これに限定されるものではない。例えば図１４においてステップＳ５６を設けず、ステップＳ５３の３１の値を量子化パラメータ上限閾値QcUpperLimitに置き換え、ステップＳ５５の１の値を量子化パラメータ下限閾値QcLowerLimitに置き換えるようにしてもよい。
以上のようにして求められた量子化パラメータＱｃを量子化部２０に供給することで、量子化部２０の量子化ステップを変化させる。
即ち、例えば図１８に示すように、ＤＣＴ係数により表わされる画像データのＤＣＴ係数Ｄｉｊを、量子化テーブルの対応する位置の量子化ステップ値Ｑｉｊと量子化パラメータＱｃとの積で除算して、量子化されたＤＣＴ係数ｄｉｊを求める。その結果、量子化されたＤＣＴ係数のゼロデータを増減させることができる。
３．２ フレームスキップ
次に、フレームスキップ部６０で行われるスキップ処理について具体的に説明する。
図１９に、フレームスキップ部６０で行われるスキップ処理の一例のフロー図を示す。ここでは、図１３〜図１７で説明したようにレートコントロール部５０において求められた量子化パラメータＱｃに基づいてスキップ処理を行う場合のフローを示す。図１９に示すフローは、フレームごとに行われる。
まず、レートコントロール部５０において求められた量子化パラメータＱｃの値が、スキップ閾値SkipBorderValueより大きいか否かを判別する（ステップＳ１１０）。
量子化パラメータＱｃの値がスキップ閾値SkipBorderValueより大きいと判別されたとき（ステップＳ１１０：Ｙ）、スキップ処理対象のフレームをカウントするためのカウント値Countをインクリメントする（ステップＳ１１１）。量子化パラメータＱｃの値がスキップ閾値SkipBorderValue以下であると判別されたとき（ステップＳ１１０：Ｎ）、カウント値Countに０を設定する（クリアする）（ステップＳ１１２）。
ステップＳ１１１又はステップＳ１１２に続いて、カウント値Countがスキップ連続回数閾値SkipBorderCount以上であるか否かを判別する（ステップＳ１１３）。カウント値Countがスキップ連続回数閾値SkipBorderCount以上であると判別されたとき（ステップＳ１１３：Ｙ）、スキップ処理を行うためのフレームスキップ設定を行う（ステップＳ１１４）。更に、カウント値Countに０を設定し（ステップＳ１１５）、一連の処理を終了する（エンド）。
ステップＳ１１４におけるフレームスキップ設定では、画像データ処理部７０において処理中のフレームの画像データの生成処理をスキップさせるための設定を行う。このフレームスキップ設定により、例えば画像データ処理部７０の少なくとも一部を初期化したり、該少なくとも一部の動作クロックを停止させたりすることができるようになっている。本発明は、スキップ処理を行うためのフレームスキップ設定の内容に限定されるものではなく、結果的に符号化データが生成されなければよい。
ステップＳ１１３において、カウント値Countがスキップ連続回数閾値SkipBorderCountより小さいと判別されたとき（ステップＳ１１３：Ｎ）、一連の処理を終了する（エンド）。
なお、スキップ閾値SkipBorderValue及びスキップ連続回数閾値SkipBorderCountは、図１９に示す処理に先立って設定される。
以上のように、フレームスキップ部６０は、フレームごとに求められる量子化パラメータＱｃがスキップ閾値SkipBorderValueより大きいフレームが、スキップ連続回数閾値SkipBorderCountとして設定された回数以上連続したとき、エンコードをスキップさせるためのスキップ処理を行うことができる。
図２０に、フレームスキップ部６０で行われるスキップ処理の他の例のフロー図を示す。ここでは、複雑度Ｅｃに基づいてスキップ処理を行う場合のフローを示す。図２０に示すフローは、フレームごとに行われる。
まず、フレームスキップ部６０は、量子化パラメータＱｃの算出にも用いられた現フレームの複雑度Ｅｃが、複雑度閾値QcSADLimit以上であるか否かを判別する（ステップＳ１２０）。ここで、現フレームとは、量子化部２０によって量子化される画像データのフレームということができる。そして、複雑度は、現フレームの画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した情報とすることができる。
そして、複雑度Ｅｃが、複雑度閾値QcSADLimit以上であると判別されたとき（ステップＳ１２０：Ｙ）、量子化パラメータＱｃに最大値を設定する（ステップＳ１２１）。ここで、最大値は、図１４のステップＳ５３における「３１」か、或いは図１７のステップＳ１０１における量子化パラメータ上限閾値QcUpperLimitである。レートコントロール部５０は、ステップＳ１２１で設定された量子化パラメータＱｃの値を用いてレートコントロールを行う。
こうして量子化パラメータＱｃに最大値が設定されると、スキップ処理を行うためのフレームスキップ設定を行う（ステップＳ１２２）。このフレームスキップ設定は、図１９に示すステップＳ１１４のフレームスキップ設定と同様である。
ステップＳ１２０において、複雑度Ｅｃが、複雑度閾値QcSADLimitより小さいと判別されたとき（ステップＳ１２０：Ｎ）、一連の処理を終了する（エンド）。
なお、複雑度閾値QcSADLimitは、図２０に示す処理に先立って設定される。
以上のように、フレームスキップ部６０は、複雑度Ｅｃが、複雑度閾値QcSADLimit以上のとき、スキップ処理を行うことができる。
なおフレームスキップ部６０は、図１９又は図２０に示す処理をするものに限定されるものではない。フレームスキップ部６０は、図１９及び図２０に示す処理を組み合わせてフレームスキップ設定を行うことができる。
図２１に、フレームスキップ部６０で行われるスキップ処理の更に他の例のフロー図を示す。ここでは、基本的に、図２０に示すように複雑度に基づいてスキップ処理を行うか否かを判定した後に、図１９に示すように量子化パラメータに基づいてスキップ処理を行うか否かを判定する。
なお図２１では、ＶＢＶ（Video Buffering Verifier）バッファと呼ばれる仮想的なバッファ検証器を設け、符号化データの生成レートを制御するためにスキップ処理を行うようにしている。ＶＢＶバッファは、符号化データ生成部４０の出力に概念的に接続された仮想的な復号器ということができ、符号化データ生成部４０ではＶＢＶバッファがオーバーフローしたりアンダーフローしたりしないように符号化データを生成する。
まず、フレームスキップ部６０は、複雑度Ｅｃが、複雑度閾値QcSADLimit以上であるか否かを判別する（ステップＳ１３０）。複雑度Ｅｃが、複雑度閾値QcSADLimit以上であると判別されたとき（ステップＳ１３０：Ｙ）、量子化パラメータＱｃに最大値を設定する（ステップＳ１３１）。こうして量子化パラメータＱｃに最大値が設定されると、スキップ処理を行うためのフレームスキップ設定を行う（ステップＳ１３２）。その後、スキップ処理対象のフレームをカウントするためのカウント値Countを０に設定して（ステップＳ１３３）、一連の処理を終了する（エンド）。ここで、ステップＳ１３１はステップＳ１２１と同様であり、ステップＳ１３２はステップＳ１１４と同様である。
ステップＳ１３０において、複雑度Ｅｃが複雑度閾値QcSADLimitより小さいと判別されたとき（ステップＳ１３０：Ｎ）、量子化パラメータＱｃの値が、スキップ閾値SkipBorderValueより大きいか否かを判別する（ステップＳ１３４）。量子化パラメータＱｃの値がスキップ閾値SkipBorderValueより大きいと判別されたとき（ステップＳ１３４：Ｙ）、カウント値Countをインクリメントする（ステップＳ１３５）。量子化パラメータＱｃの値がスキップ閾値SkipBorderValue以下であると判別されたとき（ステップＳ１３４：Ｎ）、カウント値Countに０を設定する（ステップＳ１３６）。
ステップＳ１３５又はステップＳ１３６に続いて、カウント値Countがスキップ連続回数閾値SkipBorderCount以上であるか否かを判別する（ステップＳ１３７）。カウント値Countがスキップ連続回数閾値SkipBorderCount以上であると判別されたとき（ステップＳ１３７：Ｙ）、ステップＳ１３２に進む。
ステップＳ１３７において、カウント値Countがスキップ連続回数閾値SkipBorderCountより小さいと判別されたとき（ステップＳ１３７：Ｎ）、上述のＶＢＶバッファの空き容量が、ＶＢＶバッファのバッファサイズ／Ｎ（Ｎは正の整数。例えばＮ＝３）より小さいか否かを判別する（ステップＳ１３８）。そして、ＶＢＶバッファの空き容量が、ＶＢＶバッファのバッファサイズ／Ｎより小さいと判別されたとき（ステップＳ１３８：Ｙ）、ステップＳ１３２に進み、スキップ処理を行う。一方、ステップＳ１３８において、ＶＢＶバッファの空き容量が、ＶＢＶバッファのバッファサイズ／Ｎ以上であると判別されたとき（ステップＳ１３８：Ｎ）、一連の処理を終了する（エンド）。
３．３ 構成例
図２２に、本実施形態の画像データ圧縮装置の詳細な機能ブロック図を示す。但し、図８に示す画像データ圧縮装置１０と同一部分には同一符号を付し、適宜説明を省略する。
図２２に示す画像データ圧縮装置１００は、ＭＰＥＧ−４に準拠した動画像の画像データの圧縮処理を行う。画像データ圧縮装置１００は、ハードウェア処理部１１０と、ソフトウェア処理部１５０とを含む。
ハードウェア処理部１１０は、動画像の画像データをハードウェアにより処理する。このハードウェア処理部１１０は、量子化部２０を含む画像データ処理部７０と、ＦＩＦＯバッファ部３０と、ソフトウェア起動フラグレジスタ１３０と、スキップフラグレジスタ１３２とを含む。ハードウェア処理部１１０は、ソフトウェアを使用せず、ＡＳＩＣや専用回路等のハードウェアにより実現される。
ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成する。このソフトウェア処理部１５０は、符号化データ生成部４０と、レートコントロール部５０と、フレームスキップ部６０とを含む。ソフトウェア処理部１５０は、ソフトウェア（ファームウェア）によりその機能が実現される処理部であり、ソフトウェア（ファームウェア）を読み込んだＣＰＵ等（ハードウェア）によりその機能が実現される。
より具体的にはハードウェア処理部１１０の画像データ処理部７０は、離散コサイン変換（ＤＣＴ）部１１２、動き検出部１１４、逆量子化部１１６、逆ＤＣＴ部１１８、動き補償部１２０を含む。ＤＣＴ部１１２は、図１（Ａ）に示すステップＳ２の処理を行う。動き検出部１１４は、図１（Ａ）に示すステップＳ１の処理を行う。逆量子化部１１６は、図１（Ａ）に示すステップＳ４の処理を行う。逆ＤＣＴ部１１８は、図１（Ａ）に示すステップＳ５の処理を行う。動き補償部１２０は、図１（Ａ）に示すステップＳ６の処理を行う。
即ち、ハードウェア処理部１１０は、現在のフレームの入力画像データと現在のフレームの１フレーム前の過去画像データとの差分を動きベクトル情報として出力し、該動きベクトル情報に対して離散コサイン変換を行って画像データとして量子化部に出力する。更に、この量子化データに対して、上述の量子化ステップで逆量子化して求められる逆量子化データに基づいて、上記の過去画像データをする。
そして、ソフトウェア起動フラグレジスタ１３０がセットされたときに、このようなハードウェア処理部１１０の処理が開始される。ソフトウェア起動フラグレジスタ１３０は、ソフトウェア処理部１５０によってセットされる。より具体的には、入力画像データの供給が開始されたことを示す割込処理において、ソフトウェア処理部１６０がソフトウェア起動フラグレジスタ１３０をセットする（ソフトウェア起動フラグ情報をセット状態に設定する）。
またスキップフラグレジスタ１３２がセットされたとき、画像データ処理部７０において画像データの生成処理がスキップされる。より具体的には、フレームスキップ部６０が上述の条件でスキップ処理をすると判断したときに、ソフトウェア処理部１５０（フレームスキップ部６０）は、スキップフラグレジスタ１３２をセット（スキップフラグ情報をセット状態に設定する）。スキップフラグレジスタ１３２は、フレーム毎に一旦リセット状態に設定される。この場合、ハードウェアによってスキップフラグレジスタ１３２をリセット（リセット状態に設定）してもよいし、ソフトウェア処理部１５０によりフレーム毎にリセットされるようにしてもよい。
なおハードウェア処理部１１０は、これら各部をすべて含んで構成される必要はなく、上記各部のうち少なくとも１つが省略される構成でもよい。
ソフトウェア処理部１５０の符号化データ生成部４０は、ＤＣ／ＡＣ予測部１５２、スキャン部１５４、ＶＬＣ符号化部１５６を含む。ＤＣ／ＡＣ予測部１５２は、図１（Ａ）に示すステップＳ７の処理を行う。スキャン部１５４は、図１（Ａ）に示すステップＳ８の処理を行う。ＶＬＣ符号化部１５６は、図１（Ａ）に示すステップＳ９の処理を行う。
なおソフトウェア処理部１５０は、これら各部をすべて含んで構成される必要はなく、上記各部のうち少なくとも１つが省略される構成でもよい。例えば、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データを可変長符号に符号化するようにしてもよい。また、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化するようにしてもよい。更にまた、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データからＤＣ成分及びＡＣ成分とを求め、このＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化するようにしてもよい。
ここで、本実施形態において、図１（Ａ）のステップＳ１〜Ｓ６をハードウェア処理し、ステップＳ７〜Ｓ１０をソフトウェア処理する理由は下記の通りである。まず、図１（Ａ）のステップＳ３の量子化後であれば、図５に示すように各ブロック内にはゼロデータが圧倒的に多く、量子化前のデータ（図３）と比較すればデータの情報量の種類が圧倒的に少ない。しかも、ステップＳ７〜Ｓ１０の演算自体の負荷も少ないので、図１（Ａ）のステップＳ７〜Ｓ１０をソフトウェアで処理しても、その処理の負荷は小さくなる。逆に、図１（Ａ）のステップＳ３の量子化、ステップＳ２のＤＣＴ、及びステップＳ５の逆ＤＣＴなどは、情報量が多い上に演算も複雑で、ソフトウェアで処理するには負荷が大きい。これらの量子化、ＤＣＴ、逆ＤＣＴ、動き補償などは、負荷が重い処理ではあるが規格が決まっているため変更の必要性は乏しく、また、図１（Ａ）のステップＳ１〜Ｓ６には繰り返し処理が多いため、ハードウェアでの処理に適している。また、上述した通りハードウェア処理部１１０にて処理された量子化後のデータ量が少ないので、ハードウェア処理部１１０からソフトウェア処理部１５０に伝送されるデータ量が少なく、データ転送制御の負担を軽くできる。
図２３に、画像データ圧縮装置１００のハードウェア構成例を示す。ここでは、図２２に示すハードウェア処理部１１０が集積化され、エンコードＩＣ（集積回路）（広義にはエンコーダ）２００として半導体装置に実装される。また図２２に示すソフトウェア処理部１５０の機能は、ホスト２１０により実現される。なお図２３において、図２２に示すハードウェア処理部１１０と同一部分には同一符号を付し、説明を適宜省略する。
ホスト２１０は、ＣＰＵ２１２とメモリ２１４とを含む。メモリ２１４には、符号化データ生成部４０、レートコントロール部５０及びフレームスキップ部６０の機能を実現するためのプログラムが格納される。ＣＰＵ２１２は、メモリ２１４に格納されたプログラムを読み出して、該プログラムに基づいて処理することで、符号化データ生成部４０、レートコントロール部５０及びフレームスキップ部６０の機能を実現する。
ここでエンコードＩＣ２００は、図示しないカメラモジュール（広義には撮像部）において撮像により得られた動画像の画像データを、ＭＰＥＧ−４の規格に準拠してエンコードを行い、一定のレートで符号化データを生成する。このためエンコードＩＣ２００は、図２２に示すハードウェア処理部１１０の各部の機能を実現する回路の他に、ホストインタフェース（InterFace：Ｉ／Ｆ）２０２、カメラＩ／Ｆ（広義には画像入力インタフェース）２０４、量子化パラメータ設定レジスタ２０６、ソフトウェア起動フラグレジスタ１３０、スキップフラグレジスタ１３２を含む。
ホスト２１０の処理において、スキップフラグレジスタ１３２がセットされる。スキップフラグレジスタ１３２がセットされると、画像データ処理部７０における画像データの生成処理がスキップされる。図２３では、スキップフラグレジスタ１３２がセットされると、動き検出部１１４の内部状態を初期化することによって、画像データ処理部７０における画像データの生成処理をスキップするようになっている。
図２４に、図２３の動き検出部１１４のハードウェア構成例を示す。本発明は、図２４に示す動き検出部１１４の構成に限定されるものではない。
動き検出部１１４は、シーケンサ５００と、動き検出演算部５１０とを含む。動き検出演算部５１０は、シーケンサ５００からの制御信号に基づいて動きベクトル情報等を演算し、画像データとしてＤＣＴ部１１２に出力する。シーケンサ５００は、予め決められた複数のステート間を遷移し、各ステートにおいて制御信号を出力し、動き検出演算部５１０の各部を制御して動き検出のための処理を制御するようになっている。
動き検出演算部５１０では、入力画像データが入力バッファ５１２に保持される。また、動き補償部１２０からの過去画像データが、ローカルデコードデータバッファ５１４に保持される。動き検出部１１４は、入力画像データと過去画像データとの間で、各画素の絶対差分和が最小となるときの動きベクトル情報を出力する。そのため、探索用画素演算回路５１６は、ローカルデコードデータバッファ５１４に保持された過去画像データの画素について、探索用画素値（例えば、隣接する２点又は４点の輝度成分の平均値）を求める。そしてセレクタ５１８が、探索用画素演算回路５１６又はローカルデコードデータバッファ５１４のいずれかを出力する。
絶対差分演算回路５２０は、例えばマクロブロック単位で、入力バッファ５１２に保持された入力画像データの画素とセレクタ５１８の出力の画素との間の絶対差分和を求める。最小誤差評価回路５２２は、この絶対差分和が最小値か否かを評価する。そして最小誤差評価回路５２２が、絶対差分演算回路５２０の演算結果が最小値であると判断すると、出力バッファ５２４に出力する。即ち、最小誤差評価回路５２２の評価によって絶対差分演算回路５２０の演算結果が最小値となるように、過去画像データの画素の値又は探索用画素の値を繰り返し演算していく。
こうして出力バッファ５２４に出力された動きベクトル情報が、画像データとしてＤＣＴ部１１２に供給される。また複雑度演算回路５２６は、上述のように複雑度Ｅｃを求めて、該複雑度Ｅｃをホスト２１０に対して出力できるようになっている。
このような動き検出部１１４のシーケンサ５００には、スキップフラグレジスタ１３２のスキップフラグ情報が入力される。そしてスキップフラグ情報がセット状態に設定されたとき、シーケンサ５００は、動き検出演算部５１０の内部状態を初期状態に戻す。即ち、スキップフラグレジスタ１３２がセットされると、動き検出部１１４は動き検出処理を直ちに中止することができるようになっている。
本実施形態では、上述のようにＦＩＦＯバッファ部３０を有しているにも関わらず、ＦＩＦＯバッファ部３０のアクセス回数から符号化データのデータサイズを予測データサイズとして予測し、該予測データサイズに基づきビットレートを制御できる。しかも、所定のビットレートを実現できないと判断した場合には、動き検出部１１４の処理を中止して画像データの生成処理をスキップできる。即ち、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズに基づいて現フレームの画像データの生成処理をスキップできるようになる。
図２３において、エンコードＩＣ２００は、ＦＩＦＯ部２０８を含む。ＦＩＦＯ部２０８は、ＦＩＦＯバッファ部３０、カウントレジスタ３２、ＦＩＦＯアクセス部３４を含む。ＦＩＦＯアクセス部３４は、量子化部２０からの量子化データをＦＩＦＯバッファ部３０に書き込む制御を行うと共に、カウントレジスタ３２に保持されるカウントデータを更新する処理を行う。より具体的には、ＦＩＦＯアクセス部３４は、所定のバイト数単位で、量子化データをＦＩＦＯバッファ部３０に書き込む制御を行う。またＦＩＦＯアクセス部３４は、ＦＩＦＯバッファ部３０への書き込み制御を行う毎に、カウントデータをインクリメントしてカウントレジスタ３２を更新する処理を行う。そしてカウントレジスタ３２には、１フレーム分の量子化データがＦＩＦＯバッファ部３０に書き込まれた時点で、該量子化データのデータサイズに対応した書き込み回数（アクセス回数）の情報が保持されることになる。
エンコードＩＣ２００とホスト２１０は、割り込み信号とデータをやり取りすることで、図８や図２２に示す画像データ圧縮装置の機能を実現する。
ホストＩ／Ｆ２０２は、ホスト２１０とのインタフェース処理を行う。より具体的には、ホストＩ／Ｆ２０２は、エンコードＩＣ２００からホスト２１０に対する割り込み信号の生成や、ホスト２１０とエンコードＩＣ２００との間のデータの送受信の制御を行う。ホストＩ／Ｆ２０２は、ＦＩＦＯバッファ部３０、カウントレジスタ３２に接続される。
カメラＩ／Ｆ２０４は、図示しないカメラモジュールからの動画像の入力画像データを入力するためのインタフェース処理を行う。カメラＩ／Ｆ２０４は、動き検出部１１４に接続される。
図示しないカメラモジュールは、撮像により得られた動画像の画像データを、入力画像データとしてエンコードＩＣ２００に供給する。このときカメラモジュールは、入力画像データのフレームの区切りを指定するＶＳＹＮＣ信号（垂直同期信号）もエンコードＩＣ２００に供給する。エンコードＩＣ２００では、カメラＩ／Ｆ２０４がカメラモジュールからのＶＳＹＮＣ信号をＶＳＹＮＣ割り込みとして受け付けると、ホストＩ／Ｆ２０２を介してホスト２１０にカメラＶＳＹＮＣ割り込みとして通知する。これにより、エンコードを開始するのに先立って、ホスト２１０が、所与の付加処理を実施することができるようになる。
図２３において、動き検出が行われる段階では、少なくとも１フレーム分の量子化データがＦＩＦＯバッファ部３０に書き込まれる。動き検出部１１４の動き検出が完了すると、動き検出部１１４は、動き検出完了割り込み（ＭＥ割り込み）を、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。
図２５に、ホスト２１０で行われる割り込み受け付け処理のフローの一例を示す。メモリ２１４には、図２５に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２５に示す処理を実現する。
まず、ＣＰＵ２１２は、割り込み入力を監視している（ステップＳ７０：Ｎ）。そして、ＣＰＵ２１２が、割り込みを検出したとき（ステップＳ７０：Ｙ）、その割り込みがカメラＶＳＹＮＣ割り込みであるか否かを判別する（ステップＳ７１）。
ＣＰＵ２１２が、カメラＶＳＹＮＣ割り込みであると判別したとき（ステップＳ７１：Ｙ）、ソフトウェア起動フラグレジスタ１３０をセットする処理を行う（ステップＳ７２）。
ステップＳ７１において、ＣＰＵ２１２が、カメラＶＳＹＮＣ割り込みではないと判別したとき（ステップＳ７１：Ｎ）、後述するＭＥ割り込みであるか否かを判別する（ステップＳ７３）。
ＣＰＵ２１２が、ＭＥ割り込みであると判別したとき（ステップＳ７３：Ｙ）、後述するＭＥ割り込み処理を実行する（ステップＳ７４）。
ステップＳ７３において、ＣＰＵがＭＥ割り込みではないと判別したとき（ステップＳ７３：Ｎ）、ＣＰＵ２１２が、後述するエンコード完了割り込みであるか否かを判別する（ステップＳ７５）。ＣＰＵ２１２が、エンコード完了割り込みであると判別したとき（ステップＳ７５：Ｙ）、後述するエンコード完了割り込み処理を実行する（ステップＳ７６）。
ステップＳ７５において、ＣＰＵ２１２が、エンコード完了割り込みではないと判別したとき（ステップＳ７５：Ｎ）、所定の割り込み処理を実行する（ステップＳ７７）。
ステップＳ７２、ステップＳ７４、ステップＳ７６又はステップＳ７７に続いて、終了ではないとき（ステップＳ７８：Ｎ）、ステップＳ７０に戻り、終了のとき（ステップＳ７８：Ｙ）、一連の処理を終了する（エンド）。
図２３に戻って、説明を続ける。ホストＩ／Ｆ２０２を介してソフトウェア起動フラグレジスタ１３０が、ホスト２１０によってセットされると、エンコードＩＣ２００ではエンコードが開始される。
動き検出部１１４は、エンコード開始後、最初に取り込まれる入力画像データについては動き検出を行わず、次のフレームの入力画像データが取り込まれてから動き検出を行う。ここで、動き検出の詳細については上述の通りであるため、逆量子化部１１６等の動作についての説明は省略する。動き検出部１１４の動き検出が完了すると、動き検出部１１４は、動き検出完了割り込み（ＭＥ割り込み）を、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。
図２６に、ＭＥ割り込み処理のフローの一例を示す。メモリ２１４には、図２６に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２６に示す処理を実現する。
このＭＥ割り込み処理は、図２５のステップＳ７４で行われる。
ＭＥ割り込みが検出されると、ＣＰＵ２１２は、ホストＩ／Ｆ２０２を介して、動き検出部１１４で生成される複雑度Ｅｃを読み出す（ステップＳ８０）。この複雑度Ｅｃは、図６に示す式に従って動き検出部１１４で生成される。
続いてＣＰＵ２１２は、量子化パラメータＱｃを求める（ステップＳ８１）。より具体的には、ＣＰＵ２１２は、図１３〜図１７で説明したように量子化パラメータＱｃの値を求める。
次にＣＰＵ２１２は、フレームスキップ処理を行う（ステップＳ８２）。フレームスキップ処理は、図１９、図２０又は図２１に示した処理のいずれかである。各処理におけるフレームスキップ設定（ステップＳ１１４、Ｓ１２２、Ｓ１３２）は、現フレームをスキップする判断がされたという意味で、ソフトウェアフラグを設定するだけの処理である。
その後、フレームスキップ処理の結果、ソフトウェアフラグが設定された場合（ステップＳ８３：Ｙ）、ホストＩ／Ｆ２０２を介してスキップフラグレジスタ１３２をＣＰＵ２１２がセットし（ステップ８４）、ソフトウェアフラグが設定されていない場合（ステップＳ８３：Ｎ）、ステップＳ８１で求めた量子化パラメータＱｃの値を、ホストＩ／Ｆ２０２を介して、量子化パラメータ設定レジスタ２０５に設定する。（ステップＳ８５）
ステップＳ８４及びＳ８５の後は、一連の処理を終了する（エンド）。
図２３に戻って、説明を続ける。エンコードＩＣ２００は、スキップフラグレジスタ１３２がセットされると、動き検出部１１４が初期化され、現在のフレームの画像データの生成処理がスキップされる。
一方、エンコードＩＣ２００は、量子化パラメータ設定レジスタ２０６に量子化パラメータＱｃの値が設定されたことにより、ＤＣＴ部１１２の処理を開始する。そして上述のように量子化部２０では、量子化パラメータ設定レジスタ２０６に設定された量子化パラメータと、図示しない量子化テーブルの量子化ステップ値とを用いて、ＤＣＴ部１１２によって生成されたＤＣＴ係数（広義には画像データ）を量子化する。その結果である量子化データは、ＦＩＦＯバッファ部３０に書き込まれる。
このとき、ＦＩＦＯアクセス部３４は、当該フレーム内においてＦＩＦＯバッファ部３０への書き込みが発生する毎にカウントデータをインクリメントしてカウントデータを更新する。そして、ＦＩＦＯバッファ部３０への量子化データの書き込みが完了すると、ＦＩＦＯ部２０８は、１フレームのエンコード処理が終了したことを示すエンコード完了割り込みを、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。
図２７に、エンコード完了割り込み処理のフローの一例を示す。メモリ２１４には、図２７に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２７に示す処理を実現する。
エンコード完了割り込み処理は、図２５に示すステップＳ７６で行われる。
ＣＰＵ２１２がエンコード完了割り込みを検出すると、カウントレジスタ３２に保持されたカウントデータを読み出す（ステップＳ９０）。続いて、図１６に示すように、ステップＳ９０で読み出されたカウントデータをｘ０として、予測データサイズｙ０を求め、所定のテンポラリ領域に保存する（ステップＳ９１）。
次に、処理実行フラグＰＦＬＧが０であるか否かを判別する（ステップＳ９２）。処理実行フラグＰＦＬＧは、符号化データの生成処理（図１（Ａ）のステップＳ７〜Ｓ９の処理）を実行中か否かを示すフラグである。処理実行フラグＰＦＬＧが０ではないと判別したとき（ステップＳ９２：Ｎ）、符号化データ生成部４０の処理を実行中と判断し、一連の処理を終了する（エンド）。
ステップＳ９２において、処理実行フラグＰＦＬＧが０であると判別したとき（ステップＳ９２：Ｙ）、符号化データの生成処理を実行する。
この符号化データの生成処理では、まず処理実行フラグＰＦＬＧを１に設定する（ステップＳ９３）。これにより、該生成処理の処理中に、エンコード完了割り込みが発生した場合でも、次のフレームの符号化データの生成処理の実行を待たせることができる。
そして、ＦＩＦＯバッファ部３０から所定のバイト数単位で１フレームの量子化データを読み出す（ステップＳ９４）。
そしてＣＰＵ２１２は、マクロブロック単位で、ＤＣ／ＡＣ予測処理（ステップＳ９５）、スキャン処理（ステップＳ９６）及び可変長符号化処理（ステップＳ９７）を行って符号化データを生成する。
次にＣＰＵ２１２は、ステップＳ９７で生成した符号化データにマクロブロックヘッダを付加する。このようにして得られた符号化データを１ＶＯＰ（Video Object Plane）分行って、既に求められた量子化パラメータを基にＧＯＶヘッダやＶＯＰヘッダを生成し（ステップＳ９８）、所定のフレーム数分のエンコードが終了したらＭＰＥＧ−４ファイルとして出力する（ステップＳ９９）。
そして、ステップＳ９９に続いて、処理実行フラグＰＦＬＧを０に設定し（ステップＳ１００）、一連の処理を終了する（エンド）。
以上のようにして、ハードウェア処理部１１０とソフトウェア処理部１５０とに分担して、画像データの圧縮処理を行う。
以上のようなエンコードＩＣ２００のレートコントロールを行うために、本実施形態では、ホスト２１０が次のような１次変換を行う処理式を記憶しておき、上述のようなレートコントロールを行う。
図２８に、カウントデータと予測データサイズとの関係図を示す。
ここでは、ビットレートが６４キロビット毎秒（ｂｐｓ）、フレームレートが１５フレーム毎秒（ｆｐｓ）、画像サイズＱＣＩＦ（１７６×１４４ピクセル）とし、横軸をＦＩＦＯバッファ部３０のアクセス回数を示すカウントデータ、縦軸をＶＬＣ符号化後の符号化データのデータサイズ（バイト数）の実測値を示している。
このように、カウントデータと符号化データのデータサイズとの関係が線形関係にあることがわかる。
図２８に示す実測値に基づいて、（１）式において、例えばａを４／５、ｂを（１３．５６２５×９９×８）とすることで、図２８に示す線形関係を近似的に表現できる。従って、この１次変換式を用いて、予測データサイズを容易に求めることができる。
３．３ 効果
次に、本実施形態の比較例との対比において、本実施形態の効果について説明する。上述のような画像データの圧縮処理についてハードウェアとソフトウェアに分担させる場合、両者の処理能力を吸収するＦＩＦＯバッファ部３０が必要とされる。このような場合に、上述のレートコントロール方式を実現する比較例として、本実施形態と異なり、過去の複数フレームの符号化データのデータサイズに基づいて量子化ステップを変化させることが考えられる。
図２９に、本実施形態の比較例における画像データ圧縮装置の構成の概要のブロック図を示す。比較例における画像データ圧縮装置２５０において、図８に示す本実施形態における画像データ圧縮装置１０と同一部分には同一符号を付し、適宜説明を省略する。
本実施形態における画像データ圧縮装置１０に対して、比較例における画像データ圧縮装置２５０では、レートコントロール部２５２が、Ｎ（Ｎは２以上の整数）フレーム分の符号化データの平均データサイズに基づいて、量子化部２０の量子化ステップを変化させるようになっている。
即ち、比較例では、レートコントロール部２５２は、量子化部２０で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化して平均データサイズを求め、該平均データサイズに基づいて、量子化ステップを変化させる。例えば、量子化部２０で量子化される画像データが第Ｌ（Ｌは正の整数）フレーム目であるとき、レートコントロール部２５２は、第Ｌフレームより過去のＮフレーム分の第（Ｌ−Ｐ）（但し、Ｌ＞Ｐ、Ｐは正の整数）フレーム目〜第（Ｌ−Ｐ−Ｎ＋１）（但し、Ｌ−Ｐ＞Ｎ−１）フレーム目までの符号化データのデータサイズを平均化して求めた平均データサイズに基づいて、量子化ステップを変化させる。
図３０に、比較例におけるレートコントロールの手法の説明図を示す。但し、図２９に示す画像データ圧縮装置２５０と同一部分には同一符号を付し、適宜説明を省略する。
図３１に、図３０に示すレートコントロール手法の動作タイミングの模式図を示す。
量子化部２０は、時刻ｔ１、ｔ２、・・・において、フレーム単位で画像データを量子化し、量子化データを第１のフレームＦ１、第２のフレームＦ２、・・・の順にＦＩＦＯバッファ部３０に書き込む。符号化データ生成部４０は、ＦＩＦＯバッファ部３０への量子化データの書き込みタイミングとは非同期で、ＦＩＦＯバッファ部３０から量子化データをフレーム単位で読み出し、符号化処理を行う。
そしてレートコントロール部２５２が、量子化部２０で量子化される画像データのフレーム（現在のフレーム）より過去の例えば４（Ｎ＝４）フレーム分の各フレームの符号化データのデータサイズを平均化して求めた平均データサイズに基づいて、量子化部２０の量子化ステップを変化させる。これにより、量子化部２０で量子化された量子化データのサイズが変化し、この結果として符号化データ生成部４０が生成する符号化データのサイズも変化する。
図３１では、符号化データ生成部４０がＦＩＦＯバッファ部３０から第１〜第４のフレームＦ１〜Ｆ４の量子化データを順次読み出して、各フレームの符号化データをそれぞれ生成して出力している。このとき量子化部２０が第７のフレームＦ７の画像データの量子化を行うものとする。
レートコントロール部２５２は、第１〜第４のフレームＦ１〜Ｆ４の各フレームの符号化データのサイズを記憶しており、第１〜第４のフレームＦ１〜Ｆ４における各フレームの符号化データのサイズの平均値を平均データサイズとして求める。そして図６及び図７で説明したように、レートコントロール部２５２は、この平均データサイズを用いて第７のフレームＦ７のエンコードに使用する符号量を算出して、量子化パラメータＱｃを求める。この結果、量子化部２０は、第７のフレームＦ７の画像データの量子化を、第１〜第４のフレームＦ１〜Ｆ７の符号化データのデータサイズの平均値に基づいて求められた量子化パラメータＱｃと量子化テーブル２２の量子化ステップ値との積を用いて量子化する。この量子化結果が、ＦＩＦＯバッファ部３０に書き込まれる。こうして、所望のレートで、符号化データを生成できるようになる。
ここで、比較例と本実施形態における画像データ圧縮装置に設けられるＶＢＶバッファの空き容量の変化を比較する。
図３２に、比較例における画像データ圧縮装置２５０に設けられるＶＢＶバッファの空き容量の変化の一例を示すシミュレーション結果を示す。
図３３に、本実施形態における画像データ圧縮装置１０に設けられるＶＢＶバッファの空き容量の変化の一例を示すシミュレーション結果を示す。
図３２及び図３３では、横軸にフレーム数、縦軸にＶＢＶバッファの空き容量のビット数を示している。
ここでは、ＶＢＶバッファがオーバーフローしたりアンダーフローしたりしないように符号化データを生成するため、ＶＢＶバッファの空き容量が所定の閾値（約１１００００ビット）を下回ると、フレームスキップが実行される。空き容量が少なくなるタイミングで、そのフレームにおいてエンコード処理が行われたことを示している。また空き容量が多くなるタイミングで、エンコード処理結果がＶＢＶバッファに出力されないことを示している。こうして所定の空き容量を維持できるように符号化データを生成することで、一定のレートを実現する。
図３２及び図３３では、全フレーム数が１５０、ビットレートが６４キロビット毎秒（ｋｂｐｓ）、フレームレートが１５フレーム毎秒（ｆｐｓ）、ＶＢＶバッファサイズが３２７６８０ビット、閾値が１０９２２６ビット、比較例において過去４フレーム分の符号化データの平均データサイズを用いるものとする。このような条件下で、図３２及び図３３では、当初の動きが少なく、次第に動きが激しくなる動画の画像データをエンコードした場合のシミュレーション結果を示している。
図３２に示す比較例では、閾値の１０９２２６ビット付近に着目すると、空き容量が閾値を下回っているにもかかわらず、エンコード処理が行われており、一定のレートを実現するレートコントロールの精度がそれほど高いものではないことを示している。これは、過去の４フレーム分の平均データサイズを用いているため、レートコントロールの結果が反映されるフレームが１〜２フレーム遅れてしまうためである。
これに対して、図３３に示す本実施形態では、ほぼ閾値付近になるように空き容量が維持される。これは、予測データサイズの予測の精度が高いことを意味する。即ち、１フレーム前のＦＩＦＯバッファ部３０への書き込み回数を１次変換することにより予測データサイズを求める精度が高いことを意味し、また該予測データサイズに基づくビットレートの制御の精度が高いことを意味する。従って、比較例との対比において、本実施形態では、ＶＢＶバッファのオーバーフローを発生させる可能性も低いことがわかる。
４． 表示コントローラ
本実施形態におけるエンコードＩＣの機能は、表示コントローラに適用できる。
図３４に、本実施形態における表示コントローラの構成例のブロック図を示す。
表示コントローラ３００は、カメラＩ／Ｆ３１０と、エンコード処理部３２０と、メモリ３３０と、ドライバＩ／Ｆ３４０と、制御部３５０と、ホストＩ／Ｆ３６０とを含む。
カメラＩ／Ｆ３１０は、図示しないカメラモジュールに接続される。このカメラモジュールは、撮像により得られた動画像の入力画像データをＹＵＶフォーマットで出力すると共に、１フレームの区切りを指定する同期信号（例えばＶＳＹＮＣ信号）を出力する。カメラＩ／Ｆ３１０は、カメラモジュールで生成された動画像の入力画像データを受信するためのインタフェース処理を行う。
エンコード処理部３２０は、図２３のエンコードＩＣ２００のうちホストＩ／Ｆ２０２及びカメラＩ／Ｆ２０４の機能を省略したものである。即ち、エンコード処理部３２０は、図２３に示す量子化部２０、ＦＩＦＯ部２０８、ＤＣＴ部１１２、動き検出部１１４、逆量子化部１１６、逆ＤＣＴ部１１８、動き補償部１２０、量子化パラメータ設定レジスタ２０６、ソフトウェア起動フラグレジスタ１３０、スキップフラグレジスタ１３２の各部の機能を有する。
メモリ３３０は、エンコード処理部３２０の出力である符号化データを記憶する。またメモリ３３０は、表示パネルに表示するための画像データを記憶しており、ドライバＩ／Ｆ３４０は、メモリ３３０から所定の周期で画像データを読み出し、該画像データを、表示パネルを駆動する表示ドライバに対して供給する。ドライバＩ／Ｆ３４０は、表示ドライバに対して画像データを送信するためのインタフェース処理を行う。
制御部３５０は、カメラＩ／Ｆ３１０、エンコード処理部３２０、メモリ３３０及びドライバＩ／Ｆ３４０の制御を司る。制御部３５０は、例えばホストＩ／Ｆ３６０を介して図示しないホストからの指示に従って、カメラモジュールからの入力画像データの受信処理、該入力画像のエンコード処理、符号化データのメモリ３３０への書き込み処理、メモリ３３０からの表示用の画像データの読み出し処理、表示ドライバへの該画像データの送信処理を行う。
図３５に、図３４に示す表示コントローラが適用される電子機器の構成例のブロック図を示す。ここでは、電子機器として、携帯電話機の構成例のブロック図を示す。但し、図３４と同一部分には同一符号を付し、適宜説明を省略する。
携帯電話機４００は、カメラモジュール４１０を含む。カメラモジュール４１０は、ＣＣＤ（Charge-Coupled device）カメラを含み、ＣＣＤカメラで撮像した画像のデータを、ＹＵＶフォーマットで表示コントローラ３００に供給する。
携帯電話機４００は、表示パネル４２０を含む。表示パネル４２０として、液晶表示パネルを採用できる。この場合、表示パネル４２０は、表示ドライバ４３０によって駆動される。表示パネル４２０は、複数の走査線、複数のデータ線、複数の画素を含む。表示ドライバ４３０は、複数の走査線の１又は複数本単位で走査線を選択する走査ドライバの機能を有すると共に、画像データに対応した電圧を複数のデータ線に供給するデータドライバの機能を有する。
表示コントローラ３００は、表示ドライバ４３０に接続され、表示ドライバ４３０に対して画像データを供給する。
ホスト４４０は、表示コントローラ３００に接続される。ホスト４４０は、表示コントローラ３００を制御する。またホスト４４０は、アンテナ４６０を介して受信された画像データを、変復調部４５０で復調した後、表示コントローラ３００に対して供給できる。表示コントローラ３００は、この画像データに基づき、表示ドライバ４３０により表示パネル４２０に表示させる。
またホスト４４０は、図２３に示すホスト２１０の機能を有する。ホスト４４０は、カメラモジュール４１０で生成された画像データをエンコード処理部３２０でエンコードして変復調部４５０で変調した後、アンテナ４６０を介して他の通信装置への送信を指示できる。このとき、表示コントローラ３００は、カメラモジュール４１０で生成された画像データをエンコードし、エンコードして得られた符号化データをホスト４４０に出力できる。
ホスト４４０は、操作入力部４７０からの操作情報に基づいて画像データの送受信処理、エンコード処理、カメラモジュール４１０の撮像、表示パネルの表示処理を行う。
なお、図３５では、表示パネル４２０として液晶表示パネルを例に説明したが、これに限定されるものではない。表示パネル４２０は、エレクトロクミネッセンス、プラズマディスプレイ装置であってもよく、これらを駆動する表示ドライバに画像データを供給する表示コントローラに適用できる。
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
図１（Ａ）、（Ｂ）はＭＰＥＧ−４のエンコード処理とデコード処理の説明図。 マクロブロックの説明図。 ＤＣＴ係数の一例の説明図。 量子化テーブルの一例の説明図。 量子化されたＤＣＴ係数の一例の説明図。 レートコントロール方式で用いられるモデル式の説明図。 図６に示すモデル式を用いたレートコントロールの処理の一例のフロー図。 本実施形態の画像データ圧縮装置の構成の概要のブロック図。 予測データサイズの説明図。 本実施形態におけるレートコントロールの手法の説明図。 図１０に示すレートコントロール手法の動作タイミングの模式図。 量子化パラメータ、符号化データのデータサイズ及びブロックノイズの関係の模式図。 量子化パラメータの算出処理の一例の前半のフロー図。 量子化パラメータの算出処理の一例の後半のフロー図。 量子化パラメータの算出処理で用いられる変数の説明図。 エンコードに使用したビット数の値の算出処理の一例のフロー図。 量子化パラメータの調整処理の一例のフロー図。 本実施形態の量子化処理の説明図。 本実施形態のスキップ処理の一例のフロー図。 本実施形態のスキップ処理の他の例のフロー図。 本実施形態のスキップ処理の更に他の例のフロー図。 本実施形態の画像データ圧縮装置の詳細な機能ブロック図。 図２２の画像データ圧縮装置のハードウェア構成例を示す図。 図２３の動き検出部のハードウェア構成例を示す図。 ホストで行われる割込受け付け処理の一例のフロー図。 ＭＥ割り込み処理の一例のフロー図。 エンコード完了割り込み処理の一例のフロー図。 本実施形態におけるカウントデータと予測データサイズとの関係を示す図。 本実施形態の比較例における画像データ圧縮装置の構成の概要のブロック図。 比較例におけるレートコントロールの手法の説明図。 図３０に示すレートコントロール手法の動作タイミングの模式図。 比較例におけるＶＢＶバッファの空き容量の変化を示す図。 本実施形態におけるＶＢＶバッファの空き容量の変化を示す図。 本実施形態における表示コントローラの構成例のブロック図。 図３４の表示コントローラが適用される電子機器の構成例のブロック図。
符号の説明
１０、１００ 画像データ圧縮装置、 ２０ 量子化部、 ３０ ＦＩＦＯバッファ部、４０ 符号化データ生成部、 ５０ レートコントロール部、
６０ フレームスキップ部、 ７０ 画像データ処理部、
１１０ ハードウェア処理部、 １１２ 離散コサイン変換（ＤＣＴ）部、
１１４ 動き検出部、 １１６ 逆量子化部、
１１８ 逆離散コサイン変換（ｉＤＣＴ）部、 １２０ 動き補償部、
１５０ ソフトウェア処理部、 １５２ ＤＣ／ＡＣ予測部、 １５４ スキャン部、
１５６ ＶＬＣ符号化部

Claims (11)

  1. 画像データを圧縮するための画像データ圧縮装置であって、
    量子化パラメータに基づいて変化する量子化ステップで画像データを量子化することで増減されるゼロデータを含む量子化データを生成するための量子化部と、
    前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記量子化データのデータサイズを求める手段と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    フレーム毎に、前記量子化部の量子化ステップを変化させて符号化データのデータサイズを制御するレートコントロール部と、
    前記量子化部に供給される画像データの生成処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記量子化部が、
    前記画像データを表すビット数を減らした量子化データを生成し、
    前記量子化データのデータサイズを求める手段が、
    前記量子化部が前記ＦＩＦＯバッファ部に対して行った量子化データの書き込み回数又は前記ＦＩＦＯバッファ部からの量子化データの読み出し回数に基づいて前記データサイズを求め、
    前記レートコントロール部が、
    現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、
    前記予測データサイズは、前記１フレーム前の量子化データのデータサイズを変数とする、前記符号化データに付加されるヘッダのサイズ分を補正する１次変換の変換値として求められ、
    前記ＦＩＦＯバッファ部に格納された複数フレーム分の量子化データのうち１フレーム分の量子化データが読み出されることを条件に、前記量子化ステップを変化させて該量子化ステップに基づき次のフレームの量子化データを生成し、該量子化データを前記ＦＩＦＯバッファ部に書き込み、
    前記フレームスキップ部が、
    前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が複雑度閾値以上の場合に、前記スキップ処理を行い、
    前記複雑度が前記複雑度閾値より小さい場合に、前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行い、前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続しないとき、ＶＢＶバッファの空き容量が所与のバッファサイズより小さくなったことを条件に前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  2. 請求項１において、
    前記レートコントロール部が、
    前記予測データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように量子化パラメータを求めることを特徴とする画像データ圧縮装置。
  3. 請求項２において、
    前記レートコントロール部が、
    前記予測データサイズを用いて、前記量子化パラメータ上限閾値以下で、かつその値が設定可能な量子化パラメータ下限閾値以上となるように前記量子化パラメータを求めることを特徴とする画像データ圧縮装置。
  4. 請求項１乃至３のいずれかにおいて、
    前記量子化部が前記ＦＩＦＯバッファ部に対して行った量子化データの書き込み回数又は前記ＦＩＦＯバッファ部からの量子化データの読み出し回数に対応したカウントデータが保持されるカウントレジスタを含み、
    前記レートコントロール部が、
    前記カウントデータから前記予測データサイズを求めることを特徴とする画像データ圧縮装置。
  5. 請求項１乃至４のいずれかにおいて、
    量子化ステップ値を記憶する量子化テーブルを含み、
    前記レートコントロール部が、
    前記量子化パラメータと前記量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させることを特徴とする画像データ圧縮装置。
  6. 請求項１乃至５のいずれかにおいて、
    離散コサイン変換された前記画像データを、フレーム単位で前記量子化部に供給する離散コサイン変換部を含むことを特徴とする画像データ圧縮装置。
  7. 請求項１乃至６のいずれかにおいて、
    動画像の画像データをハードウェアにより処理するハードウェア処理部と、
    前記ＦＩＦＯバッファ部から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成するソフトウェア処理部とを含み、
    前記ハードウェア処理部が、
    前記量子化部と、前記ＦＩＦＯバッファ部と、前記量子化データのデータサイズを求める手段とを含み、
    前記ソフトウェア処理部が、
    前記符号化データ生成部、前記レートコントロール部及び前記フレームスキップ部を含むことを特徴とする画像データ圧縮装置。
  8. 画像データに対して圧縮処理を行うエンコーダであって、
    画像データを入力するためのインタフェース処理を行う画像入力インタフェースと、
    量子化パラメータに基づいて変化する量子化ステップで前記画像データを量子化することで増減されるゼロデータを含む量子化データを生成するための量子化部と、
    前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記量子化データのデータサイズを求める手段と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で、前記ＦＩＦＯバッファ部に記憶された量子化データを読み出すホストとのインタフェース処理を行うホストインタフェースと、
    前記画像データの生成処理をスキップするためのスキップフラグレジスタとを含み、
    前記量子化部が、
    前記画像データを表すビット数を減らした量子化データを生成し、
    前記量子化データのデータサイズを求める手段が、
    前記量子化部が前記ＦＩＦＯバッファ部に対して行った量子化データの書き込み回数又は前記ＦＩＦＯバッファ部からの量子化データの読み出し回数に基づいて前記データサイズを求め、
    前記ホストが、
    現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、
    前記予測データサイズは、前記１フレーム前の量子化データのデータサイズを変数とする、前記符号化データに付加されるヘッダのサイズ分を補正する１次変換の変換値として求められ、
    前記ホストが、前記ＦＩＦＯバッファ部に格納された複数フレーム分の量子化データのうち１フレーム分の量子化データを読み出すことを条件に前記量子化ステップを変化させ、
    該量子化ステップに基づき次のフレームの量子化データが生成され、該量子化データが前記ＦＩＦＯバッファ部に書き込まれ、
    前記ホストが、
    前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が複雑度閾値以上の場合に、前記スキップフラグレジスタをセットし、
    前記複雑度が前記複雑度閾値より小さい場合に、前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップフラグレジスタをセットし、前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続しないとき、ＶＢＶバッファの空き容量が所与のバッファサイズより小さくなったことを条件に前記スキップフラグレジスタをセットし、
    前記スキップフラグレジスタがセットされたとき、現在のフレームの画像データの生成処理がスキップされることを特徴とするエンコーダ。
  9. 請求項１乃至７のいずれか記載の画像データ圧縮装置を含むことを特徴とする電子機器。
  10. 請求項８記載のエンコーダを含むことを特徴とする電子機器。
  11. 画像データを圧縮するための画像データ圧縮方法であって、
    フレーム単位で画像データを量子化することで増減されるゼロデータを含む量子化データであって、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、
    前記予測データサイズを用いて量子化パラメータを求め、
    前記現在のフレームの画像データを、前記量子化パラメータに基づいて変化する量子化ステップで量子化して、該画像データを符号化した符号化データのデータサイズを変化させ、
    前記量子化ステップで量子化され前記画像データを表すビット数を減らした量子化データは、複数フレーム分の量子化データを記憶するＦＩＦＯバッファ部に格納され、
    前記量子化データのデータサイズは、前記ＦＩＦＯバッファ部に対して行った量子化データの書き込み回数又は前記ＦＩＦＯバッファ部からの量子化データの読み出し回数に基づいて求められ、
    前記予測データサイズは、前記１フレーム前の量子化データのデータサイズを変数とする、前記符号化データに付加されるヘッダのサイズ分を補正する１次変換の変換値として求められ、
    前記ＦＩＦＯバッファ部に格納された複数フレーム分の量子化データのうち１フレーム分の量子化データを読み出すことを条件に前記量子化ステップを変化させ、該量子化ステップに基づき次のフレームの量子化データを生成し、該量子化データを前記ＦＩＦＯバッファ部に書き込み、
    量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が複雑度閾値以上の場合に、前記画像データの生成処理をスキップさせるスキップ処理を行い、
    前記複雑度が前記複雑度閾値より小さい場合に、前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行い、前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続しないとき、ＶＢＶバッファの空き容量が所与のバッファサイズより小さくなったことを条件に前記スキップ処理を行うことを特徴とする画像データ圧縮方法。
JP2004139754A 2004-05-10 2004-05-10 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法 Expired - Fee Related JP3846488B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004139754A JP3846488B2 (ja) 2004-05-10 2004-05-10 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
US11/124,806 US7688890B2 (en) 2004-05-10 2005-05-09 Image data compression device, encoder, electronic equipment and method of compressing image data
US12/704,921 US8325802B2 (en) 2004-05-10 2010-02-12 Image data compression device, encoder, electronic equipment and method of compressing image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004139754A JP3846488B2 (ja) 2004-05-10 2004-05-10 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法

Publications (2)

Publication Number Publication Date
JP2005323167A JP2005323167A (ja) 2005-11-17
JP3846488B2 true JP3846488B2 (ja) 2006-11-15

Family

ID=35239427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004139754A Expired - Fee Related JP3846488B2 (ja) 2004-05-10 2004-05-10 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法

Country Status (2)

Country Link
US (2) US7688890B2 (ja)
JP (1) JP3846488B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4040052B2 (ja) * 2005-05-24 2008-01-30 株式会社日立国際電気 画像データ圧縮装置
ES2327152T3 (es) * 2006-07-13 2009-10-26 Axis Ab Memoria intermedia de video de pre-alarma mejorada.
WO2008149448A1 (ja) * 2007-06-07 2008-12-11 Fujitsu Limited 動画像類似判定装置、符号化装置、および特徴量算出方法
JP5127314B2 (ja) * 2007-06-19 2013-01-23 キヤノン株式会社 通信装置、通信装置の制御方法及びプログラム
US8982947B2 (en) * 2007-07-20 2015-03-17 The Hong Kong University Of Science And Technology Rate control and video denoising for noisy video data
US8472529B2 (en) * 2007-09-14 2013-06-25 General Instrument Corporation Estimating complexity of video frames for encoding
JP2009162918A (ja) * 2007-12-28 2009-07-23 Toshiba Microelectronics Corp 復号再生装置及び方法並びに受信装置
JP5039976B2 (ja) * 2008-03-24 2012-10-03 株式会社メガチップス トランスコーダ
JP5179306B2 (ja) * 2008-09-22 2013-04-10 Ｋｄｄｉ株式会社 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
US20100132007A1 (en) * 2008-11-25 2010-05-27 Cisco Technology, Inc. Accelerating channel change time with external picture property markings
US8683515B2 (en) * 2008-11-25 2014-03-25 Cisco Technology, Inc. Receiver for accelerating channel change time
JP5369973B2 (ja) * 2009-08-03 2013-12-18 日本電気株式会社 データ符号化／復号方法および装置
WO2011138900A1 (ja) * 2010-05-06 2011-11-10 日本電信電話株式会社 映像符号化制御方法および装置
EP2568705B1 (en) 2010-05-07 2018-09-26 Nippon Telegraph And Telephone Corporation Moving image encoding control method, moving image encoding apparatus and moving image encoding program
WO2011142279A1 (ja) * 2010-05-13 2011-11-17 シャープ株式会社 符号化装置、復号装置、およびデータ構造
JP2012010263A (ja) 2010-06-28 2012-01-12 Sony Corp 符号化装置、撮像装置、符号化伝送システムおよび符号化方法
KR20120026350A (ko) * 2010-09-09 2012-03-19 삼성전자주식회사 데이터 파일 전송 방법 및 시스템
WO2013010315A1 (en) * 2011-07-18 2013-01-24 Technicolor (China) Technology Co., Ltd. Method and device for encoding rotational data, corresponding decoding method and device and storage medium carrying encoded rotational data
CN102769752B (zh) * 2012-07-25 2014-12-10 北京汉王智通科技有限公司 一种jpeg图像压缩方法和系统
CN103024387B (zh) * 2012-12-17 2015-12-09 宁波大学 一种基于感知的多视点视频码率控制方法
GB2518909B (en) * 2013-12-16 2015-10-28 Imagination Tech Ltd Encoder adaptation
CN106254868B (zh) * 2016-08-19 2019-08-27 浙江宇视科技有限公司 视频编码码率控制方法、装置及系统
CN107015788B (zh) * 2016-10-19 2020-10-30 创新先进技术有限公司 在移动设备上动画展现图像的方法和装置
KR102629474B1 (ko) * 2018-05-09 2024-01-26 삼성전자주식회사 데이터 압축 및 복원을 위한 전자 장치 및 그 압축 방법
WO2021086024A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 색공간 변환을 이용하여 레지듀얼 처리를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06268997A (ja) 1993-03-16 1994-09-22 Olympus Optical Co Ltd 動画像圧縮装置
JPH0723385A (ja) 1993-06-21 1995-01-24 Nec Corp 高能率符号化装置
JPH0712752A (ja) 1993-06-25 1995-01-17 Sony Corp 液晶パネルの試験方法および試験装置
JPH07312752A (ja) 1994-05-16 1995-11-28 Sony Corp 符号化装置
US5729294A (en) * 1995-04-05 1998-03-17 International Business Machines Corporation Motion video compression system with novel adaptive quantization
KR100323441B1 (ko) * 1997-08-20 2002-06-20 윤종용 엠펙2동화상부호화/복호화시스템
JPH11122623A (ja) 1997-10-15 1999-04-30 Mega Chips Corp 画像符号化装置
KR100450746B1 (ko) * 2001-12-15 2004-10-01 한국전자통신연구원 계층탐색 기반의 혼합형 움직임 추정 장치 및 방법

Also Published As

Publication number Publication date
US8325802B2 (en) 2012-12-04
US20050249287A1 (en) 2005-11-10
US20100183233A1 (en) 2010-07-22
JP2005323167A (ja) 2005-11-17
US7688890B2 (en) 2010-03-30

Similar Documents

Publication Publication Date Title
JP3846488B2 (ja) 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
US7688891B2 (en) Image data compression device, encoder, electronic apparatus, and method of compressing image data
US20050254579A1 (en) Image data compression device, electronic apparatus and image data compression method
US9420279B2 (en) Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method
JP5893002B2 (ja) ビデオ符号化におけるレート制御
EP3284253B1 (en) Rate-constrained fallback mode for display stream compression
US10284849B2 (en) Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
JP6449329B2 (ja) ディスプレイストリーム圧縮（ｄｓｃ）において量子化パラメータ（ｑｐ）を選択するためのシステムおよび方法
US10873763B2 (en) Video compression techniques for high dynamic range data
JP4063205B2 (ja) 画像データ圧縮装置及びエンコーダ
JP4063204B2 (ja) 画像データ圧縮装置及びエンコーダ
US20160301945A1 (en) Image compression/decompression device
US11343513B2 (en) Image encoding method and decoding method, encoder, decoder, and storage medium
US20050249280A1 (en) Image data compression apparatus, enencoder electronic equipment, and image data compression method
US20120195364A1 (en) Dynamic mode search order control for a video encoder
JP4063202B2 (ja) 画像データ圧縮装置及びエンコーダ
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
JP4063203B2 (ja) 画像データ圧縮装置及びエンコーダ
KR100366382B1 (ko) 동영상 부호화 장치 및 방법

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20050812

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060123

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060814

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090901

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110901

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130901

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees