JP4063204B2 - 画像データ圧縮装置及びエンコーダ - Google Patents

画像データ圧縮装置及びエンコーダ Download PDF

Info

Publication number
JP4063204B2
JP4063204B2 JP2003391089A JP2003391089A JP4063204B2 JP 4063204 B2 JP4063204 B2 JP 4063204B2 JP 2003391089 A JP2003391089 A JP 2003391089A JP 2003391089 A JP2003391089 A JP 2003391089A JP 4063204 B2 JP4063204 B2 JP 4063204B2
Authority
JP
Japan
Prior art keywords
image data
unit
data
quantization
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003391089A
Other languages
English (en)
Other versions
JP2005159443A (ja
Inventor
嘉政 近藤
恭一 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003391089A priority Critical patent/JP4063204B2/ja
Priority to US10/981,690 priority patent/US7369705B2/en
Publication of JP2005159443A publication Critical patent/JP2005159443A/ja
Application granted granted Critical
Publication of JP4063204B2 publication Critical patent/JP4063204B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、画像データ圧縮装置及びエンコーダに関する。
静止画像又は動画像の画像データや音声データといったマルチメディア情報に対する汎用的な符号化方式として、ＭＰＥＧ−４（Moving Picture Experts Group Phase 4）が規格化されている。近年の携帯機器は、このＭＰＥＧ−４の規格に準拠した画像データのエンコード及びデコードを実現し、動画像の再生やネットワークを介した送受信ができる。
ＭＰＥＧ−４の規格では、動画像の画像データをエンコードした圧縮データを、一定のレートで生成する必要がある。ところが、動画像の画像データを圧縮する場合、画像データの種類に依存して圧縮効率が大きく変動してしまう。非特許文献１には、この変動を所定の範囲に収めるように、発生する符号量を制御することで、一定のレートで圧縮データを生成するレートコントロール方式が述べられている。
MPEG-4 Visual Part(勧告書ISO/IEC 14496-2:1999(E) Annex L)
ＭＰＥＧ−４のエンコード（圧縮）処理を行う場合、一連の処理をすべてハードウェアにより実施することが考えられる。しかしながら、この場合、回路規模が大きくなり、ＩＣ（半導体装置、集積回路）化した場合の小型化を図ることが困難となる。特に携帯電話機等の携帯機器では、機器の小型化への要請に応えられない。
一方、エンコードの一連の処理を、すべてソフトウェアを用いて実施することが考えられる。しかしながら、この場合、ソフトウェアを処理するＣＰＵ（Central Processing Unit）の負荷が増大してしまう。そのため、ＣＰＵが他の処理に費やす時間に制約が生じ、このＣＰＵを搭載する機器のパフォーマンスを低下させてしまう。またＣＰＵの処理時間の増加を招き、消費電力が大きくなってしまう。特に携帯電話機等の携帯機器では、バッテリの消耗を抑えるための低消費電力化への要請に応えられない。
そこで、エンコードの一連の処理をハードウェアとソフトウェアとに分担させることが考えられる。しかしながら、本発明者の検討の結果、エンコードの一連の処理についてハードウェアとソフトウェアとの分担の最適化を図る場合、非特許文献１に開示されたレートコントロール方式を実施できないということが判明した。従って、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化と、一定レートでの圧縮データの生成とを両立できないという問題がある。
また非特許文献１に述べられているレートコントロール方式では、圧縮データの生成レートをコントロールできたとしても、該圧縮データを伸張した画像にはブロックノイズが表示されることが多く、表示品質を劣化させる場合があるという問題がある。
その一方で表示品質の劣化を防止するために圧縮データの量が増え、所望のレートを維持できない場合も生ずるという問題もある。
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化を図り、表示品質の劣化を防止しながら、一定レートで確実に圧縮データの生成を行う画像データ圧縮装置及びエンコーダを提供することにある。
上記課題を解決するために本発明は、画像データを圧縮するための画像データ圧縮装置であって、画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、前記レートコントロール部が、前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、前記フレームスキップ部が、フレームごとに求められる前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行う画像データ圧縮装置に関係する。
本発明においては、量子化部と符号化データ生成部との間にＦＩＦＯバッファ部を設けている。こうすることで、量子化部と符号化データ生成部との処理を非同期で、かつ並列に動作させることができる。そして、符号化データ生成部による符号化データの生成のレートを制御する場合、レートコントロール部が、量子化部で量子化される画像データのフレームより過去の複数フレーム分の符号化データのデータサイズを平均化した平均データサイズを用いて、量子化部の量子化ステップを変化させるようにしている。
これにより、量子化部と符号化データ生成部との処理を非同期で行うように構成した結果、非特許文献１に開示されたレートコントロール方式を実施できない場合であっても、符号化データの生成のレートを制御でき、一定のレートで画像データを圧縮した符号化データを生成できるようになる。
そしてフレームスキップ部を設け、量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、スキップ処理を行うようにしている。従って、上述のレートコントロールの実施したとしても、画像（特に自然画像ではない画像）によっては符号化データのサイズが増加してビットレートを確実に維持できなくなるような場合に、フレームごとに生成される符号化データの増加量を抑え、ビットレートを維持させることができるようになる。
また本発明は、画像データを圧縮するための画像データ圧縮装置であって、画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、前記レートコントロール部が、前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、前記フレームスキップ部が、前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が、複雑度閾値以上のとき、前記スキップ処理を行う画像データ圧縮装置に関係する。
本発明においては、量子化部と符号化データ生成部との間にＦＩＦＯバッファ部を設けている。こうすることで、量子化部と符号化データ生成部との処理を非同期で、かつ並列に動作させることができる。そして、符号化データ生成部による符号化データの生成のレートを制御する場合、レートコントロール部が、量子化部で量子化される画像データのフレームより過去の複数フレーム分の符号化データのデータサイズを平均化した平均データサイズを用いて、量子化部の量子化ステップを変化させるようにしている。
これにより、量子化部と符号化データ生成部との処理を非同期で行うように構成した結果、非特許文献１に開示されたレートコントロール方式を実施できない場合であっても、符号化データの生成のレートを制御でき、一定のレートで画像データを圧縮した符号化データを生成できるようになる。
そしてフレームスキップ部を設け、動き検出の際に求められたり、量子化パラメータの算出の際に用いられる複雑度が、複雑度閾値のとき、スキップ処理を行うようにしている。従って、上述のレートコントロールの実施したとしても、画像（特に自然画像ではない画像）によっては符号化データのサイズが増加してビットレートを確実に維持できなくなるような場合に、フレームごとに生成される符号化データの増加量を抑え、ビットレートを維持させることができるようになる。
また本発明に係る画像データ圧縮装置では、前記レートコントロール部が、前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように量子化パラメータを求めることができる。
本発明によれば、量子化パラメータ上限閾値以下となるように量子化パラメータを求めるようにしたので、画質を劣化させない程度に、量子化データのサイズを小さくして符号化データのサイズを小さくできるようになる。しかも、上述のようにスキップ処理を行うことができるので、一定のビットレートも維持できる。
また本発明に係る画像データ圧縮装置では、前記ＦＩＦＯバッファ部から読み出された量子化データが、１フレーム内で符号化されるフレーム内符号化マクロブロックのデータのとき、前記レートコントロール部が、該量子化データを符号化した符号化データのデータサイズを、前記平均データサイズとして求めることができる。
本発明によれば、量子化部と符号化データ生成部との処理を非同期で行うように構成した結果、非特許文献１に開示されたレートコントロール方式を実施できない場合であっても、Ｉピクチャのように前のフレームの画像データとの連続性がないときに、符号化データの生成のレートを適切に制御でき、一定のレートで画像データを圧縮した符号化データを生成できるようになる。
また本発明に係る画像データ圧縮装置では、前記レートコントロール部が、前記平均データサイズを用いて、前記量子化パラメータ上限閾値以下で、かつその値が設定可能な量子化パラメータ下限閾値以上となるように前記量子化パラメータを求めることができる。
本発明では、レートコントロール部が、量子化パラメータ上限閾値以下となるように量子化パラメータを求めるようにしている。一般的に、量子化パラメータの値を大きくするほど、画像データを大きく間引いて量子化データのサイズを小さくし、符号化データのサイズを小さくできる。その反面、該符号化データをデコードした画像にはブロックノイズが目立つようになる。従って、本発明によれば、上述のようにレートコントロールを実施したとしても、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ事態を回避できるようになる。
またレートコントロール部が、量子化パラメータ下限閾値以上となるように量子化パラメータを求めるようにしている。一般的に、量子化パラメータの値を小さくするほど、画像データの間引き量が少なくなって量子化データのサイズを大きくなる。その反面、該符号化データをデコードした画像にはブロックノイズが少なくなる。従って、本発明によれば、上述のようにレートコントロールを実施したとしても、無駄にデータサイズを大きくすることがなくなる。
従って、本発明によれば、圧縮効率と画質との最適化を図るレートコントロールを容易に実現できる。
また本発明に係る画像データ圧縮装置では、前記レートコントロール部が、前記量子化部がＭ（Ｍ≧Ｎ、Ｍは整数）フレーム分の画像データを所定の量子化ステップで量子化した後に前記平均データサイズを求めることができる。
本発明によれば、過去のＮフレーム分の符号化データのデータサイズの平均値が正確でないような場合に、不要なレートコントロールが行われて画質を劣化させることを防止できる。
また本発明に係る画像データ圧縮装置では、量子化ステップ値を記憶する量子化テーブルを含み、前記レートコントロール部が、前記量子化パラメータと前記量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させることができる。
また本発明に係る画像データ圧縮装置では、離散コサイン変換された前記画像データを、フレーム単位で前記量子化部に供給する離散コサイン変換部を含むことができる。
また本発明に係る画像データ圧縮装置では、動画像の画像データをハードウェアにより処理するハードウェア処理部と、前記ＦＩＦＯバッファ部から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成するソフトウェア処理部とを含み、前記ハードウェア処理部が、前記画像データ処理部と、前記ＦＩＦＯバッファ部とを含み、前記ソフトウェア処理部が、前記符号化データ生成部、前記レートコントロール部及び前記フレームスキップ部を含むことができる。
ここで、量子化された動画像データは、ゼロデータが圧倒的に多く、量子化前のデータと比較すればデータの情報量の種類が圧倒的に少ない場合が多い。しかも、一般的に符号化のための演算自体の負荷も少ない。よって、情報量が少なく演算負荷の軽い処理をソフトウェア処理部で処理しても、その処理の負荷は小さい。逆に、量子化の処理の多くは、情報量が多い上に演算も複雑で、ソフトウェアで処理するには負荷が大きい。そして、これらは負荷が重い処理ではあるが、規格化されている場合には、変更の必要性は乏しく、また、繰り返し処理が多いため、ハードウェア処理部での処理に適している。また、ハードウェア処理部での処理後のデータ量が少ないので、ハードウェア処理部からソフトウェア処理部に伝送されるデータ量が少なく、伝送負荷も軽くなる。また、ソフトウェア処理部とハードウェア処理部との間には、ＦＩＦＯバッファ部が介在するので、ソフトウェア処理とハードウェア処理とを並列的に処理することができる。更に、ソフトウェア処理とハードウェア処理とを使い分けることで、装置の小型化と消費電力の低減の双方を実現できる。
また本発明に係る画像データ圧縮装置では、前記ハードウェア処理部が、現在のフレームの入力画像データと現在のフレームの１フレーム前の過去画像データとの差分を動きベクトル情報として出力し、該動きベクトル情報に対して離散コサイン変換を行って前記画像データとして前記量子化部に出力し、前記量子化データに対して前記量子化ステップで逆量子化して求められる逆量子化データに基づいて、前記過去画像データを生成することができる。
また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データを可変長符号に符号化することができる。
また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することができる。
また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データからＤＣ成分及びＡＣ成分とを求め、前記ＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することができる。
また本発明は、画像データに対して圧縮処理を行うエンコーダであって、画像データを入力するためのインタフェース処理を行う画像入力インタフェースと、前記画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で、前記ＦＩＦＯバッファ部に記憶された量子化データを読み出すホストとのインタフェース処理を行うホストインタフェースと、前記ホストが前記圧縮処理を起動するためのソフトウェア起動フラグレジスタとを含み、前記ホストが、前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、該量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続しないことを条件に、前記ソフトウェア起動フラグレジスタをセットし、前記画像データ処理部が、前記ソフトウェア起動フラグレジスタがセットされたとき、前記圧縮処理を開始するエンコーダに関係する。
また本発明は、画像データに対して圧縮処理を行うエンコーダであって、画像データを入力するためのインタフェース処理を行う画像入力インタフェースと、前記画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で、前記ＦＩＦＯバッファ部に記憶された量子化データを読み出すホストとのインタフェース処理を行うホストインタフェースと、前記ホストが前記圧縮処理を起動するためのソフトウェア起動フラグレジスタとを含み、前記ホストが、前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、前記量子化部で量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分情報が複雑度閾値より小さいことを条件に、前記ソフトウェア起動フラグレジスタをセットし、前記画像データ処理部が、前記ソフトウェア起動フラグレジスタがセットされたとき、前記圧縮処理を開始するエンコーダに関係する。
本発明によれば、例えば撮像部からの動画像の画像データを圧縮するためのエンコードの処理を、エンコーダとホストとに分担させることができる。従って、上述のエンコードの処理の量子化と符号化データの生成とを並列的に実行することができる。更に、エンコーダとホストとを使い分けることで、このエンコーダを搭載する装置の小型化と消費電力の低減の双方を実現できる。
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
１． ＭＰＥＧ−４
まずＭＰＥＧ−４のエンコード処理について簡単に説明する。またこのエンコード処理によって符号化された圧縮データを伸張するためのデコード処理についても説明する。
図１（Ａ）、（Ｂ）に、ＭＰＥＧ−４のエンコード処理と、デコード処理の説明図を示す。この処理の詳細については、例えば日本実業出版社の「JPEG&MPEG 図解でわかる画像圧縮技術」（越智宏、黒田英夫の共著）に説明されているので、本発明に関する処理についてのみ主として説明する。
図１（Ａ）に示すエンコード処理では、まず、連続する２枚（２フレーム）の画像間の動き検出（ＭＥ：Motion Estimation）が実施される（ステップＳ１）。具体的には２枚の画像間の同一画素同士の差分を求める。２枚の画像間で変化のない画像領域では差分が０になるので、情報量を少なくできる。この画像領域のゼロデータに加え、２枚の画像間で変化のある画像領域の差分（プラス・マイナス成分）が動き検出後の情報となる。
次に、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）が実施される（ステップＳ２）。この離散コサイン変換（ＤＣＴ）は、図２に示す８画素×８画素の１ブロック単位で演算され、１ブロック毎にＤＣＴ係数を求めるものである。離散コサイン変換後のＤＣＴ係数は、１ブロック内の画像の濃淡変化を、全体の明るさ（ＤＣ成分）と空間周波数（ＡＣ成分）とで表わしたものである。図３は、８画素×８画素の１ブロック内のＤＣＴ係数の一例を示している（上述の図書の第１１６頁の図５−６を引用）。その左上隅のＤＣＴ係数がＤＣ成分を示し、それ以外のＤＣＴ係数がＡＣ成分を示す。なお、ＡＣ成分のうち、高周波成分を省略しても画像認識への影響が少ない。
次に、ＤＣＴ係数の量子化が行われる（ステップＳ３）。この量子化は、１ブロック内の各ＤＣＴ係数を、量子化テーブル中の対応する位置の量子化ステップ値で除算して、情報量を少なくするために実施される。例えば、図３のＤＣＴ係数を図４の量子化テーブルを用いて量子化した１ブロック内のＤＣＴ係数を図５に示す（上述の図書の第１１７頁の図５−９及び図５−１０を引用）。図５に示す通り、特に、高周波成分のＤＣＴ係数を量子化ステップ値で除算し、その小数点以下を四捨五入すると、ほとんどがゼロデータとなり、情報量が大幅に減少している。
このエンコード処理には、現フレームと該現フレームの次のフレームとの間で上述の動き検出（ＭＥ）を実施するために、帰還ルートが必要となる。この帰還ルートでは、図１（Ａ）に示すように、逆量子化（ｉＱ）、逆ＤＣＴ及び動き補償（ＭＣ：Motion Compensation）が実施される（ステップＳ４〜Ｓ６）。なお、動き補償の詳細な動作については省略するが、この処理は図２に示す１６画素×１６画素の１マクロブロック単位で実施される。
本実施形態では、上述したステップＳ１〜Ｓ６の処理が、ハードウェアによって実施される。
図１（Ａ）のステップＳ７で実施されるＤＣ／ＡＣ（直流／交流成分）予測処理及びステップＳ８で実施されるスキャン処理は、共にステップＳ９の可変長符号（ＶＬＣ：Variable Length Code）の符号化の効率を高めるために必要な処理である。なぜなら、ステップＳ９の可変長符号への符号化は、ＤＣ成分については隣接ブロック間での差分を符号化し、ＡＣ成分についてはブロック内を周波数が低い側から高い側に向けてスキャン（ジグザグスキャンとも称する）して符号化の順序を決める必要があるからである。
ステップＳ９の可変長符号への符号化とは、エントロピー符号化とも称され、符号化原理として、出現頻度の多いものは少ない符号で表すように符号化するものである。ステップＳ７、ステップＳ８での結果を利用して、ＤＣ成分について隣接ブロック間での差分を符号化し、ＡＣ成分についてはスキャンされた順番で低周波側から高周波側から順にＤＣＴ係数値を符号化する。
ここで、画像データは、その画像の複雑さや動きの激しさによって情報の発生量が変動する。この変動を吸収し、一定の伝送レートで伝送するには符号発生量の制御が必要であり、これがステップＳ１０のレートコントロールである。レートコントロールのために通常バッファメモリが設けられ、そのバッファメモリがオーバーフローしないように蓄積情報量を監視し、情報発生量を抑えるようにする。具体的には、ステップＳ３での量子化特性を粗くして、ＤＣＴ係数値を表すビット数を減らしている。
本実施形態では、上述したステップＳ７〜Ｓ１０の処理が、ソフトウェアによって実施される。即ち、ステップＳ７〜Ｓ１０の処理が、ソフトウェアを読み込んだハードウェアによって実現される。
図１（Ｂ）は、図１（Ａ）のエンコード処理によって圧縮された画像データのデコード処理を示す。このデコード処理は図１（Ａ）のエンコード処理を逆順でかつ逆処理することで達成される。なお、図１（Ｂ）中の「ポストフィルタ」とは、ブロックノイズを消去するためのフィルタである。また図１（Ｂ）中の「ＹＵＶ／ＲＧＢ変換」とは、ポストフィルタの出力を、ＹＵＶフォーマットからＲＧＢフォーマットに変換することを指す。
２． レートコントロール
次に、図１（Ａ）に示すステップＳ１０で実施されるレートコントロールに関し、非特許文献１に記載される手法について簡単に説明する。この手法では、エンコード時の量子化パラメータを変化させる。量子化パラメータを変化させることで、図１（Ａ）に示す量子化（ステップＳ３）の量子化ステップを変化させて量子化特性を変化させ、発生する符号量（データのサイズ）を制御する。
この手法では、フレームごとに量子化パラメータＱｃを設定して、１フレームを符号化したときの発生符号量Ｒの制御を行う。このとき、図６に示すモデル式に従って、量子化パラメータＱｃを求める。
図６において、Ｒは１フレームを符号化しときの発生符号量、Ｑｃは量子化パラメータ、Ｅｃはフレームの複雑度、Ｘ１、Ｘ２は本モデルのパラメータを示す。フレームの複雑度Ｅｃは、符号化対象とする画素の絶対値平均を用いる。ここでフレーム間符号化マクロブロックに関しては、フレームの複雑度Ｅｃは、現フレームと該現フレームの前のフレームとの差分値ｘ´ｉｊの絶対値の総和を面積Ａで除した値として、動き検出後に求められる。フレーム内符号化マクロブロックに関しては、現フレームと基準値μとの差分値の絶対値（｜ｘｉｊ−μ｜）の総和を面積Ａで除した値として求められる。なお基準値μは、マクロブロック内の全画素の平均値とすることができる。
このように、図６では、発生符号量はフレームの複雑度と量子化パラメータの逆数の２次式とによってモデル化される。
図７に、図６に示すモデル式を用いたレートコントロールの処理フローの一例を示す。
まず、初期フレームを、所定の量子化パラメータを用いてエンコードする（ステップＳ３０）。次に、モデルパラメータＸ１、Ｘ２の初期値を設定する（ステップＳ３１）。続いて、現フレームの複雑度Ｅｃを算出する（ステップＳ３２）。複雑度Ｅｃは、図６に示す式を用いて求めることができる。そして、エンコードに使用する符号量を、使用可能な残りの符号量及び前フレームで使用した符号量を基に求める（ステップＳ３３）。
更に、ステップＳ３１で設定されたモデルパラメータＸ１、Ｘ２、ステップＳ３２で求められた複雑度Ｅｃを、図６に示すモデル式に設定する。また、ステップＳ３３で求められたエンコードに使用する符号量から、前フレームで使用したビット数のうちヘッダや動きベクトル等の情報以外のビット数を減算した値を、１フレームを符号化したときの発生符号量Ｒとして図６に示すモデル式に設定する。そして、図６に示すパラメータをＱｃとする２次方程式を解いて、量子化パラメータＱｃを求める（ステップＳ３４）。
次に、ステップＳ３４で求められた量子化パラメータＱｃを用いてフレームの量子化と符号化とを行って（ステップＳ３５）、現フレームの１フレーム前にエンコードしたフレームの量子化パラメータと発生符号量等とを基に、図６に示すモデル式からモデルパラメータＸ１、Ｘ２を求めて更新する（ステップＳ３６）。
所定の条件でこの処理フローを終了するとき（ステップＳ３７：Ｙ）、一連の処理を終了し（エンド）、終了しないとき（ステップＳ３７：Ｎ）、ステップＳ３２に戻る。以上のような処理を毎フレーム行う。
このように非特許文献１に記載されるレートコントロール方式では、１フレーム前のエンコード結果を次のフレームのエンコードに反映させる必要がある。
３． 画像データ圧縮装置
ところで本実施形態は、上述したエンコードの一連の処理をハードウェアとソフトウェアとに分担させ、この分担の最適化を図る画像データ圧縮装置を提供するものである。
図８に、本実施形態における画像データ圧縮装置の構成の概要のブロック図を示す。
本実施形態における画像データ圧縮装置１０は、量子化部２０を有する画像データ処理部７０を含む。画像データ処理部７０は、フレーム単位に入力される画像データを圧縮するための処理を行う。量子化部２０は、図１（Ａ）に示すステップＳ３の処理を行う。量子化部２０は、画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する。量子化部２０では、フレームごとに設定される量子化パラメータが設定される。ここで画像データは、例えば図１（Ａ）に示すステップＳ２のＤＣＴ処理後のＤＣＴ係数により表わすことができる。この場合、図３に示すＤＣＴ係数が、図４に示す量子化テーブルの量子化ステップ値と量子化パラメータとの積で除算され、図５に示すように量子化される。
画像データ圧縮装置１０は、ＦＩＦＯバッファ部３０を含む。ＦＩＦＯバッファ部３０には、量子化部２０によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされる。フレーム単位で量子化部２０から出力される量子化データは、ＦＩＦＯバッファ部３０に順次書き込まれる。そしてＦＩＦＯバッファ部３０は、先入れ先出し記憶回路として機能する。
画像データ圧縮装置１０は、符号化データ生成部４０を含む。符号化データ生成部４０は、ＦＩＦＯバッファ部３０から１フレーム分の量子化データを読み出し、該量子化データを符号化した符号化データを生成する。この符号化データ生成部４０は、ＦＩＦＯバッファ部３０への書き込みと非同期で、ＦＩＦＯバッファ部３０から１フレーム分の量子化データを読み出す。
このように量子化部２０を含む画像データ処理部７０と符号化データ生成部４０との間にＦＩＦＯバッファ部３０を設けることで、処理負荷の重い量子化部２０の処理をハードウェアに負担させ、処理負荷の軽い符号化データ生成部４０の符号化処理をソフトウェア処理で実現させると共に、両者の処理を並列に処理できるようになる。
以下では、量子化部２０（画像データ処理部７０）が例えば高速なハードウェアによって実現され、符号化データ生成部４０が例えば低速なソフトウェア処理によって実現されるものとして説明するが、これに限定されるものではなく、符号化データ生成部４０が、ＦＩＦＯバッファ部３０への書き込みと非同期でＦＩＦＯバッファ部３０から量子化データを読み出す場合に本実施形態を適用することができる。従って、量子化部２０（画像データ処理部７０）が例えば高速なハードウェアによって実現され、符号化データ生成部４０が例えば低速なハードウェアによって実現されてもよい。或いは量子化部２０（画像データ処理部７０）と符号化データ生成部４０がソフトウェアを読み込むハードウェアによって実現され、互いに非同期で処理するようにしてもよい。
画像データ圧縮装置１０は、レートコントロール部５０を含む。レートコントロール部５０は、符号化データ生成部４０によって生成された符号化データのデータサイズを用いて、量子化部２０の量子化ステップを変化させて符号化データのデータサイズを制御する。図５より明らかなように、量子化ステップを大きくすれば、量子化されたＤＣＴ係数のゼロデータが増える。一方、量子化ステップを小さくすれば、量子化されたＤＣＴ係数のゼロデータが減る。こうしてゼロデータが増減される量子化データは、ＦＩＦＯバッファ部３０に書き込まれる。その結果、ＦＩＦＯバッファ部３０から読み出した量子化データを、符号化データ生成部４０が符号化した符号化データのサイズも、量子化パラメータに応じて変更できるようになる。
上述のように非特許文献１に記載されたレートコントロール方式では、１フレーム前のエンコード結果を次のフレームのエンコードに反映させる必要がある。ところが、量子化部２０の量子化と符号化データ生成部４０の符号化とを、ハードウェアとソフトウェアとに分担させるようにすると、互いに非同期で処理されることになる。そのため、ＦＩＦＯバッファ部３０で読み出された量子化データが、量子化部２０で量子化されるデータの２フレーム以上過去のフレームのデータとなってしまうことがある。このため、１フレーム前のエンコード結果を次のフレームのエンコードに反映させた非特許文献１に記載されたレートコントロール方式を実現できなくなる。
そこで本実施形態では、レートコントロール部５０は、量子化部２０で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化して平均データサイズを求め、該平均データサイズを用いて量子化パラメータを求める。この量子化パラメータに基づいて、量子化部２０の量子化ステップを変化させる。例えば、量子化部２０で量子化される画像データが第Ｌ（Ｌは正の整数）フレーム目であるとき、レートコントロール部５０は、第Ｌフレームより過去のＮフレーム分の第（Ｌ−Ｐ）（但し、Ｌ＞Ｐ、Ｐは正の整数）フレーム目〜第（Ｌ−Ｐ−Ｎ＋１）（但し、Ｌ−Ｐ＞Ｎ−１）フレーム目までの符号化データのデータサイズを平均化して求めた平均データサイズを用いて、量子化ステップを変化させる。
また画像データ圧縮装置１０は、フレームスキップ部６０を含む。フレームスキップ部６０は、画像データ処理部７０において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する画像データ処理部７０の処理をスキップさせるスキップ処理を行う。即ち、フレームスキップ部６０は、画像データ処理部７０の現フレームに対する処理を行わせないようにし、現フレームの符号化データの生成を中止させる。
本実施形態では、レートコントロール部５０のレートコントロールの結果、符号化データのデータサイズが大きくなって一定のビットレートを維持できない場合に、フレームスキップ部６０がスキップ処理を行う。
そのため、フレームスキップ部６０は、フレームごとに求められる量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、スキップ処理を行う。或いは、フレームスキップ部６０は、量子化部２０によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分情報に対応した複雑度が、複雑度閾値以上のとき、スキップ処理を行う。こうすることで、フレームスキップ部６０は、毎フレーム生成される符号化データの増加量を抑え、ビットレートを維持させることができるようになる。
まずレートコントロール部５０が行うレートコントロールについて説明する。
図９に、本実施形態におけるレートコントロールの手法の説明図を示す。但し、図８に示す画像データ圧縮装置１０と同一部分には同一符号を付し、適宜説明を省略する。なお図９では、ＦＩＦＯバッファ部３０が、７フレーム分の量子化データを記憶できるものとする。
図１０に、図９に示すレートコントロール手法の動作タイミングの模式図を示す。
量子化部２０は、フレーム単位で画像データを量子化する。例えば図４に示す量子化ステップ値が設定された量子化テーブル２２を設ける。そして、量子化部２０は、量子化テーブル２２に設定された量子化ステップ値とレートコントロール部５０からの量子化パラメータとに基づいて、フレーム単位で画像データを量子化する。より具体的には、量子化パラメータを量子化ステップ値の係数とし、量子化部２０が、該量子化パラメータと量子化ステップ値との積を用いて量子化を行うことで、量子化ステップを変化させる。
量子化部２０は、時刻ｔ１、ｔ２、・・・において、フレーム単位で画像データを量子化し、量子化データを第１のフレームＦ１、第２のフレームＦ２、・・・の順にＦＩＦＯバッファ部３０に書き込む。符号化データ生成部４０は、ＦＩＦＯバッファ部３０への量子化データの書き込みタイミングとは非同期で、ＦＩＦＯバッファ部３０から量子化データをフレーム単位で読み出し、符号化処理を行う。
そしてレートコントロール部５０が、量子化部２０で量子化される画像データのフレーム（現在のフレーム）より過去の例えば４（Ｎ＝４）フレーム分の各フレームの符号化データのデータサイズを平均化して求めた平均データサイズを用いて、量子化部２０の量子化ステップを変化させる。これにより、量子化部２０で量子化された量子化データのサイズが変化し、この結果として符号化データ生成部４０が生成する符号化データのサイズも変化する。
図１０では、符号化データ生成部４０がＦＩＦＯバッファ部３０から第１〜第４のフレームＦ１〜Ｆ４の量子化データを順次読み出して、各フレームの符号化データをそれぞれ生成して出力している。このとき量子化部２０が第７のフレームＦ７の画像データの量子化を行うものとする。
レートコントロール部５０は、第１〜第４のフレームＦ１〜Ｆ４の各フレームの符号化データのサイズを記憶しており、第１〜第４のフレームＦ１〜Ｆ４における各フレームの符号化データのサイズの平均値を平均データサイズとして求める。そして図６及び図７で説明したように、レートコントロール部５０は、この平均データサイズを用いて第７のフレームＦ７のエンコードに使用する符号量を算出して、量子化パラメータＱｃを求める。この結果、量子化部２０は、第７のフレームＦ７の画像データの量子化を、第１〜第４のフレームＦ１〜Ｆ７の符号化データのデータサイズの平均値を用いて求められた量子化パラメータＱｃと量子化テーブル２２の量子化ステップ値との積を用いて量子化する。この量子化結果が、ＦＩＦＯバッファ部３０に書き込まれる。こうして、所望のレートで、符号化データを生成できるようになる。
このようなレートコントロール方式では、データサイズが急激に変化する場合にも、一定のレートを維持できるようにしなければならない。従って、Ｎの値が小さくなると、データサイズが例えば１フレームだけ急激に変化した場合にも追従してしまい、その分他のフレームの画質を劣化させてしまう。一方、Ｎの値が大きくなると、データサイズが例えば１フレームだけ急激に変化した場合に、量子化ステップがほとんど変化しなくなる。
ところで、データサイズが急激に変化する一例として、Ｉ（Intra-coded）ピクチャ（１フレーム内で符号化されるフレーム内符号化マクロブロックを有するフレーム）の画像データが入力される場合がある。この場合は、過去のフレームの画像データとの連続性がないため、急激に符号化データを生成するレートが低下することになり、レートコントロールの手法を工夫する必要が生ずる。
本実施形態では、ＦＩＦＯバッファ部３０から読み出された量子化データが、１フレーム内で符号化されるフレーム内符号化マクロブロックのデータのとき、レートコントロール部５０は、該量子化データを符号化した符号化データのデータサイズを、平均データサイズとして求めるようにする。こうすることで、Ｉピクチャのように前のフレームの画像データとの連続性がない場合でも、適切に追従できるようになる。
またレートコントロール部５０は、量子化部２０がＭ（Ｍ≧Ｎ、Ｍは整数）フレーム分の画像データを所定の量子化ステップ（予め決められた量子化ステップ）で量子化した後に、上述の平均データサイズを求め、該平均データサイズを用いて量子化ステップを変化させるようにしてもよい。こうすることで、過去のＮフレーム分の符号化データのデータサイズの平均値が正確でないような場合に、不要なレートコントロールが行われて画質を劣化させることを防止できる。
また上述のようにレートコントロールを実施したとしても、エンコード対象の画像によっては、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ場合も想定される。これは、非特許文献１に述べられているレートコントロール方式により、圧縮データの生成レートをコントロールしたとしても、該圧縮データを伸張した画像にはブロックノイズが表示されることが多く、表示品質を劣化させる場合があるからである。
図１１に、量子化パラメータ、符号化データのデータサイズ及びブロックノイズの関係を模式的に示す。図１１では、横軸が量子化パラメータを表わし、縦軸がデータサイズ及びブロックノイズを表わす。なお、非特許文献１に記載されるレートコントロール方式では、量子化パラメータＱｃの値の範囲が１〜３１である。
図１１に示すように、量子化パラメータの値を大きくするほど、画像データを大きく間引いてＤＣＴ係数をゼロデータにすることになり量子化データのサイズを小さくし、符号化データのサイズを小さくできる。その反面、該符号化データをデコードした画像にはブロックノイズが目立つようになる。即ち、データサイズが小さいほど、ブロックノイズが多くなる。
そこで本実施形態では、量子化パラメータＱｃの値が一定値より大きくならないように、量子化パラメータ上限閾値QcUpperLimitを設けている。この量子化パラメータ上限閾値QcUpperLimitの値は、レートコントロールに先立って設定される。従って、レートコントロール部５０は、量子化部２０で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように量子化パラメータを求める。このように、Ｑｃ≦QcUpperLimitとすることにより、上述のようにレートコントロールを実施したとしても、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ事態を回避できるようになる。
一方、量子化パラメータの値を小さくするほど、画像データを間引く量が小さくなり、ＤＣＴ係数のゼロデータが少なくなる。そのため量子化データのサイズが大きくなり、符号化データのサイズも大きくなる。その反面、該符号化データをデコードした画像にはブロックノイズが少なくなる。即ち、データサイズが大きいほど、ブロックノイズが少なくなる。例えば量子化パラメータＱｃの値が１のとき、デコードした画像を最高画質にできるが、１フレーム分の符号化データとして使用されるデータ量が膨大となってしまう。このとき、人間の眼では確認できないような撮像部のノイズもすべて残った状態となる。
そこで本実施形態では、量子化パラメータＱｃの値が一定値より小さくならないように、量子化パラメータ下限閾値QcLowerLimitを設けている。この量子化パラメータ下限閾値QcLowerLimitの値は、レートコントロールに先立って設定される。従って、レートコントロール部５０は、量子化部２０で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求める。このように、Ｑｃ≧QcLowerLimitとすることにより、上述のようにレートコントロールを実施したとしても、無駄にデータサイズを大きくすることがなくなる。
以上のように、レートコントロール部５０は、平均データサイズを用いて量子化パラメータ上限閾値QcUpperLimit以上となるように又は量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるようにしてもよいが、これに限定されるものではない。
レートコントロール部５０は、上述のように平均データサイズを用いて、量子化パラメータ上限閾値QcUpperLimit以下で、かつ量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるようにしてもよい。この場合、量子化パラメータＱｃの値を、図１１に示す範囲RangeQcとすることで、データサイズの範囲RangeDataとすることができ、圧縮効率と画質との最適化を図るレートコントロールを容易に実現できる。
ところで、フレームごとに圧縮処理を行っていると、画像（特に自然画像ではない画像）によっては符号化データのサイズが増加し、ビットレートを確実に維持できない可能性がある。特に、上述のように量子化パラメータＱｃの量子化パラメータ上限閾値QcUpperLimitを設けた場合には、画質劣化を防止できる反面、個々のフレームでの符号化データのサイズが増加せざるを得ず、ビットレートの維持を阻害する可能性が高くなる。
そのため本実施形態では、フレームスキップ部６０が、上述のように一定の条件で、スキップ処理を行う点で、有効である。特に、量子化パラメータ上限閾値QcUpperLimit以下となるように量子化パラメータＱｃを求めたときに、フレームスキップ部６０が、該量子化パラメータＱｃがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、スキップ処理を行うことで、画質の劣化を防止する一方で、確実にビットレートを維持できる。或いは、量子化パラメータ上限閾値QcUpperLimit以下となるように量子化パラメータＱｃを求めたときに、フレームスキップ部６０が、量子化部２０によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分情報に対応した複雑度が、複雑度閾値以上のとき、スキップ処理を行うことで、画質の劣化を防止する一方で、確実にビットレートを維持できる。
３．１ 量子化パラメータＱｃの算出処理
次に、レートコントロール部５０で行われる量子化パラメータＱｃの算出処理について具体的に説明する。
以下では、平均データサイズを用いて、量子化パラメータ上限閾値QcUpperLimit以下で、かつ量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるものとする。
図１２及び図１３に、量子化パラメータＱｃの算出処理のフローの一例を示す。ここでは、図１４に示す量子化パラメータＱｃの算出処理で用いられる変数の説明図を参照しながら、図１２及び図１３に示すフローを説明する。図１２及び図１３に示すフローが、毎フレーム行われる。
まず前フレームで使用したビット数Ｓを算出する（ステップＳ４０）。ここで、変数Ｓに、前フレームで求められた、エンコードに使用したビット数（現フレームのエンコードに使用したビット数）Ｒｃの値が設定される。
図１５に、エンコードに使用したビット数Ｒｃの値の算出処理のフローの一例を示す。ここでは、エンコード対象の画像データが、フレーム内符号化マクロブロックのものか否かを判別する（ステップＳ６０）。そして、フレーム内符号化マクロブロックのものであると判別されたとき（ステップＳ６０：Ｙ）、過去のＮフレーム分の各符号化データのデータサイズを、現フレームの符号化データのデータサイズに置き換える（ステップＳ６１）。
そして、ステップＳ６０で、フレーム内符号化マクロブロックのものではない、即ちフレーム間符号化マクロブロックのものであると判別されたとき（ステップＳ６０：Ｎ）、或いはステップＳ６１に続いて、変数Ｒｃの値が求められる（ステップＳ６２）。
ステップＳ６２では、過去の第ｋ（ｋは自然数）のフレームの符号化データのデータサイズをｆｓ（ｋ）とし、過去のＮフレーム分の各符号化データのデータサイズの総和をフレーム数Ｎで割って、変数Ｒｃの値を求めている。変数Ｒｃの値が、平均データサイズである。
なお、過去のＮフレーム分の各フレームは、現フレームを基準に少なくとも２フレーム以上前のフレームである。
こうして求められた変数Ｒｃの値は、次のフレームで変数Ｓに設定される。
図１２に戻って、説明を続ける。変数Ｓの値が求められると、現フレームに割り当てるビット数Ｔを求める（ステップＳ４１）。ステップＳ４１では、残りの使用可能ビット数Ｒｒと、残りにエンコードフレーム枚数Ｎｒとにより、１フレーム当たりの平均割り当てビット数（Ｒｒ／Ｎｒ）を求め、その値と前フレームの割り当てビット数Ｓとの比で、現フレームに割り当てられるビット数Ｔを求める。ステップＳ４１では、例えば０．９５：０．０５となっている。そして、現フレームに割り当てられるビット数Ｔが、下限値であるＲｓ／３０の値を下回らないようにする。
次に、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと、ＦＩＦＯバッファ部３０のビット数Ｂｓとの比から、現フレームに割り当てられるビット数Ｔを調整する（ステップＳ４２）。この結果、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂが、ＦＩＦＯバッファ部３０のビット数Ｂｓの半分より小さい場合は、変数Ｔの値を大きくし、逆に大きい場合は変数Ｔの値を小さくする。
そして、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと変数Ｔの加算値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割を超えたか否かを判別する（ステップＳ４３）。該加算値が変数Ｂｓの値の９割を超えたと判別されたとき（ステップＳ４３：Ｙ）、変数Ｔの値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割から変数Ｂの値を減算した値に設定（クリップ）される（ステップＳ４４）。即ち、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと変数Ｔの加算値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割を超えないように設定される。また、ステップＳ４１と同様に、変数Ｔの値が、下限値であるＲｓ／３０の値を下回らないようにする。
一方、ステップＳ４３において、該加算値が変数Ｂｓの値の９割を超えていないと判別されたとき（ステップＳ４３：Ｎ）、変数Ｔの値は、１フレームあたりの平均発生ビット数Ｒｐから変数Ｂの値を減算し、変数Ｂｓの値の１割を加算した値に設定される（ステップＳ４５）。即ち、変数Ｂｓと変数Ｔの加算値から１フレームあたりの平均発生ビット数Ｒｐを減算した値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの１割を下回らないように設定される。
ステップＳ４４又はステップＳ４５に続いて、変数Ｔの値が、残りの使用可能ビット数Ｒｒより大きくならないように設定する（ステップＳ４６）。次に、フレーム間で極端に変数Ｔの値が変化しないように、変数Ｔの値を調整する（ステップＳ４７）。
次に、量子化パラメータＱｃの値を求めるため、図６に示したモデル式を、変数Ｑｃの２次方程式として解く。そのため図１３に示すように、まず変数ｔｍｐの値を求める（ステップＳ４８）。
ここで、モデルパラメータＸ２が０のとき、或いは変数ｔｍｐの値が負の値のとき（ステップＳ４９：Ｙ）、１次方程式となるモデル式より量子化パラメータＱｃを求める（ステップＳ５０）。ここで、変数Ｒは、現フレームに割り当てられるビット数Ｔから、前のフレームで使用したビット数のうちヘッダ等の情報以外のビット数Ｈｐを減算した値となるため、Ｑｃ＝Ｘ１×Ｅｃ／（Ｔ−Ｈｐ）より求められる。また変数Ｅｃの値は、図６に示したようにフレームの画素の絶対値平均の値である。
ステップＳ４９において、モデルパラメータＸ２が０ではなく、かつ変数ｔｍｐの値が０以上の値のとき（ステップＳ４９：Ｎ）、図６に示すモデル式から導かれる２次方程式の解を、量子化パラメータＱｃの値とする（ステップＳ５１）。
ステップＳ５０又はステップＳ５１に続いて、量子化パラメータＱｃの値が前フレームの量子化パラメータＱｐとの差が２５パーセント以内に収まり、かつ量子化パラメータＱｃの値が１〜３１の値となるように処理する（ステップＳ５２、ステップＳ５３、ステップＳ５４、ステップＳ５５）。ステップＳ５２、ステップＳ５４において、ｃｅｉｌ（ｘ）は、ｘの値を正の方向に切り上げて整数にすることを意味する。
本実施形態では、更にステップＳ５５で求められた量子化パラメータＱｃの値の調整処理を行い（ステップＳ５６）、一連の処理を終了する（エンド）。
図１６に、量子化パラメータＱｃの値の調整処理のフローの一例を示す。
まずステップＳ５５で求められた量子化パラメータＱｃの値が、この調整処理に先立ってその値が設定される量子化パラメータ上限閾値QcUpperLimit以上か否かを判別する（ステップＳ１００）。
量子化パラメータＱｃの値が、量子化パラメータ上限閾値QcUpperLimit以上であると判別されたとき（ステップＳ１００：Ｙ）、量子化パラメータＱｃの値を量子化パラメータ上限閾値QcUpperLimitに設定する（ステップＳ１０１）。
量子化パラメータＱｃの値が量子化パラメータ上限閾値QcUpperLimit以上ではないと判別されたとき（ステップＳ１００：Ｎ）、或いはステップＳ１０１に続いて、量子化パラメータＱｃの値が、この調整処理に先立ってその値が設定される量子化パラメータ下限閾値QcLowerLimit以下であるか否かを判別する（ステップＳ１０２）。
量子化パラメータＱｃの値が、量子化パラメータ下限閾値QcLowerLimit以下であると判別されたとき（ステップＳ１０２：Ｙ）、量子化パラメータＱｃの値を量子化パラメータ下限閾値QcLowerLimitに設定する（ステップＳ１０３）。
量子化パラメータＱｃの値が量子化パラメータ下限閾値QcLowerLimit以下ではないと判別されたとき（ステップＳ１０２：Ｎ）、或いはステップＳ１０３の後では、その時点の量子化パラメータＱｃの値が量子化部２０に供給されることになる（図１６のエンド、図１３のエンド）。
なお図１３及び図１６では、ステップＳ５６において調整処理を行っていたが、これに限定されるものではない。例えば図１３においてステップＳ５６を設けず、ステップＳ５３の３１の値を量子化パラメータ上限閾値QcUpperLimitに置き換え、ステップＳ５５の１の値を量子化パラメータ下限閾値QcLowerLimitに置き換えるようにしてもよい。
以上のようにして求められた量子化パラメータＱｃを量子化部２０に供給することで、量子化部２０の量子化ステップを変化させる。
即ち、例えば図１７に示すように、ＤＣＴ係数により表わされる画像データのＤＣＴ係数Ｄｉｊを、量子化テーブルの対応する位置の量子化ステップ値Ｑｉｊと量子化パラメータＱｃとの積で除算して、量子化されたＤＣＴ係数ｄｉｊを求める。その結果、量子化されたＤＣＴ係数のゼロデータを増減させることができる。
３．２ フレームスキップ
次に、フレームスキップ部６０で行われるスキップ処理について具体的に説明する。
図１８に、フレームスキップ部６０で行われるスキップ処理の一例のフロー図を示す。ここでは、図１２〜図１６で説明したようにレートコントロール部５０において求められた量子化パラメータＱｃに基づいてスキップ処理を行う場合のフローを示す。図１８に示すフローは、フレームごとに行われる。
まず、レートコントロール部５０において求められた量子化パラメータＱｃの値が、スキップ閾値SkipBorderValueより大きいか否かを判別する（ステップＳ１１０）。
量子化パラメータＱｃの値がスキップ閾値SkipBorderValueより大きいと判別されたとき（ステップＳ１１０：Ｙ）、スキップ処理対象のフレームをカウントするためのカウント値Countをインクリメントする（ステップＳ１１１）。量子化パラメータＱｃの値がスキップ閾値SkipBorderValue以下であると判別されたとき（ステップＳ１１０：Ｎ）、カウント値Countに０を設定する（クリアする）（ステップＳ１１２）。
ステップＳ１１１又はステップＳ１１２に続いて、カウント値Countがスキップ連続回数閾値SkipBorderCount以上であるか否かを判別する（ステップＳ１１３）。カウント値Countがスキップ連続回数閾値SkipBorderCount以上であると判別されたとき（ステップＳ１１３：Ｙ）、スキップ処理を行うためのフレームスキップ設定を行う（ステップＳ１１４）。更に、カウント値Countに０を設定し（ステップＳ１１５）、一連の処理を終了する（エンド）。
ステップＳ１１４におけるフレームスキップ設定では、画像データ処理部７０において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する画像データ処理部７０の処理をスキップさせるための設定を行う。このフレームスキップ設定により、例えば画像データ処理部７０の処理の起動をさせないようにマスクしたり、画像データ処理部７０の動作クロックを停止させたり、或いは画像データ処理部７０を起動させても画像データの入力を受け付けないようにすることができるようになっている。本発明は、スキップ処理を行うためのフレームスキップ設定の内容に限定されるものではなく、結果的に符号化データが生成されなければよい。
ステップＳ１１３において、カウント値Countがスキップ連続回数閾値SkipBorderCountより小さいと判別されたとき（ステップＳ１１３：Ｎ）、一連の処理を終了する（エンド）。
なお、スキップ閾値SkipBorderValue及びスキップ連続回数閾値SkipBorderCountは、図１８に示す処理に先立って設定される。
以上のように、フレームスキップ部６０は、フレームごとに求められる量子化パラメータＱｃがスキップ閾値SkipBorderValueより大きいフレームが、スキップ連続回数閾値SkipBorderCountとして設定された回数以上連続したとき、エンコードをスキップさせるためのスキップ処理を行うことができる。
図１９に、フレームスキップ部６０で行われるスキップ処理の他の例のフロー図を示す。ここでは、複雑度Ｅｃに基づいてスキップ処理を行う場合のフローを示す。図１９に示すフローは、フレームごとに行われる。
まず、フレームスキップ部６０は、量子化パラメータＱｃの算出にも用いられた現フレームの複雑度Ｅｃが、複雑度閾値QcSADLimit以上であるか否かを判別する（ステップＳ１２０）。ここで、現フレームとは、量子化部２０によって量子化される画像データのフレームということができる。そして、複雑度は、現フレームの画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した情報とすることができる。
そして、複雑度Ｅｃが、複雑度閾値QcSADLimit以上であると判別されたとき（ステップＳ１２０：Ｙ）、量子化パラメータＱｃに最大値を設定する（ステップＳ１２１）。ここで、最大値は、図１３のステップＳ５３における「３１」か、或いは図１６のステップＳ１０１における量子化パラメータ上限閾値QcUpperLimitである。レートコントロール部５０は、ステップＳ１２１で設定された量子化パラメータＱｃの値を用いてレートコントロールを行う。
こうして量子化パラメータＱｃに最大値が設定されると、スキップ処理を行うためのフレームスキップ設定を行う（ステップＳ１２２）。このフレームスキップ設定は、図１８に示すステップＳ１１４のフレームスキップ設定と同様である。
ステップＳ１２０において、複雑度Ｅｃが、複雑度閾値QcSADLimitより小さいと判別されたとき（ステップＳ１２０：Ｎ）、一連の処理を終了する（エンド）。
なお、複雑度閾値QcSADLimitは、図１９に示す処理に先立って設定される。
以上のように、フレームスキップ部６０は、複雑度Ｅｃが、複雑度閾値QcSADLimit以上のとき、スキップ処理を行うことができる。
なおフレームスキップ部６０は、図１８又は図１９に示す処理をするものに限定されるものではない。フレームスキップ部６０は、図１８及び図１９に示す処理を組み合わせてフレームスキップ設定を行うことができる。
図２０に、フレームスキップ部６０で行われるスキップ処理の更に他の例のフロー図を示す。ここでは、基本的に、図１９に示すように複雑度に基づいてスキップ処理を行うか否かを判定した後に、図１８に示すように量子化パラメータに基づいてスキップ処理を行うか否かを判定する。
なお図２０では、ＶＢＶ（Video Buffering Verifier）バッファと呼ばれる仮想的なバッファ検証器を設け、符号化データの生成レートを制御するためにスキップ処理を行うようにしている。ＶＢＶバッファは、符号化データ生成部４０の出力に概念的に接続された仮想的な復号器ということができ、符号化データ生成部４０ではＶＢＶバッファがオーバーフローしたりアンダーフローしたりしないように符号化データを生成する。
まず、フレームスキップ部６０は、複雑度Ｅｃが、複雑度閾値QcSADLimit以上であるか否かを判別する（ステップＳ１３０）。複雑度Ｅｃが、複雑度閾値QcSADLimit以上であると判別されたとき（ステップＳ１３０：Ｙ）、量子化パラメータＱｃに最大値を設定する（ステップＳ１３１）。こうして量子化パラメータＱｃに最大値が設定されると、スキップ処理を行うためのフレームスキップ設定を行う（ステップＳ１３２）。その後、スキップ処理対象のフレームをカウントするためのカウント値Countを０に設定して（ステップＳ１３３）、一連の処理を終了する（エンド）。ここで、ステップＳ１３１はステップＳ１２１と同様であり、ステップＳ１３２はステップＳ１１４と同様である。
ステップＳ１３０において、複雑度Ｅｃが複雑度閾値QcSADLimitより小さいと判別されたとき（ステップＳ１３０：Ｎ）、量子化パラメータＱｃの値が、スキップ閾値SkipBorderValueより大きいか否かを判別する（ステップＳ１３４）。量子化パラメータＱｃの値がスキップ閾値SkipBorderValueより大きいと判別されたとき（ステップＳ１３４：Ｙ）、カウント値Countをインクリメントする（ステップＳ１３５）。量子化パラメータＱｃの値がスキップ閾値SkipBorderValue以下であると判別されたとき（ステップＳ１３４：Ｎ）、カウント値Countに０を設定する（ステップＳ１３６）。
ステップＳ１３５又はステップＳ１３６に続いて、カウント値Countがスキップ連続回数閾値SkipBorderCount以上であるか否かを判別する（ステップＳ１３７）。カウント値Countがスキップ連続回数閾値SkipBorderCount以上であると判別されたとき（ステップＳ１３７：Ｙ）、ステップＳ１３２に進む。
ステップＳ１３７において、カウント値Countがスキップ連続回数閾値SkipBorderCountより小さいと判別されたとき（ステップＳ１３７：Ｎ）、上述のＶＢＶバッファの空き容量が、ＶＢＶバッファのバッファサイズ／Ｎより小さいか否かを判別する（ステップＳ１３８）。そして、ＶＢＶバッファの空き容量が、ＶＢＶバッファのバッファサイズ／Ｎより小さいと判別されたとき（ステップＳ１３８：Ｙ）、ステップＳ１３２に進み、スキップ処理を行う。一方、ステップＳ１３８において、ＶＢＶバッファの空き容量が、ＶＢＶバッファのバッファサイズ／Ｎ以上であると判別されたとき（ステップＳ１３８：Ｎ）、一連の処理を終了する（エンド）。
３．３ 構成例
図２１に、本実施形態の画像データ圧縮装置の詳細な機能ブロック図を示す。但し、図８に示す画像データ圧縮装置１０と同一部分には同一符号を付し、適宜説明を省略する。
図２１に示す画像データ圧縮装置１００は、ＭＰＥＧ−４に準拠した動画像の画像データの圧縮処理を行う。画像データ圧縮装置１００は、ハードウェア処理部１１０と、ソフトウェア処理部１５０とを含む。
ハードウェア処理部１１０は、動画像の画像データをハードウェアにより処理する。このハードウェア処理部１１０は、量子化部２０を含む画像データ処理部７０と、ＦＩＦＯバッファ部３０と、ソフトウェア起動フラグレジスタ１３０とを含む。ハードウェア処理部１１０は、ソフトウェアを使用せず、ＡＳＩＣや専用回路等のハードウェアにより実現される。
ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成する。このソフトウェア処理部１５０は、符号化データ生成部４０と、レートコントロール部５０と、フレームスキップ部６０とを含む。ソフトウェア処理部１５０は、ソフトウェア（ファームウェア）によりその機能が実現される処理部であり、ソフトウェア（ファームウェア）を読み込んだＣＰＵ等（ハードウェア）によりその機能が実現される。
より具体的にはハードウェア処理部１１０の画像データ処理部７０は、離散コサイン変換（ＤＣＴ）部１１２、動き検出部１１４、逆量子化部１１６、逆ＤＣＴ部１１８、動き補償部１２０を含む。ＤＣＴ部１１２は、図１（Ａ）に示すステップＳ２の処理を行う。動き検出部１１４は、図１（Ａ）に示すステップＳ１の処理を行う。逆量子化部１１６は、図１（Ａ）に示すステップＳ４の処理を行う。逆ＤＣＴ部１１８は、図１（Ａ）に示すステップＳ５の処理を行う。動き補償部１２０は、図１（Ａ）に示すステップＳ６の処理を行う。
即ち、ハードウェア処理部１１０は、現在のフレームの入力画像データと現在のフレームの１フレーム前の過去画像データとの差分を動きベクトル情報として出力し、該動きベクトル情報に対して離散コサイン変換を行って画像データとして量子化部に出力する。更に、この量子化データに対して、上述の量子化ステップで逆量子化して求められる逆量子化データに基づいて、上記の過去画像データを生成する。
そして、ソフトウェア起動フラグレジスタ１３０がセットされたときに、このようなハードウェア処理部１１０の処理が開始される。ソフトウェア起動フラグレジスタ１３０は、ソフトウェア処理部１５０によってセットされる。より具体的には、フレームスキップ部６０が上述の条件でスキップ処理をしないことを条件に、ソフトウェア処理部１５０（フレームスキップ部６０）は、ソフトウェア起動フラグレジスタをセットする。
なおハードウェア処理部１１０は、これら各部をすべて含んで構成される必要はなく、上記各部のうち少なくとも１つが省略される構成でもよい。
ソフトウェア処理部１５０の符号化データ生成部４０は、ＤＣ／ＡＣ予測部１５２、スキャン部１５４、ＶＬＣ符号化部１５６を含む。ＤＣ／ＡＣ予測部１５２は、図１（Ａ）に示すステップＳ７の処理を行う。スキャン部１５４は、図１（Ａ）に示すステップＳ８の処理を行う。ＶＬＣ符号化部１５６は、図１（Ａ）に示すステップＳ９の処理を行う。
なおソフトウェア処理部１５０は、これら各部をすべて含んで構成される必要はなく、上記各部のうち少なくとも１つが省略される構成でもよい。例えば、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データを可変長符号に符号化するようにしてもよい。また、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化するようにしてもよい。更にまた、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データからＤＣ成分及びＡＣ成分とを求め、このＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化するようにしてもよい。
ここで、本実施形態において、図１（Ａ）のステップＳ１〜Ｓ６をハードウェア処理し、ステップＳ７〜Ｓ１０をソフトウェア処理する理由は下記の通りである。まず、図１（Ａ）のステップＳ３の量子化後であれば、図５に示すように各ブロック内にはゼロデータが圧倒的に多く、量子化前のデータ（図３）と比較すればデータの情報量の種類が圧倒的に少ない。しかも、ステップＳ７〜Ｓ１０の演算自体の負荷も少ないので、図１（Ａ）のステップＳ７〜Ｓ１０をソフトウェアで処理しても、その処理の負荷は小さくなる。逆に、図１（Ａ）のステップＳ３の量子化、ステップＳ２のＤＣＴ、及びステップＳ５の逆ＤＣＴなどは、情報量が多い上に演算も複雑で、ソフトウェアで処理するには負荷が大きい。これらの量子化、ＤＣＴ、逆ＤＣＴ、動き補償などは、負荷が重い処理ではあるが規格が決まっているため変更の必要性は乏しく、また、図１（Ａ）のステップＳ１〜Ｓ６には繰り返し処理が多いため、ハードウェアでの処理に適している。また、上述した通りハードウェア処理部１１０にて処理された量子化後のデータ量が少ないので、ハードウェア処理部１１０からソフトウェア処理部１５０に伝送されるデータ量が少なく、データ転送制御の負担を軽くできる。
図２２に、画像データ圧縮装置１００のハードウェア構成例を示す。ここでは、図２１に示すハードウェア処理部１１０が集積化され、エンコードＩＣ（集積回路）（広義にはエンコーダ）２００として半導体装置に実装される。また図２１に示すソフトウェア処理部１５０の機能は、ホスト２１０により実現される。なお図２２において、図２１に示すハードウェア処理部１１０と同一部分には同一符号を付し、説明を適宜省略する。
ホスト２１０は、ＣＰＵ２１２とメモリ２１４とを含む。メモリ２１４には、符号化データ生成部４０、レートコントロール部５０及びフレームスキップ部６０の機能を実現するためのプログラムが格納される。ＣＰＵ２１２は、メモリ２１４に格納されたプログラムを読み出して、該プログラムに基づいて処理することで、符号化データ生成部４０、レートコントロール部５０及びフレームスキップ部６０の機能を実現する。
即ち、ホスト２１０がフレームスキップ部６０の機能を実現する場合に、図１８〜図２０のいずれかの処理を実行する。以下では、ホスト２１０が図示しないフレームスキップ設定フラグを含み、ステップＳ１１４、ステップＳ１２２又はステップＳ１３２におけるフレームスキップ設定において、該フレームスキップ設定フラグがセットされるものとする。そして、フレームスキップ設定フラグがセットされているとき、ホスト２１０がスキップ処理を行うものとする。従って、フレームスキップ設定フラグがセットされているとき、ホスト２１０がソフトウェア起動フラグレジスタ１３０をセットせず、当該フレームにおけるエンコードＩＣ２００の圧縮処理を行わない。またフレームスキップ設定フラグがリセットされているときに、ホスト２１０がソフトウェア起動フラグレジスタ１３０をセットし、当該フレームにおけるエンコードＩＣ２００の圧縮処理を行う。
ここでエンコードＩＣ２００は、図示しないカメラモジュール（広義には撮像部）において撮像により得られた動画像の画像データを、ＭＰＥＧ−４の規格に準拠してエンコードを行い、一定のレートで符号化データを生成する。このためエンコードＩＣ２００は、図２１に示すハードウェア処理部１１０の各部の機能を実現する回路の他に、ホストインタフェース（InterFace：Ｉ／Ｆ）２０２、カメラＩ／Ｆ（広義には画像入力インタフェース）２０４、量子化パラメータ設定レジスタ２０６を含む。
エンコードＩＣ２００とホスト２１０は、割り込み信号とデータをやり取りすることで、図８や図２１に示す画像データ圧縮装置の機能を実現する。
ホストＩ／Ｆ２０２は、ホスト２１０とのインタフェース処理を行う。より具体的には、ホストＩ／Ｆ２０２は、エンコードＩＣ２００からホスト２１０に対する割り込み信号の生成や、ホスト２１０とエンコードＩＣ２００との間のデータの送受信の制御を行う。ホストＩ／Ｆ２０２は、ＦＩＦＯバッファ部３０に接続される。
カメラＩ／Ｆ２０４は、図示しないカメラモジュールからの動画像の入力画像データを入力するためのインタフェース処理を行う。カメラＩ／Ｆ２０４は、動き検出部１１４に接続される。
図示しないカメラモジュールは、撮像により得られた動画像の画像データを、入力画像データとしてエンコードＩＣ２００に供給する。このときカメラモジュールは、入力画像データのフレームの区切りを指定するＶＳＹＮＣ信号（垂直同期信号）もエンコードＩＣ２００に供給する。エンコードＩＣ２００では、カメラＩ／Ｆ２０４がカメラモジュールからのＶＳＹＮＣ信号をＶＳＹＮＣ割り込みとして受け付けると、ホストＩ／Ｆ２０２を介してホスト２１０にカメラＶＳＹＮＣ割り込みとして通知する。これにより、エンコードを開始するのに先立って、ホスト２１０が、所与の付加処理を実施することができるようになる。
図２３に、ホスト２１０で行われる割り込み受け付け処理のフローの一例を示す。メモリ２１４には、図２３に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２３に示す処理を実現する。
まず、ＣＰＵ２１２は、割り込み入力を監視している（ステップＳ７０：Ｎ）。そして、ＣＰＵ２１２が、割り込みを検出したとき（ステップＳ７０：Ｙ）、その割り込みがカメラＶＳＹＮＣ割り込みであるか否かを判別する（ステップＳ７１）。
ＣＰＵ２１２が、カメラＶＳＹＮＣ割り込みであると判別したとき（ステップＳ７１：Ｙ）、後述するソフトウェア起動処理を実行する（ステップＳ７２）。
ステップＳ７１において、ＣＰＵ２１２が、カメラＶＳＹＮＣ割り込みではないと判別したとき（ステップＳ７１：Ｎ）、後述するＭＥ割り込みであるか否かを判別する（ステップＳ７３）。
ＣＰＵ２１２が、ＭＥ割り込みであると判別したとき（ステップＳ７３：Ｙ）、後述するＭＥ割り込み処理を実行する（ステップＳ７４）。
ステップＳ７３において、ＣＰＵがＭＥ割り込みではないと判別したとき（ステップＳ７３：Ｎ）、ＣＰＵ２１２が、後述するエンコード完了割り込みであるか否かを判別する（ステップＳ７５）。ＣＰＵ２１２が、エンコード完了割り込みであると判別したとき（ステップＳ７５：Ｙ）、後述するエンコード完了割り込み処理を実行する（ステップＳ７６）。
ステップＳ７５において、ＣＰＵ２１２が、エンコード完了割り込みではないと判別したとき（ステップＳ７５：Ｎ）、所定の割り込み処理を実行する（ステップＳ７７）。
ステップＳ７２、ステップＳ７４、ステップＳ７６又はステップＳ７７に続いて、終了ではないとき（ステップＳ７８：Ｎ）、ステップＳ７０に戻り、終了のとき（ステップＳ７８：Ｙ）、一連の処理を終了する（エンド）。
図２４に、ソフトウェア起動処理のフローの一例を示す。メモリ２１４には、図２４に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２４に示す処理を実現する。
このソフトウェア起動処理は、図２３のステップＳ７２で行われる。
カメラＶＳＹＮＣ割り込みが検出されると、ＣＰＵ２１２は、図示しないフレームスキップ設定フラグがセットされているか否かを判別する（ステップＳ１４０）。フレームスキップ設定フラグがセットされていない（リセットされている）と判別されたとき（ステップＳ１４０：Ｎ）、ソフトウェア起動を行う（ステップＳ１４１）。即ち、ＣＰＵ２１２は、ホストＩ／Ｆ２０２を介してソフトウェア起動フラグレジスタ１３０をセットする。
ソフトウェア起動後に、ＣＰＵ２１２は、フレームスキップ設定フラグをリセットし（ステップＳ１４２）、一連の処理を終了する（エンド）。
またステップＳ１４０において、フレームスキップ設定フラグがセットされていると判別されたとき（ステップＳ１４０：Ｙ）、ステップＳ１４２に進む。
以上のようにソフトウェア起動処理を行うことで、ハードウェア処理部１１０（画像データ処理部７０）では、圧縮処理を開始することができる。
図２２に戻って、説明を続ける。ホストＩ／Ｆ２０２を介してソフトウェア起動フラグレジスタ１３０が、ホスト２１０によってセットされると、エンコードＩＣ２００ではエンコードが開始される。
動き検出部１１４は、エンコード開始後、最初に取り込まれる入力画像データについては動き検出を行わず、次のフレームの入力画像データが取り込まれてから動き検出を行う。ここで、動き検出の詳細については上述の通りであるため、逆量子化部１１６等の動作についての説明は省略する。このように、動き検出が行われる段階では、少なくとも１フレーム分の量子化データがＦＩＦＯバッファ部３０に書き込まれる。動き検出部１１４の動き検出が完了すると、動き検出部１１４は、動き検出完了割り込み（ＭＥ割り込み）を、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。
図２５に、ＭＥ割り込み処理のフローの一例を示す。メモリ２１４には、図２５に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２５に示す処理を実現する。
このＭＥ割り込み処理は、図２３のステップＳ７４で行われる。
ＭＥ割り込みが検出されると、ＣＰＵ２１２は、ホストＩ／Ｆ２０２を介して、動き検出部１１４で生成される複雑度Ｅｃを読み出す（ステップＳ８０）。この複雑度Ｅｃは、図６に示す式に従って動き検出部１１４で生成される。
続いてＣＰＵ２１２は、量子化パラメータＱｃを求める（ステップＳ８１）。より具体的には、ＣＰＵ２１２は、図１２〜図１６で説明したように量子化パラメータＱｃの値を求める。
次にＣＰＵ２１２は、ステップＳ８１で求めた量子化パラメータＱｃの値を、ホストＩ／Ｆ２０２を介して、量子化パラメータ設定レジスタ２０６に設定し（ステップＳ８２）、一連の処理を終了する。
図２２に戻って、説明を続ける。エンコードＩＣ２００は、量子化パラメータ設定レジスタ２０６に量子化パラメータＱｃの値が設定されたことにより、ＤＣＴ部１１２の処理を開始する。そして上述のように量子化部２０では、量子化パラメータ設定レジスタ２０６に設定された量子化パラメータと、図示しない量子化テーブルの量子化ステップ値とを用いて、ＤＣＴ部１１２によって生成されたＤＣＴ係数（広義には画像データ）を量子化する。その結果である量子化データは、ＦＩＦＯバッファ部３０に書き込まれる。
ＦＩＦＯバッファ部３０に量子化データを書き込むと、ＦＩＦＯバッファ部３０は、１フレームのエンコード処理が終了したことを示すエンコード完了割り込みを、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。
図２６に、エンコード完了割り込み処理のフローの一例を示す。メモリ２１４には、図２６に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２６に示す処理を実現する。
エンコード完了割り込み処理は、図２３に示すステップＳ７６で行われる。
ＣＰＵ２１２がエンコード完了割り込みを検出すると、ＦＩＦＯバッファ部３０から１フレーム単位で量子化データを読み出す（ステップＳ９０）。
そしてＣＰＵ２１２は、マクロブロック単位で、ＤＣ／ＡＣ予測処理（ステップＳ９１）、スキャン処理（ステップＳ９２）及び可変長符号化処理（ステップＳ９３）を行って符号化データを生成する。
次にＣＰＵ２１２は、ステップＳ９３で生成した符号化データにマクロブロックヘッダを付加する。このようにして得られた符号化データを１ＶＯＰ（Video Object Plane）分行って、既に求められた量子化パラメータを基にＧＯＶヘッダやＶＯＰヘッダを生成し、所定のフレーム数分のエンコードが終了したらＭＰＥＧ−４ファイルとして出力する（ステップＳ９５）。
以上のようにして、ハードウェア処理部１１０とソフトウェア処理部１５０とに分担して、画像データの圧縮処理を行う。
４． 表示コントローラ
上述したエンコードＩＣの機能は、表示コントローラに適用できる。
図２７に、本実施形態における表示コントローラの構成例のブロック図を示す。
表示コントローラ３００は、カメラＩ／Ｆ３１０と、エンコード処理部３２０と、メモリ３３０と、ドライバＩ／Ｆ３４０と、制御部３５０と、ホストＩ／Ｆ３６０とを含む。
カメラＩ／Ｆ３１０は、図示しないカメラモジュールに接続される。このカメラモジュールは、撮像により得られた動画像の入力画像データをＹＵＶフォーマットで出力すると共に、１フレームの区切りを指定する同期信号（例えばＶＳＹＮＣ信号）を出力する。カメラＩ／Ｆ３１０は、カメラモジュールで生成された動画像の入力画像データを受信するためのインタフェース処理を行う。
エンコード処理部３２０は、図２２のエンコードＩＣ２００のうちホストＩ／Ｆ２０２及びカメラＩ／Ｆ２０４の機能を省略したものである。即ち、エンコード処理部３２０は、図２２に示す量子化部２０、ＦＩＦＯバッファ部３０、ＤＣＴ部１１２、動き検出部１１４、逆量子化部１１６、逆ＤＣＴ部１１８、動き補償部１２０、量子化パラメータ設定レジスタ２０６、ソフトウェア起動フラグレジスタ１３０の各部の機能を有する。即ち、エンコード処理部３２０は、画像データ処理部７０の機能を有する。
メモリ３３０は、エンコード処理部３２０の出力である符号化データを記憶する。またメモリ３３０は、表示パネルに表示するための画像データを記憶しており、ドライバＩ／Ｆ３４０は、メモリ３３０から所定の周期で画像データを読み出し、該画像データを、表示パネルを駆動する表示ドライバに対して供給する。ドライバＩ／Ｆ３４０は、表示ドライバに対して画像データを送信するためのインタフェース処理を行う。
制御部３５０は、カメラＩ／Ｆ３１０、エンコード処理部３２０、メモリ３３０及びドライバＩ／Ｆ３４０の制御を司る。制御部３５０は、例えばホストＩ／Ｆ３６０を介して図示しないホストからの指示に従って、カメラモジュールからの入力画像データの受信処理、該入力画像のエンコード処理、符号化データのメモリ３３０への書き込み処理、メモリ３３０からの表示用の画像データの読み出し処理、表示ドライバへの該画像データの送信処理を行う。
図２８に、図２７に示す表示コントローラが適用される電子機器の構成例のブロック図を示す。ここでは、電子機器として、携帯電話機の構成例のブロック図を示す。但し、図２７と同一部分には同一符号を付し、適宜説明を省略する。
携帯電話機４００は、カメラモジュール４１０を含む。カメラモジュール４１０は、ＣＣＤ（Charge-Coupled device）カメラを含み、ＣＣＤカメラで撮像した画像のデータを、ＹＵＶフォーマットで表示コントローラ３００に供給する。
携帯電話機４００は、表示パネル４２０を含む。表示パネル４２０として、液晶表示パネルを採用できる。この場合、表示パネル４２０は、表示ドライバ４３０によって駆動される。表示パネル４２０は、複数の走査線、複数のデータ線、複数の画素を含む。表示ドライバ４３０は、複数の走査線の１又は複数本単位で走査線を選択する走査ドライバの機能を有すると共に、画像データに対応した電圧を複数のデータ線に供給するデータドライバの機能を有する。
表示コントローラ３００は、表示ドライバ４３０に接続され、表示ドライバ４３０に対して画像データを供給する。
ホスト４４０は、表示コントローラ３００に接続される。ホスト４４０は、表示コントローラ３００を制御する。またホスト４４０は、アンテナ４６０を介して受信された画像データを、変復調部４５０で復調した後、表示コントローラ３００に対して供給できる。表示コントローラ３００は、この画像データに基づき、表示ドライバ４３０により表示パネル４２０に表示させる。
またホスト４４０は、図２２に示すホスト２１０の機能を有する。ホスト４４０は、カメラモジュール４１０で生成された画像データをエンコード処理部３２０でエンコードして変復調部４５０で変調した後、アンテナ４６０を介して他の通信装置への送信を指示できる。このとき、表示コントローラ３００は、カメラモジュール４１０で生成された画像データをエンコードし、エンコードして得られた符号化データをホスト４４０に出力できる。
ホスト４４０は、操作入力部４７０からの操作情報に基づいて画像データの送受信処理、エンコード処理、カメラモジュール４１０の撮像、表示パネルの表示処理を行う。
なお、図２８では、表示パネル４２０として液晶表示パネルを例に説明したが、これに限定されるものではない。表示パネル４２０は、エレクトロクミネッセンス、プラズマディスプレイ装置であってもよく、これらを駆動する表示ドライバに画像データを供給する表示コントローラに適用できる。
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
図１（Ａ）、（Ｂ）はＭＰＥＧ−４のエンコード処理とデコード処理の説明図。 マクロブロックの説明図。 ＤＣＴ係数の一例の説明図。 量子化テーブルの一例の説明図。 量子化されたＤＣＴ係数の一例の説明図。 レートコントロール方式で用いられるモデル式の説明図。 図６に示すモデル式を用いたレートコントロールの処理の一例のフロー図。 本実施形態の画像データ圧縮装置の構成の概要のブロック図。 本実施形態におけるレートコントロールの手法の説明図。 図９に示すレートコントロール手法の動作タイミングの模式図。 量子化パラメータ、符号化データのデータサイズ及びブロックノイズの関係の模式図。 量子化パラメータの算出処理の一例の前半のフロー図。 量子化パラメータの算出処理の一例の後半のフロー図。 量子化パラメータの算出処理で用いられる変数の説明図。 エンコードに使用したビット数の値の算出処理の一例のフロー図。 量子化パラメータの調整処理の一例のフロー図。 本実施形態の量子化処理の説明図。 本実施形態のスキップ処理の一例のフロー図。 本実施形態のスキップ処理の他の例のフロー図。 本実施形態のスキップ処理の更に他の例のフロー図。 本実施形態の画像データ圧縮装置の詳細な機能ブロック図。 図２１の画像データ圧縮装置のハードウェア構成例を示す図。 ホストで行われる割り込み受け付け処理の一例のフロー図。 ソフトウェア起動処理の一例のフロー図。 ＭＥ割り込み処理の一例のフロー図。 エンコード完了割り込み処理の一例のフロー図。 本実施形態における表示コントローラの構成例のブロック図。 図２７の表示コントローラが適用される電子機器の構成例のブロック図。
符号の説明
１０、１００ 画像データ圧縮装置、 ２０ 量子化部、 ３０ ＦＩＦＯバッファ部、
４０ 符号化データ生成部、 ５０ レートコントロール部、
６０ フレームスキップ部、 ７０ 画像データ処理部、
１１０ ハードウェア処理部、 １１２ 離散コサイン変換（ＤＣＴ）部、
１１４ 動き検出部、 １１６ 逆量子化部、
１１８ 逆離散コサイン変換（ｉＤＣＴ）部、 １２０ 動き補償部、
１５０ ソフトウェア処理部、 １５２ ＤＣ／ＡＣ予測部、 １５４ スキャン部、
１５６ ＶＬＣ符号化部

Claims (13)

  1. 画像データを圧縮するための画像データ圧縮装置であって、
    画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、
    前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記レートコントロール部が、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下で、かつその値が設定可能な量子化パラメータ下限閾値以上となるように前記量子化パラメータを求め、
    前記フレームスキップ部が、
    フレームごとに求められる前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  2. 過去の画像データとの差分を符号化して画像データを圧縮するための画像データ圧縮装置であって、
    画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、
    前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記レートコントロール部が、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下で、かつその値が設定可能な量子化パラメータ下限閾値以上となるように前記量子化パラメータを求め、
    前記フレームスキップ部が、
    前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が、複雑度閾値以上のとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  3. 画像データを圧縮するための画像データ圧縮装置であって、
    画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、
    量子化ステップ値を記憶する量子化テーブルと、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、
    前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記レートコントロール部が、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、前記量子化パラメータと前記量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させ、
    前記フレームスキップ部が、
    フレームごとに求められる前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  4. 過去の画像データとの差分を符号化して画像データを圧縮するための画像データ圧縮装置であって、
    画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、
    量子化ステップ値を記憶する量子化テーブルと、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、
    前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記レートコントロール部が、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、前記量子化パラメータと前記量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させ、
    前記フレームスキップ部が、
    前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が、複雑度閾値以上のとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  5. 画像データを圧縮するための画像データ圧縮装置であって、
    前記画像データを離散コサイン変換する離散コサイン変換部と、フレーム単位で、前記離散コサイン変換された画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部と、を含む画像データ処理部と、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、
    前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記レートコントロール部が、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、
    前記フレームスキップ部が、
    フレームごとに求められる前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  6. 過去の画像データとの差分を符号化して画像データを圧縮するための画像データ圧縮装置であって、
    前記画像データを離散コサイン変換する離散コサイン変換部と、フレーム単位で、前記離散コサイン変換された画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部と、を含む画像データ処理部と、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、
    前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記レートコントロール部が、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、
    前記フレームスキップ部が、
    前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が、複雑度閾値以上のとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  7. 画像データを圧縮するための画像データ圧縮装置であって、
    画像データをハードウェアにより処理するハードウェア処理部と、
    量子化データをソフトウェアにより符号化処理して符号化データを生成するソフトウェア処理部とを含み、
    前記ハードウェア処理部が、
    画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部とを含み、
    前記ソフトウェア処理部が、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、
    前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記レートコントロール部が、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、
    前記フレームスキップ部が、
    フレームごとに求められる前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  8. 過去の画像データとの差分を符号化して画像データを圧縮するための画像データ圧縮装
    置であって、
    画像データをハードウェアにより処理するハードウェア処理部と、
    量子化データをソフトウェアにより符号化処理して符号化データを生成するソフトウェア処理部とを含み、
    前記ハードウェア処理部が、
    画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部とを含み、
    前記ソフトウェア処理部が、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    前記符号化データのデータサイズを用いて前記量子化パラメータを求め、前記量子化部の量子化ステップを変化させることで、符号化データのデータサイズを制御するレートコントロール部と、
    前記画像データ処理部において処理中のフレームの画像データ又は該フレームの次のフレームの画像データに対する前記画像データ処理部の処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記レートコントロール部が、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、
    前記フレームスキップ部が、
    前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が、複雑度閾値以上のとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  9. 請求項７又は８において、
    前記ソフトウェア処理部が、
    前記ＦＩＦＯバッファ部から読み出された量子化データを可変長符号に符号化することを特徴とする画像データ圧縮装置。
  10. 請求項９において、
    前記ソフトウェア処理部が、
    前記ＦＩＦＯバッファ部から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することを特徴とする画像データ圧縮装置。
  11. 請求項１０において、
    前記ハードウェア処理部が、
    画像データを離散コサイン変換して、ＤＣ成分及びＡＣ成分を含むＤＣＴ係数を求め、前記ＤＣＴ係数を画像データとして前記量子化部に供給する離散コサイン変換部を
    含み、
    前記量子化部は、前記ＤＣＴ係数のＤＣ成分及びＡＣ成分を量子化し、量子化されたＤＣＴ係数を量子化データとして前記ＦＩＦＯバッファ部に供給し、
    前記ソフトウェア処理部が、
    前記ＦＩＦＯバッファ部から読み出された量子化データからＤＣ成分及びＡＣ成分を求め、前記ＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することを特徴とする画像データ圧縮装置。
  12. 画像データに対して圧縮処理を行うエンコーダであって、
    画像データを入力するためのインタフェース処理を行う画像入力インタフェースと、
    前記画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の
    量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で、前記ＦＩＦＯバッファ部に記憶された量子化データを読み出すホストとのインタフェース処理を行うホストインタフェースと、
    前記ホストが前記圧縮処理を起動するためのソフトウェア起動フラグレジスタとを含み、
    前記ホストが、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、
    該量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続しないことを条件に、前記ソフトウェア起動フラグレジスタをセットし、
    前記量子化部が、
    前記量子化パラメータと量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させ、
    前記画像データ処理部が、
    前記ソフトウェア起動フラグレジスタがセットされたとき、前記圧縮処理を開始することを特徴とするエンコーダ。
  13. 画像データと過去の画像データとの差分を符号化して画像データの圧縮処理を行うエンコーダであって、
    画像データを入力するためのインタフェース処理を行う画像入力インタフェースと、
    前記画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部を含む画像データ処理部と、
    前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で、前記ＦＩＦＯバッファ部に記憶された量子化データを読み出すホストとのインタフェース処理を行うホストインタフェースと、
    前記ホストが前記圧縮処理を起動するためのソフトウェア起動フラグレジスタとを含み、
    前記ホストが、
    前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて前記量子化パラメータを求め、
    前記量子化部で量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分情報が複雑度閾値より小さいことを条件に、前記ソフトウェア起動フラグレジスタをセットし、
    前記量子化部が、
    前記量子化パラメータと量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させ、
    前記画像データ処理部が、
    前記ソフトウェア起動フラグレジスタがセットされたとき、前記圧縮処理を開始することを特徴とするエンコーダ。
JP2003391089A 2003-11-20 2003-11-20 画像データ圧縮装置及びエンコーダ Expired - Fee Related JP4063204B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003391089A JP4063204B2 (ja) 2003-11-20 2003-11-20 画像データ圧縮装置及びエンコーダ
US10/981,690 US7369705B2 (en) 2003-11-20 2004-11-05 Image data compression device and encoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003391089A JP4063204B2 (ja) 2003-11-20 2003-11-20 画像データ圧縮装置及びエンコーダ

Publications (2)

Publication Number Publication Date
JP2005159443A JP2005159443A (ja) 2005-06-16
JP4063204B2 true JP4063204B2 (ja) 2008-03-19

Family

ID=34631409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003391089A Expired - Fee Related JP4063204B2 (ja) 2003-11-20 2003-11-20 画像データ圧縮装置及びエンコーダ

Country Status (2)

Country Link
US (1) US7369705B2 (ja)
JP (1) JP4063204B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3680846B2 (ja) * 2003-05-28 2005-08-10 セイコーエプソン株式会社 動画像の圧縮装置及びそれを用いた撮像装置
JP3680845B2 (ja) * 2003-05-28 2005-08-10 セイコーエプソン株式会社 圧縮動画像の伸張装置及びそれを用いた画像表示装置
JP4063205B2 (ja) 2003-11-20 2008-03-19 セイコーエプソン株式会社 画像データ圧縮装置及びエンコーダ
KR100664550B1 (ko) * 2005-11-02 2007-01-03 엠텍비젼 주식회사 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
KR100664554B1 (ko) * 2005-11-02 2007-01-03 엠텍비젼 주식회사 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
KR100685302B1 (ko) * 2005-11-02 2007-02-22 엠텍비젼 주식회사 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서
EP4290860A3 (en) * 2010-06-04 2024-02-14 Sony Group Corporation Image processing apparatus and method
EP2624547B1 (en) * 2010-10-01 2016-11-16 Fujitsu Limited Communication system, server, terminal, and terminal control method
US9307235B2 (en) * 2012-12-03 2016-04-05 Vixs Systems, Inc. Video encoding system with adaptive hierarchical B-frames and method for use therewith
KR20170007665A (ko) * 2015-07-10 2017-01-19 삼성전자주식회사 스킵 모드 정보를 이용한 레이트 조절 인코딩 방법 및 그에 따른 인코딩 장치
JP6537396B2 (ja) * 2015-08-03 2019-07-03 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
CN105530405B (zh) * 2015-12-01 2019-02-19 上海兆芯集成电路有限公司 图像处理的方法及装置
CN109660825B (zh) * 2017-10-10 2021-02-09 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备及存储介质
US10924739B2 (en) * 2018-10-31 2021-02-16 Ati Technologies Ulc Efficient quantization parameter prediction method for low latency video coding

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06268997A (ja) 1993-03-16 1994-09-22 Olympus Optical Co Ltd 動画像圧縮装置
JPH0723385A (ja) 1993-06-21 1995-01-24 Nec Corp 高能率符号化装置
JPH11122623A (ja) 1997-10-15 1999-04-30 Mega Chips Corp 画像符号化装置
JP2001008215A (ja) 1999-06-24 2001-01-12 Victor Co Of Japan Ltd 動画像符号化装置及びその方法
JP4362794B2 (ja) 1999-07-05 2009-11-11 日本ビクター株式会社 動画像符号化装置及びその方法

Also Published As

Publication number Publication date
JP2005159443A (ja) 2005-06-16
US20050123050A1 (en) 2005-06-09
US7369705B2 (en) 2008-05-06

Similar Documents

Publication Publication Date Title
JP3846488B2 (ja) 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
US7688891B2 (en) Image data compression device, encoder, electronic apparatus, and method of compressing image data
JP5893002B2 (ja) ビデオ符号化におけるレート制御
US20050254579A1 (en) Image data compression device, electronic apparatus and image data compression method
JP2003204550A (ja) 動画像符号化装置および動画像復号装置
JP4641892B2 (ja) 動画像符号化装置、方法、及びプログラム
JP4063204B2 (ja) 画像データ圧縮装置及びエンコーダ
JP4063205B2 (ja) 画像データ圧縮装置及びエンコーダ
US20160301945A1 (en) Image compression/decompression device
JP6875821B2 (ja) 画像符号化装置、撮像装置、画像符号化方法およびプログラム
US20050249280A1 (en) Image data compression apparatus, enencoder electronic equipment, and image data compression method
JP4063202B2 (ja) 画像データ圧縮装置及びエンコーダ
JP2004356850A (ja) 圧縮動画像の伸張装置及びそれを用いた画像表示装置
JPH06189290A (ja) １ｄ／２ｄ ｄｃｔを用いた映像信号符号化装置
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
JP4063203B2 (ja) 画像データ圧縮装置及びエンコーダ
KR100366382B1 (ko) 동영상 부호화 장치 및 방법
KR20150081240A (ko) 무손실 비디오 부호화/복호화 방법 및 장치
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
KR101629999B1 (ko) 무손실 비디오 부호화/복호화 방법 및 장치
KR100507441B1 (ko) 가변장 부호의 입력 특성을 이용한 영상 신호 압축 방법및 상기 방법을 수행하는 비디오 인코더

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060502

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060703

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061106

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071224

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140111

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees