JP3846490B2 - 画像データ圧縮装置、電子機器及び画像データ圧縮方法 - Google Patents

画像データ圧縮装置、電子機器及び画像データ圧縮方法 Download PDF

Info

Publication number
JP3846490B2
JP3846490B2 JP2004146945A JP2004146945A JP3846490B2 JP 3846490 B2 JP3846490 B2 JP 3846490B2 JP 2004146945 A JP2004146945 A JP 2004146945A JP 2004146945 A JP2004146945 A JP 2004146945A JP 3846490 B2 JP3846490 B2 JP 3846490B2
Authority
JP
Japan
Prior art keywords
data
unit
frame
image data
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004146945A
Other languages
English (en)
Other versions
JP2005328487A (ja
Inventor
嘉政 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004146945A priority Critical patent/JP3846490B2/ja
Priority to US11/126,999 priority patent/US20050254579A1/en
Publication of JP2005328487A publication Critical patent/JP2005328487A/ja
Application granted granted Critical
Publication of JP3846490B2 publication Critical patent/JP3846490B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、画像データ圧縮装置、電子機器及び画像データ圧縮方法に関する。
静止画像又は動画像の画像データや音声データといったマルチメディア情報に対する汎用的な符号化方式として、ＭＰＥＧ−４（Moving Picture Experts Group Phase 4）が規格化されている。近年の携帯機器は、このＭＰＥＧ−４の規格に準拠した画像データのエンコード及びデコードを実現し、動画像の再生やネットワークを介した送受信ができる。
ＭＰＥＧ−４の規格では、動画像の画像データをエンコードした圧縮データを、一定のレートで生成する必要がある。ところが、動画像の画像データを圧縮する場合、画像データの種類に依存して圧縮効率が大きく変動してしまう。非特許文献１には、この変動を所定の範囲に収めるように、発生する符号量を制御することで、一定のレートで圧縮データを生成するレートコントロール方式が述べられている。
MPEG-4 Visual Part(勧告書ISO/IEC 14496-2:1999(E) Annex L)
ＭＰＥＧ−４のエンコード（圧縮）処理を行う場合、一連の処理をすべてハードウェアにより実施することが考えられる。しかしながら、この場合、回路規模が大きくなり、ＩＣ（半導体装置、集積回路）化した場合の小型化を図ることが困難となる。特に携帯電話機等の携帯機器では、機器の小型化への要請に応えられない。
一方、エンコードの一連の処理を、すべてソフトウェアを用いて実施することが考えられる。しかしながら、この場合、ソフトウェアを処理するＣＰＵ（Central Processing Unit）の負荷が増大してしまう。そのため、ＣＰＵが他の処理に費やす時間に制約が生じ、このＣＰＵを搭載する機器のパフォーマンスを低下させてしまう。またＣＰＵの処理時間の増加を招き、消費電力が大きくなってしまう。特に携帯電話機等の携帯機器では、バッテリの消耗を抑えるための低消費電力化への要請に応えられない。
そこで、エンコードの一連の処理をハードウェアとソフトウェアとに分担させることが考えられる。しかしながら、本発明者の検討の結果、エンコードの一連の処理についてハードウェアとソフトウェアとの分担の最適化を図る場合、非特許文献１に開示されたレートコントロール方式を実施できないということが判明した。即ち処理速度が異なるハードウェアの処理とソフトウェアの処理とに分担させる場合、処理速度の差を吸収するバッファが必要となる。ところが、このバッファを設けると、上述のレートコントロール方式を実施できなくなり、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化と、一定レートでの圧縮データの生成とを両立できないという問題があることが判明した。
また、ＭＰＥＧ−４のエンコード処理がフレーム単位で行われるが、処理対象となる画像データは、例えばカメラモジュール（撮像部）から供給される。即ち、カメラモジュールは、撮像により取り込まれた画像データを１フレーム毎に画像データ圧縮装置に供給する。
上述のレートコントロール方式では、フレーム毎に符号化データのデータサイズを変化させることで符号化データのデータサイズを制御する。そのため、上述のレートコントロール方式を実現する画像データ圧縮装置では、カメラモジュールからの画像データの入力フレームレートと符号化データの生成レートとを一致させる必要がある。
しかしながら、近年、このカメラモジュールの撮像素子等の高機能化に伴い、１フレームの画像サイズの拡大化や、滑らかな動画像を表現可能とするフレームレートの高速化が著しい。特に入力フレームレートが高速化した場合、カメラモジュールからの画像データの入力フレームレートと符号化データの生成レートとを一致させることができず、上述のレートコントロール方式を実現できなくなるという問題も生じるようになってきた。
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化を図り、画像データの入力フレームレートの高速化にも対応して一定レートで圧縮データの生成を行う画像データ圧縮装置、電子機器及び画像データ圧縮方法を提供することにある。
上記課題を解決するために本発明は、画像データを圧縮するための画像データ圧縮装置であって、撮像部から１フレーム分の画像データが入力される毎に、当該入力フレームが間引き対象フレームか否かを検出する処理を行う間引き検出部と、前記画像データの圧縮処理を行って符号化データを一定レートで生成する圧縮処理部と、前記間引き検出部の検出結果に基づいて、前記圧縮処理部が行う１フレーム分の画像データの圧縮処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、前記フレームスキップ部が、前記間引き検出部が前記当該入力フレームを間引き対象フレームと判断したことを条件に前記スキップ処理を行う画像データ圧縮装置に関係する。
本発明においては、画像データ圧縮装置が、撮像部からフレーム毎に入力される画像データに対して、フレーム毎に圧縮処理を行って符号化データを一定レートで生成する。そして、この圧縮処理に先立って、撮像部からの当該入力フレームが間引き対象フレームか否かを判別し、間引き対象フレームであると判別されたときに当該入力フレームの画像データに対する圧縮処理をスキップさせるようにした。
これにより、撮像部からの画像データの入力フレームレートが、符号化データの生成レートよりも高速になったと場合にも、該撮像部からの画像データに対して圧縮処理を行う画像データ圧縮装置を提供できるようになる。
また、画像データ圧縮装置が符号化データを一定レートで生成するためにフレーム毎に各種制御を行う場合であっても、本発明によればフレーム単位で画像データの供給を省略できるため、制御を複雑化することなく既存のレート制御を行う画像データ圧縮装置への適用も容易となる。
また本発明に係る画像データ圧縮装置では、前記撮像部からの画像データの入力フレームレートをＣＡ（ＣＡは正の整数）、前記圧縮処理後の符号化データの生成レートをＴＡ（ＣＡ＞ＴＡ、ＴＡは正の整数）とした場合、前記間引き検出部が、前記撮像部からの画像データの入力フレーム数ＣＡのうち、（ＣＡ−ＴＡ）フレーム数の画像データを間引き対象フレームとして検出することができる。
また本発明に係る画像データ圧縮装置では、前記間引き検出部が、前記撮像部から入力される画像データのフレームのカウント値とＣＡ／（ＣＡ−ＴＡ）の整数倍として求められる小数点データの１又は複数の間引きフレームインターバル値のうちの１つの値とを比較し、前記カウント値が前記間引きフレームインターバル値のうちの１つの値以上であるとき、前記当該入力フレームを間引き対象フレームとして検出することができる。
本発明によれば、簡素の処理で間引き対象フレームか否かを判別できるため、制御及び構成を簡素化でき、画像データ圧縮装置への実装も低コストで実現できる。
また本発明に係る画像データ圧縮装置では、前記撮像部からの画像データの入力フレームレートが変化したことを条件に、前記間引き検出部の処理に先立って前記間引きフレームインターバル値を求めることができる。
本発明によれば、複数の間引きフレームインターバル値（累積値）を求める場合にも、フレーム毎に求める必要がなくなると共に、撮像部の入力フレームレートが可変の場合にも対応できる。
また本発明に係る画像データ圧縮装置では、前記圧縮処理部が、フレーム毎に、前記圧縮処理後のデータサイズを変化させて前記圧縮処理後のデータの生成レートを制御するレートコントロール部を含むことができる。
また本発明に係る画像データ圧縮装置では、前記圧縮処理部が、前記画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部と、前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部とを含み、前記レートコントロール部が、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、前記量子化パラメータに基づいて、フレーム毎に前記量子化部の量子化ステップを変化させて符号化データのデータサイズを制御し、前記フレームスキップ部が、更に、前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行うことができる。
本発明においては、圧縮処理部が含む量子化部と符号化データ生成部との間にＦＩＦＯバッファ部を設けている。こうすることで、量子化部と符号化データ生成部との処理を非同期で、かつ並列に動作させることができる。そして、符号化データ生成部による符号化データの生成のレートを制御する場合、レートコントロール部が、ＦＩＦＯバッファ部に書き込まれる量子化データのデータサイズから、符号化データ生成部によって生成される符号化データの予測データサイズを求め、該予測データサイズに基づいて、量子化部の量子化ステップを変化させるようにしている。
これにより、量子化部と符号化データ生成部との処理を非同期で行うように構成した結果、非特許文献１に開示されたレートコントロール方式を実施できない場合であっても、符号化データの生成のレートを制御でき、一定のレートで画像データを圧縮した符号化データを生成できるようになる。しかも、そのレートコントロールを正確に行うことができる。
そしてフレームスキップ部が、量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、スキップ処理を行うようにしている。従って、上述のレートコントロールの実施したとしても、画像（特に自然画像ではない画像）によっては符号化データのサイズが増加してビットレートを確実に維持できなくなるような場合に、フレームごとに生成される符号化データの増加量を抑え、ビットレートを維持させることができるようになる。
また本発明に係る画像データ圧縮装置では、前記圧縮処理部が、前記画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する量子化部と、前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部とを含み、前記レートコントロール部が、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、前記量子化パラメータに基づいて、フレーム毎に前記量子化部の量子化ステップを変化させて符号化データのデータサイズを制御し、前記フレームスキップ部が、更に、前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が、複雑度閾値以上のとき、前記スキップ処理を行うことができる。
本発明においては、圧縮処理部が含む量子化部と符号化データ生成部との間にＦＩＦＯバッファ部を設けている。こうすることで、量子化部と符号化データ生成部との処理を非同期で、かつ並列に動作させることができる。そして、符号化データ生成部による符号化データの生成のレートを制御する場合、レートコントロール部が、ＦＩＦＯバッファ部に書き込まれる量子化データのデータサイズから、符号化データ生成部によって生成される符号化データの予測データサイズを求め、該予測データサイズに基づいて、量子化部の量子化ステップを変化させるようにしている。
これにより、量子化部と符号化データ生成部との処理を非同期で行うように構成した結果、非特許文献１に開示されたレートコントロール方式を実施できない場合であっても、符号化データの生成のレートを制御でき、一定のレートで画像データを圧縮した符号化データを生成できるようになる。しかも、そのレートコントロールを正確に行うことができる。
そしてフレームスキップ部が、動き検出の際に求められたり、量子化パラメータの算出の際に用いられる複雑度が、複雑度閾値のとき、スキップ処理を行うようにしている。従って、上述のレートコントロールの実施したとしても、画像（特に自然画像ではない画像）によっては符号化データのサイズが増加してビットレートを確実に維持できなくなるような場合に、フレームごとに生成される符号化データの増加量を抑え、ビットレートを維持させることができるようになる。
また本発明に係る画像データ圧縮装置では、前記レートコントロール部が、前記予測データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように量子化パラメータを求めることができる。
本発明によれば、量子化パラメータ上限閾値以下となるように量子化パラメータを求めるようにしたので、画質を劣化させない程度に、量子化データのサイズを小さくして符号化データのサイズを小さくできるようになる。しかも、上述のようにスキップ処理を行うことができるので、一定のビットレートも維持できる。
また本発明に係る画像データ圧縮装置では、前記レートコントロール部が、前記予測データサイズを用いて、前記量子化パラメータ上限閾値以下で、かつその値が設定可能な量子化パラメータ下限閾値以上となるように前記量子化パラメータを求めることができる。
本発明では、レートコントロール部が、量子化パラメータ上限閾値以下となるように量子化パラメータを求めるようにしている。一般的に、量子化パラメータの値を大きくするほど、画像データを大きく間引いて量子化データのサイズを小さくし、符号化データのサイズを小さくできる。その反面、該符号化データをデコードした画像にはブロックノイズが目立つようになる。従って、本発明によれば、上述のようにレートコントロールを実施したとしても、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ事態を回避できるようになる。
またレートコントロール部が、量子化パラメータ下限閾値以上となるように量子化パラメータを求めるようにしている。一般的に、量子化パラメータの値を小さくするほど、画像データの間引き量が少なくなって量子化データのサイズを大きくなる。その反面、該符号化データをデコードした画像にはブロックノイズが少なくなる。従って、本発明によれば、上述のようにレートコントロールを実施したとしても、無駄にデータサイズを大きくすることがなくなる。
従って、本発明によれば、圧縮効率と画質との最適化を図るレートコントロールを容易に実現できる。
また本発明に係る画像データ圧縮装置では、前記ＦＩＦＯバッファ部のアクセス回数に対応したカウントデータが保持されるカウントレジスタを含み、前記レートコントロール部が、前記カウントデータから前記予測データサイズを求めることができる。
本発明によれば、簡素な構成で、量子化データのデータサイズと等価な情報を得ることができるので、非特許文献１で規定されたレートコントロール方式をより簡素な構成で実現できる画像データ圧縮装置を提供できる。
また本発明に係る画像データ圧縮装置では、前記予測データサイズは、前記１フレーム前の量子化データのデータサイズを１次変換することにより求められるデータサイズであってもよい。
また本発明に係る画像データ圧縮装置では、前記一次変換は、前記符号化データ生成部の符号化効率に対応した係数を用いた変換であってもよい。
また本発明に係る画像データ圧縮装置では、前記一次変換は、更に、前記符号化データに付加されるヘッダサイズ分の補正を行う変換であってもよい。
本発明においては、量子化データのデータサイズと符号化データのデータサイズとがほぼ線形関係にあることに着目し、この線形関係を表す１次変換式により予測データサイズを求めることができるようにしている。これにより、処理負荷を増加させることなく、正確なレートコントロールを実現させることができる。
また本発明に係る画像データ圧縮装置では、量子化ステップ値を記憶する量子化テーブルを含み、前記レートコントロール部が、前記量子化パラメータと前記量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させてもよい。
また本発明に係る画像データ圧縮装置では、離散コサイン変換された前記画像データを、フレーム単位で前記量子化部に供給する離散コサイン変換部を含むことができる。
また本発明に係る画像データ圧縮装置では、動画像の画像データをハードウェアにより処理するハードウェア処理部と、前記ＦＩＦＯバッファ部から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成するソフトウェア処理部とを含み、前記ハードウェア処理部が、前記量子化部と、前記ＦＩＦＯバッファ部とを含み、前記ソフトウェア処理部が、前記符号化データ生成部、前記レートコントロール部、前記間引き検出部及び前記フレームスキップ部を含むことができる。
ここで、量子化された動画像データは、ゼロデータが圧倒的に多く、量子化前のデータと比較すればデータの情報量の種類が圧倒的に少ない場合が多い。しかも、一般的に符号化のための演算自体の負荷も少ない。よって、情報量が少なく演算負荷の軽い処理をソフトウェア処理部で処理しても、その処理の負荷は小さい。逆に、量子化の処理の多くは、情報量が多い上に演算も複雑で、ソフトウェアで処理するには負荷が大きい。そして、これらは負荷が重い処理ではあるが、規格化されている場合には、変更の必要性は乏しく、また、繰り返し処理が多いため、ハードウェア処理部での処理に適している。また、ハードウェア処理部での処理後のデータ量が少ないので、ハードウェア処理部からソフトウェア処理部に伝送されるデータ量が少なく、伝送負荷も軽くなる。また、ソフトウェア処理部とハードウェア処理部との間には、ＦＩＦＯバッファ部が介在するので、ソフトウェア処理とハードウェア処理とを並列的に処理することができる。更に、ソフトウェア処理とハードウェア処理とを使い分けることで、装置の小型化と消費電力の低減の双方を実現できる。
また本発明に係る画像データ圧縮装置では、前記ハードウェア処理部が、現在のフレームの入力画像データと現在のフレームの１フレーム前の過去画像データとの差分を動きベクトル情報として出力し、該動きベクトル情報に対して離散コサイン変換を行って前記画像データとして前記量子化部に出力し、前記量子化データに対して前記量子化ステップで逆量子化して求められる逆量子化データに基づいて、前記過去画像データを生成することができる。
また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データを可変長符号に符号化することができる。
また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することができる。
また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データからＤＣ成分及びＡＣ成分とを求め、前記ＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することができる。
また本発明は、上記のいずれか記載の画像データ圧縮装置を含む電子機器に関係する。
本発明によれば、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化を図り、画像データの入力フレームレートの高速化にも対応して一定レートで圧縮データの生成を行う電子機器を提供できる。
また本発明は、画像データを圧縮するための画像データ圧縮方法であって、撮像部から１フレーム分の画像データが入力される毎に、当該入力フレームが間引き対象フレームか否かを検出する処理を行い、非間引き対象フレームと判断されたフレームの画像データの圧縮処理を行って符号化データを一定レートで生成し、前記撮像部からの画像データの入力フレームレートをＣＡ（ＣＡは正の整数）、前記圧縮処理部によって生成される圧縮処理後の符号化データの生成レートをＴＡ（ＣＡ＞ＴＡ、ＴＡは正の整数）とした場合、前記撮像部からの画像データの入力フレーム数ＣＡのうち、（ＣＡ−ＴＡ）フレーム数の画像データを間引き対象フレームとして検出する画像データ圧縮方法に関係する。
また本発明に係る画像データ圧縮方法では、フレーム毎に、前記圧縮処理後のデータサイズを変化させて前記圧縮処理後のデータの生成レートを制御することができる。
また本発明に係る画像データ圧縮方法では、前記撮像部から入力される画像データのフレームのカウント値とＣＡ／（ＣＡ−ＴＡ）の整数倍として求められる小数点データの間引きフレームインターバル値のうちの１つの値とを比較し、前記カウント値が前記間引きフレームインターバル値のうちの１つの値以上であるとき、前記当該入力フレームを間引き対象フレームとして検出することができる。
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。
１． ＭＰＥＧ−４
まずＭＰＥＧ−４のエンコード処理について簡単に説明する。またこのエンコード処理によって符号化された圧縮データを伸張するためのデコード処理についても説明する。
図１（Ａ）、（Ｂ）に、ＭＰＥＧ−４のエンコード処理と、デコード処理の説明図を示す。この処理の詳細については、例えば日本実業出版社の「JPEG&MPEG 図解でわかる画像圧縮技術」（越智宏、黒田英夫の共著）に説明されているので、本発明に関する処理についてのみ主として説明する。
図１（Ａ）に示すエンコード処理では、まず、連続する２枚（２フレーム）の画像間の動き検出（ＭＥ：Motion Estimation）が実施される（ステップＳ１）。具体的には２枚の画像間の同一画素同士の差分を求める。２枚の画像間で変化のない画像領域では差分が０になるので、情報量を少なくできる。この画像領域のゼロデータに加え、２枚の画像間で変化のある画像領域の差分（プラス・マイナス成分）が動き検出後の情報となる。
次に、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）が実施される（ステップＳ２）。この離散コサイン変換（ＤＣＴ）は、図２に示す８画素×８画素の１ブロック単位で演算され、１ブロック毎にＤＣＴ係数を求めるものである。離散コサイン変換後のＤＣＴ係数は、１ブロック内の画像の濃淡変化を、全体の明るさ（ＤＣ成分）と空間周波数（ＡＣ成分）とで表わしたものである。図３は、８画素×８画素の１ブロック内のＤＣＴ係数の一例を示している（上述の図書の第１１６頁の図５−６を引用）。その左上隅のＤＣＴ係数がＤＣ成分を示し、それ以外のＤＣＴ係数がＡＣ成分を示す。なお、ＡＣ成分のうち、高周波成分を省略しても画像認識への影響が少ない。
次に、ＤＣＴ係数の量子化が行われる（ステップＳ３）。この量子化は、１ブロック内の各ＤＣＴ係数を、量子化テーブル中の対応する位置の量子化ステップ値で除算して、情報量を少なくするために実施される。例えば、図３のＤＣＴ係数を図４の量子化テーブルを用いて量子化した１ブロック内のＤＣＴ係数を図５に示す（上述の図書の第１１７頁の図５−９及び図５−１０を引用）。図５に示す通り、特に、高周波成分のＤＣＴ係数を量子化ステップ値で除算し、その小数点以下を四捨五入すると、ほとんどがゼロデータとなり、情報量が大幅に減少している。
このエンコード処理には、現フレームと該現フレームの次のフレームとの間で上述の動き検出（ＭＥ）を実施するために、帰還ルートが必要となる。この帰還ルートでは、図１（Ａ）に示すように、逆量子化（ｉＱ）、逆ＤＣＴ及び動き補償（ＭＣ：Motion Compensation）が実施される（ステップＳ４〜Ｓ６）。なお、動き補償の詳細な動作については省略するが、この処理は図２に示す１６画素×１６画素の１マクロブロック単位で実施される。
本実施形態では、上述したステップＳ１〜Ｓ６の処理が、ハードウェアによって実施される。
図１（Ａ）のステップＳ７で実施されるＤＣ／ＡＣ（直流／交流成分）予測処理及びステップＳ８で実施されるスキャン処理は、共にステップＳ９の可変長符号（ＶＬＣ：Variable Length Code）の符号化の効率を高めるために必要な処理である。なぜなら、ステップＳ９の可変長符号への符号化は、ＤＣ成分については隣接ブロック間での差分を符号化し、ＡＣ成分についてはブロック内を周波数が低い側から高い側に向けてスキャン（ジグザグスキャンとも称する）して符号化の順序を決める必要があるからである。
ステップＳ９の可変長符号への符号化とは、エントロピー符号化とも称され、符号化原理として、出現頻度の多いものは少ない符号で表わすように符号化するものである。このエントロピー符号化には、ハフマン符号化が採用される。
そしてステップＳ７、ステップＳ８での結果を利用して、ＤＣ成分について隣接ブロック間での差分を符号化し、ＡＣ成分についてはスキャンされた順番で低周波側から高周波側から順にＤＣＴ係数値を符号化する。
ここで、画像データは、その画像の複雑さや動きの激しさによって情報の発生量が変動する。この変動を吸収し、一定の伝送レートで伝送するには符号発生量の制御が必要であり、これがステップＳ１０のレートコントロールである。レートコントロールのために通常バッファメモリが設けられ、そのバッファメモリがオーバーフローしないように蓄積情報量を監視し、情報発生量を抑えるようにする。具体的には、ステップＳ３での量子化特性を粗くして、ＤＣＴ係数値を表すビット数を減らしている。
本実施形態では、上述したステップＳ７〜Ｓ１０の処理が、ソフトウェアによって実施される。即ち、ステップＳ７〜Ｓ１０の処理が、ソフトウェアを読み込んだハードウェアによって実現される。
図１（Ｂ）は、図１（Ａ）のエンコード処理によって圧縮された画像データのデコード処理を示す。このデコード処理は図１（Ａ）のエンコード処理を逆順でかつ逆処理することで達成される。なお、図１（Ｂ）中の「ポストフィルタ」とは、ブロックノイズを消去するためのフィルタである。また図１（Ｂ）中の「ＹＵＶ／ＲＧＢ変換」とは、ポストフィルタの出力を、ＹＵＶフォーマットからＲＧＢフォーマットに変換することを指す。
２． レートコントロール
次に、図１（Ａ）に示すステップＳ１０で実施されるレートコントロールに関し、非特許文献１に記載される手法について簡単に説明する。この手法では、エンコード時の量子化パラメータを変化させる。量子化パラメータを変化させることで、図１（Ａ）に示す量子化（ステップＳ３）の量子化ステップを変化させて量子化特性を変化させ、発生する符号量（データのサイズ）を制御する。
この手法では、フレームごとに量子化パラメータＱｃを設定して、１フレームを符号化したときの発生符号量Ｒの制御を行う。このとき、図６に示すモデル式に従って、量子化パラメータＱｃを求める。
図６において、Ｒは１フレームを符号化しときの発生符号量、Ｑｃは量子化パラメータ、Ｅｃはフレームの複雑度、Ｘ１、Ｘ２は本モデルのパラメータを示す。フレームの複雑度Ｅｃは、符号化対象とする画素の絶対値平均を用いる。ここでフレーム間符号化マクロブロックに関しては、フレームの複雑度Ｅｃは、現フレームと該現フレームの前のフレームとの差分値ｘ´ｉｊの絶対値の総和を面積Ａで除した値として、動き検出後に求められる。フレーム内符号化マクロブロックに関しては、現フレームと基準値μとの差分値の絶対値（｜ｘｉｊ−μ｜）の総和を面積Ａで除した値として求められる。なお基準値μは、マクロブロック内の全画素の平均値とすることができる。
このように、図６では、発生符号量はフレームの複雑度と量子化パラメータの逆数の２次式とによってモデル化される。
図７に、図６に示すモデル式を用いたレートコントロールの処理フローの一例を示す。
まず、初期フレームを、所定の量子化パラメータを用いてエンコードする（ステップＳ３０）。次に、モデルパラメータＸ１、Ｘ２の初期値を設定する（ステップＳ３１）。続いて、現フレームの複雑度Ｅｃを算出する（ステップＳ３２）。複雑度Ｅｃは、図６に示す式を用いて求めることができる。そして、エンコードに使用する符号量を、使用可能な残りの符号量及び前フレームで使用した符号量を基に求める（ステップＳ３３）。
更に、ステップＳ３１で設定されたモデルパラメータＸ１、Ｘ２、ステップＳ３２で求められた複雑度Ｅｃを、図６に示すモデル式に設定する。また、ステップＳ３３で求められたエンコードに使用する符号量から、前フレームで使用したビット数のうちヘッダや動きベクトル等の情報以外のビット数を減算した値を、１フレームを符号化したときの発生符号量Ｒとして図６に示すモデル式に設定する。そして、図６に示すパラメータをＱｃとする２次方程式を解いて、量子化パラメータＱｃを求める（ステップＳ３４）。
次に、ステップＳ３４で求められた量子化パラメータＱｃを用いてフレームの量子化と符号化とを行って（ステップＳ３５）、現フレームの１フレーム前にエンコードしたフレームの量子化パラメータと発生符号量等とを基に、図６に示すモデル式からモデルパラメータＸ１、Ｘ２を求めて更新する（ステップＳ３６）。
所定の条件でこの処理フローを終了するとき（ステップＳ３７：Ｙ）、一連の処理を終了し（エンド）、終了しないとき（ステップＳ３７：Ｎ）、ステップＳ３２に戻る。以上のような処理を毎フレーム行う。
このように非特許文献１に記載されるレートコントロール方式では、１フレーム前のエンコード結果を次のフレームのエンコードに反映させる必要がある。
３． 画像データ圧縮装置
ところで本実施形態は、上述したエンコードの一連の処理をハードウェアとソフトウェアとに分担させ、この分担の最適化を図る画像データ圧縮装置を提供するものである。
図８に、本実施形態における画像データ圧縮装置の構成の概要のブロック図を示す。
本実施形態における画像データ圧縮装置１０は、撮像部９０からの画像データに対して圧縮処理を行う。撮像部９０は、撮像により取り込んだ画像データを、１フレーム（１画面）ごとに画像データ圧縮装置１０に対して出力する。この撮像部９０としては、例えばＣＣＤ（Charge-Coupled device）カメラ（イメージセンサ）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ（イメージセンサ）を含むカメラモジュールがある。
画像データ圧縮装置１０は、圧縮処理部７０を含む。圧縮処理部７０は、撮像部９０からの画像データの圧縮処理を行う。本実施形態では、この圧縮処理は、ＭＰＥＧ−４の規格に準拠した処理を行い、圧縮処理後のデータとして符号化データを所定のレート（例えば１５フレーム毎秒）で出力する。
そのため圧縮処理部７０は、量子化部２０、ＦＩＦＯバッファ部３０及び符号化データ生成部４０を含み、フレーム単位に入力される画像データを圧縮するための処理を行う。
量子化部２０は、図１（Ａ）に示すステップＳ３の処理を行う。量子化部２０は、フレーム単位で、画像データを、量子化パラメータに基づいて変化する量子化ステップで量子化する。量子化部２０では、フレームごとに設定される量子化パラメータが設定される。ここで画像データは、例えば図１（Ａ）に示すステップＳ２のＤＣＴ処理後のＤＣＴ係数により表わすことができる。この場合、図３に示すＤＣＴ係数が、図４に示す量子化テーブルの量子化ステップ値と量子化パラメータとの積で除算され、図５に示すように量子化される。
ＦＩＦＯバッファ部３０には、量子化部２０によって量子化された複数フレーム分の量子化データがバッファリングされる。フレーム単位で量子化部２０から出力される量子化データは、ＦＩＦＯバッファ部３０に順次書き込まれる。そしてＦＩＦＯバッファ部３０は、先入れ先出し記憶回路として機能する。
符号化データ生成部４０は、ＦＩＦＯバッファ部３０から１フレーム分の量子化データを読み出し、該量子化データを符号化した符号化データを生成する。この符号化データ生成部４０は、ＦＩＦＯバッファ部３０への書き込みと非同期で、ＦＩＦＯバッファ部３０から１フレーム分の量子化データを読み出す。
このように量子化部２０と符号化データ生成部４０との間にＦＩＦＯバッファ部３０を設けることで、処理負荷の重い量子化部２０の処理をハードウェアに負担させ、処理負荷の軽い符号化データ生成部４０の符号化処理をソフトウェア処理で実現させると共に、両者の処理を並列に処理できるようになる。
以下では、量子化部２０が例えば高速なハードウェアによって実現され、符号化データ生成部４０が例えば低速なソフトウェア処理によって実現されるものとして説明するが、これに限定されるものではなく、符号化データ生成部４０が、ＦＩＦＯバッファ部３０への書き込みと非同期でＦＩＦＯバッファ部３０から量子化データを読み出す場合に本実施形態を適用することができる。従って、量子化部２０が例えば高速なハードウェアによって実現され、符号化データ生成部４０が例えば低速なハードウェアによって実現されてもよい。或いは量子化部２０と符号化データ生成部４０がソフトウェアを読み込むハードウェアによって実現され、互いに非同期で処理するようにしてもよい。
また画像データ圧縮装置１０は、間引き検出部８０を含む。間引き検出部８０は、撮像部９０から１フレーム分の画像データが入力される毎に、当該入力フレームが間引き対象フレームか否かを検出する処理を行う。間引き検出部８０は、撮像部９０からの画像データの入力フレームレートと符号化データの生成レートとに基づいて、当該入力フレームが間引き対象フレームか否かを検出する処理を行う。
図９に、撮像部９０の構成例のブロック図を示す。
撮像部９０は、制御レジスタ９２、タイミングジェネレータ９４、イメージセンサ部９６、信号処理部９８を含む。タイミングジェネレータ９４は、制御レジスタ９２の設定値に対応したタイミングの制御信号を生成する。本実施形態では、制御レジスタ９２の設定値に対応したフレームレートで、取り込んだ画像のデータを出力する。
イメージセンサ部９６は、例えば画素毎に設けられた撮像素子を含み、タイミングジェネレータ９４によって生成された制御信号に同期して、撮像により画像を取り込む。信号処理部９８は、タイミングジェネレータ９４によって生成された制御信号に同期して、イメージセンサ部９６によって取り込まれた画像データに対して所定の信号処理（ノイズ成分を除去するための処理、ゲイン調整処理、Ａ／Ｄ変換処理）を行う。
このような撮像部９０は、画像データ圧縮装置１０や図示しないホストによりフレームレートが制御される。このフレームレートは、制御レジスタ９２の設定値に対応した制御信号により制御される。イメージセンサ部９６は、画像データ圧縮装置１０の符号化データの生成レートよりも高速なフレームレートで、撮像により取り込んだ画像データを生成する。そして信号処理部９８は、ノイズ除去等の所定の信号処理後の画像データを、１フレームの開始を指示する垂直同期信号ＶＳＹＮＣと共に出力する。
なお制御レジスタ９２の設定値は、外部への読み出しができるようになっており、画像データ圧縮装置１０の間引き検出部８０は、制御レジスタ９２の設定値を参照して、撮像部９０からの画像データの入力フレームレートを識別できるようになっている。
この制御レジスタ９２の設定値は、外部から設定できるものとしているが、予め固定的に設定されていてもよい。
図８に戻って説明を続ける。こうして撮像部９０からの画像データの入力フレームレートを参照できる間引き検出部８０を含む画像データ圧縮装置１０は、更に、フレームスキップ部６０を含む。フレームスキップ部６０は、間引き検出部８０の検出結果に基づいて、圧縮処理部７０が行う１フレーム分の画像データの圧縮処理をスキップさせるスキップ処理を行う。より具体的には、フレームスキップ部６０は、間引き検出部８０が当該入力フレームを間引き対象フレームと判断したことを条件にスキップ処理を行う。スキップ処理が行われると、当該入力フレームの画像データの圧縮処理が行われず、当該入力フレームの画像データがなかったものとして扱われる。
ここで、間引き検出部８０により行われる処理について説明する。
撮像部９０からの画像データの入力フレームレートをＣＡ（ＣＡは正の整数）、圧縮処理部７０の圧縮処理後の符号化データの生成レートをＴＡ（ＣＡ＞ＴＡ、ＴＡは正の整数）とした場合、間引き検出部８０は、撮像部９０からの画像データの入力フレーム数ＣＡのうち、（ＣＡ−ＴＡ）フレーム数の画像データを間引き対象フレームとして検出する。即ち、間引き検出部８０は、撮像部９０からの画像データの入力フレームレートが高速な場合、該画像データが１フレーム分入力される毎に、上記の割合で間引き対象フレームを求める。こうして画像データ圧縮装置１０では、撮像部９０からの画像データの入力フレームレートが高速な場合、入力される画像データを、圧縮処理に先立ってフレーム単位に間引きをして、所定のレートで符号化データを出力する。
図１０に、間引き検出部８０の処理の手法の説明図を示す。
間引き検出部８０は、以下のように求められる間引きフレームインターバル値を小数点データとして保持する。そして間引き検出部８０は、撮像部９０から入力される画像データのうち、該間引きフレームインターバル値で示される間隔で、必要なフレーム数だけ間引き対象フレームとする。
図１０では、画像データの入力フレームレートをＣＡ、符号化データの生成レートをＴＡとし、符号化データの生成レートが１５（１５フレーム毎秒）のときの必要な間引きフレーム数と間引きフレームインターバル値とを示している。必要間引きフレーム数は、（ＣＡ−ＴＡ）により求められる。間引きフレームインターバル値は、ＣＡ／（ＣＡ−ＴＡ）により求められる小数点データである。
図１１に、間引き検出部８０の処理例の説明図を示す。
図１１では、入力フレームレートを１９（１９フレーム毎秒）、符号化データの生成レートを１５（１５フレーム毎秒）としている。このとき、図１０に示すように、必要間引きフレーム数は４（＝１９−１５）となり、間引きフレームインターバル値は４．７５（＝１９／（１９−１５））となる。
間引き検出部８０では、間引き対象となるフレームを検出する処理に、間引きフレームインターバル値の累積値を用いる。また間引き検出部８０は、撮像部９０からの画像データがフレーム単位で入力される毎に１ずつインクリメントされるフレームのカウント値を保持する。間引きインターバル値の累積値は、撮像部９０からの画像データのフレームのカウント値が０からＣＡまでの範囲の値であって、間引きインターバル値の整数倍の値である。図１１では、間引きインターバル値の累積値は、４．７５（＝４．７５×１）、９．５（＝４．７５×２）、１４．２５（＝４．７５×３）、１９（＝４．７５×４）である。
そして撮像部９０から入力される画像データのフレームのカウント値が初期値の状態（＝０）から、画像データが入力される毎に当該入力フレームが間引き対象フレームか否かを判別する。より具体的には、間引き検出部８０は、撮像部９０から入力される画像データのフレームのカウント値とＣＡ／（ＣＡ−ＴＡ）の整数倍として求められる小数点データの間引きフレームインターバル値のうちの１つの値（４．７５、９．５、１４．２５、１９のうちの１つの値）とを比較していく。そして、該カウント値が該間引きフレームインターバル値のうちの１つの値以上であるとき、撮像部９０から入力される画像データのフレームである当該入力フレームを間引き対象フレームとして検出する。言い換えれば、フレームのカウント値が、間引きフレームインターバル値の累積値の１つの値以上のとき、該フレームを間引き対象フレームとして検出する。或いは、間引きフレームインターバル値の累積値の各値以上で直近のフレームを、間引き対象フレームとして検出する。
図１１では、フレームのカウント値が５のとき、該カウント値が間引きフレームインターバル値のうちの１つの値４．７５以上であるため、フレームのカウント値が５のフレームを間引き対象フレームとして検出する。同様に、フレームのカウント値がインクリメントされ、該カウント値が１０、１５、１９になったとき、それぞれ間引きフレームインターバル値のうちの１つの値９．５、１４．２５、１９以上となるため、フレームのカウント値が１０、１５、１９の各フレームを間引き対象フレームとして検出する。
この結果、圧縮処理部７０は、フレームのカウント値が１〜４、６〜９、１１〜１４、１６〜１８のフレームの画像データに対して圧縮処理を行う。
そして画像データ圧縮装置１０の圧縮処理部７０は、図８に示すように、更に、レートコントロール部５０を含むことができる。レートコントロール部５０は、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データのデータサイズを予測して予測データサイズとして求め、該予測データサイズに基づいて量子化ステップを変化させる。図５より明らかなように、量子化ステップを大きくすれば、量子化されたＤＣＴ係数のゼロデータが増える。一方、量子化ステップを小さくすれば、量子化されたＤＣＴ係数のゼロデータが減る。こうしてゼロデータが増減される量子化データは、ＦＩＦＯバッファ部３０に書き込まれる。その結果、ＦＩＦＯバッファ部３０から読み出した量子化データを、符号化データ生成部４０が符号化した符号化データのサイズも、量子化パラメータに応じて変更できるようになる。
上述のように非特許文献１に記載されたレートコントロール方式では、１フレーム前のエンコード結果を次のフレームのエンコードに反映させる必要がある。ところが、量子化部２０の量子化と符号化データ生成部４０の符号化とを、ハードウェアとソフトウェアとに分担させるようにすると、互いに非同期で処理されることになる。そのため、ＦＩＦＯバッファ部３０で読み出された量子化データが、量子化部２０で量子化されるデータの２フレーム以上過去のフレームのデータとなってしまうことがある。このため、１フレーム前のエンコード結果を次のフレームのエンコードに反映させた非特許文献１に記載されたレートコントロール方式を実現できなくなる。
そこで本実施形態では、レートコントロール部５０は、上述のように現在のフレームの１フレーム前の符号化データの予測データサイズを求め、該予測データサイズに基づいてレートコントロールを行う。この際、本実施形態では、以下のような特性に着目して、予測データサイズを求める。
図１２に、量子化データのデータサイズと符号化データのデータサイズとの関係の説明図を示す。ここで量子化データは、量子化部２０から読み出されたデータであり、図１（Ａ）においてステップＳ３において生成されたデータである。また符号化データは、符号化データ生成部４０によって該量子化データを符号化したデータであり、図１（Ａ）においてステップＳ９において生成されたデータである。
図１２に示すように、量子化データのデータサイズと符号化データのデータサイズとの間には線形関係がある。即ち、量子化データのデータサイズｘ、符号化データのデータサイズをｙとすると、ｘを変数としてｙを次の（１）式により近似的に求めることができる。
ｙ＝ａｘ−ｂ（ａ、ｂは正の実数） ・・・（１）
従って、量子化データのデータサイズｘ０を１次変換（線形変換）することで符号化データのデータサイズの予測値ｙ０として求めることができる。（１）式において、ａは、符号化データ生成部４０の符号化効率に対応した係数である。この係数は、符号化データ生成部４０の処理の特性に対応して定められる。更に具体的には、この係数は、符号化データ生成部４０において行われるハフマン符号化のためのハフマンエンコード処理の圧縮係数ということもできる。
また（１）式において、ｂは符号化データ生成部４０によって生成される符号化データのヘッダ情報のデータサイズに対応する数値である。例えば符号化データがＭＰＥＧ−４のストリームデータである場合、ＭＰＥＧ−４のヘッダ情報のデータサイズをｂとする。これにより、（１）式の１次変換は、更に、符号化データに付加されるヘッダサイズ分の補正を行う変換ということができる。
以上のような（１）式のａ、ｂは、例えば複数種類の画像データについて、量子化データのデータサイズと符号化データのデータサイズとの関係を統計的に処理して求められる。
こうして求められた予測データサイズを１フレーム前のエンコード結果として次のフレームのエンコードに反映させることで、非特許文献１に記載されたレートコントロール方式を行う。これにより、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化と、より正確なレートコントロールの実現とを両立する。
なお図８では、量子化データのデータサイズから予測データサイズを求めるようにしていたが、これに限定されるものではない。量子化データのデータサイズと等価な情報から、該予測データサイズを求めることも可能である。
以下では、量子化データのデータサイズと等価な情報として、各フレームのＦＩＦＯバッファ部３０へのアクセス回数（書き込み回数又は読み出し回数）を用いる。ＦＩＦＯバッファ部３０への書き込みを所定バイト数単位で行って、各フレームのアクセス回数を各フレームの量子化データのデータサイズと等価な情報とすることができる。またＦＩＦＯバッファ部３０からの読み出しを所定バイト数単位で行って、各フレームのアクセス回数を各フレームの量子化データのデータサイズと等価な情報とすることができる。
図１３に、本実施形態におけるレートコントロールの手法の説明図を示す。但し、図８に示す画像データ圧縮装置１０と同一部分には同一符号を付し、適宜説明を省略する。なお図１３では、ＦＩＦＯバッファ部３０が、７フレーム分の量子化データを記憶できるものとする。
図１４に、図１３に示すレートコントロール手法の動作タイミングの模式図を示す。
量子化部２０は、フレーム単位で画像データを量子化する。例えば図４に示す量子化ステップ値が設定された量子化テーブル２２を設ける。そして、量子化部２０は、量子化テーブル２２に設定された量子化ステップ値とレートコントロール部５０からの量子化パラメータとに基づいて、フレーム単位で画像データを量子化する。より具体的には、量子化パラメータを量子化ステップ値の係数とし、量子化部２０が、該量子化パラメータと量子化ステップ値との積を用いて量子化を行うことで、量子化ステップを変化させる。
量子化部２０は、時刻ｔ１、ｔ２、・・・において、フレーム単位で画像データを量子化し、量子化データを第１のフレームＦ１、第２のフレームＦ２、・・・の順にＦＩＦＯバッファ部３０に書き込む。各フレームにおいてカウントレジスタ３２が保持するカウントデータは、毎フレームにおいて初期化され、ＦＩＦＯバッファ部３０への書き込みが発生する毎にインクリメントされて更新される。こうすることで、各フレームの量子化データの書き込みが完了した時点で、カウントレジスタ３２には、ＦＩＦＯバッファ部３０への書き込み回数に対応したカウントデータが設定されていることになる。
その一方で、符号化データ生成部４０は、ＦＩＦＯバッファ部３０への量子化データの書き込みタイミングとは非同期で、ＦＩＦＯバッファ部３０から量子化データをフレーム単位で読み出し、符号化処理を行う。
レートコントロール部５０は、符号化データ生成部４０の処理とは独立して、各フレームの量子化データの書き込みが完了した時点のカウントデータに基づいて、量子化部２０の量子化ステップを変化させて次のフレームに反映させる。これにより、量子化データの書き込みが完了したフレームの次のフレームでは、量子化部２０で量子化された量子化データのサイズが変化し、この結果として符号化データ生成部４０が生成する符号化データのサイズも変化する。
図１４では、符号化データ生成部４０がＦＩＦＯバッファ部３０から第１〜第４のフレームＦ１〜Ｆ４の量子化データを順次読み出して、各フレームの符号化データをそれぞれ生成して出力している。
カウントレジスタ３２には、第１のフレームＦ１の量子化データのＦＩＦＯバッファ部３０への書き込みが完了した時点で、カウントデータＤ１が保持される。カウントデータＤ１は、第１のフレームＦ１の量子化データのＦＩＦＯバッファ部３０への書き込み回数に対応したデータである。カウントデータＤ１は、第１のフレームＦ１の量子化データのデータサイズに対応づけられる。このカウントデータは、第２のフレームＦ２の開始時点で初期化され、第２のフレームＦ２の量子化データのＦＩＦＯバッファ部３０への書き込みが完了した時点で、カウントデータＤ２が保持される。カウントデータＤ２は、第２のフレームＦ２の量子化データのＦＩＦＯバッファ部３０への書き込み回数に対応したデータである。
レートコントロール部５０は、ＦＩＦＯバッファ部３０への書き込みが終了する毎にカウントデータを読み出して、次のフレームの量子化ステップを変化させる。図１４では、第１のフレームＦ１の量子化データの書き込みが完了すると、レートコントロール部５０がカウントデータＤ１を読み出し、カウントデータＤ１から予測データサイズを求める。そして図６及び図７で説明したように、レートコントロール部５０は、この予測データサイズを用いて第２のフレームＦ２のエンコードに使用する符号量を算出して、量子化パラメータＱｃを求める。この結果、量子化部２０は、第２のフレームＦ２の画像データに対し、第１のフレームＦ１の符号化データの予測データサイズに基づいて求められた量子化パラメータＱｃと量子化テーブル２２の量子化ステップ値との積を用いて量子化する。この量子化結果が、ＦＩＦＯバッファ部３０に書き込まれる。こうして、フレームごとに１フレーム前の予測データサイズを用いることで、所望のレートで符号化データを生成できるようになる。
また本実施形態では、レートコントロール部５０のレートコントロールの結果、符号化データのデータサイズが大きくなって一定のビットレートを維持できない場合に、フレームスキップ部６０がスキップ処理を行うことができる。このフレームスキップ部６０は、量子化部２０に供給される画像データの生成を中止させる。
そのため、フレームスキップ部６０は、フレームごとに求められる量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、スキップ処理を行う。或いは、フレームスキップ部６０は、量子化部２０によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分情報に対応した複雑度が、複雑度閾値以上のとき、スキップ処理を行う。こうすることで、フレームスキップ部６０は、毎フレーム生成される符号化データの増加量を抑え、ビットレートを維持させることができるようになる。
また上述のようにレートコントロールを実施したとしても、エンコード対象の画像によっては、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ場合も想定される。これは、非特許文献１に述べられているレートコントロール方式により、圧縮データの生成レートをコントロールしたとしても、該圧縮データをデコード（伸張）した画像にはブロックノイズが表示されることが多く、表示品質を劣化させる場合があるからである。
図１５に、量子化パラメータ、符号化データのデータサイズ及びブロックノイズの関係を模式的に示す。図１５では、横軸が量子化パラメータを表わし、縦軸がデータサイズ及びブロックノイズを表わす。なお、非特許文献１に記載されるレートコントロール方式では、量子化パラメータＱｃの値の範囲が１〜３１である。
図１５に示すように、量子化パラメータの値を大きくするほど、画像データを大きく間引いてＤＣＴ係数をゼロデータにすることになり量子化データのサイズを小さくし、符号化データのサイズを小さくできる。その反面、該符号化データをデコードした画像にはブロックノイズが目立つようになる。即ち、データサイズが小さいほど、ブロックノイズが多くなる。
そこで本実施形態では、量子化パラメータＱｃの値が一定値より大きくならないように、量子化パラメータ上限閾値QcUpperLimitを設けている。この量子化パラメータ上限閾値QcUpperLimitの値は、レートコントロールに先立って設定される。従って、レートコントロール部５０は、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように量子化パラメータを求める。このように、Ｑｃ≦QcUpperLimitとすることにより、上述のようにレートコントロールを実施したとしても、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ事態を回避できるようになる。
一方、量子化パラメータの値を小さくするほど、画像データを間引く量が小さくなり、ＤＣＴ係数のゼロデータが少なくなる。そのため量子化データのサイズが大きくなり、符号化データのサイズも大きくなる。その反面、該符号化データをデコードした画像にはブロックノイズが少なくなる。即ち、データサイズが大きいほど、ブロックノイズが少なくなる。例えば量子化パラメータＱｃの値が１のとき、デコードした画像を最高画質にできるが、１フレーム分の符号化データとして使用されるデータ量が膨大となってしまう。このとき、人間の眼では確認できないような撮像部のノイズもすべて残った状態となる。
そこで本実施形態では、量子化パラメータＱｃの値が一定値より小さくならないように、量子化パラメータ下限閾値QcLowerLimitを設けている。この量子化パラメータ下限閾値QcLowerLimitの値は、レートコントロールに先立って設定される。従って、レートコントロール部５０は、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて、その値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求める。このように、Ｑｃ≧QcLowerLimitとすることにより、上述のようにレートコントロールを実施したとしても、無駄にデータサイズを大きくすることがなくなる。
以上のように、レートコントロール部５０は、予測データサイズを用いて量子化パラメータ上限閾値QcUpperLimit以上となるように又は量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるようにしてもよいが、これに限定されるものではない。
レートコントロール部５０は、上述のように予測データサイズを用いて、量子化パラメータ上限閾値QcUpperLimit以下で、かつ量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるようにしてもよい。この場合、量子化パラメータＱｃの値を、図１５に示す範囲RangeQcとすることで、データサイズの範囲RangeDataとすることができ、圧縮効率と画質との最適化を図るレートコントロールを容易に実現できる。
ところで、フレームごとに圧縮処理を行っていると、画像（特に自然画像ではない画像）によっては符号化データのサイズが増加し、ビットレートを確実に維持できない可能性がある。特に、上述のように量子化パラメータＱｃの量子化パラメータ上限閾値QcUpperLimitを設けた場合には、画質劣化を防止できる反面、個々のフレームでの符号化データのサイズが増加せざるを得ず、ビットレートの維持を阻害する可能性が高くなる。
そのため本実施形態では、フレームスキップ部６０が、上述のように一定の条件で、スキップ処理を行う点で、有効である。特に、量子化パラメータ上限閾値QcUpperLimit以下となるように量子化パラメータＱｃを求めたときに、フレームスキップ部６０が、該量子化パラメータＱｃがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、スキップ処理を行うことで、画質の劣化を防止する一方で、確実にビットレートを維持できる。或いは、量子化パラメータ上限閾値QcUpperLimit以下となるように量子化パラメータＱｃを求めたときに、フレームスキップ部６０が、量子化部２０によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分情報に対応した複雑度が、複雑度閾値以上のとき、スキップ処理を行うことで、画質の劣化を防止する一方で、確実にビットレートを維持できる。
３．１ 量子化パラメータＱｃの算出処理
次に、レートコントロール部５０で行われる量子化パラメータＱｃの算出処理について具体的に説明する。
以下では、予測データサイズを用いて、量子化パラメータ上限閾値QcUpperLimit以下で、かつ量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるものとする。
図１６及び図１７に、量子化パラメータＱｃの算出処理のフローの一例を示す。ここでは、図１８に示す量子化パラメータＱｃの算出処理で用いられる変数の説明図を参照しながら、図１６及び図１７に示すフローを説明する。図１６及び図１７に示すフローが、毎フレーム行われる。
まず前フレームで使用したビット数Ｓを算出する（ステップＳ４０）。ここで、変数Ｓに、前フレームで求められた、エンコードに使用したビット数（現フレームのエンコードに使用したビット数）Ｒｃの値が設定される。
図１９に、エンコードに使用したビット数Ｒｃの値の算出処理のフローの一例を示す。ここでは、現在のフレームの１フレーム前の量子化データのデータサイズと等価な情報としてカウントレジスタ３２から読み出されたカウントデータをｘ０とし、（１）式に代入して現在のフレームの符号化データの予測データサイズｙ０を求める（ステップＳ６０）。
そしてステップＳ６０で求めた予測データサイズｙ０を、エンコードに使用したビット数Ｒｃの値として設定する（ステップＳ６１）。
こうして求められた変数Ｒｃの値は、次のフレームで変数Ｓに設定される。
図１６に戻って、説明を続ける。変数Ｓの値が求められると、現フレームに割り当てるビット数Ｔを求める（ステップＳ４１）。ステップＳ４１では、残りの使用可能ビット数Ｒｒと、残りにエンコードフレーム枚数Ｎｒとにより、１フレーム当たりの平均割り当てビット数（Ｒｒ／Ｎｒ）を求め、その値と前フレームの割り当てビット数Ｓとの比で、現フレームに割り当てられるビット数Ｔを求める。ステップＳ４１では、例えば０．９５：０．０５となっている。そして、現フレームに割り当てられるビット数Ｔが、下限値であるＲｓ／３０の値を下回らないようにする。
次に、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと、ＦＩＦＯバッファ部３０のビット数Ｂｓとの比から、現フレームに割り当てられるビット数Ｔを調整する（ステップＳ４２）。この結果、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂが、ＦＩＦＯバッファ部３０のビット数Ｂｓの半分より小さい場合は、変数Ｔの値を大きくし、逆に大きい場合は変数Ｔの値を小さくする。
そして、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと変数Ｔの加算値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割を超えたか否かを判別する（ステップＳ４３）。該加算値が変数Ｂｓの値の９割を超えたと判別されたとき（ステップＳ４３：Ｙ）、変数Ｔの値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割から変数Ｂの値を減算した値に設定（クリップ）される（ステップＳ４４）。即ち、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと変数Ｔの加算値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割を超えないように設定される。また、ステップＳ４１と同様に、変数Ｔの値が、下限値であるＲｓ／３０の値を下回らないようにする。
一方、ステップＳ４３において、該加算値が変数Ｂｓの値の９割を超えていないと判別されたとき（ステップＳ４３：Ｎ）、変数Ｔの値は、１フレームあたりの平均発生ビット数Ｒｐから変数Ｂの値を減算し、変数Ｂｓの値の１割を加算した値に設定される（ステップＳ４５）。即ち、変数Ｂｓと変数Ｔの加算値から１フレームあたりの平均発生ビット数Ｒｐを減算した値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの１割を下回らないように設定される。
ステップＳ４４又はステップＳ４５に続いて、変数Ｔの値が、残りの使用可能ビット数Ｒｒより大きくならないように設定する（ステップＳ４６）。次に、フレーム間で極端に変数Ｔの値が変化しないように、変数Ｔの値を調整する（ステップＳ４７）。
次に、量子化パラメータＱｃの値を求めるため、図６に示したモデル式を、変数Ｑｃの２次方程式として解く。そのため図１７に示すように、まず変数ｔｍｐの値を求める（ステップＳ４８）。
ここで、モデルパラメータＸ２が０のとき、或いは変数ｔｍｐの値が負の値のとき（ステップＳ４９：Ｙ）、１次方程式となるモデル式より量子化パラメータＱｃを求める（ステップＳ５０）。ここで、変数Ｒは、現フレームに割り当てられるビット数Ｔから、前のフレームで使用したビット数のうちヘッダ等の情報以外のビット数Ｈｐを減算した値となるため、Ｑｃ＝Ｘ１×Ｅｃ／（Ｔ−Ｈｐ）より求められる。また変数Ｅｃの値は、図６に示したようにフレームの画素の絶対値平均の値である。
ステップＳ４９において、モデルパラメータＸ２が０ではなく、かつ変数ｔｍｐの値が０以上の値のとき（ステップＳ４９：Ｎ）、図６に示すモデル式から導かれる２次方程式の解を、量子化パラメータＱｃの値とする（ステップＳ５１）。
ステップＳ５０又はステップＳ５１に続いて、量子化パラメータＱｃの値が前フレームの量子化パラメータＱｐとの差が２５パーセント以内に収まり、かつ量子化パラメータＱｃの値が１〜３１の値となるように処理する（ステップＳ５２、ステップＳ５３、ステップＳ５４、ステップＳ５５）。ステップＳ５２、ステップＳ５４において、ｃｅｉｌ（ｘ）は、ｘの値を正の方向に切り上げて整数にすることを意味する。
本実施形態では、更にステップＳ５５で求められた量子化パラメータＱｃの値の調整処理を行い（ステップＳ５６）、一連の処理を終了する（エンド）。
図２０に、量子化パラメータＱｃの値の調整処理のフローの一例を示す。
まずステップＳ５５で求められた量子化パラメータＱｃの値が、この調整処理に先立ってその値が設定される量子化パラメータ上限閾値QcUpperLimit以上か否かを判別する（ステップＳ１００）。
量子化パラメータＱｃの値が、量子化パラメータ上限閾値QcUpperLimit以上であると判別されたとき（ステップＳ１００：Ｙ）、量子化パラメータＱｃの値を量子化パラメータ上限閾値QcUpperLimitに設定する（ステップＳ１０１）。
量子化パラメータＱｃの値が量子化パラメータ上限閾値QcUpperLimit以上ではないと判別されたとき（ステップＳ１００：Ｎ）、或いはステップＳ１０１に続いて、量子化パラメータＱｃの値が、この調整処理に先立ってその値が設定される量子化パラメータ下限閾値QcLowerLimit以下であるか否かを判別する（ステップＳ１０２）。
量子化パラメータＱｃの値が、量子化パラメータ下限閾値QcLowerLimit以下であると判別されたとき（ステップＳ１０２：Ｙ）、量子化パラメータＱｃの値を量子化パラメータ下限閾値QcLowerLimitに設定する（ステップＳ１０３）。
量子化パラメータＱｃの値が量子化パラメータ下限閾値QcLowerLimit以下ではないと判別されたとき（ステップＳ１０２：Ｎ）、或いはステップＳ１０３の後では、その時点の量子化パラメータＱｃの値が量子化部２０に供給されることになる（図２０のエンド、図１７のエンド）。
なお図１７及び図２０では、ステップＳ５６において調整処理を行っていたが、これに限定されるものではない。例えば図１７においてステップＳ５６を設けず、ステップＳ５３の３１の値を量子化パラメータ上限閾値QcUpperLimitに置き換え、ステップＳ５５の１の値を量子化パラメータ下限閾値QcLowerLimitに置き換えるようにしてもよい。
以上のようにして求められた量子化パラメータＱｃを量子化部２０に供給することで、量子化部２０の量子化ステップを変化させる。
即ち、例えば図２１に示すように、ＤＣＴ係数により表わされる画像データのＤＣＴ係数Ｄｉｊを、量子化テーブルの対応する位置の量子化ステップ値Ｑｉｊと量子化パラメータＱｃとの積で除算して、量子化されたＤＣＴ係数ｄｉｊを求める。その結果、量子化されたＤＣＴ係数のゼロデータを増減させることができる。
３．２ フレームスキップ
次に、フレームスキップ部６０で行われるスキップ処理について具体的に説明する。
図２２に、フレームスキップ部６０で行われるスキップ処理の一例のフロー図を示す。ここでは、図１６〜図２０で説明したようにレートコントロール部５０において求められた量子化パラメータＱｃに基づいてスキップ処理を行う場合のフローを示す。図２２に示すフローは、例えばフレームごとに行われる。
まず、レートコントロール部５０において求められた量子化パラメータＱｃの値が、スキップ閾値SkipBorderValueより大きいか否かを判別する（ステップＳ１１０）。
量子化パラメータＱｃの値がスキップ閾値SkipBorderValueより大きいと判別されたとき（ステップＳ１１０：Ｙ）、スキップ処理対象のフレームをカウントするためのカウント値Countをインクリメントする（ステップＳ１１１）。量子化パラメータＱｃの値がスキップ閾値SkipBorderValue以下であると判別されたとき（ステップＳ１１０：Ｎ）、カウント値Countに０を設定する（クリアする）（ステップＳ１１２）。
ステップＳ１１１又はステップＳ１１２に続いて、カウント値Countがスキップ連続回数閾値SkipBorderCount以上であるか否かを判別する（ステップＳ１１３）。カウント値Countがスキップ連続回数閾値SkipBorderCount以上であると判別されたとき（ステップＳ１１３：Ｙ）、スキップ処理を行うためのフレームスキップ設定を行う（ステップＳ１１４）。更に、カウント値Countに０を設定し（ステップＳ１１５）、一連の処理を終了する（エンド）。
ステップＳ１１４におけるフレームスキップ設定では、圧縮処理部７０への画像データの入力をスキップさせるための設定を行う。このフレームスキップ設定により、例えば圧縮処理部７０の少なくとも一部を初期化したり、該少なくとも一部の動作クロックを停止させたりすることができるようになっている。本発明は、スキップ処理を行うためのフレームスキップ設定の内容に限定されるものではなく、結果的に符号化データが生成されなければよい。
ステップＳ１１３において、カウント値Countがスキップ連続回数閾値SkipBorderCountより小さいと判別されたとき（ステップＳ１１３：Ｎ）、一連の処理を終了する（エンド）。
なお、スキップ閾値SkipBorderValue及びスキップ連続回数閾値SkipBorderCountは、図２２に示す処理に先立って設定される。
以上のように、フレームスキップ部６０は、フレームごとに求められる量子化パラメータＱｃがスキップ閾値SkipBorderValueより大きいフレームが、スキップ連続回数閾値SkipBorderCountとして設定された回数以上連続したとき、エンコードをスキップさせるためのスキップ処理を行うことができる。
図２３に、フレームスキップ部６０で行われるスキップ処理の他の例のフロー図を示す。ここでは、複雑度Ｅｃに基づいてスキップ処理を行う場合のフローを示す。図２３に示すフローは、例えばフレームごとに行われる。
まず、フレームスキップ部６０は、量子化パラメータＱｃの算出にも用いられた現フレームの複雑度Ｅｃが、複雑度閾値QcSADLimit以上であるか否かを判別する（ステップＳ１２０）。ここで、現フレームとは、量子化部２０によって量子化される画像データのフレームということができる。そして、複雑度は、現フレームの画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した情報とすることができる。
そして、複雑度Ｅｃが、複雑度閾値QcSADLimit以上であると判別されたとき（ステップＳ１２０：Ｙ）、量子化パラメータＱｃに最大値を設定する（ステップＳ１２１）。ここで、最大値は、図１７のステップＳ５３における「３１」か、或いは図２０のステップＳ１０１における量子化パラメータ上限閾値QcUpperLimitである。レートコントロール部５０は、ステップＳ１２１で設定された量子化パラメータＱｃの値を用いてレートコントロールを行う。
こうして量子化パラメータＱｃに最大値が設定されると、スキップ処理を行うためのフレームスキップ設定を行う（ステップＳ１２２）。このフレームスキップ設定は、図２２に示すステップＳ１１４のフレームスキップ設定と同様である。
ステップＳ１２０において、複雑度Ｅｃが、複雑度閾値QcSADLimitより小さいと判別されたとき（ステップＳ１２０：Ｎ）、一連の処理を終了する（エンド）。
なお、複雑度閾値QcSADLimitは、図２３に示す処理に先立って設定される。
以上のように、フレームスキップ部６０は、複雑度Ｅｃが、複雑度閾値QcSADLimit以上のとき、スキップ処理を行うことができる。
なおフレームスキップ部６０は、図２２又は図２３に示す処理をするものに限定されるものではない。フレームスキップ部６０は、図２２及び図２３に示す処理を組み合わせてフレームスキップ設定を行うことができる。
図２４に、フレームスキップ部６０で行われるスキップ処理の更に他の例のフロー図を示す。ここでは、基本的に、図２３に示すように複雑度に基づいてスキップ処理を行うか否かを判定した後に、図２２に示すように量子化パラメータに基づいてスキップ処理を行うか否かを判定する。
なお図２４では、ＶＢＶ（Video Buffering Verifier）バッファと呼ばれる仮想的なバッファ検証器を設け、符号化データの生成レートを制御するためにスキップ処理を行うようにしている。ＶＢＶバッファは、符号化データ生成部４０の出力に概念的に接続された仮想的な復号器ということができ、符号化データ生成部４０ではＶＢＶバッファがオーバーフローしたりアンダーフローしたりしないように符号化データを生成する。
まず、フレームスキップ部６０は、複雑度Ｅｃが、複雑度閾値QcSADLimit以上であるか否かを判別する（ステップＳ１３０）。複雑度Ｅｃが、複雑度閾値QcSADLimit以上であると判別されたとき（ステップＳ１３０：Ｙ）、量子化パラメータＱｃに最大値を設定する（ステップＳ１３１）。こうして量子化パラメータＱｃに最大値が設定されると、スキップ処理を行うためのフレームスキップ設定を行う（ステップＳ１３２）。その後、スキップ処理対象のフレームをカウントするためのカウント値Countを０に設定して（ステップＳ１３３）、一連の処理を終了する（エンド）。ここで、ステップＳ１３１はステップＳ１２１と同様であり、ステップＳ１３２はステップＳ１１４と同様である。
ステップＳ１３０において、複雑度Ｅｃが複雑度閾値QcSADLimitより小さいと判別されたとき（ステップＳ１３０：Ｎ）、量子化パラメータＱｃの値が、スキップ閾値SkipBorderValueより大きいか否かを判別する（ステップＳ１３４）。量子化パラメータＱｃの値がスキップ閾値SkipBorderValueより大きいと判別されたとき（ステップＳ１３４：Ｙ）、カウント値Countをインクリメントする（ステップＳ１３５）。量子化パラメータＱｃの値がスキップ閾値SkipBorderValue以下であると判別されたとき（ステップＳ１３４：Ｎ）、カウント値Countに０を設定する（ステップＳ１３６）。
ステップＳ１３５又はステップＳ１３６に続いて、カウント値Countがスキップ連続回数閾値SkipBorderCount以上であるか否かを判別する（ステップＳ１３７）。カウント値Countがスキップ連続回数閾値SkipBorderCount以上であると判別されたとき（ステップＳ１３７：Ｙ）、ステップＳ１３２に進む。
ステップＳ１３７において、カウント値Countがスキップ連続回数閾値SkipBorderCountより小さいと判別されたとき（ステップＳ１３７：Ｎ）、上述のＶＢＶバッファの空き容量が、ＶＢＶバッファのバッファサイズ／Ｎ（Ｎは正の整数。例えばＮ＝３）より小さいか否かを判別する（ステップＳ１３８）。そして、ＶＢＶバッファの空き容量が、ＶＢＶバッファのバッファサイズ／Ｎより小さいと判別されたとき（ステップＳ１３８：Ｙ）、ステップＳ１３２に進み、スキップ処理を行う。一方、ステップＳ１３８において、ＶＢＶバッファの空き容量が、ＶＢＶバッファのバッファサイズ／Ｎ以上であると判別されたとき（ステップＳ１３８：Ｎ）、一連の処理を終了する（エンド）。
３．３ 構成例
図２５に、本実施形態の画像データ圧縮装置の詳細な機能ブロック図を示す。但し、図８に示す画像データ圧縮装置１０と同一部分には同一符号を付し、適宜説明を省略する。
図２５に示す画像データ圧縮装置１００は、ＭＰＥＧ−４に準拠した動画像の画像データの圧縮処理を行う。画像データ圧縮装置１００は、ハードウェア処理部１１０と、ソフトウェア処理部１５０とを含む。
ハードウェア処理部１１０は、動画像の画像データをハードウェアにより処理する。このハードウェア処理部１１０は、量子化部２０を含む画像データ処理部７２と、ＦＩＦＯバッファ部３０と、ソフトウェア起動フラグレジスタ１３０と、スキップフラグレジスタ１３２とを含む。ハードウェア処理部１１０は、ソフトウェアを使用せず、ＡＳＩＣや専用回路等のハードウェアにより実現される。
ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成する。このソフトウェア処理部１５０は、符号化データ生成部４０と、レートコントロール部５０と、フレームスキップ部６０と、間引き検出部８０とを含む。ソフトウェア処理部１５０は、ソフトウェア（ファームウェア）によりその機能が実現される処理部であり、ソフトウェア（ファームウェア）を読み込んだＣＰＵ等（ハードウェア）によりその機能が実現される。
より具体的にはハードウェア処理部１１０の画像データ処理部７２は、離散コサイン変換（ＤＣＴ）部１１２、動き検出部１１４、逆量子化部１１６、逆ＤＣＴ部１１８、動き補償部１２０を含む。ＤＣＴ部１１２は、図１（Ａ）に示すステップＳ２の処理を行う。動き検出部１１４は、図１（Ａ）に示すステップＳ１の処理を行う。逆量子化部１１６は、図１（Ａ）に示すステップＳ４の処理を行う。逆ＤＣＴ部１１８は、図１（Ａ）に示すステップＳ５の処理を行う。動き補償部１２０は、図１（Ａ）に示すステップＳ６の処理を行う。
即ち、ハードウェア処理部１１０は、現在のフレームの入力画像データと現在のフレームの１フレーム前の過去画像データとの差分を動きベクトル情報として出力し、該動きベクトル情報に対して離散コサイン変換を行って画像データとして量子化部に出力する。更に、この量子化データに対して、上述の量子化ステップで逆量子化して求められる逆量子化データに基づいて、上記の過去画像データをする。
そして、ソフトウェア起動フラグレジスタ１３０がセットされたときに、このようなハードウェア処理部１１０の処理が開始される。ソフトウェア起動フラグレジスタ１３０は、ソフトウェア処理部１５０によってセットされる。より具体的には、入力画像データの供給が開始されたことを示す割込処理において、ソフトウェア処理部１６０がソフトウェア起動フラグレジスタ１３０をセットする（ソフトウェア起動フラグ情報をセット状態に設定する）。
またスキップフラグレジスタ１３２がセットされたとき、画像データ処理部７２において画像データの生成処理がスキップされる。より具体的には、フレームスキップ部６０が上述の条件でスキップ処理をすると判断したときに、ソフトウェア処理部１５０（フレームスキップ部６０）は、スキップフラグレジスタ１３２をセット（スキップフラグ情報をセット状態に設定する）。スキップフラグレジスタ１３２は、フレーム毎に一旦リセット状態に設定される。この場合、ハードウェアによってスキップフラグレジスタ１３２をリセット（リセット状態に設定）してもよいし、ソフトウェア処理部１５０によりフレーム毎にリセットされるようにしてもよい。
なおハードウェア処理部１１０は、これら各部をすべて含んで構成される必要はなく、上記各部のうち少なくとも１つが省略される構成でもよい。
ソフトウェア処理部１５０の符号化データ生成部４０は、ＤＣ／ＡＣ予測部１５２、スキャン部１５４、ＶＬＣ符号化部１５６を含む。ＤＣ／ＡＣ予測部１５２は、図１（Ａ）に示すステップＳ７の処理を行う。スキャン部１５４は、図１（Ａ）に示すステップＳ８の処理を行う。ＶＬＣ符号化部１５６は、図１（Ａ）に示すステップＳ９の処理を行う。
なおソフトウェア処理部１５０は、これら各部をすべて含んで構成される必要はなく、上記各部のうち少なくとも１つが省略される構成でもよい。例えば、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データを可変長符号に符号化するようにしてもよい。また、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化するようにしてもよい。更にまた、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データからＤＣ成分及びＡＣ成分とを求め、このＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化するようにしてもよい。
ここで、本実施形態において、図１（Ａ）のステップＳ１〜Ｓ６をハードウェア処理し、ステップＳ７〜Ｓ１０をソフトウェア処理する理由は下記の通りである。まず、図１（Ａ）のステップＳ３の量子化後であれば、図５に示すように各ブロック内にはゼロデータが圧倒的に多く、量子化前のデータ（図３）と比較すればデータの情報量の種類が圧倒的に少ない。しかも、ステップＳ７〜Ｓ１０の演算自体の負荷も少ないので、図１（Ａ）のステップＳ７〜Ｓ１０をソフトウェアで処理しても、その処理の負荷は小さくなる。逆に、図１（Ａ）のステップＳ３の量子化、ステップＳ２のＤＣＴ、及びステップＳ５の逆ＤＣＴなどは、情報量が多い上に演算も複雑で、ソフトウェアで処理するには負荷が大きい。これらの量子化、ＤＣＴ、逆ＤＣＴ、動き補償などは、負荷が重い処理ではあるが規格が決まっているため変更の必要性は乏しく、また、図１（Ａ）のステップＳ１〜Ｓ６には繰り返し処理が多いため、ハードウェアでの処理に適している。また、上述した通りハードウェア処理部１１０にて処理された量子化後のデータ量が少ないので、ハードウェア処理部１１０からソフトウェア処理部１５０に伝送されるデータ量が少なく、データ転送制御の負担を軽くできる。
図２６に、画像データ圧縮装置１００のハードウェア構成例を示す。ここでは、図２５に示すハードウェア処理部１１０が集積化され、エンコードＩＣ（集積回路）（広義にはエンコーダ）２００として半導体装置に実装される。また図２５に示すソフトウェア処理部１５０の機能は、ホスト２１０により実現される。なお図２６において、図２５に示すハードウェア処理部１１０と同一部分には同一符号を付し、説明を適宜省略する。
ホスト２１０は、ＣＰＵ２１２とメモリ２１４とを含む。メモリ２１４には、符号化データ生成部４０、レートコントロール部５０、フレームスキップ部６０及び間引き検出部８０の機能を実現するためのプログラムが格納される。ＣＰＵ２１２は、メモリ２１４に格納されたプログラムを読み出して、該プログラムに基づいて処理することで、符号化データ生成部４０、レートコントロール部５０、フレームスキップ部６０及び間引き検出部８０の機能を実現する。
ここでエンコードＩＣ２００は、図示しないカメラモジュール（広義には撮像部）において撮像により得られた動画像の画像データを、ＭＰＥＧ−４の規格に準拠してエンコードを行い、一定のレートで符号化データを生成する。このためエンコードＩＣ２００は、図２５に示すハードウェア処理部１１０の各部の機能を実現する回路の他に、ホストインタフェース（InterFace：Ｉ／Ｆ）２０２、カメラＩ／Ｆ（広義には画像入力インタフェース）２０４、量子化パラメータ設定レジスタ２０６、ソフトウェア起動フラグレジスタ１３０、スキップフラグレジスタ１３２を含む。
ホスト２１０の処理によって、スキップフラグレジスタ１３２がセットされる。スキップフラグレジスタ１３２がセットされると、画像データ処理部７２における画像データの生成処理がスキップされる。図２６では、スキップフラグレジスタ１３２がセットされると、動き検出部１１４の内部状態を初期化することによって、画像データ処理部７２における画像データの生成処理をスキップするようになっている。
図２７に、図２６の動き検出部１１４のハードウェア構成例を示す。本発明は、図２７に示す動き検出部１１４の構成に限定されるものではない。
動き検出部１１４は、シーケンサ５００と、動き検出演算部５１０とを含む。動き検出演算部５１０は、シーケンサ５００からの制御信号に基づいて動きベクトル情報等を演算し、画像データとしてＤＣＴ部１１２に出力する。シーケンサ５００は、予め決められた複数のステート間を遷移し、各ステートにおいて制御信号を出力し、動き検出演算部５１０の各部を制御して動き検出のための処理を制御するようになっている。
動き検出演算部５１０では、入力画像データが入力バッファ５１２に保持される。また、動き補償部１２０からの過去画像データが、ローカルデコードデータバッファ５１４に保持される。動き検出部１１４は、入力画像データと過去画像データとの間で、各画素の絶対差分和が最小となるときの動きベクトル情報を出力する。そのため、探索用画素演算回路５１６は、ローカルデコードデータバッファ５１４に保持された過去画像データの画素について、探索用画素値（例えば、隣接する２点又は４点の輝度成分の平均値）を求める。そしてセレクタ５１８が、探索用画素演算回路５１６又はローカルデコードデータバッファ５１４のいずれかを出力する。
絶対差分演算回路５２０は、例えばマクロブロック単位で、入力バッファ５１２に保持された入力画像データの画素とセレクタ５１８の出力の画素との間の絶対差分和を求める。最小誤差評価回路５２２は、この絶対差分和が最小値か否かを評価する。そして最小誤差評価回路５２２が、絶対差分演算回路５２０の演算結果が最小値であると判断すると、出力バッファ５２４に出力する。即ち、最小誤差評価回路５２２の評価によって絶対差分演算回路５２０の演算結果が最小値となるように、過去画像データの画素の値又は探索用画素の値を繰り返し演算していく。
こうして出力バッファ５２４に出力された動きベクトル情報が、画像データとしてＤＣＴ部１１２に供給される。また複雑度演算回路５２６は、上述のように複雑度Ｅｃを求めて、該複雑度Ｅｃをホスト２１０に対して出力できるようになっている。
このような動き検出部１１４のシーケンサ５００には、スキップフラグレジスタ１３２のスキップフラグ情報が入力される。そしてスキップフラグ情報がセット状態に設定されたとき、シーケンサ５００は、動き検出演算部５１０の内部状態を初期状態に戻す。即ち、スキップフラグレジスタ１３２がセットされると、動き検出部１１４は動き検出処理を直ちに中止することができるようになっている。
本実施形態では、上述のようにＦＩＦＯバッファ部３０を有しているにも関わらず、ＦＩＦＯバッファ部３０のアクセス回数から符号化データのデータサイズを予測データサイズとして予測し、該予測データサイズに基づきビットレートを制御できる。しかも、所定のビットレートを実現できないと判断した場合には、動き検出部１１４の処理を中止して画像データの生成処理をスキップできる。即ち、現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズに基づいて現フレームの画像データの生成処理をスキップできるようになる。
図２６において、エンコードＩＣ２００は、ＦＩＦＯ部２０８を含む。ＦＩＦＯ部２０８は、ＦＩＦＯバッファ部３０、カウントレジスタ３２、ＦＩＦＯアクセス部３４を含む。ＦＩＦＯアクセス部３４は、量子化部２０からの量子化データをＦＩＦＯバッファ部３０に書き込む制御を行うと共に、カウントレジスタ３２に保持されるカウントデータを更新する処理を行う。より具体的には、ＦＩＦＯアクセス部３４は、所定のバイト数単位で、量子化データをＦＩＦＯバッファ部３０に書き込む制御を行う。またＦＩＦＯアクセス部３４は、ＦＩＦＯバッファ部３０への書き込み制御を行う毎に、カウントデータをインクリメントしてカウントレジスタ３２を更新する処理を行う。そしてカウントレジスタ３２には、１フレーム分の量子化データがＦＩＦＯバッファ部３０に書き込まれた時点で、該量子化データのデータサイズに対応した書き込み回数（アクセス回数）の情報が保持されることになる。
エンコードＩＣ２００とホスト２１０は、割り込み信号とデータをやり取りすることで、図８や図２５に示す画像データ圧縮装置の機能を実現する。
ホストＩ／Ｆ２０２は、ホスト２１０とのインタフェース処理を行う。より具体的には、ホストＩ／Ｆ２０２は、エンコードＩＣ２００からホスト２１０に対する割り込み信号の生成や、ホスト２１０とエンコードＩＣ２００との間のデータの送受信の制御を行う。ホストＩ／Ｆ２０２は、ＦＩＦＯバッファ部３０、カウントレジスタ３２に接続される。
カメラＩ／Ｆ２０４は、図示しないカメラモジュールからの動画像の入力画像データを入力するためのインタフェース処理を行う。カメラＩ／Ｆ２０４は、動き検出部１１４に接続される。
図示しないカメラモジュールは、撮像により得られた動画像の画像データを、入力画像データとしてエンコードＩＣ２００に供給する。このときカメラモジュールは、入力画像データのフレームの区切りを指定するＶＳＹＮＣ信号（垂直同期信号）もエンコードＩＣ２００に供給する。エンコードＩＣ２００では、カメラＩ／Ｆ２０４がカメラモジュールからのＶＳＹＮＣ信号をＶＳＹＮＣ割り込みとして受け付けると、ホストＩ／Ｆ２０２を介してホスト２１０にカメラＶＳＹＮＣ割り込みとして通知する。これにより、エンコードを開始するのに先立って、ホスト２１０が、所与の付加処理を実施することができるようになる。
図２６において、動き検出が行われる段階では、少なくとも１フレーム分の量子化データがＦＩＦＯバッファ部３０に書き込まれる。動き検出部１１４の動き検出が完了すると、動き検出部１１４は、動き検出完了割り込み（ＭＥ割り込み）を、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。
図２８に、ホスト２１０で行われる割り込み受け付け処理のフローの一例を示す。メモリ２１４には、図２８に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２８に示す処理を実現する。
まず、ＣＰＵ２１２は、割り込み入力を監視している（ステップＳ７０：Ｎ）。そして、ＣＰＵ２１２が、割り込みを検出したとき（ステップＳ７０：Ｙ）、その割り込みが後述するカメラＶＳＹＮＣ割り込みであるか否かを判別する（ステップＳ７１）。
ＣＰＵ２１２が、カメラＶＳＹＮＣ割り込みであると判別したとき（ステップＳ７１：Ｙ）、後述するカメラＶＳＹＮＣ割り込み処理を実行する（ステップＳ７２）。
ステップＳ７１において、ＣＰＵ２１２が、カメラＶＳＹＮＣ割り込みではないと判別したとき（ステップＳ７１：Ｎ）、後述するＭＥ割り込みであるか否かを判別する（ステップＳ７３）。
ＣＰＵ２１２が、ＭＥ割り込みであると判別したとき（ステップＳ７３：Ｙ）、後述するＭＥ割り込み処理を実行する（ステップＳ７４）。
ステップＳ７３において、ＣＰＵがＭＥ割り込みではないと判別したとき（ステップＳ７３：Ｎ）、ＣＰＵ２１２が、後述するエンコード完了割り込みであるか否かを判別する（ステップＳ７５）。ＣＰＵ２１２が、エンコード完了割り込みであると判別したとき（ステップＳ７５：Ｙ）、後述するエンコード完了割り込み処理を実行する（ステップＳ７６）。
ステップＳ７５において、ＣＰＵ２１２が、エンコード完了割り込みではないと判別したとき（ステップＳ７５：Ｎ）、所定の割り込み処理を実行する（ステップＳ７７）。
ステップＳ７２、ステップＳ７４、ステップＳ７６又はステップＳ７７に続いて、終了ではないとき（ステップＳ７８：Ｎ）、ステップＳ７０に戻り、終了のとき（ステップＳ７８：Ｙ）、一連の処理を終了する（エンド）。
図２９に、カメラＶＳＹＮＣ割り込み処理のフローの一例を示す。メモリ２１４には、図２９に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２９に示す処理を実現する。
このカメラＶＳＹＮＣ割り込み処理は、図２８のステップＳ７２で行われる。ここでは、図２９の処理に先立って、間引きフレームインターバル値の累積値が少なくとも１回求められているものとする。
ＣＰＵ２１２は、ＶＳＹＮＣ割り込み処理が実行される毎に、カメラモジュール（撮像部）からの１フレームの画像データが入力されたと判断し、その値が更新されるフレームのカウント値を、（カメラ）フレームカウンタとして保持している。そして、ＣＰＵ２１２は、このフレームカウンタが、カメラ入力フレームレート（例えば図１１の画像データの入力フレームレートである１９フレーム毎秒）より小さいか否かを判別する（ステップＳ１５０）。
フレームレートがカメラ入力フレームレートより小さくないと判別されたとき（ステップＳ１５０：Ｎ）、フレームカウンタ及び間引きフレームインターバル値の累積値を初期化する（ステップＳ１５１）。図１１で説明した例では、フレームカウンタが０、間引きフレームインターバル値の累積値が４．７５に設定される。
ステップＳ１５０においてフレームレートがカメラ入力フレームレートより小さいと判別されたとき（ステップＳ１５０：Ｙ）、或いはステップＳ１５１に続いて、ＣＰＵ２１２は、フレームカウンタが、間引きフレームインターバル値の累積値の１つ以上であるか否かを判別する（ステップＳ１５２）。図１１で説明した例では、間引きフレームインターバルの累積値が４．７５となり、フレームカウンタとの比較が行われる。
ステップＳ１５２において、フレームカウンタが、間引きフレームインターバル値の累積値の１つ以上ではないと判別されたとき（ステップＳ１５２：Ｎ）、当該入力フレームが非間引き対象フレームであると判断し、フレームカウンタを１だけインクリメントし（ステップＳ１５３）、ホストＩ／Ｆ２０２を介してソフトウェア起動フラグレジスタ１３０をセットする（ステップＳ１５４）と共に、一連の処理を終了する（エンド）。
ステップＳ１５２において、フレームカウンタが、間引きフレームインターバル値の累積値の１つ以上であると判別されたとき（ステップＳ１５２：Ｙ）、当該入力フレームが間引き対象フレームであると判断し、間引きフレームインターバル値の累積値を更新し（ステップＳ１５５）、そのまま一連の処理を終了する（エンド）。即ち、当該入力フレームが間引き対象フレームであると判断されたとき、ソフトウェア起動フラグレジスタ１３０がセットされず、当該フレームの画像データに対するエンコード処理が行われない。また図１１の例で説明すると、ステップＳ１５５が実行される毎に、間引きフレームインターバル値の累積値が、４．７５、９．５、１４．２５、１９の順に更新されていく。
以上のように、本実施形態では、大きく分けて２種類のスキップ処理がある。
第１のスキップ処理は、スキップフラグレジスタ１３２を操作することで実現するものである。このスキップ処理を行うか否かは、図２２〜図２４に示した処理において判断される。このスキップ処理によれば、所定のビットレートを確実に維持できるようになる。
第２のスキップ処理は、ソフトウェア起動フラグレジスタ１３０のセットを省略することで実現するものである。このスキップ処理は、撮像部からの画像データの入力フレームレートが符号化データの生成レートよりも高速である限り行われるものである。このスキップ処理によれば、高速なフレームレートを有する撮像部からの画像データに対して、より低速な一定レートで符号化データを生成できるようになる。
なお、上述の１又は複数の間引きフレームインターバル値の累積値は、カメラモジュール（撮像部）からの画像データの入力フレームレートが変化したことを条件に、間引きフレームの検出処理（間引き検出部の処理又は図２９のステップＳ１５２）に先立って求められる事が望ましい。この場合、頻繁に累積値を求める必要がなくなると共に、可変のカメラモジュールの入力フレームレートにも対応できる。
図３０に、この間引きフレームインターバル値の累積値を求める処理のフローの一例を示す。この処理は、ＶＳＹＮＣ割り込み処理中に行われる事が望ましい。ここでは、図１０と同様に、カメラモジュールからの画像データの入力フレームレートをＣＡ、符号化データの生成レートをＴＡとする。また、間引きフレームインターバル値をＩＮＴＶとする。
まずＣＰＵ２１２は、カメラモジュールからの画像データの入力フレームレートが変化したかを判別する（ステップＳ１６０）。ＣＰＵ２１２は、例えば図９に示す構成ブロックを有するカメラモジュールに直接アクセスして制御レジスタ９２の設定値を参照して、該入力フレームレートが変化したか否かを判断する。或いは、ＣＰＵ２１２は、例えば図９に示す構成ブロックを有するカメラモジュールに対して、エンコードＩＣ２００を介して間接的に制御レジスタ９２の設定値を参照して、該入力フレームレートが変化したか否かを判断する。
ステップＳ１６０において、カメラモジュールからの画像データの入力フレームレートが変化したと判別されたとき（ステップＳ１６０：Ｙ）、小数点データであるＣＡ／（ＣＡ−ＴＡ）をＩＮＴＶに設定する（ステップＳ１６１）。
続いて、ＩＮＶＴの累積値及びフレームカウンタを０に設定する（ステップＳ１６２）。
その後、ＩＮＴＶの累積値に、ＩＮＴＶの累積値とＩＮＴＶとの和を設定し（ステップＳ１６３）、この和が設定されたＩＮＴＶの累積値を保存する（ステップＳ１６４）。
そして、ステップＳ１６３で求めたＩＮＴＶの累積値が、カメラモジュールからの入力フレームレート以上か否かを判別する（ステップＳ１６５）。ステップＳ１６３で求めたＩＮＴＶの累積値が、カメラモジュールからの入力フレームレート以上ではないとき（ステップＳ１６５：Ｎ）、ステップＳ１６３に戻る。
ステップＳ１６３で求めたＩＮＴＶの累積値がカメラモジュールからの入力フレームレート以上のとき（ステップＳ１６５：Ｙ）、或いはステップＳ１６０においてカメラモジュールからの画像データの入力フレームレートが変化していないと判別されたとき（ステップＳ１６０：Ｎ）、一連の処理を終了する（エンド）。
こうすることで、図１１の例では、ＩＮＴＶが４．７５、入力フレームレートが１９となるため、ＩＮＴＶの累積値が４．７５、９．５（＝４．７５＋４．７５）、１４．２５（＝９．５＋４．７５）、１９（１４．２５＋４．７５）が保存される。
なお図３０では、カメラモジュールからの画像データの入力フレームレートが可変の場合について説明したが、該入力フレームレートが固定の場合には、該カメラモジュールを初期化する処理中において、間引きフレームの検出処理に先立ってＩＮＴＶの累積値を求めてもよい。
図２６に戻って、説明を続ける。ホストＩ／Ｆ２０２を介してソフトウェア起動フラグレジスタ１３０が、ホスト２１０によってセットされると、エンコードＩＣ２００ではエンコードが開始される。
動き検出部１１４は、エンコード開始後、最初に取り込まれる入力画像データについては動き検出を行わず、次のフレームの入力画像データが取り込まれてから動き検出を行う。ここで、動き検出の詳細については上述の通りであるため、逆量子化部１１６等の動作についての説明は省略する。動き検出部１１４の動き検出が完了すると、動き検出部１１４は、動き検出完了割り込み（ＭＥ割り込み）を、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。
図３１に、ＭＥ割り込み処理のフローの一例を示す。メモリ２１４には、図３１に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図３１に示す処理を実現する。
このＭＥ割り込み処理は、図２８のステップＳ７４で行われる。
ＭＥ割り込みが検出されると、ＣＰＵ２１２は、ホストＩ／Ｆ２０２を介して、動き検出部１１４で生成される複雑度Ｅｃを読み出す（ステップＳ８０）。この複雑度Ｅｃは、図６に示す式に従って動き検出部１１４で生成される。
続いてＣＰＵ２１２は、量子化パラメータＱｃを求める（ステップＳ８１）。より具体的には、ＣＰＵ２１２は、図１６〜図２０で説明したように量子化パラメータＱｃの値を求める。
次にＣＰＵ２１２は、フレームスキップ処理を行う（ステップＳ８２）。フレームスキップ処理は、図２２、図２３又は図２４に示した処理のいずれかである。各処理におけるフレームスキップ設定（ステップＳ１１４、Ｓ１２２、Ｓ１３２）は、現フレームをスキップする判断がされたという意味で、ソフトウェアフラグを設定するだけの処理である。
その後、フレームスキップ処理の結果、ソフトウェアフラグが設定された場合（ステップＳ８３：Ｙ）、ホストＩ／Ｆ２０２を介してスキップフラグレジスタ１３２をＣＰＵ２１２がセットし（ステップ８４）、ソフトウェアフラグが設定されていない場合（ステップＳ８３：Ｎ）、ステップＳ８１で求めた量子化パラメータＱｃの値を、ホストＩ／Ｆ２０２を介して、量子化パラメータ設定レジスタ２０６に設定する。（ステップＳ８５）
ステップＳ８４及びＳ８５の後は、一連の処理を終了する（エンド）。
図２６に戻って、説明を続ける。エンコードＩＣ２００は、スキップフラグレジスタ１３２がセットされると、動き検出部１１４が初期化され、現在のフレームの画像データの生成処理がスキップされる。
一方、エンコードＩＣ２００は、量子化パラメータ設定レジスタ２０６に量子化パラメータＱｃの値が設定されたことにより、ＤＣＴ部１１２の処理を開始する。そして上述のように量子化部２０では、量子化パラメータ設定レジスタ２０６に設定された量子化パラメータと、図示しない量子化テーブルの量子化ステップ値とを用いて、ＤＣＴ部１１２によって生成されたＤＣＴ係数（広義には画像データ）を量子化する。その結果である量子化データは、ＦＩＦＯバッファ部３０に書き込まれる。
このとき、ＦＩＦＯアクセス部３４は、当該フレーム内においてＦＩＦＯバッファ部３０への書き込みが発生する毎にカウントデータをインクリメントしてカウントデータを更新する。そして、ＦＩＦＯバッファ部３０への量子化データの書き込みが完了すると、ＦＩＦＯ部２０８は、１フレームのエンコード処理が終了したことを示すエンコード完了割り込みを、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。
図３２に、エンコード完了割り込み処理のフローの一例を示す。メモリ２１４には、図３２に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図３２に示す処理を実現する。
エンコード完了割り込み処理は、図２８に示すステップＳ７６で行われる。
ＣＰＵ２１２がエンコード完了割り込みを検出すると、カウントレジスタ３２に保持されたカウントデータを読み出す（ステップＳ９０）。続いて、図１９に示すように、ステップＳ９０で読み出されたカウントデータをｘ０として、予測データサイズｙ０を求め、所定のテンポラリ領域に保存する（ステップＳ９１）。
次に、処理実行フラグＰＦＬＧが０であるか否かを判別する（ステップＳ９２）。処理実行フラグＰＦＬＧは、符号化データの生成処理（図１（Ａ）のステップＳ７〜Ｓ９の処理）を実行中か否かを示すフラグである。処理実行フラグＰＦＬＧが０ではないと判別したとき（ステップＳ９２：Ｎ）、符号化データ生成部４０の処理を実行中と判断し、一連の処理を終了する（エンド）。
ステップＳ９２において、処理実行フラグＰＦＬＧが０であると判別したとき（ステップＳ９２：Ｙ）、符号化データの生成処理を実行する。
この符号化データの生成処理では、まず処理実行フラグＰＦＬＧを１に設定する（ステップＳ９３）。これにより、該生成処理の処理中に、エンコード完了割り込みが発生した場合でも、次のフレームの符号化データの生成処理の実行を待たせることができる。
そして、ＦＩＦＯバッファ部３０から所定のバイト数単位で１フレームの量子化データを読み出す（ステップＳ９４）。
そしてＣＰＵ２１２は、マクロブロック単位で、ＤＣ／ＡＣ予測処理（ステップＳ９５）、スキャン処理（ステップＳ９６）及び可変長符号化処理（ステップＳ９７）を行って符号化データを生成する。
次にＣＰＵ２１２は、ステップＳ９７で生成した符号化データにマクロブロックヘッダを付加する。このようにして得られた符号化データを１ＶＯＰ（Video Object Plane）分行って、既に求められた量子化パラメータを基にＧＯＶヘッダやＶＯＰヘッダを生成して、所定のフレーム数分のエンコードが終了したらＭＰＥＧ−４ファイルとして出力する（ステップＳ９８）。
そして、ステップＳ９８に続いて、処理実行フラグＰＦＬＧを０に設定し（ステップＳ９９）、一連の処理を終了する（エンド）。
以上のようにして、ハードウェア処理部１１０とソフトウェア処理部１５０とに分担して、画像データの圧縮処理を行う。
以上のようなエンコードＩＣ２００のレートコントロールを行うために、本実施形態では、ホスト２１０が次のような１次変換を行う処理式を記憶しておき、上述のようなレートコントロールを行う。
図３３に、カウントデータと予測データサイズとの関係図を示す。
ここでは、ビットレートが６４キロビット毎秒（ｂｐｓ）、フレームレートが１５フレーム毎秒（ｆｐｓ）、画像サイズＱＣＩＦ（１７６×１４４ピクセル）とし、横軸をＦＩＦＯバッファ部３０のアクセス回数を示すカウントデータ、縦軸をＶＬＣ符号化後の符号化データのデータサイズ（バイト数）の実測値を示している。
このように、カウントデータと符号化データのデータサイズとの関係が線形関係にあることがわかる。
図３３に示す実測値に基づいて、（１）式において、例えばａを４／５、ｂを（１３．５６２５×９９×８）とすることで、図３３に示す線形関係を近似的に表現できる。従って、この１次変換式を用いて、予測データサイズを容易に求めることができる。
図３４に、本実施形態における画像データ圧縮装置の効果を説明する図を示す。図３４では、本実施形態における画像データ圧縮装置に設けられるＶＢＶバッファの空き容量の変化の一例を示すシミュレーション結果を示している。図３４では、横軸にフレーム数、縦軸にＶＢＶバッファの空き容量のビット数を示している。
ここでは、ＶＢＶバッファがオーバーフローしたりアンダーフローしたりしないように符号化データを生成するため、ＶＢＶバッファの空き容量が所定の閾値（約１１００００ビット）を下回ると、フレームスキップが実行される。空き容量が少なくなるタイミングで、そのフレームにおいてエンコード処理が行われたことを示している。また空き容量が多くなるタイミングで、エンコード処理結果がＶＢＶバッファに出力されないことを示している。こうして所定の空き容量を維持できるように符号化データを生成することで、一定のレートを実現する。
図３４では、全フレーム数が１５０、ビットレートが６４キロビット毎秒（ｋｂｐｓ）、フレームレートが１５フレーム毎秒（ｆｐｓ）、ＶＢＶバッファサイズが３２７６８０ビット、閾値が１０９２２６ビット、比較例において過去４フレーム分の符号化データの平均データサイズを用いるものとする。このような条件下で、図３４では、当初の動きが少なく、次第に動きが激しくなる動画の画像データをエンコードした場合のシミュレーション結果を示している。
そして、図３４では、閾値の１０９２２６ビット付近に着目すると、ほぼ閾値付近になるように空き容量が維持される。これは、予測データサイズの予測の精度が高いことを意味する。即ち、１フレーム前のＦＩＦＯバッファ部３０への書き込み回数を１次変換することにより予測データサイズを求める精度が高いことを意味し、また該予測データサイズに基づくビットレートの制御の精度が高いことを意味する。従って、比較例との対比において、本実施形態では、ＶＢＶバッファのオーバーフローを発生させる可能性も低いことがわかる。
４． 表示コントローラ
本実施形態におけるエンコードＩＣの機能は、表示コントローラに適用できる。
図３５に、本実施形態における表示コントローラの構成例のブロック図を示す。
表示コントローラ３００は、カメラＩ／Ｆ３１０と、エンコード処理部３２０と、メモリ３３０と、ドライバＩ／Ｆ３４０と、制御部３５０と、ホストＩ／Ｆ３６０とを含む。
カメラＩ／Ｆ３１０は、図示しないカメラモジュールに接続される。このカメラモジュールは、例えば図９に示す構成を有し、撮像により得られた動画像の入力画像データをＹＵＶフォーマットで出力すると共に、１フレームの区切りを指定する同期信号（例えばＶＳＹＮＣ信号）を出力する。カメラＩ／Ｆ３１０は、カメラモジュールで生成された動画像の入力画像データを受信するためのインタフェース処理を行う。
エンコード処理部３２０は、図２６のエンコードＩＣ２００のうちホストＩ／Ｆ２０２及びカメラＩ／Ｆ２０４の機能を省略したものである。即ち、エンコード処理部３２０は、図２６に示す量子化部２０、ＦＩＦＯ部２０８、ＤＣＴ部１１２、動き検出部１１４、逆量子化部１１６、逆ＤＣＴ部１１８、動き補償部１２０、量子化パラメータ設定レジスタ２０６、ソフトウェア起動フラグレジスタ１３０、スキップフラグレジスタ１３２の各部の機能を有する。
メモリ３３０は、エンコード処理部３２０の出力である符号化データを記憶する。またメモリ３３０は、表示パネルに表示するための画像データを記憶しており、ドライバＩ／Ｆ３４０は、メモリ３３０から所定の周期で画像データを読み出し、該画像データを、表示パネルを駆動する表示ドライバに対して供給する。ドライバＩ／Ｆ３４０は、表示ドライバに対して画像データを送信するためのインタフェース処理を行う。
制御部３５０は、カメラＩ／Ｆ３１０、エンコード処理部３２０、メモリ３３０及びドライバＩ／Ｆ３４０の制御を司る。制御部３５０は、例えばホストＩ／Ｆ３６０を介して図示しないホストからの指示に従って、カメラモジュールからの入力画像データの受信処理、該入力画像のエンコード処理、符号化データのメモリ３３０への書き込み処理、メモリ３３０からの表示用の画像データの読み出し処理、表示ドライバへの該画像データの送信処理を行う。
図３６に、図３５に示す表示コントローラが適用される電子機器の構成例のブロック図を示す。ここでは、電子機器として、携帯電話機の構成例のブロック図を示す。但し、図３５と同一部分には同一符号を付し、適宜説明を省略する。
携帯電話機４００は、カメラモジュール４１０を含む。カメラモジュール４１０は、ＣＣＤカメラを含み、ＣＣＤカメラで撮像した画像のデータを、ＹＵＶフォーマットで表示コントローラ３００に供給する。
携帯電話機４００は、表示パネル４２０を含む。表示パネル４２０として、液晶表示パネルを採用できる。この場合、表示パネル４２０は、表示ドライバ４３０によって駆動される。表示パネル４２０は、複数の走査線、複数のデータ線、複数の画素を含む。表示ドライバ４３０は、複数の走査線の１又は複数本単位で走査線を選択する走査ドライバの機能を有すると共に、画像データに対応した電圧を複数のデータ線に供給するデータドライバの機能を有する。
表示コントローラ３００は、表示ドライバ４３０に接続され、表示ドライバ４３０に対して画像データを供給する。
ホスト４４０は、表示コントローラ３００に接続される。ホスト４４０は、表示コントローラ３００を制御する。またホスト４４０は、アンテナ４６０を介して受信された画像データを、変復調部４５０で復調した後、表示コントローラ３００に対して供給できる。表示コントローラ３００は、この画像データに基づき、表示ドライバ４３０により表示パネル４２０に表示させる。
またホスト４４０は、図２６に示すホスト２１０の機能を有する。ホスト４４０は、カメラモジュール４１０で生成された画像データをエンコード処理部３２０でエンコードして変復調部４５０で変調した後、アンテナ４６０を介して他の通信装置への送信を指示できる。このとき、表示コントローラ３００は、カメラモジュール４１０で生成された画像データをエンコードし、エンコードして得られた符号化データをホスト４４０に出力できる。
ホスト４４０は、操作入力部４７０からの操作情報に基づいて画像データの送受信処理、エンコード処理、カメラモジュール４１０の撮像、表示パネルの表示処理を行う。
なお、図３６では、表示パネル４２０として液晶表示パネルを例に説明したが、これに限定されるものではない。表示パネル４２０は、エレクトロクミネッセンス、プラズマディスプレイ装置であってもよく、これらを駆動する表示ドライバに画像データを供給する表示コントローラに適用できる。
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
図１（Ａ）、（Ｂ）はＭＰＥＧ−４のエンコード処理とデコード処理の説明図。 マクロブロックの説明図。 ＤＣＴ係数の一例の説明図。 量子化テーブルの一例の説明図。 量子化されたＤＣＴ係数の一例の説明図。 レートコントロール方式で用いられるモデル式の説明図。 図６に示すモデル式を用いたレートコントロールの処理の一例のフロー図。 本実施形態の画像データ圧縮装置の構成の概要のブロック図。 図８の撮像部の構成例のブロック図。 図８の間引き検出部の処理の手法の説明図。 図８の間引き検出部の処理例の説明図。 予測データサイズの説明図。 本実施形態におけるレートコントロールの手法の説明図。 図１３に示すレートコントロール手法の動作タイミングの模式図。 量子化パラメータ、符号化データのデータサイズ及びブロックノイズの関係の模式図。 量子化パラメータの算出処理の一例の前半のフロー図。 量子化パラメータの算出処理の一例の後半のフロー図。 量子化パラメータの算出処理で用いられる変数の説明図。 エンコードに使用したビット数の値の算出処理の一例のフロー図。 量子化パラメータの調整処理の一例のフロー図。 本実施形態の量子化処理の説明図。 本実施形態のスキップ処理の一例のフロー図。 本実施形態のスキップ処理の他の例のフロー図。 本実施形態のスキップ処理の更に他の例のフロー図。 本実施形態の画像データ圧縮装置の詳細な機能ブロック図。 図２５の画像データ圧縮装置のハードウェア構成例を示す図。 図２６の動き検出部のハードウェア構成例を示す図。 ホストで行われる割込受け付け処理の一例のフロー図。 カメラＶＳＹＮＣ割り込み処理の一例のフロー図。 間引きフレームインターバル値の累積値を求める処理の一例のフロー図。 ＭＥ割り込み処理の一例のフロー図。 エンコード完了割り込み処理の一例のフロー図。 本実施形態におけるカウントデータと予測データサイズとの関係を示す図。 本実施形態におけるＶＢＶバッファの空き容量の変化を示す図。 本実施形態における表示コントローラの構成例のブロック図。 図３５の表示コントローラが適用される電子機器の構成例のブロック図。
符号の説明
１０、１００ 画像データ圧縮装置、 ２０ 量子化部、 ３０ ＦＩＦＯバッファ部、４０ 符号化データ生成部、 ５０ レートコントロール部、
６０ フレームスキップ部、 ７０ 圧縮処理部、 ８０ 間引き検出部、
９０ 撮像部、９２ 制御レジスタ、 １１０ ハードウェア処理部、
１１２ 離散コサイン変換（ＤＣＴ）部、 １１４ 動き検出部、
１１６ 逆量子化部、 １１８ 逆離散コサイン変換（ｉＤＣＴ）部、
１２０ 動き補償部、 １５０ ソフトウェア処理部、 １５２ ＤＣ／ＡＣ予測部、
１５４ スキャン部、 １５６ ＶＬＣ符号化部

Claims (11)

  1. 画像データを圧縮するための画像データ圧縮装置であって、
    撮像部から１フレーム分の画像データが入力される毎に、当該入力フレームが間引き対象フレームか否かを検出する処理を行う間引き検出部と、
    前記画像データの圧縮処理を行って符号化データを一定レートで生成する圧縮処理部と、
    前記間引き検出部の検出結果に基づいて、前記圧縮処理部が行う１フレーム分の画像データの圧縮処理をスキップさせるスキップ処理を行うフレームスキップ部とを含み、
    前記圧縮処理部が、
    量子化パラメータに基づいて変化する量子化ステップで画像データを量子化することで増減されるゼロデータを含む量子化データを生成するための量子化部と、
    前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記量子化データのデータサイズを求める手段と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
    フレーム毎に、前記圧縮処理後のデータサイズを変化させて前記圧縮処理後のデータの生成レートを制御するレートコントロール部とを含み、
    前記量子化部が、
    前記画像データを表すビット数を減らした量子化データを生成し、
    前記量子化データのデータサイズを求める手段が、
    前記量子化部が前記ＦＩＦＯバッファ部に対して行った量子化データの書き込み回数又は前記ＦＩＦＯバッファ部からの量子化データの読み出し回数に基づいて前記データサイズを求め、
    前記レートコントロール部が、
    現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、前記量子化パラメータに基づいて、フレーム毎に前記量子化部の量子化ステップを変化させて符号化データのデータサイズを制御し、
    前記予測データサイズは、前記１フレーム前の量子化データのデータサイズを変数とする、前記符号化データに付加されるヘッダのサイズ分を補正する１次変換の変換値として求められ、
    前記ＦＩＦＯバッファ部に格納された複数フレーム分の量子化データのうち１フレーム分の量子化データが読み出されることを条件に、前記量子化ステップを変化させて該量子化ステップに基づき次のフレームの量子化データを生成し、該量子化データを前記ＦＩＦＯバッファ部に書き込み、
    前記撮像部からの画像データの入力フレームレートをＣＡ（ＣＡは正の整数）、前記圧縮処理後の符号化データの生成レートをＴＡ（ＣＡ＞ＴＡ、ＴＡは正の整数）とした場合、
    前記間引き検出部が、
    前記撮像部から入力される画像データのフレームのカウント値とＣＡ／（ＣＡ−ＴＡ）の整数倍として求められる小数点データの１又は複数の間引きフレームインターバル値のうちの１つの値とを比較し、
    前記カウント値が前記間引きフレームインターバル値のうちの１つの値以上であるとき、前記当該入力フレームを間引き対象フレームとして検出し、
    前記フレームスキップ部が、
    前記間引き検出部が前記当該入力フレームを間引き対象フレームと判断したことを条件に当該フレームの画像データに対し前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  2. 請求項１において、
    前記撮像部からの画像データの入力フレームレートが変化したことを条件に、前記間引き検出部の処理に先立って前記間引きフレームインターバル値を求めることを特徴とする画像データ圧縮装置。
  3. 請求項１又は２において、
    前記フレームスキップ部が、更に、
    前記量子化パラメータがスキップ閾値よりも大きくなるフレームが、スキップ連続回数閾値として設定された回数以上連続したとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  4. 請求項１乃至３のいずれかにおいて、
    前記圧縮処理部が、
    量子化パラメータに基づいて変化する量子化ステップで画像データを量子化することで増減されるゼロデータを含む量子化データを生成するための量子化部と、
    前記量子化部によって量子化された複数フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
    前記量子化データのデータサイズを求める手段と、
    前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部とを含み、
    前記量子化部が、
    前記画像データを表すビット数を減らした量子化データを生成し、
    前記量子化データのデータサイズを求める手段が、
    前記量子化部が前記ＦＩＦＯバッファ部に対して行った量子化データの書き込み回数又は前記ＦＩＦＯバッファ部からの量子化データの読み出し回数に基づいて前記データサイズを求め、
    前記レートコントロール部が、
    現在のフレームの１フレーム前の量子化データのデータサイズから該１フレーム前の符号化データの予測データサイズを求め、該予測データサイズを用いて前記量子化パラメータを求め、前記量子化パラメータに基づいて、フレーム毎に前記量子化部の量子化ステップを変化させて符号化データのデータサイズを制御し、
    前記予測データサイズは、前記１フレーム前の量子化データのデータサイズを変数とする、前記符号化データに付加されるヘッダのサイズ分を補正する１次変換の変換値として求められ、
    前記ＦＩＦＯバッファ部に格納された複数フレーム分の量子化データのうち１フレーム分の量子化データが読み出されることを条件に、前記量子化ステップを変化させて該量子化ステップに基づき次のフレームの量子化データを生成し、該量子化データを前記ＦＩＦＯバッファ部に書き込み、
    前記フレームスキップ部が、更に、
    前記量子化部によって量子化される画像データと該画像データのフレームの前のフレームの画像データとの差分に対応した複雑度が、複雑度閾値以上のとき、前記スキップ処理を行うことを特徴とする画像データ圧縮装置。
  5. 請求項１乃至４のいずれかにおいて、
    前記レートコントロール部が、
    前記予測データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように量子化パラメータを求めることを特徴とする画像データ圧縮装置。
  6. 請求項５において、
    前記レートコントロール部が、
    前記予測データサイズを用いて、前記量子化パラメータ上限閾値以下で、かつその値が設定可能な量子化パラメータ下限閾値以上となるように前記量子化パラメータを求めることを特徴とする画像データ圧縮装置。
  7. 請求項４乃至６のいずれかにおいて、
    前記量子化部が前記ＦＩＦＯバッファ部に対して行った量子化データの書き込み回数又は前記ＦＩＦＯバッファ部からの量子化データの読み出し回数に対応したカウントデータが保持されるカウントレジスタを含み、
    前記レートコントロール部が、
    前記カウントデータから前記予測データサイズを求めることを特徴とする画像データ圧縮装置。
  8. 請求項４乃至７のいずれかにおいて、
    量子化ステップ値を記憶する量子化テーブルを含み、
    前記レートコントロール部が、
    前記量子化パラメータと前記量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させることを特徴とする画像データ圧縮装置。
  9. 請求項４乃至８のいずれかにおいて、
    離散コサイン変換された前記画像データを、フレーム単位で前記量子化部に供給する離散コサイン変換部を含むことを特徴とする画像データ圧縮装置。
  10. 請求項４乃至９のいずれかにおいて、
    動画像の画像データをハードウェアにより処理するハードウェア処理部と、
    前記ＦＩＦＯバッファ部から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成するソフトウェア処理部とを含み、
    前記ハードウェア処理部が、
    前記量子化部と、前記ＦＩＦＯバッファ部とを含み、
    前記ソフトウェア処理部が、
    前記符号化データ生成部、前記レートコントロール部、前記間引き検出部及び前記フレームスキップ部を含むことを特徴とする画像データ圧縮装置。
  11. 請求項１乃至１０のいずれか記載の画像データ圧縮装置を含むことを特徴とする電子機器。
JP2004146945A 2004-05-17 2004-05-17 画像データ圧縮装置、電子機器及び画像データ圧縮方法 Expired - Fee Related JP3846490B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004146945A JP3846490B2 (ja) 2004-05-17 2004-05-17 画像データ圧縮装置、電子機器及び画像データ圧縮方法
US11/126,999 US20050254579A1 (en) 2004-05-17 2005-05-11 Image data compression device, electronic apparatus and image data compression method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004146945A JP3846490B2 (ja) 2004-05-17 2004-05-17 画像データ圧縮装置、電子機器及び画像データ圧縮方法

Publications (2)

Publication Number Publication Date
JP2005328487A JP2005328487A (ja) 2005-11-24
JP3846490B2 true JP3846490B2 (ja) 2006-11-15

Family

ID=35309379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004146945A Expired - Fee Related JP3846490B2 (ja) 2004-05-17 2004-05-17 画像データ圧縮装置、電子機器及び画像データ圧縮方法

Country Status (2)

Country Link
US (1) US20050254579A1 (ja)
JP (1) JP3846490B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3680845B2 (ja) * 2003-05-28 2005-08-10 セイコーエプソン株式会社 圧縮動画像の伸張装置及びそれを用いた画像表示装置
JP3680846B2 (ja) * 2003-05-28 2005-08-10 セイコーエプソン株式会社 動画像の圧縮装置及びそれを用いた撮像装置
WO2007043987A2 (en) * 2005-09-15 2007-04-19 Dow Corning Corporation Nano-molding process
WO2007081537A2 (en) * 2006-01-04 2007-07-19 University Of Dayton Frame decimation through frame simplification
US8160156B2 (en) * 2006-02-01 2012-04-17 Verint Systems, Inc. System and method for controlling the long term generation rate of compressed data
JP4826798B2 (ja) * 2007-02-28 2011-11-30 日本電気株式会社 映像符号化システム、方法及びプログラム
WO2008129648A1 (ja) * 2007-04-13 2008-10-30 Mitsubishi Electric Corporation フレームレート変換装置、フレームレート変換方法及び動画像符号化装置
JP5251774B2 (ja) * 2009-07-27 2013-07-31 ソニー株式会社 画像符号化装置および画像符号化方法
JP5843631B2 (ja) 2012-01-26 2016-01-13 日本電信電話株式会社 フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム
JP2014200074A (ja) * 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
US11132957B2 (en) * 2018-10-03 2021-09-28 Mediatek Inc. Method and apparatus for performing display control of an electronic device with aid of dynamic refresh-rate adjustment
CN111193927B (zh) * 2018-11-14 2022-09-23 腾讯科技（深圳）有限公司 编码数据处理方法、装置、计算机设备和存储介质
CN110312133B (zh) * 2019-06-27 2021-11-23 西安万像电子科技有限公司 图像处理方法及装置
CN115280769A (zh) * 2020-03-12 2022-11-01 交互数字Vc控股法国公司 用于视频编码和解码的方法和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0181027B1 (ko) * 1995-03-20 1999-05-01 배순훈 화소 단위 움직임 추정을 이용하는 영상처리 시스템
US6643327B1 (en) * 2000-05-05 2003-11-04 General Instrument Corporation Statistical multiplexer and remultiplexer that accommodates changes in structure of group of pictures

Also Published As

Publication number Publication date
JP2005328487A (ja) 2005-11-24
US20050254579A1 (en) 2005-11-17

Similar Documents

Publication Publication Date Title
JP3846488B2 (ja) 画像データ圧縮装置、エンコーダ、電子機器及び画像データ圧縮方法
US7688891B2 (en) Image data compression device, encoder, electronic apparatus, and method of compressing image data
US20050254579A1 (en) Image data compression device, electronic apparatus and image data compression method
JP5893002B2 (ja) ビデオ符号化におけるレート制御
US7876829B2 (en) Motion compensation image coding device and coding method
JP4641892B2 (ja) 動画像符号化装置、方法、及びプログラム
JP4063204B2 (ja) 画像データ圧縮装置及びエンコーダ
JP4063205B2 (ja) 画像データ圧縮装置及びエンコーダ
US20160301945A1 (en) Image compression/decompression device
US7373001B2 (en) Compressed moving image decompression device and image display device using the same
US20050249280A1 (en) Image data compression apparatus, enencoder electronic equipment, and image data compression method
JP3680846B2 (ja) 動画像の圧縮装置及びそれを用いた撮像装置
US20120195364A1 (en) Dynamic mode search order control for a video encoder
JP4063202B2 (ja) 画像データ圧縮装置及びエンコーダ
CN106028031B (zh) 视频编码装置和方法、视频解码装置和方法
JP4063203B2 (ja) 画像データ圧縮装置及びエンコーダ
JP2008160402A (ja) 符号化装置及び方法並びに画像符号化装置
US9942569B2 (en) Image encoding apparatus and control method of the same
KR100507441B1 (ko) 가변장 부호의 입력 특성을 이용한 영상 신호 압축 방법및 상기 방법을 수행하는 비디오 인코더

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20050812

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060123

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060523

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060814

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090901

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100901

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110901

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120901

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130901

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees