JP4063203B2 - 画像データ圧縮装置及びエンコーダ - Google Patents

Description

本発明は、画像データ圧縮装置及びエンコーダに関する。

静止画像又は動画像の画像データや音声データといったマルチメディア情報に対する汎用的な符号化方式として、ＭＰＥＧ−４（Moving Picture Experts Group Phase 4）が規格化されている。近年の携帯機器は、このＭＰＥＧ−４の規格に準拠した画像データのエンコード及びデコードを実現し、動画像の再生やネットワークを介した送受信ができる。

ＭＰＥＧ−４の規格では、動画像の画像データをエンコードした圧縮データを、一定のレートで生成する必要がある。ところが、動画像の画像データを圧縮する場合、画像データの種類に依存して圧縮効率が大きく変動してしまう。非特許文献１には、この変動を所定の範囲に収めるように、発生する符号量を制御することで、一定のレートで圧縮データを生成するレートコントロール方式が述べられている。
MPEG-4 Visual Part(勧告書ISO/IEC 14496-2:1999(E) Annex L)

ＭＰＥＧ−４のエンコード（圧縮）処理を行う場合、一連の処理をすべてハードウェアにより実施することが考えられる。しかしながら、この場合、回路規模が大きくなり、ＩＣ（半導体装置、集積回路）化した場合の小型化を図ることが困難となる。特に携帯電話機等の携帯機器では、機器の小型化への要請に応えられない。

一方、エンコードの一連の処理を、すべてソフトウェアを用いて実施することが考えられる。しかしながら、この場合、ソフトウェアを処理するＣＰＵ（Central Processing Unit）の負荷が増大してしまう。そのため、ＣＰＵが他の処理に費やす時間に制約が生じ、このＣＰＵを搭載する機器のパフォーマンスを低下させてしまう。またＣＰＵの処理時間の増加を招き、消費電力が大きくなってしまう。特に携帯電話機等の携帯機器では、バッテリの消耗を抑えるための低消費電力化への要請に応えられない。

そこで、エンコードの一連の処理をハードウェアとソフトウェアとに分担させることが考えられる。しかしながら、本発明者の検討の結果、エンコードの一連の処理についてハードウェアとソフトウェアとの分担の最適化を図る場合、非特許文献１に開示されたレートコントロール方式を実施できないということが判明した。従って、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化と、一定レートでの圧縮データの生成とを両立できないという問題がある。

また非特許文献１に述べられているレートコントロール方式では、圧縮データの生成レートをコントロールできたとしても、該圧縮データを伸張した画像にはブロックノイズが表示されることが多く、表示品質を劣化させる場合があるという問題がある。

本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、画像データの圧縮処理についてハードウェアとソフトウェアとの分担の最適化と、一定レートでの圧縮データの生成とを両立し、かつ表示品質の劣化を防止できる画像データ圧縮装置及びエンコーダを提供することにある。

上記課題を解決するために本発明は、画像データを圧縮するための画像データ圧縮装置であって、フレーム単位で画像データを量子化する量子化部と、前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、前記符号化データのデータサイズを用いて前記量子化部の量子化ステップを変化させて、符号化データのデータサイズを変化させるレートコントロール部とを含み、前記レートコントロール部が、前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように又はその値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求め、該量子化パラメータに基づいて前記量子化ステップを変化させる画像データ圧縮装置に関係する。

本発明においては、量子化部と符号化データ生成部との間にＦＩＦＯバッファ部を設けている。こうすることで、量子化部と符号化データ生成部との処理を非同期で、かつ並列に動作させることができる。そして、符号化データ生成部による符号化データの生成のレートを制御する場合、レートコントロール部が、量子化部で量子化される画像データのフレームより過去の複数フレーム分の符号化データのデータサイズを平均化した平均データサイズを用いて、量子化部の量子化ステップを変化させるようにしている。

これにより、量子化部と符号化データ生成部との処理を非同期で行うように構成した結果、非特許文献１に開示されたレートコントロール方式を実施できない場合であっても、符号化データの生成のレートを制御でき、一定のレートで画像データを圧縮した符号化データを生成できるようになる。

また本発明では、レートコントロール部が、量子化パラメータ上限閾値以下となるように量子化パラメータを求めるようにしている。一般的に、量子化パラメータの値を大きくするほど、画像データを大きく間引いて量子化データのサイズを小さくし、符号化データのサイズを小さくできる。その反面、該符号化データをデコードした画像にはブロックノイズが目立つようになる。従って、本発明によれば、上述のようにレートコントロールを実施したとしても、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ事態を回避できるようになる。

或いは本発明では、レートコントロール部が、量子化パラメータ下限閾値以上となるように量子化パラメータを求めるようにしている。一般的に、量子化パラメータの値を小さくするほど、画像データの間引き量が少なくなって量子化データのサイズを大きくなる。その反面、該符号化データをデコードした画像にはブロックノイズが少なくなる。従って、本発明によれば、上述のようにレートコントロールを実施したとしても、無駄にデータサイズを大きくすることがなくなる。

また本発明に係る画像データ圧縮装置では、前記ＦＩＦＯバッファ部から読み出された量子化データが、１フレーム内で符号化されるフレーム内符号化マクロブロックのデータのとき、前記レートコントロール部が、該量子化データを符号化した符号化データのデータサイズを、前記平均データサイズとして求めることができる。

本発明によれば、量子化部と符号化データ生成部との処理を非同期で行うように構成した結果、非特許文献１に開示されたレートコントロール方式を実施できない場合であっても、Ｉピクチャのように前のフレームの画像データとの連続性がないときに、符号化データの生成のレートを適切に制御でき、一定のレートで画像データを圧縮した符号化データを生成できるようになる。

また本発明に係る画像データ圧縮装置では、前記レートコントロール部が、前記平均データサイズを用いて、前記量子化パラメータ上限閾値以下で、かつ前記量子化パラメータ下限閾値以上となるように前記量子化パラメータを求めることができる。

本発明によれば、圧縮効率と画質との最適化を図るレートコントロールを容易に実現できる。

また本発明に係る画像データ圧縮装置では、前記レートコントロール部が、前記量子化部がＭ（Ｍ≧Ｎ、Ｍは整数）フレーム分の画像データを所定の量子化ステップで量子化した後に前記平均データサイズを求めることができる。

本発明によれば、過去のＮフレーム分の符号化データのデータサイズの平均値が正確でないような場合に、不要なレートコントロールが行われて画質を劣化させることを防止できる。

また本発明に係る画像データ圧縮装置では、量子化ステップ値を記憶する量子化テーブルを含み、前記レートコントロール部が、前記量子化パラメータと前記量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させることができる。

また本発明に係る画像データ圧縮装置では、離散コサイン変換された前記画像データを、フレーム単位で前記量子化部に供給する離散コサイン変換部を含むことができる。

また本発明に係る画像データ圧縮装置では、動画像の画像データをハードウェアにより処理するハードウェア処理部と、前記ＦＩＦＯバッファ部から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成するソフトウェア処理部とを含み、前記ハードウェア処理部が、前記量子化部と、前記ＦＩＦＯバッファ部とを含み、前記ソフトウェア処理部が、前記符号化データ生成部と前記レートコントロール部とを含むことができる。

ここで、量子化された動画像データは、ゼロデータが圧倒的に多く、量子化前のデータと比較すればデータの情報量の種類が圧倒的に少ない場合が多い。しかも、一般的に符号化のための演算自体の負荷も少ない。よって、情報量が少なく演算負荷の軽い処理をソフトウェア処理部で処理しても、その処理の負荷は小さい。逆に、量子化の処理の多くは、情報量が多い上に演算も複雑で、ソフトウェアで処理するには負荷が大きい。そして、これらは負荷が重い処理ではあるが、規格化されている場合には、変更の必要性は乏しく、また、繰り返し処理が多いため、ハードウェア処理部での処理に適している。また、ハードウェア処理部での処理後のデータ量が少ないので、ハードウェア処理部からソフトウェア処理部に伝送されるデータ量が少なく、伝送負荷も軽くなる。また、ソフトウェア処理部とハードウェア処理部との間には、ＦＩＦＯバッファ部が介在するので、ソフトウェア処理とハードウェア処理とを並列的に処理することができる。更に、ソフトウェア処理とハードウェア処理とを使い分けることで、装置の小型化と消費電力の低減の双方を実現できる。

また本発明に係る画像データ圧縮装置では、前記ハードウェア処理部が、現在のフレームの入力画像データと現在のフレームの１フレーム前の過去画像データとの差分を動きベクトル情報として出力し、該動きベクトル情報に対して離散コサイン変換を行って前記画像データとして前記量子化部に出力し、前記量子化データに対して前記量子化ステップで逆量子化して求められる逆量子化データに基づいて、前記過去画像データを生成することができる。

また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データを可変長符号に符号化することができる。

また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することができる。

また本発明に係る画像データ圧縮装置では、前記ソフトウェア処理部が、前記ＦＩＦＯバッファ部から読み出された量子化データからＤＣ成分及びＡＣ成分とを求め、前記ＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することができる。

また本発明は、画像データに対して圧縮処理を行うエンコーダであって、画像データを入力するためのインタフェース処理を行う画像入力インタフェースと、フレーム単位で前記画像データを量子化する量子化部と、前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、前記ＦＩＦＯバッファ部への書き込みと非同期で、前記ＦＩＦＯバッファ部に記憶された量子化データを読み出すホストとのインタフェース処理を行うホストインタフェースとを含み、前記ホストが、前記量子化部が量子化する画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように又はその値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求め、前記量子化部が、前記量子化パラメータに基づく量子化ステップにより、量子化するエンコーダに関係する。

本発明によれば、例えば撮像部からの動画像の画像データを圧縮するためのエンコードの処理を、エンコーダとホストとに分担させることができる。従って、上述のエンコードの処理の量子化と符号化データの生成とを並列的に実行することができる。更に、エンコーダとホストとを使い分けることで、このエンコーダを搭載する装置の小型化と消費電力の低減の双方を実現できる。

また本発明に係るエンコーダでは、前記ＦＩＦＯバッファ部から読み出された量子化データが、１フレーム内で符号化されるフレーム内符号化マクロブロックのデータのとき、前記ホストが、該量子化データを符号化した符号化データのデータサイズを前記平均データサイズとして求め、前記量子化部が、前記量子化パラメータに基づく量子化ステップにより、量子化することができる。

また本発明に係るエンコーダでは、前記ホストが、前記平均データサイズを用いて、前記量子化パラメータ上限閾値以下で、かつ前記量子化パラメータ下限閾値以上となるように前記量子化パラメータを求めることができる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。

１． ＭＰＥＧ−４
まずＭＰＥＧ−４のエンコード処理について簡単に説明する。またこのエンコード処理によって符号化された圧縮データを伸張するためのデコード処理についても説明する。

図１（Ａ）、（Ｂ）に、ＭＰＥＧ−４のエンコード処理と、デコード処理の説明図を示す。この処理の詳細については、例えば日本実業出版社の「JPEG&MPEG 図解でわかる画像圧縮技術」（越智宏、黒田英夫の共著）に説明されているので、本発明に関する処理についてのみ主として説明する。

図１（Ａ）に示すエンコード処理では、まず、連続する２枚（２フレーム）の画像間の動き検出（ＭＥ：Motion Estimation）が実施される（ステップＳ１）。具体的には２枚の画像間の同一画素同士の差分を求める。２枚の画像間で変化のない画像領域では差分が０になるので、情報量を少なくできる。この画像領域のゼロデータに加え、２枚の画像間で変化のある画像領域の差分（プラス・マイナス成分）が動き検出後の情報となる。

次に、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）が実施される（ステップＳ２）。この離散コサイン変換（ＤＣＴ）は、図２に示す８画素×８画素の１ブロック単位で演算され、１ブロック毎にＤＣＴ係数を求めるものである。離散コサイン変換後のＤＣＴ係数は、１ブロック内の画像の濃淡変化を、全体の明るさ（ＤＣ成分）と空間周波数（ＡＣ成分）とで表わしたものである。図３は、８画素×８画素の１ブロック内のＤＣＴ係数の一例を示している（上述の図書の第１１６頁の図５−６を引用）。その左上隅のＤＣＴ係数がＤＣ成分を示し、それ以外のＤＣＴ係数がＡＣ成分を示す。なお、ＡＣ成分のうち、高周波成分を省略しても画像認識への影響が少ない。

次に、ＤＣＴ係数の量子化が行われる（ステップＳ３）。この量子化は、１ブロック内の各ＤＣＴ係数を、量子化テーブル中の対応する位置の量子化ステップ値で除算して、情報量を少なくするために実施される。例えば、図３のＤＣＴ係数を図４の量子化テーブルを用いて量子化した１ブロック内のＤＣＴ係数を図５に示す（上述の図書の第１１７頁の図５−９及び図５−１０を引用）。図５に示す通り、特に、高周波成分のＤＣＴ係数を量子化ステップ値で除算し、その小数点以下を四捨五入すると、ほとんどがゼロデータとなり、情報量が大幅に減少している。

このエンコード処理には、現フレームと該現フレームの次のフレームとの間で上述の動き検出（ＭＥ）を実施するために、帰還ルートが必要となる。この帰還ルートでは、図１（Ａ）に示すように、逆量子化（ｉＱ）、逆ＤＣＴ及び動き補償（ＭＣ：Motion Compensation）が実施される（ステップＳ４〜Ｓ６）。なお、動き補償の詳細な動作については省略するが、この処理は図２に示す１６画素×１６画素の１マクロブロック単位で実施される。

本実施形態では、上述したステップＳ１〜Ｓ６の処理が、ハードウェアによって実施される。

図１（Ａ）のステップＳ７で実施されるＤＣ／ＡＣ（直流／交流成分）予測処理及びステップＳ８で実施されるスキャン処理は、共にステップＳ９の可変長符号（ＶＬＣ：Variable Length Code）の符号化の効率を高めるために必要な処理である。なぜなら、ステップＳ９の可変長符号への符号化は、ＤＣ成分については隣接ブロック間での差分を符号化し、ＡＣ成分についてはブロック内を周波数が低い側から高い側に向けてスキャン（ジグザグスキャンとも称する）して符号化の順序を決める必要があるからである。

ステップＳ９の可変長符号への符号化とは、エントロピー符号化とも称され、符号化原理として、出現頻度の多いものは少ない符号で表すように符号化するものである。ステップＳ７、ステップＳ８での結果を利用して、ＤＣ成分について隣接ブロック間での差分を符号化し、ＡＣ成分についてはスキャンされた順番で低周波側から高周波側から順にＤＣＴ係数値を符号化する。

ここで、画像データは、その画像の複雑さや動きの激しさによって情報の発生量が変動する。この変動を吸収し、一定の伝送レートで伝送するには符号発生量の制御が必要であり、これがステップＳ１０のレートコントロールである。レートコントロールのために通常バッファメモリが設けられ、そのバッファメモリがオーバーフローしないように蓄積情報量を監視し、情報発生量を抑えるようにする。具体的には、ステップＳ３での量子化特性を粗くして、ＤＣＴ係数値を表すビット数を減らしている。

本実施形態では、上述したステップＳ７〜Ｓ１０の処理が、ソフトウェアによって実施される。即ち、ステップＳ７〜Ｓ１０の処理が、ソフトウェアを読み込んだハードウェアによって実現される。

図１（Ｂ）は、図１（Ａ）のエンコード処理によって圧縮された画像データのデコード処理を示す。このデコード処理は図１（Ａ）のエンコード処理を逆順でかつ逆処理することで達成される。なお、図１（Ｂ）中の「ポストフィルタ」とは、ブロックノイズを消去するためのフィルタである。また図１（Ｂ）中の「ＹＵＶ／ＲＧＢ変換」とは、ポストフィルタの出力を、ＹＵＶフォーマットからＲＧＢフォーマットに変換することを指す。

２． レートコントロール
次に、図１（Ａ）に示すステップＳ１０で実施されるレートコントロールに関し、非特許文献１に記載される手法について簡単に説明する。この手法では、エンコード時の量子化パラメータを変化させる。量子化パラメータを変化させることで、図１（Ａ）に示す量子化（ステップＳ３）の量子化ステップを変化させて量子化特性を変化させ、発生する符号量（データのサイズ）を制御する。

この手法では、フレームごとに量子化パラメータＱｃを設定して、１フレームを符号化したときの発生符号量Ｒの制御を行う。このとき、図６に示すモデル式に従って、量子化パラメータＱｃを求める。

図６において、Ｒは１フレームを符号化しときの発生符号量、Ｑｃは量子化パラメータ、Ｅｃはフレームの複雑度、Ｘ_１、Ｘ_２は本モデルのパラメータを示す。フレームの複雑度Ｅｃは、符号化対象とする画素の絶対値平均を用いる。ここでフレーム間符号化マクロブロックに関しては、フレームの複雑度Ｅｃは、現フレームと該現フレームの前のフレームとの差分値ｘ´_ｉｊの絶対値の総和を面積Ａで除した値として、動き検出後に求められる。フレーム内符号化マクロブロックに関しては、現フレームと基準値μとの差分値の絶対値（｜ｘ_ｉｊ−μ｜）の総和を面積Ａで除した値として求められる。なお基準値μは、マクロブロック内の全画素の平均値とすることができる。

このように、図６では、発生符号量はフレームの複雑度と量子化パラメータの逆数の２次式とによってモデル化される。

図７に、図６に示すモデル式を用いたレートコントロールの処理フローの一例を示す。

まず、初期フレームを、所定の量子化パラメータを用いてエンコードする（ステップＳ３０）。次に、モデルパラメータＸ_１、Ｘ_２の初期値を設定する（ステップＳ３１）。続いて、現フレームの複雑度Ｅｃを算出する（ステップＳ３２）。複雑度Ｅｃは、図６に示す式を用いて求めることができる。そして、エンコードに使用する符号量を、使用可能な残りの符号量及び前フレームで使用した符号量を基に求める（ステップＳ３３）。

更に、ステップＳ３１で設定されたモデルパラメータＸ_１、Ｘ_２、ステップＳ３２で求められた複雑度Ｅｃを、図６に示すモデル式に設定する。また、ステップＳ３３で求められたエンコードに使用する符号量から、前フレームで使用したビット数のうちヘッダや動きベクトル等の情報以外のビット数を減算した値を、１フレームを符号化したときの発生符号量Ｒとして図６に示すモデル式に設定する。そして、図６に示すパラメータをＱｃとする２次方程式を解いて、量子化パラメータＱｃを求める（ステップＳ３４）。

次に、ステップＳ３４で求められた量子化パラメータＱｃを用いてフレームの量子化と符号化とを行って（ステップＳ３５）、現フレームの１フレーム前にエンコードしたフレームの量子化パラメータと発生符号量等とを基に、図６に示すモデル式からモデルパラメータＸ_１、Ｘ_２を求めて更新する（ステップＳ３６）。

所定の条件でこの処理フローを終了するとき（ステップＳ３７：Ｙ）、一連の処理を終了し（エンド）、終了しないとき（ステップＳ３７：Ｎ）、ステップＳ３２に戻る。以上のような処理を毎フレーム行う。

このように非特許文献１に記載されるレートコントロール方式では、１フレーム前のエンコード結果を次のフレームのエンコードに反映させる必要がある。

３． 画像データ圧縮装置
ところで本実施形態は、上述したエンコードの一連の処理をハードウェアとソフトウェアとに分担させ、この分担の最適化を図る画像データ圧縮装置を提供するものである。

図８に、本実施形態における画像データ圧縮装置の構成の概要のブロック図を示す。

本実施形態における画像データ圧縮装置１０は、量子化部２０を含む。量子化部２０は、図１（Ａ）に示すステップＳ３の処理を行う。量子化部２０は、フレーム単位で画像データを量子化する。即ち、量子化部２０は、フレーム単位に画像データを量子化して量子化データを生成する。ここで画像データは、例えば図１（Ａ）に示すステップＳ２のＤＣＴ処理後のＤＣＴ係数により表わすことができる。この場合、図３に示すＤＣＴ係数が、図４に示す量子化テーブルの量子化ステップ値で除算され、図５に示すように量子化される。

画像データ圧縮装置１０は、ＦＩＦＯバッファ部３０を含む。ＦＩＦＯバッファ部３０には、量子化部２０によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされる。フレーム単位で量子化部２０から出力される量子化データは、ＦＩＦＯバッファ部３０に順次書き込まれる。そしてＦＩＦＯバッファ部３０は、先入れ先出し記憶回路として機能する。

画像データ圧縮装置１０は、符号化データ生成部４０を含む。符号化データ生成部４０は、ＦＩＦＯバッファ部３０から１フレーム分の量子化データを読み出し、該量子化データを符号化した符号化データを生成する。この符号化データ生成部４０は、ＦＩＦＯバッファ部３０への書き込みと非同期で、ＦＩＦＯバッファ部３０から１フレーム分の量子化データを読み出す。

このように量子化部２０と符号化データ生成部４０との間にＦＩＦＯバッファ部３０を設けることで、処理負荷の重い量子化部２０の処理をハードウェアに負担させ、処理負荷の軽い符号化データ生成部４０の符号化処理をソフトウェア処理で実現させると共に、両者の処理を並列に処理できるようになる。

以下では、量子化部２０が例えば高速なハードウェアによって実現され、符号化データ生成部４０が例えば低速なソフトウェア処理によって実現されるものとして説明するが、これに限定されるものではなく、符号化データ生成部４０が、ＦＩＦＯバッファ部３０への書き込みと非同期でＦＩＦＯバッファ部３０から量子化データを読み出す場合に本実施形態を適用することができる。従って、量子化部２０が例えば高速なハードウェアによって実現され、符号化データ生成部４０が例えば低速なハードウェアによって実現されてもよい。或いは量子化部２０と符号化データ生成部４０がソフトウェアを読み込むハードウェアによって実現され、互いに非同期で処理するようにしてもよい。

画像データ圧縮装置１０は、レートコントロール部５０を含む。レートコントロール部５０は、符号化データ生成部４０によって生成された符号化データのデータサイズを用いて、量子化部２０の量子化ステップを変化させて符号化データのデータサイズを変化させる。図５より明らかなように、量子化ステップを大きくすれば、量子化されたＤＣＴ係数のゼロデータが増える。一方、量子化ステップを小さくすれば、量子化されたＤＣＴ係数のゼロデータが減る。こうしてゼロデータが増減される量子化データは、ＦＩＦＯバッファ部３０に書き込まれる。その結果、ＦＩＦＯバッファ部３０から読み出した量子化データを、符号化データ生成部４０が符号化した符号化データのサイズも、量子化パラメータに応じて変更できるようになる。

上述のように非特許文献１に記載されたレートコントロール方式では、１フレーム前のエンコード結果を次のフレームのエンコードに反映させる必要がある。ところが、量子化部２０の量子化と符号化データ生成部４０の符号化とを、ハードウェアとソフトウェアとに分担させるようにすると、互いに非同期で処理されることになる。そのため、ＦＩＦＯバッファ部３０で読み出された量子化データが、量子化部２０で量子化されるデータの２フレーム以上過去のフレームのデータとなってしまうことがある。このため、１フレーム前のエンコード結果を次のフレームのエンコードに反映させた非特許文献１に記載されたレートコントロール方式を実現できなくなる。

そこで本実施形態では、レートコントロール部５０は、量子化部２０で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化して平均データサイズを求め、該平均データサイズを用いて量子化パラメータを求める。この量子化パラメータに基づいて、量子化部２０の量子化ステップを変化させる。例えば、量子化部２０で量子化される画像データが第Ｌ（Ｌは正の整数）フレーム目であるとき、レートコントロール部５０は、第Ｌフレームより過去のＮフレーム分の第（Ｌ−Ｐ）（但し、Ｌ＞Ｐ、Ｐは正の整数）フレーム目〜第（Ｌ−Ｐ−Ｎ＋１）（但し、Ｌ−Ｐ＞Ｎ−１）フレーム目までの符号化データのデータサイズを平均化して求めた平均データサイズを用いて、量子化ステップを変化させる。

図９に、本実施形態におけるレートコントロールの手法の説明図を示す。但し、図８に示す画像データ圧縮装置１０と同一部分には同一符号を付し、適宜説明を省略する。なお図９では、ＦＩＦＯバッファ部３０が、７フレーム分の量子化データを記憶できるものとする。

図１０に、図９に示すレートコントロール手法の動作タイミングの模式図を示す。

量子化部２０は、フレーム単位で画像データを量子化する。例えば図４に示す量子化ステップ値が設定された量子化テーブル２２を設ける。そして、量子化部２０は、量子化テーブル２２に設定された量子化ステップ値とレートコントロール部５０からの量子化パラメータとに基づいて、フレーム単位で画像データを量子化する。より具体的には、量子化パラメータを量子化ステップ値の係数とし、量子化部２０が、該量子化パラメータと量子化ステップ値との積を用いて量子化を行うことで、量子化ステップを変化させる。

量子化部２０は、時刻ｔ１、ｔ２、・・・において、フレーム単位で画像データを量子化し、量子化データを第１のフレームＦ_１、第２のフレームＦ_２、・・・の順にＦＩＦＯバッファ部３０に書き込む。符号化データ生成部４０は、ＦＩＦＯバッファ部３０への量子化データの書き込みタイミングとは非同期で、ＦＩＦＯバッファ部３０から量子化データをフレーム単位で読み出し、符号化処理を行う。

そしてレートコントロール部５０が、量子化部２０で量子化される画像データのフレーム（現在のフレーム）より過去の例えば４（Ｎ＝４）フレーム分の各フレームの符号化データのデータサイズを平均化して求めた平均データサイズを用いて、量子化部２０の量子化ステップを変化させる。これにより、量子化部２０で量子化された量子化データのサイズが変化し、この結果として符号化データ生成部４０が生成する符号化データのサイズも変化する。

図１０では、符号化データ生成部４０がＦＩＦＯバッファ部３０から第１〜第４のフレームＦ_１〜Ｆ_４の量子化データを順次読み出して、各フレームの符号化データをそれぞれ生成して出力している。このとき量子化部２０が第７のフレームＦ_７の画像データの量子化を行うものとする。

レートコントロール部５０は、第１〜第４のフレームＦ_１〜Ｆ_４の各フレームの符号化データのサイズを記憶しており、第１〜第４のフレームＦ_１〜Ｆ_４における各フレームの符号化データのサイズの平均値を平均データサイズとして求める。そして図６及び図７で説明したように、レートコントロール部５０は、この平均データサイズを用いて第７のフレームＦ_７のエンコードに使用する符号量を算出して、量子化パラメータＱｃを求める。この結果、量子化部２０は、第７のフレームＦ_７の画像データの量子化を、第１〜第４のフレームＦ_１〜Ｆ_７の符号化データのデータサイズの平均値を用いて求められた量子化パラメータＱｃと量子化テーブル２２の量子化ステップ値との積を用いて量子化する。この量子化結果が、ＦＩＦＯバッファ部３０に書き込まれる。こうして、所望のレートで、符号化データを生成できるようになる。

このようなレートコントロール方式では、データサイズが急激に変化する場合にも、一定のレートを維持できるようにしなければならない。従って、Ｎの値が小さくなると、データサイズが例えば１フレームだけ急激に変化した場合にも追従してしまい、その分他のフレームの画質を劣化させてしまう。一方、Ｎの値が大きくなると、データサイズが例えば１フレームだけ急激に変化した場合に、量子化ステップがほとんど変化しなくなる。

ところで、データサイズが急激に変化する一例として、Ｉ（Intra-coded）ピクチャ（１フレーム内で符号化されるフレーム内符号化マクロブロックを有するフレーム）の画像データが入力される場合がある。この場合は、過去のフレームの画像データとの連続性がないため、急激に符号化データを生成するレートが低下することになり、レートコントロールの手法を工夫する必要が生ずる。

本実施形態では、ＦＩＦＯバッファ部３０から読み出された量子化データが、１フレーム内で符号化されるフレーム内符号化マクロブロックのデータのとき、レートコントロール部５０は、該量子化データを符号化した符号化データのデータサイズを、平均データサイズとして求めるようにする。こうすることで、Ｉピクチャのように前のフレームの画像データとの連続性がない場合でも、適切に追従できるようになる。

またレートコントロール部５０は、量子化部２０がＭ（Ｍ≧Ｎ、Ｍは整数）フレーム分の画像データを所定の量子化ステップ（予め決められた量子化ステップ）で量子化した後に、上述の平均データサイズを求め、該平均データサイズを用いて量子化ステップを変化させるようにしてもよい。こうすることで、過去のＮフレーム分の符号化データのデータサイズの平均値が正確でないような場合に、不要なレートコントロールが行われて画質を劣化させることを防止できる。

また上述のようにレートコントロールを実施したとしても、エンコード対象の画像によっては、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ場合も想定される。これは、非特許文献１に述べられているレートコントロール方式により、圧縮データの生成レートをコントロールしたとしても、該圧縮データを伸張した画像にはブロックノイズが表示されることが多く、表示品質を劣化させる場合があるからである。

図１１に、量子化パラメータ、符号化データのデータサイズ及びブロックノイズの関係を模式的に示す。図１１では、横軸が量子化パラメータを表わし、縦軸がデータサイズ及びブロックノイズを表わす。なお、非特許文献１に記載されるレートコントロール方式では、量子化パラメータＱｃの値の範囲が１〜３１である。

図１１に示すように、量子化パラメータの値を大きくするほど、画像データを大きく間引いてＤＣＴ係数をゼロデータにすることになり量子化データのサイズを小さくし、符号化データのサイズを小さくできる。その反面、該符号化データをデコードした画像にはブロックノイズが目立つようになる。即ち、データサイズが小さいほど、ブロックノイズが多くなる。

そこで本実施形態では、量子化パラメータＱｃの値が一定値より大きくならないように、量子化パラメータ上限閾値QcUpperLimitを設けている。この量子化パラメータ上限閾値QcUpperLimitの値は、レートコントロールに先立って設定される。従って、レートコントロール部５０は、量子化部２０で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように量子化パラメータを求める。このように、Ｑｃ≦QcUpperLimitとすることにより、上述のようにレートコントロールを実施したとしても、エンコード後の圧縮データをデコードした画像にブロックノイズが目立つ事態を回避できるようになる。

一方、量子化パラメータの値を小さくするほど、画像データを間引く量が小さくなり、ＤＣＴ係数のゼロデータが少なくなる。そのため量子化データのサイズが大きくなり、符号化データのサイズも大きくなる。その反面、該符号化データをデコードした画像にはブロックノイズが少なくなる。即ち、データサイズが大きいほど、ブロックノイズが少なくなる。例えば量子化パラメータＱｃの値が１のとき、デコードした画像を最高画質にできるが、１フレーム分の符号化データとして使用されるデータ量が膨大となってしまう。このとき、人間の眼では確認できないような撮像部のノイズもすべて残った状態となる。

そこで本実施形態では、量子化パラメータＱｃの値が一定値より小さくならないように、量子化パラメータ下限閾値QcLowerLimitを設けている。この量子化パラメータ下限閾値QcLowerLimitの値は、レートコントロールに先立って設定される。従って、レートコントロール部５０は、量子化部２０で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求める。このように、Ｑｃ≧QcLowerLimitとすることにより、上述のようにレートコントロールを実施したとしても、無駄にデータサイズを大きくすることがなくなる。

以上のように、レートコントロール部５０は、平均データサイズを用いて量子化パラメータ上限閾値QcUpperLimit以上となるように又は量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるようにしてもよいが、これに限定されるものではない。

レートコントロール部５０は、上述のように平均データサイズを用いて、量子化パラメータ上限閾値QcUpperLimit以下で、かつ量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるようにしてもよい。この場合、量子化パラメータＱｃの値を、図１１に示す範囲RangeQcとすることで、データサイズの範囲RangeDataとすることができ、圧縮効率と画質との最適化を図るレートコントロールを容易に実現できる。

以下では、レートコントロール部５０が、平均データサイズを用いて、量子化パラメータ上限閾値QcUpperLimit以下で、かつ量子化パラメータ下限閾値QcLowerLimit以上となるように量子化パラメータを求めるものとして説明する。

３．１ 量子化パラメータＱｃの算出処理
次に、レートコントロール部５０で行われる量子化パラメータＱｃの算出処理について具体的に説明する。

図１２及び図１３に、量子化パラメータＱｃの算出処理のフローの一例を示す。ここでは、図１４に示す量子化パラメータＱｃの算出処理で用いられる変数の説明図を参照しながら、図１２及び図１３に示すフローを説明する。図１２及び図１３に示すフローが、毎フレーム行われる。

まず前フレームで使用したビット数Ｓを算出する（ステップＳ４０）。ここで、変数Ｓに、前フレームで求められた、エンコードに使用したビット数（現フレームのエンコードに使用したビット数）Ｒｃの値が設定される。

図１５に、エンコードに使用したビット数Ｒｃの値の算出処理のフローの一例を示す。ここでは、エンコード対象の画像データが、フレーム内符号化マクロブロックのものか否かを判別する（ステップＳ６０）。そして、フレーム内符号化マクロブロックのものであると判別されたとき（ステップＳ６０：Ｙ）、過去のＮフレーム分の各符号化データのデータサイズを、現フレームの符号化データのデータサイズに置き換える（ステップＳ６１）。

そして、ステップＳ６０で、フレーム内符号化マクロブロックのものではない、即ちフレーム間符号化マクロブロックのものであると判別されたとき（ステップＳ６０：Ｎ）、或いはステップＳ６１に続いて、変数Ｒｃの値が求められる（ステップＳ６２）。

ステップＳ６２では、過去の第ｋ（ｋは自然数）のフレームの符号化データのデータサイズをｆｓ（ｋ）とし、過去のＮフレーム分の各符号化データのデータサイズの総和をフレーム数Ｎで割って、変数Ｒｃの値を求めている。変数Ｒｃの値が、平均データサイズである。

なお、過去のＮフレーム分の各フレームは、現フレームを基準に少なくとも２フレーム以上前のフレームである。

こうして求められた変数Ｒｃの値は、次のフレームで変数Ｓに設定される。

図１２に戻って、説明を続ける。変数Ｓの値が求められると、現フレームに割り当てるビット数Ｔを求める（ステップＳ４１）。ステップＳ４１では、残りの使用可能ビット数Ｒｒと、残りにエンコードフレーム枚数Ｎｒとにより、１フレーム当たりの平均割り当てビット数（Ｒｒ／Ｎｒ）を求め、その値と前フレームの割り当てビット数Ｓとの比で、現フレームに割り当てられるビット数Ｔを求める。ステップＳ４１では、例えば０．９５：０．０５となっている。そして、現フレームに割り当てられるビット数Ｔが、下限値であるＲｓ／３０の値を下回らないようにする。

次に、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと、ＦＩＦＯバッファ部３０のビット数Ｂｓとの比から、現フレームに割り当てられるビット数Ｔを調整する（ステップＳ４２）。この結果、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂが、ＦＩＦＯバッファ部３０のビット数Ｂｓの半分より小さい場合は、変数Ｔの値を大きくし、逆に大きい場合は変数Ｔの値を小さくする。

そして、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと変数Ｔの加算値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割を超えたか否かを判別する（ステップＳ４３）。該加算値が変数Ｂｓの値の９割を超えたと判別されたとき（ステップＳ４３：Ｙ）、変数Ｔの値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割から変数Ｂの値を減算した値に設定（クリップ）される（ステップＳ４４）。即ち、現在のＦＩＦＯバッファ部３０の占有ビット数Ｂと変数Ｔの加算値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの９割を超えないように設定される。また、ステップＳ４１と同様に、変数Ｔの値が、下限値であるＲｓ／３０の値を下回らないようにする。

一方、ステップＳ４３において、該加算値が変数Ｂｓの値の９割を超えていないと判別されたとき（ステップＳ４３：Ｎ）、変数Ｔの値は、１フレームあたりの平均発生ビット数Ｒｐから変数Ｂの値を減算し、変数Ｂｓの値の１割を加算した値に設定される（ステップＳ４５）。即ち、変数Ｂｓと変数Ｔの加算値から１フレームあたりの平均発生ビット数Ｒｐを減算した値が、ＦＩＦＯバッファ部３０のビット数Ｂｓの１割を下回らないように設定される。

ステップＳ４４又はステップＳ４５に続いて、変数Ｔの値が、残りの使用可能ビット数Ｒｒより大きくならないように設定する（ステップＳ４６）。次に、フレーム間で極端に変数Ｔの値が変化しないように、変数Ｔの値を調整する（ステップＳ４７）。

次に、量子化パラメータＱｃの値を求めるため、図６に示したモデル式を、変数Ｑｃの２次方程式として解く。そのため図１３に示すように、まず変数ｔｍｐの値を求める（ステップＳ４８）。

ここで、モデルパラメータＸ_２が０のとき、或いは変数ｔｍｐの値が負の値のとき（ステップＳ４９：Ｙ）、１次方程式となるモデル式より量子化パラメータＱｃを求める（ステップＳ５０）。ここで、変数Ｒは、現フレームに割り当てられるビット数Ｔから、前のフレームで使用したビット数のうちヘッダ等の情報以外のビット数Ｈｐを減算した値となるため、Ｑｃ＝Ｘ_１×Ｅｃ／（Ｔ−Ｈｐ）より求められる。また変数Ｅｃの値は、図６に示したようにフレームの画素の絶対値平均の値である。

ステップＳ４９において、モデルパラメータＸ_２が０ではなく、かつ変数ｔｍｐの値が０以上の値のとき（ステップＳ４９：Ｎ）、図６に示すモデル式から導かれる２次方程式の解を、量子化パラメータＱｃの値とする（ステップＳ５１）。

ステップＳ５０又はステップＳ５１に続いて、量子化パラメータＱｃの値が前フレームの量子化パラメータＱｐとの差が２５パーセント以内に収まり、かつ量子化パラメータＱｃの値が１〜３１の値となるように処理する（ステップＳ５２、ステップＳ５３、ステップＳ５４、ステップＳ５５）。ステップＳ５２、ステップＳ５４において、ｃｅｉｌ（ｘ）は、ｘの値を正の方向に切り上げて整数にすることを意味する。

本実施形態では、更にステップＳ５５で求められた量子化パラメータＱｃの値の調整処理を行い（ステップＳ５６）、一連の処理を終了する（エンド）。

図１６に、量子化パラメータＱｃの値の調整処理のフローの一例を示す。

まずステップＳ５５で求められた量子化パラメータＱｃの値が、この調整処理に先立ってその値が設定される量子化パラメータ上限閾値QcUpperLimit以上か否かを判別する（ステップＳ１００）。

量子化パラメータＱｃの値が、量子化パラメータ上限閾値QcUpperLimit以上であると判別されたとき（ステップＳ１００：Ｙ）、量子化パラメータＱｃの値を量子化パラメータ上限閾値QcUpperLimitに設定する（ステップＳ１０１）。

量子化パラメータＱｃの値が量子化パラメータ上限閾値QcUpperLimit以上ではないと判別されたとき（ステップＳ１００：Ｎ）、或いはステップＳ１０１に続いて、量子化パラメータＱｃの値が、この調整処理に先立ってその値が設定される量子化パラメータ下限閾値QcLowerLimit以下であるか否かを判別する（ステップＳ１０２）。

量子化パラメータＱｃの値が、量子化パラメータ下限閾値QcLowerLimit以下であると判別されたとき（ステップＳ１０２：Ｙ）、量子化パラメータＱｃの値を量子化パラメータ下限閾値QcLowerLimitに設定する（ステップＳ１０３）。

量子化パラメータＱｃの値が量子化パラメータ下限閾値QcLowerLimit以下ではないと判別されたとき（ステップＳ１０２：Ｎ）、或いはステップＳ１０３の後では、その時点の量子化パラメータＱｃの値が量子化部２０に供給されることになる（図１６のエンド、図１３のエンド）。

なお図１３及び図１６では、ステップＳ５６において調整処理を行っていたが、これに限定されるものではない。例えば図１３においてステップＳ５６を設けず、ステップＳ５３の３１の値を量子化パラメータ上限閾値QcUpperLimitに置き換え、ステップＳ５５の１の値を量子化パラメータ下限閾値QcLowerLimitに置き換えるようにしてもよい。

以上のようにして求められた量子化パラメータＱｃを量子化部２０に供給することで、量子化部２０の量子化ステップを変化させる。

即ち、例えば図１７に示すように、ＤＣＴ係数により表わされる画像データのＤＣＴ係数Ｄ_ｉｊを、量子化テーブルの対応する位置の量子化ステップ値Ｑ_ｉｊと量子化パラメータＱｃとの積で除算して、量化されたＤＣＴ係数ｄ_ｉｊを求める。その結果、量子化されたＤＣＴ係数のゼロデータを増減させることができる。

３．２ 構成例
図１８に、本実施形態の画像データ圧縮装置の詳細な機能ブロック図を示す。但し、図８に示す画像データ圧縮装置１０と同一部分には同一符号を付し、適宜説明を省略する。

図１８に示す画像データ圧縮装置１００は、ＭＰＥＧ−４に準拠した動画像の画像データの圧縮処理を行う。画像データ圧縮装置１００は、ハードウェア処理部１１０と、ソフトウェア処理部１５０とを含む。

ハードウェア処理部１１０は、動画像の画像データをハードウェアにより処理する。このハードウェア処理部１１０は、量子化部２０と、ＦＩＦＯバッファ部３０とを含む。ハードウェア処理部１１０は、ソフトウェアを使用せず、ＡＳＩＣや専用回路等のハードウェアにより実現される。

ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データをソフトウェアにより符号化処理して符号化データを生成する。このソフトウェア処理部１５０は、符号化データ生成部４０と、レートコントロール部５０とを含む。ソフトウェア処理部１５０は、ソフトウェア（ファームウェア）によりその機能が実現される処理部であり、ソフトウェア（ファームウェア）を読み込んだＣＰＵ等（ハードウェア）によりその機能が実現される。

より具体的にはハードウェア処理部１１０は、離散コサイン変換（ＤＣＴ）部１１２、動き検出部１１４、逆量子化部１１６、逆ＤＣＴ部１１８、動き補償部１２０を含む。ＤＣＴ部１１２は、図１（Ａ）に示すステップＳ２の処理を行う。動き検出部１１４は、図１（Ａ）に示すステップＳ１の処理を行う。逆量子化部１１６は、図１（Ａ）に示すステップＳ４の処理を行う。逆ＤＣＴ部１１８は、図１（Ａ）に示すステップＳ５の処理を行う。動き補償部１２０は、図１（Ａ）に示すステップＳ６の処理を行う。

即ち、ハードウェア処理部１１０は、現在のフレームの入力画像データと現在のフレームの１フレーム前の過去画像データとの差分を動きベクトル情報として出力し、該動きベクトル情報に対して離散コサイン変換を行って画像データとして量子化部に出力する。更に、この量子化データに対して、上述の量子化ステップで逆量子化して求められる逆量子化データに基づいて、上記の過去画像データを生成する。

なおハードウェア処理部１１０は、これら各部をすべて含んで構成される必要はなく、上記各部のうち少なくとも１つが省略される構成でもよい。

またソフトウェア処理部１５０の符号化データ生成部４０は、ＤＣ／ＡＣ予測部１５２、スキャン部１５４、ＶＬＣ符号化部１５６を含む。ＤＣ／ＡＣ予測部１５２は、図１（Ａ）に示すステップＳ７の処理を行う。スキャン部１５４は、図１（Ａ）に示すステップＳ８の処理を行う。ＶＬＣ符号化部１５６は、図１（Ａ）に示すステップＳ９の処理を行う。

なおソフトウェア処理部１５０は、これら各部をすべて含んで構成される必要はなく、上記各部のうち少なくとも１つが省略される構成でもよい。例えば、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データを可変長符号に符号化するようにしてもよい。また、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化するようにしてもよい。更にまた、ソフトウェア処理部１５０は、ＦＩＦＯバッファ部３０から読み出された量子化データからＤＣ成分及びＡＣ成分とを求め、このＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化するようにしてもよい。

ここで、本実施形態において、図１（Ａ）のステップＳ１〜Ｓ６をハードウェア処理し、ステップＳ７〜Ｓ１０をソフトウェア処理する理由は下記の通りである。まず、図１（Ａ）のステップＳ３の量子化後であれば、図５に示すように各ブロック内にはゼロデータが圧倒的に多く、量子化前のデータ（図３）と比較すればデータの情報量の種類が圧倒的に少ない。しかも、ステップＳ７〜Ｓ１０の演算自体の負荷も少ないので、図１（Ａ）のステップＳ７〜Ｓ１０をソフトウェアで処理しても、その処理の負荷は小さくなる。逆に、図１（Ａ）のステップＳ３の量子化、ステップＳ２のＤＣＴ、及びステップＳ５の逆ＤＣＴなどは、情報量が多い上に演算も複雑で、ソフトウェアで処理するには負荷が大きい。これらの量子化、ＤＣＴ、逆ＤＣＴ、動き補償などは、負荷が重い処理ではあるが規格が決まっているため変更の必要性は乏しく、また、図１（Ａ）のステップＳ１〜Ｓ６には繰り返し処理が多いため、ハードウェアでの処理に適している。また、上述した通りハードウェア処理部１１０にて処理された量子化後のデータ量が少ないので、ハードウェア処理部１１０からソフトウェア処理部１５０に伝送されるデータ量が少なく、データ転送制御の負担を軽くできる。

図１９に、画像データ圧縮装置１００のハードウェア構成例を示す。ここでは、図１８に示すハードウェア処理部１１０が集積化され、エンコードＩＣ（集積回路）（広義にはエンコーダ）２００として半導体装置に実装される。また図１８に示すソフトウェア処理部１５０の機能は、ホスト２１０により実現される。なお図１９において、図１８に示すハードウェア処理部１１０と同一部分には同一符号を付し、説明を適宜省略する。

ホスト２１０は、ＣＰＵ２１２とメモリ２１４とを含む。メモリ２１４には、符号化データ生成部４０及びレートコントロール部５０の機能を実現するためのプログラムが格納される。ＣＰＵ２１２は、メモリ２１４に格納されたプログラムを読み出して、該プログラムに基づいて処理することで、符号化データ生成部４０及びレートコントロール部５０の機能を実現する。

ここでエンコードＩＣ２００は、図示しないカメラモジュール（広義には撮像部）において撮像により得られた動画像の画像データを、ＭＰＥＧ−４の規格に準拠してエンコードを行い、一定のレートで符号化データを生成する。このためエンコードＩＣ２００は、図１８に示すハードウェア処理部１１０の各部の機能を実現する回路の他に、ホストインタフェース（InterFace：Ｉ／Ｆ）２０２、カメラＩ／Ｆ（広義には画像入力インタフェース）２０４、量子化パラメータ設定レジスタ２０６を含む。

エンコードＩＣ２００とホスト２１０は、割り込み信号とデータをやり取りすることで、図８や図１８に示す画像データ圧縮装置の機能を実現する。

ホストＩ／Ｆ２０２は、ホスト２１０とのインタフェース処理を行う。より具体的には、ホストＩ／Ｆ２０２は、エンコードＩＣ２００からホスト２１０に対する割り込み信号の生成や、ホスト２１０とエンコードＩＣ２００との間のデータの送受信の制御を行う。ホストＩ／Ｆ２０２は、ＦＩＦＯバッファ部３０に接続される。

カメラＩ／Ｆ２０４は、図示しないカメラモジュールからの動画像の入力画像データを入力するためのインタフェース処理を行う。カメラＩ／Ｆ２０４は、動き検出部１１４に接続される。

図示しないカメラモジュールは、撮像により得られた動画像の画像データを、入力画像データとしてエンコードＩＣ２００に供給する。このときカメラモジュールは、入力画像データのフレームの区切りを指定するＶＳＹＮＣ信号（垂直同期信号）もエンコードＩＣ２００に供給する。エンコードＩＣ２００では、カメラＩ／Ｆ２０４が、カメラモジュールからのＶＳＹＮＣ信号をＶＳＹＮＣ割り込みとして受け付ける。これによりエンコードＩＣ２００は、エンコードを開始する。

動き検出部１１４は、エンコード開始後、最初に取り込まれる入力画像データについては動き検出を行わず、次のフレームの入力画像データが取り込まれてから動き検出を行う。ここで、動き検出の詳細については上述の通りであるため、逆量子化部１１６等の動作についての説明は省略する。このように、動き検出が行われる段階では、少なくとも１フレーム分の量子化データがＦＩＦＯバッファ部３０に書き込まれる。動き検出部１１４の動き検出が完了すると、動き検出部１１４は、動き検出完了割り込み（ＭＥ割り込み）を、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。

図２０に、ホスト２１０で行われる割り込み受け付け処理のフローの一例を示す。メモリ２１４には、図２０に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２０に示す処理を実現する。

まず、ＣＰＵ２１２は、割り込み入力を監視している（ステップＳ７０：Ｎ）。そして、ＣＰＵ２１２が、割り込みを検出したとき（ステップＳ７０：Ｙ）、その割り込みがＭＥ割り込みであるか否かを判別する（ステップＳ７１）。

ＣＰＵ２１２が、ＭＥ割り込みであると判別したとき（ステップＳ７１：Ｙ）、後述するＭＥ割り込み処理を実行する（ステップＳ７２）。

ＣＰＵ２１２が、ＭＥ割り込みではないと判別したとき（ステップＳ７１：Ｎ）、後述するエンコード完了割り込みであるか否かを判別する（ステップＳ７３）。更にＣＰＵ２１２が、エンコード完了割り込みであると判別したとき（ステップＳ７３：Ｙ）、後述するエンコード完了割り込み処理を実行する（ステップＳ７４）。

ステップＳ７３において、ＣＰＵ２１２が、エンコード完了割り込みではないと判別したとき（ステップＳ７３：Ｎ）、所定の割り込み処理を実行する（ステップＳ７５）。

ステップＳ７２、ステップＳ７４又はステップＳ７５に続いて、終了ではないとき（ステップＳ７６：Ｎ）、ステップＳ７０に戻り、終了のとき（ステップＳ７６：Ｙ）、一連の処理を終了する（エンド）。

図２１に、ＭＥ割り込み処理のフローの一例を示す。メモリ２１４には、図２１に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２１に示す処理を実現する。

このＭＥ割り込み処理は、図２０のステップＳ７２で行われる。

ＭＥ割り込みが検出されると、ＣＰＵ２１２は、ホストＩ／Ｆ２０２を介して、動き検出部１１４で生成される複雑度Ｅｃを読み出す（ステップＳ８０）。この複雑度Ｅｃは、図６に示す式に従って動き検出部１１４で生成される。

続いてＣＰＵ２１２は、量子化パラメータＱｃを求める（ステップＳ８１）。より具体的には、ＣＰＵ２１２は、図１２〜図１６で説明したように量子化パラメータＱｃの値を求める。

次にＣＰＵ２１２は、ステップＳ８１で求めた量子化パラメータＱｃの値を、ホストＩ／Ｆ２０２を介して、量子化パラメータ設定レジスタ２０６に設定し（ステップＳ８２）、一連の処理を終了する。

図１９に戻って、説明を続ける。エンコードＩＣ２００は、量子化パラメータ設定レジスタ２０６に量子化パラメータＱｃの値が設定されたことにより、ＤＣＴ部１１２の処理を開始する。そして上述のように量子化部２０では、量子化パラメータ設定レジスタ２０６に設定された量子化パラメータと、図示しない量子化テーブルの量子化ステップ値とを用いて、ＤＣＴ部１１２によって生成されたＤＣＴ係数（広義には画像データ）を量子化する。その結果である量子化データは、ＦＩＦＯバッファ部３０に書き込まれる。

ＦＩＦＯバッファ部３０に量子化データを書き込むと、ＦＩＦＯバッファ部３０は、１フレームのエンコード処理が終了したことを示すエンコード完了割り込みを、ホストＩ／Ｆ２０２を介してホスト２１０に通知する。

図２２に、エンコード完了割り込み処理のフローの一例を示す。メモリ２１４には、図２２に示す処理を実現するプログラムが格納される。ＣＰＵ２１２は、このプログラムを読み込んで、図２２に示す処理を実現する。

エンコード完了割り込み処理は、図２０に示すステップＳ７４で行われる。

ＣＰＵ２１２がエンコード完了割り込みを検出すると、ＦＩＦＯバッファ部３０から１フレーム単位で量子化データを読み出す（ステップＳ９０）。

そしてＣＰＵ２１２は、マクロブロック単位で、ＤＣ／ＡＣ予測処理（ステップＳ９１）、スキャン処理（ステップＳ９２）及び可変長符号化処理（ステップＳ９３）を行って符号化データを生成する。

次にＣＰＵ２１２は、ステップＳ９３で生成した符号化データにマクロブロックヘッダを付加する。このようにして得られた符号化データを１ＶＯＰ（Video Object Plane）分行って、既に求められた量子化パラメータを基にＧＯＶヘッダやＶＯＰヘッダを生成し、所定のフレーム数分のエンコードが終了したらＭＰＥＧ−４ファイルとして出力する（ステップＳ９５）。

以上のようにして、ハードウェア処理部１１０とソフトウェア処理部１５０とに分担して、画像データの圧縮処理を行う。

４． 表示コントローラ
上述したエンコードＩＣの機能は、表示コントローラに適用できる。

図２３に、本実施形態における表示コントローラの構成例のブロック図を示す。

表示コントローラ３００は、カメラＩ／Ｆ３１０と、エンコード処理部３２０と、メモリ３３０と、ドライバＩ／Ｆ３４０と、制御部３５０と、ホストＩ／Ｆ３６０とを含む。

カメラＩ／Ｆ３１０は、図示しないカメラモジュールに接続される。このカメラモジュールは、撮像により得られた動画像の入力画像データをＹＵＶフォーマットで出力すると共に、１フレームの区切りを指定する同期信号（例えばＶＳＹＮＣ信号）を出力する。カメラＩ／Ｆ３１０は、カメラモジュールで生成された動画像の入力画像データを受信するためのインタフェース処理を行う。

エンコード処理部３２０は、図１９のエンコードＩＣ２００のうちホストＩ／Ｆ２０２及びカメラＩ／Ｆ２０４の機能を省略したものである。即ち、エンコード処理部３２０は、図１９に示す量子化部２０、ＦＩＦＯバッファ部３０、ＤＣＴ部１１２、動き検出部１１４、逆量子化部１１６、逆ＤＣＴ部１１８、動き補償部１２０、量子化パラメータ設定レジスタ２０６の各部の機能を有する。

メモリ３３０は、エンコード処理部３２０の出力である符号化データを記憶する。またメモリ３３０は、表示パネルに表示するための画像データを記憶しており、ドライバＩ／Ｆ３４０は、メモリ３３０から所定の周期で画像データを読み出し、該画像データを、表示パネルを駆動する表示ドライバに対して供給する。ドライバＩ／Ｆ３４０は、表示ドライバに対して画像データを送信するためのインタフェース処理を行う。

制御部３５０は、カメラＩ／Ｆ３１０、エンコード処理部３２０、メモリ３３０及びドライバＩ／Ｆ３４０の制御を司る。制御部３５０は、例えばホストＩ／Ｆ３６０を介して図示しないホストからの指示に従って、カメラモジュールからの入力画像データの受信処理、該入力画像のエンコード処理、符号化データのメモリ３３０への書き込み処理、メモリ３３０からの表示用の画像データの読み出し処理、表示ドライバへの該画像データの送信処理を行う。

図２４に、図２３に示す表示コントローラが適用される電子機器の構成例のブロック図を示す。ここでは、電子機器として、携帯電話機の構成例のブロック図を示す。但し、図２３と同一部分には同一符号を付し、適宜説明を省略する。

携帯電話機４００は、カメラモジュール４１０を含む。カメラモジュール４１０は、ＣＣＤ（Charge-Coupled device）カメラを含み、ＣＣＤカメラで撮像した画像のデータを、ＹＵＶフォーマットで表示コントローラ３００に供給する。

携帯電話機４００は、表示パネル４２０を含む。表示パネル４２０として、液晶表示パネルを採用できる。この場合、表示パネル４２０は、表示ドライバ４３０によって駆動される。表示パネル４２０は、複数の走査線、複数のデータ線、複数の画素を含む。表示ドライバ４３０は、複数の走査線の１又は複数本単位で走査線を選択する走査ドライバの機能を有すると共に、画像データに対応した電圧を複数のデータ線に供給するデータドライバの機能を有する。

表示コントローラ３００は、表示ドライバ４３０に接続され、表示ドライバ４３０に対して画像データを供給する。

ホスト４４０は、表示コントローラ３００に接続される。ホスト４４０は、表示コントローラ３００を制御する。またホスト４４０は、アンテナ４６０を介して受信された画像データを、変復調部４５０で復調した後、表示コントローラ３００に対して供給できる。表示コントローラ３００は、この画像データに基づき、表示ドライバ４３０により表示パネル４２０に表示させる。

またホスト４４０は、図１９に示すホスト２１０の機能を有する。ホスト４４０は、カメラモジュール４１０で生成された画像データをエンコード処理部３２０でエンコードして変復調部４５０で変調した後、アンテナ４６０を介して他の通信装置への送信を指示できる。このとき、表示コントローラ３００は、カメラモジュール４１０で生成された画像データをエンコードし、エンコードして得られた符号化データをホスト４４０に出力できる。

ホスト４４０は、操作入力部４７０からの操作情報に基づいて画像データの送受信処理、エンコード処理、カメラモジュール４１０の撮像、表示パネルの表示処理を行う。

なお、図２４では、表示パネル４２０として液晶表示パネルを例に説明したが、これに限定されるものではない。表示パネル４２０は、エレクトロクミネッセンス、プラズマディスプレイ装置であってもよく、これらを駆動する表示ドライバに画像データを供給する表示コントローラに適用できる。

なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。

また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。

図１（Ａ）、（Ｂ）はＭＰＥＧ−４のエンコード処理とデコード処理の説明図。 マクロブロックの説明図。 ＤＣＴ係数の一例の説明図。 量子化テーブルの一例の説明図。 量子化されたＤＣＴ係数の一例の説明図。 レートコントロール方式で用いられるモデル式の説明図。 図６に示すモデル式を用いたレートコントロールの処理の一例のフロー図。 本実施形態の画像データ圧縮装置の構成の概要のブロック図。 本実施形態におけるレートコントロールの手法の説明図。 図９に示すレートコントロール手法の動作タイミングの模式図。 量子化パラメータ、符号化データのデータサイズ及びブロックノイズの関係の模式図。 量子化パラメータの算出処理の一例の前半のフロー図。 量子化パラメータの算出処理の一例の後半のフロー図。 量子化パラメータの算出処理で用いられる変数の説明図。 エンコードに使用したビット数の値の算出処理の一例のフロー図。 量子化パラメータの調整処理の一例のフロー図。 本実施形態の量子化処理の説明図。 本実施形態の画像データ圧縮装置の詳細な機能ブロック図。 図１８の画像データ圧縮装置のハードウェア構成例を示す図。 ホストで行われる割り込み受け付け処理の一例のフロー図。 ＭＥ割り込み処理の一例のフロー図。 エンコード完了割り込み処理の一例のフロー図。 本実施形態における表示コントローラの構成例のブロック図。 図２３の表示コントローラが適用される電子機器の構成例のブロック図。

符号の説明

１０、１００ 画像データ圧縮装置、 ２０ 量子化部、 ３０ ＦＩＦＯバッファ部、
４０ 符号化データ生成部、 ５０ レートコントロール部、
１１０ ハードウェア処理部、 １１２ 離散コサイン変換（ＤＣＴ）部、
１１４ 動き検出部、 １１６ 逆量子化部、
１１８ 逆離散コサイン変換（ｉＤＣＴ）部、 １２０ 動き補償部、
１５０ ソフトウェア処理部、 １５２ ＤＣ／ＡＣ予測部、 １５４ スキャン部、
１５６ ＶＬＣ符号化部

Claims (8)

1. 画像データを圧縮するための画像データ圧縮装置であって、
   フレーム単位で画像データを量子化する量子化部と、
   前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
   前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
   前記符号化データのデータサイズを用いて前記量子化部の量子化ステップを変化させて、符号化データのデータサイズを変化させるレートコントロール部とを含み、
   前記レートコントロール部が、
   前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下で、かつその値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求め、
   該量子化パラメータに基づいて前記量子化ステップを変化させることを特徴とする画像データ圧縮装置。
2. 画像データを圧縮するための画像データ圧縮装置であって、
   フレーム単位で画像データを量子化する量子化部と、
   量子化ステップ値を記憶する量子化テーブルと、
   前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
   前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
   前記符号化データのデータサイズを用いて前記量子化部の量子化ステップを変化させて、符号化データのデータサイズを変化させるレートコントロール部とを含み、
   前記レートコントロール部が、
   前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように又はその値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求め、
   該量子化パラメータと前記量子化ステップ値との積を用いて量子化を行うことで、前記量子化ステップを変化させることを特徴とする画像データ圧縮装置。
3. 画像データを圧縮するための画像データ圧縮装置であって、
   前記画像データを離散コサイン変換する離散コサイン変換部と、
   フレーム単位で、前記離散コサイン変換された画像データを量子化する量子化部と、
   前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
   前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
   前記符号化データのデータサイズを用いて前記量子化部の量子化ステップを変化させて、符号化データのデータサイズを変化させるレートコントロール部とを含み、
   前記レートコントロール部が、
   前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように又はその値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求め、
   該量子化パラメータに基づいて前記量子化ステップを変化させることを特徴とする画像データ圧縮装置。
4. 画像データを圧縮するための画像データ圧縮装置であって、
   画像データをハードウェアにより処理するハードウェア処理部と、
   量子化データをソフトウェアにより符号化処理して符号化データを生成するソフトウェア処理部とを含み、
   前記ハードウェア処理部が、
   フレーム単位で画像データを量子化する量子化部と、
   前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部とを含み、
   前記ソフトウェア処理部が、
   前記ＦＩＦＯバッファ部への書き込みと非同期で前記ＦＩＦＯバッファ部から量子化データを読み出し、該量子化データを符号化した符号化データを生成する符号化データ生成部と、
   前記符号化データのデータサイズを用いて前記量子化部の量子化ステップを変化させて、符号化データのデータサイズを変化させるレートコントロール部とを含み、
   前記レートコントロール部が、
   前記量子化部で量子化される画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下となるように又はその値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求め、
   該量子化パラメータに基づいて前記量子化ステップを変化させることを特徴とする画像データ圧縮装置。
5. 請求項４において、
   前記ソフトウェア処理部が、
   前記ＦＩＦＯバッファ部から読み出された量子化データを可変長符号に符号化することを特徴とする画像データ圧縮装置。
6. 請求項５において、
   前記ソフトウェア処理部が、
   前記ＦＩＦＯバッファ部から読み出された量子化データを並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することを特徴とする画像データ圧縮装置。
7. 請求項６において、
   前記ハードウェア処理部が、
   画像データを離散コサイン変換して、ＤＣ成分及びＡＣ成分を含むＤＣＴ係数を求め、前記ＤＣＴ係数を画像データとして前記量子化部に供給する離散コサイン変換部を
   含み、
   前記量子化部は、前記ＤＣＴ係数のＤＣ成分及びＡＣ成分を量子化し、量子化されたＤＣＴ係数を量子化データとして前記ＦＩＦＯバッファ部に供給し、
   前記ソフトウェア処理部が、
   前記ＦＩＦＯバッファ部から読み出された量子化データからＤＣ成分及びＡＣ成分を求め、前記ＤＣ成分及びＡＣ成分を並び換えるスキャン処理を行い、該スキャン処理の結果を可変長符号に符号化することを特徴とする画像データ圧縮装置。
8. 画像データに対して圧縮処理を行うエンコーダであって、
   画像データを入力するためのインタフェース処理を行う画像入力インタフェースと、
   フレーム単位で前記画像データを量子化する量子化部と、
   前記量子化部によって量子化された、少なくともＮ（Ｎは２以上の整数）フレーム分の量子化データがバッファリングされるＦＩＦＯバッファ部と、
   前記ＦＩＦＯバッファ部への書き込みと非同期で、前記ＦＩＦＯバッファ部に記憶された量子化データを読み出すホストとのインタフェース処理を行うホストインタフェースとを含み、
   前記ホストが、
   前記量子化部が量子化する画像データのフレームより過去のＮフレーム分の各フレームの符号化データのデータサイズを平均化した平均データサイズを用いて、その値が設定可能な量子化パラメータ上限閾値以下で、かつその値が設定可能な量子化パラメータ下限閾値以上となるように量子化パラメータを求め、
   前記量子化部が、
   前記量子化パラメータに基づく量子化ステップにより、量子化することを特徴とするエンコーダ。

Images