JP4000581B2 - 画像符号化装置および方法 - Google Patents
画像符号化装置および方法 Download PDFInfo
- Publication number
- JP4000581B2 JP4000581B2 JP26872897A JP26872897A JP4000581B2 JP 4000581 B2 JP4000581 B2 JP 4000581B2 JP 26872897 A JP26872897 A JP 26872897A JP 26872897 A JP26872897 A JP 26872897A JP 4000581 B2 JP4000581 B2 JP 4000581B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- circuit
- coding
- target
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを圧縮符号化する画像符号化装置および方法に関する。
【０００２】
【従来の技術】
送信側で画像データを圧縮して送信すると共に、受信側では圧縮された画像データを伸張する通信システムや、画像データを圧縮して記録すると共に、再生時には圧縮された画像データを伸張して出力する圧縮画像記録再生システム等において、画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式がある。この双方向予測符号化方式では、双方向予測を用いることで符号化効率を向上させている。双方向予測符号化方式では、フレーム内符号化（以下、イントラ（ｉｎｔｒａ）符号化ともいう）とフレーム間符号化（以下、インタ（ｉｎｔｅｒ）符号化ともいう）という２つのタイプの符号化が行われる。フレーム間符号化は、更に、フレーム間順方向予測符号化とフレーム間双方向予測符号化とに分けられる。ここで、フレーム内符号化は、例えば、入力された画像データを、所定の単位毎にマクロブロック化し、マクロブロック毎にＤＣＴ（離散コサイン変換）のような周波数変換を用いてエネルギコンパクションによる圧縮を行うようになっている。一方、フレーム間符号化においては、同様に入力された画像データをマクロブロック化し、マクロブロック毎に以前に符号化した画像からの動きベクトルを検出し、この動きベクトルを用いて動き補償を行って、現画像と以前に符号化した画像との差分を用いた予測符号化がなされる。なお、ＭＰＥＧ規格では、この差分に対してＤＣＴを行なって符号化をしている。
【０００３】
このように、双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化および双方向予測符号化の３つのタイプの符号化が行われ、各符号化タイプによる画像は、それぞれＩピクチャ（intra coded picture ）、Ｐピクチャ（predictive coded picture）およびＢピクチャ（bidirectionally predictive coded picture）と呼ばれる。ただし、ＰピクチャおよびＢピクチャでは、マクロブロック毎に、フレーム内符号化を行うかフレーム間符号化を行うかを選択できるようになっている。一方、Ｉピクチャは、全てフレーム内符号化による符号化処理がなされる。
【０００４】
上記のようなフレーム内符号化とフレーム間符号化とを比較すると、一般に、フレーム間符号化の方が、フレーム内符号化よりも符号化の効率がよいことが多い。しかし、必ずしも全てのマクロブロックをフレーム間符号化するのがよいというわけではない。例えば、画像撮影手段をパンニング(panning)させて得られた画像においては、以前に得られた画像では見えなかった部分が現画像に存在するようになる。このような場合には、フレーム間符号化において利用される動き補償がうまくいかず、現画像と以前の画像との差分が大きくなるため、フレーム間符号化処理を施すよりも、フレーム内符号化処理を施す方が望ましい。
【０００５】
従って、従来から、入力された画像に基づいて、フレーム間符号化を行うか、フレーム内符号化を行うかをマクロブロック毎に判定し、この判定結果に応じた符号化方式で符号化処理を行うという手法が採られている。このように、いずれの符号化方式を選択するのかをマクロブロック毎に判定することを、一般に「イントラ／インタ判定」という。
【０００６】
次に、図４を参照して、上記イントラ／インタ判定を行いながら画像の圧縮符号化を行う従来の画像符号化装置の一例について説明する。この図に示したように、画像符号化装置としてのビデオエンコーダ１１０は、圧縮符号化をする際の目標となる符号化レート（単位時間当たりの符号量）を示す目標符号化レートデータＳ13を出力するビデオエンコーダ制御用コンピュータ１２０に接続されている。また、ビデオエンコーダ１１０は、入力画像信号Ｓ11を入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路１２１と、この画像並べ替え回路１２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路１２２と、この走査変換・マクロブロック化回路１２２の出力データと予測画像データとの差分をとる減算回路１３１と、この減算回路１３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路１３２と、このＤＣＴ回路１３２の出力データを所定の量子化ステップ（量子化のための割り算の係数）に基づいて量子化する量子化回路１３３と、この量子化回路１３３の出力データを可変長符号化する可変長符号化回路１３４と、この可変長符号化回路１３４の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ15として出力するバッファメモリ１３５とを備えている。また、バッファメモリ１３５は、可変長符号化回路１３４の発生ビット量を示す発生ビット量データＳ12を出力するようになっている。
【０００７】
ビデオエンコーダ１１０は、更に、走査変換・マクロブロック化回路１２２の出力データに基づいて動きベクトルを検出する動き検出回路１４０と、量子化回路１３３の出力データを逆量子化する逆量子化回路１３６と、この逆量子化回路１３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路１３７と、この逆ＤＣＴ回路１３７の出力データと予測画像データとを加算して出力する加算回路１３８と、この加算回路１３８の出力データを保持し、動き検出回路１４０から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路１３１および加算回路１３８に出力する動き補償回路１３９とを備えている。
【０００８】
ビデオエンコーダ１１０は、更に、ビデオエンコーダ制御用コンピュータ１２０からの目標符号化レートデータＳ13に基づいて、発生符号量（発生ビット量）が目標符号量となるように量子化回路１３３における量子化ステップを決定し、量子化回路１３３に与える符号量制御部１４１を備えている。
【０００９】
ビデオエンコーダ１１０は、更に、圧縮符号化を行う際にフレーム内符号化とフレーム間符号化のいずれの符号化方式を選択するのかをマクロブロック毎に判定し、この判定に基づく切り換え信号Ｓ14を出力する判定回路１４２と、この判定回路１４２からの切り換え信号Ｓ14に基づいて、符号化方式の切り換えを行う切り換え部１４３とを備えている。
【００１０】
判定回路１４２は、走査変換・マクロブロック化回路１２２から出力された現画像に対応する出力データ（以下、現信号ともいう）ｏ（ｉ，ｊ）と、動き補償回路１３９から出力された、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）とに基づいて、上記した「イントラ／インタ判定」を行い、切り換え部１４３に切り換え信号Ｓ14を出力するようになっている。
【００１１】
切り換え部１４３は、動き補償回路１３９の出力データが入力される入力端１４３ａと、データとして“０”が入力される入力端１４３ｂと、減算回路１３１の一方の入力端に接続された出力端１４３ｃとを有している。この切り換え部１４３は、判定回路１４２からの切り換え信号Ｓ14がフレーム内符号化（イントラ符号化）を選択すべきとの判定に基づく信号である場合には、出力端１４３ｃを入力端１４３ｂに接続し、減算回路１３１にデータ“０”を入力させるようになっている。一方、切り換え信号Ｓ14がフレーム間符号化（インタ符号化）を選択すべきとの判定に基づく信号である場合には、切り換え部１４３は、出力端１４３ｃを入力端１４３ａに接続し、減算回路１３１に動き補償回路１３９の出力データを入力させるようになっている。
【００１２】
次に、判定回路１４２において行われる従来の「イントラ／インタ判定」の具体的手法について説明する。従来の「イントラ／インタ判定」は、例えば、次の判定式（１）に基づいて行われる。
【００１３】
Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 −Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 ……（１）
【００１４】
判定回路１４２は、上記判定式（１）が正であれば、フレーム間符号化すべきであると判定し、負であれば、フレーム内符号化すべきであると判定する。なお、式（１）において、Σi,j は、マクロブロック内の全ての画素値についての総和を意味する。また、ｏ′は、現信号ｏ（ｉ，ｊ）のマクロブロック内における画素値の平均を示しており、次の式（２）で与えられるものである。なお、この式（２）において、Ｎは、マクロブロック内の画素の要素数である。
【００１５】
ｏ′＝（１／Ｎ）・Σi,j ｏ（ｉ，ｊ） ……（２）
【００１６】
図５は、上記判定式（１）を利用して「イントラ／インタ判定」を行うための判定回路１４２の詳細な構成を示す回路図である。この図に示したように、判定回路１４２は、入力された現信号ｏ（ｉ，ｊ）を自乗して出力する乗算回路２０１と、この乗算回路２０１からの出力をマクロブロック単位で累算して出力する累算回路２０２と、現信号ｏ（ｉ，ｊ）をマクロブロック単位で累算して出力する累算回路２０３と、この累算回路２０３からの出力をマクロブロック内の要素数Ｎで除算して出力する除算回路２０４と、この除算回路２０４からの出力を自乗して出力する乗算回路２０５と、累算回路２０２の出力値から乗算回路２０５の出力値を減算して出力する減算回路２０６とを備えている。
【００１７】
また、判定回路１４２は、現信号ｏ（ｉ，ｊ）から、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）を減算する減算回路２０７と、この減算回路２０７の出力値を自乗して出力する乗算回路２０８と、この乗算回路２０８からの出力値を累算する累算回路２０９と、この累算回路２０９からの出力値と減算回路２０６からの出力値とを比較し、その比較結果に応じた切り換え信号Ｓ14を出力する比較回路２１０とを備えている。
【００１８】
累算回路２０２，２０３，２０９は、それぞれ、累算回路２０２，２０３，２０９に対する入力信号が入力される加算回路２０２ａ，２０３ａ，２０９ａと、この加算回路２０２ａ，２０３ａ，２０９ａの出力信号が入力され、出力信号を累算回路２０２，２０３，２０９の出力信号として出力するレジスタ２０２ｂ，２０３ｂ，２０９ｂとを有している。加算回路２０２ａ，２０３ａ，２０９ａは、累算回路２０２，２０３，２０９に対して入力された信号とレジスタ２０２ｂ，２０３ｂ，２０９ｂの出力信号とを加算した信号をレジスタ２０２ｂ，２０３ｂ，２０９ｂに出力するようになっている。また、レジスタ２０２ｂ，２０３ｂ，２０９ｂは、加算回路２０２ａ，２０３ａ，２０９ａの出力値を一画素分の時間だけ保持して出力することにより、累算回路２０２，２０３，２０９の入力信号を累積して出力するようになっている。
【００１９】
上記のように構成される判定回路１４２では、乗算回路２０１により、現信号ｏ（ｉ，ｊ）が自乗されて、信号｛ｏ（ｉ，ｊ）｝2 が求められる。続いて、加算回路２０２ａとレジスタ２０２ｂからなる累算回路２０２により、信号｛ｏ（ｉ，ｊ）｝2 のマクロブロック単位での総和Σi,j ｛ｏ（ｉ，ｊ）｝2 が求められる。
【００２０】
また、加算回路２０３ａとレジスタ２０３ｂからなる累算回路２０３により、現信号ｏ（ｉ，ｊ）のマクロブロック単位での総和Σi,jｏ（ｉ，ｊ）が求められる。続いて、除算回路２０４により、現信号ｏ（ｉ，ｊ）の総和Σi,j ｏ（ｉ，ｊ）がマクロブロック内の要素数Ｎで除算され、平均値（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）が求められる。続いて、乗算回路２０５により平均値（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）が自乗された信号｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 が求められる。そして、減算回路２０６により、累算回路２０２で求められた総和Σi,j ｛ｏ（ｉ，ｊ）｝2 から、乗算回路２０５で求められた信号｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 が減算され、分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 が得られる。なお、減算回路２０６において分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 を求める際には、以下の式（３）による数学的変形を利用している。
【００２１】
Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 ＝Σi,j ｛ｏ（ｉ，ｊ）｝2 −｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 ……（３）
【００２２】
一方、減算回路２０７によって、現信号ｏ（ｉ，ｊ）から、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）を引いた差分｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝が求められる。続いて、積算回路２０８により、差分｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝を自乗した信号｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 が求められる。そして、加算回路２０９ａおよびレジスタ２０９ｂからなる累算回路２０９により、自乗された差分信号｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 のマクロブロック単位での差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 が求められる。
【００２３】
最後に、比較回路２１０により、減算回路２０６で得られた分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 と、累算回路２０９で求められた差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 とを比較することにより、「イントラ／インタ判定」が行なわれ、切り換え信号Ｓ14が出力される。
【００２４】
【発明が解決しようとする課題】
ところで、実際の画像の圧縮技術では、その応用例に応じて画像データの符号化（伝送）レートが異なっている。例えば、デジタルテレビジョンに用いられるデジタル放送システムにおいては、番組内容がスポーツのように画像の動きが速いものであると、符号化レートが相対的に大きめに設定されるのに対し、天気予報などの画像の動きの少ない番組では、符号化レートが小さめに設定される。従来では、このように符号化レートが異なる場合でも、「イントラ／インタ判定」は、符号化レートを考慮せずに行っているのだが、その場合、以下で述べるような問題が生ずる。
【００２５】
まず、図６を参照して、符号化の際の量子化ステップと、符号化による発生符号量との関係について考察する。この図において、フレーム内符号化における量子化ステップと発生符号量との関係は、符号１６１で示され、フレーム間符号化における量子化ステップと発生符号量との関係は、符号１６２で示されている。
【００２６】
この図に示されているように、量子化ステップが粗い（大きい）場合には、フレーム内符号化に比べてフレーム間符号化による発生符号量が格段に少なく、効率よく符号化がなされることが分かる。これは、フレーム間符号化の場合、符号化の際に参照とされる画像データ間の差分の振幅が小さく、ほとんどの画像データ間の差分がゼロになるためと考えられる。
【００２７】
一方、量子化ステップが細かい（小さい）場合には、フレーム間符号化による発生符号量は、フレーム内符号化による発生符号量に比べて、それほど差が無く、効率よく符号化がなされるとはいえなくなってくる。これは、フレーム間符号化の差分の振幅が、細かい量子化ではゼロにならないことと、ＤＣＴが現信号に対してはエネルギーコンパクションが優れているのに、差分についてはそれほど優れていないことによるためと考えられる。
【００２８】
このように、量子化ステップが細かい場合には、フレーム間符号化よりもフレーム内符号化による符号化処理の方が優れている場合がある。しかしながら、従来では、例えば、前述したデジタルテレビジョンにおけるスポーツ番組のように、符号化レートが相対的に大きめに設定され、量子化ステップが小さくなる場合においても、フレーム間符号化が採用される場合があり、この場合には、フレーム間符号化によるメリットよりも、デメリットが目立つようになるという問題点があった。例えば、フレーム間符号化の場合、以前に符号化した画像に差分を加算することにより現画像を得るため、差分に対する符号化データ量が充分でない場合には、再生時における画像にギクシャクした動き（ジャーキネス）が目立ってしまうという問題点があった。この問題は、符号化レー卜に関わらず「イントラ／インタ判定」を常に固定の方法で行なっていることに起因するためと考えられる。
【００２９】
本発明はかかる問題点に鑑みてなされたもので、その目的は、入力画像データを、所定の単位毎に、フレーム内符号化で符号化するかフレーム間符号化で符号化するかを選択可能とすると共に、再生時において良好な画質を得ることを可能とした画像符号化装置および方法を提供することにある。
【００３０】
【課題を解決するための手段】
本発明の画像符号化装置は、入力された画像データを、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれか一方の符号化方式を選択して圧縮符号化可能な符号化手段と、この符号化手段において圧縮符号化をする際の目標となる目標符号化レートに基づいて、符号化手段における発生符号量が目標符号量となるように符号化手段における量子化ステップを決定する符号量制御手段と、画像データをいずれの符号化方式を選択して圧縮符号化すべきかを、画像データと目標符号化レートとに基づいて画像データのマクロブロック毎に判定し、符号化手段に対して、判定結果に応じた符号化方式を選択させる判定手段とを備え、この判定手段が、目標符号化レートが小さいほどフレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートが大きいほどフレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行うようにしたものである。
【００３１】
また、本発明の画像符号化方法は、入力された画像データを、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれか一方の符号化方式を選択して圧縮符号化可能とすると共に、圧縮符号化をする際の目標となる目標符号化レートに基づいて、発生符号量が目標符号量となるように圧縮符号化の際の量子化ステップを決定する画像符号化方法において、画像データをいずれの符号化方式を選択して圧縮符号化すべきかを、画像データと目標符号化レートとに基づいて画像データのマクロブロック毎に判定する判定手順と、この判定結果に応じた符号化方式を選択して、入力された画像データを圧縮符号化する符号化手順とを含み、上記判定手順において、目標符号化レートが小さいほどフレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートが大きいほどフレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行うようにしたものである。
【００３２】
本発明の画像符号化装置および方法では、入力された画像データをいずれの符号化方式を選択して圧縮符号化すべきかが、画像データと、圧縮符号化をする際の目標となる目標符号化レートとに基づいて、画像データのマクロブロック毎に判定される。具体的には、目標符号化レートが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように判定がなされる。そしてこの判定結果に応じた符号化方式が選択されて、画像データが圧縮符号化される。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３４】
図１は、本発明の一実施の形態に係る画像符号化装置としてのビデオエンコーダの構成を示すブロック図である。この図に示したように、画像符号化装置としてのビデオエンコーダ１１は、圧縮符号化をする際の目標となる目標符号化レートＲを示す目標符号化レートデータＳ3 を出力するビデオエンコーダ制御用コンピュータ１２に接続されている。ビデオエンコーダ１１は、入力画像信号Ｓ1 を入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路２１と、この画像並べ替え回路２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路２２と、この走査変換・マクロブロック化回路２２の出力データと予測画像データとの差分をとる減算回路３１と、この減算回路３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３２と、このＤＣＴ回路３２の出力データを所定の量子化ステップ（量子化のための割り算の係数）に基づいて量子化する量子化回路３３と、この量子化回路３３の出力データを可変長符号化する可変長符号化回路３４と、この可変長符号化回路３４の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ5 として出力するバッファメモリ３５とを備えている。また、バッファメモリ３５は、可変長符号化回路３４の発生ビット量を示す発生ビット量データＳ2 を出力するようになっている。
【００３５】
ビデオエンコーダ１１は、更に、走査変換・マクロブロック化回路２２の出力データに基づいて動きベクトルを検出する動き検出回路４０と、量子化回路３３の出力データを逆量子化する逆量子化回路３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持し、動き検出回路４０から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路３１および加算回路３８に出力する動き補償回路３９とを備えている。
【００３６】
ビデオエンコーダ１１は、更に、ビデオエンコーダ制御用コンピュータ１２からの目標符号化レートデータＳ3 に基づいて、発生符号量（発生ビット量）が目標符号量となるように量子化回路３３における量子化ステップを決定し、量子化回路３３に与える符号量制御部４１を備えている。
【００３７】
ビデオエンコーダ１１は、更に、圧縮符号化を行う際にフレーム内符号化とフレーム間符号化のいずれの符号化方式を選択するのかをマクロブロック毎に判定し、この判定に基づく切り換え信号Ｓ4 を出力する判定回路４２と、この判定回路４２からの切り換え信号Ｓ4 に基づいて、符号化方式の切り換えを行う切り換え部４３とを備えている。ここで、判定回路４２が、本発明における判定手段に対応する。
【００３８】
ビデオエンコーダ１１に接続されたビデオエンコーダ制御用コンピュータ１２は、例えば、ビデオエンコーダ１１を統計多重を用いたデジタル放送システムに利用した場合においては、バッファメモリ３５から出力される圧縮画像データＳ5 の伝送レートがプログラム（番組データ）に応じた伝送レートとなるように、圧縮符号化をする際の目標となる目標符号化レートＲを決定し、目標符号化レートデータＳ3 を出力するようになっている。なお、「統計多重」とは、所定の伝送路に対して、より多くのプログラムを流すために用いられる手法であり、各プログラムの伝送レートを動的に変化させることにより、より多くのプログラムを伝送することを可能とするものである。この統計多重では、例えば、伝送レートを減らしても画質の劣化が目立たないプログラムについては、伝送レートを減らすことにより、より多くのプログラムの伝送を可能としている。
【００３９】
判定回路４２は、走査変換・マクロブロック化回路２２から出力された現画像に対応する出力データ（現信号）ｏ（ｉ，ｊ），動き補償回路３９から出力された、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ），および圧縮符号化をする際の目標とされる目標符号化レートＲに基づいて、「イントラ／インタ判定」を行い、切り換え部４３に切り換え信号Ｓ4 を出力するようになっている。
【００４０】
切り換え部４３は、動き補償回路３９の出力データが入力される入力端４３ａと、データとして“０”が入力される入力端４３ｂと、減算回路３１の一方の入力端に接続された出力端４３ｃとを有している。この切り換え部４３は、判定回路４２からの切り換え信号Ｓ4 がフレーム内符号化（イントラ符号化）を選択すべきとの判定に基づく信号である場合には、出力端４３ｃを入力端４３ｂに接続し、減算回路３１にデータ“０”を入力させるようになっている。一方、切り換え信号Ｓ4 がフレーム間符号化（インタ符号化）を選択すべきとの判定に基づく信号である場合には、切り換え部４３は、出力端４３ｃを入力端４３ａに接続し、減算回路３１に動き補償回路３９の出力データを入力させるようになっている。
【００４１】
次に、本実施の形態において判定回路４２で行われる「イントラ／インタ判定」のより具体的な手法について説明する。本実施の形態における「イントラ／インタ判定」は、例えば、次の判定式（４）に基づいて行われる。本実施の形態では、この判定式（４）により、目標となる目標符号化レートＲを考慮して、「イントラ／インタ判定」の方法を変化させることにより、良好な画質を実現しようとするものである。
【００４２】
Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 −ｆ（Ｒ）・Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 ……（４）
【００４３】
判定回路４２は、上記判定式（４）が正であれば、フレーム間符号化を選択すべきであると判定し、負であれば、フレーム内符号化を選択すべきであると判定する。なお、式（４）において、Σi,j は、マクロブロック内の全ての画素値についての総和を意味する。また、ｏ′は、現信号ｏ（ｉ，ｊ）のマクロブロック内における画素値の平均を示しており、前述の式（２）で与えられるものである。
【００４４】
また、式（４）において、ｆ（Ｒ）は、目標符号化レートＲの関数であり、目標とされる目標符号化レートＲが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートＲが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行うために設定される関数である。この関数ｆ（Ｒ）としては、例えば、以下の式（５）の関数が考えられる。なお、関数ｆ（Ｒ）は、以下の式（５）に限定されるものではなく、上記設定条件を満足するような関数であれば、他の関数式によるものであってもかまわない。
【００４５】
ｆ（Ｒ）＝（ａ・Ｒ＋ｂ）／（Ｒ＋ａ・ｂ） ……（５）
【００４６】
この式（５）において、ａ，ｂは、所定の定数であり、例えば、ａ＝４，ｂ＝３という値が設定される。図２は、ａ＝４，ｂ＝３とし、目標符号化レートＲの単位をＭｂｐｓ（Mega bits per second）とした場合における、目標符号化レートＲと関数ｆ（Ｒ）との関係を示した関係図である。この図に示したように、ａ＝４，ｂ＝３とした場合には、関数ｆ（Ｒ）は、目標符号化レートＲが３Ｍｂｐｓのときに関数値が１となり、且つ目標符号化レートＲが大きくなるに従い増加するような関数となる。従って、判定回路４２が判定を行う場合には、目標符号化レートＲが小さいほど、判定式（４）が正になる割合が大きくなり、フレーム間符号化を選択すべきと判定する割合が大きくなる。一方、目標符号化レートＲが大きいほど、判定式（４）が負になる割合が大きくなり、フレーム内符号化を選択すべきと判定する割合が大きくなる。
【００４７】
図３は、上記判定式（４）を利用して「イントラ／インタ判定」を行うための判定回路４２の詳細な構成を示す回路図である。この図に示したように、判定回路４２は、入力された現信号ｏ（ｉ，ｊ）を自乗して出力する乗算回路５１と、この乗算回路５１からの出力をマクロブロック単位で累算して出力する累算回路５２と、現信号ｏ（ｉ，ｊ）をマクロブロック単位で累算して出力する累算回路５３と、この累算回路５４からの出力をマクロブロック内の要素数Ｎで除算して出力する除算回路５４と、この除算回路５４からの出力を自乗して出力する乗算回路５５と、累算回路５２の出力値から乗算回路５５の出力値を減算して出力する減算回路５６とを備えている。
【００４８】
また、判定回路４２は、現信号ｏ（ｉ，ｊ）から、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）を減算する減算回路５７と、この減算回路５７の出力値を自乗して出力する乗算回路５８と、この乗算回路５８からの出力値を累算する累算回路５９と、入力された目標符号化レートＲを関数ｆ（Ｒ）の値に変換して出力する変換回路６０と、この変換回路６０から出力された関数ｆ（Ｒ）と、累算回路５９からの出力値とを乗算して出力する乗算回路６１と、この乗算回路６１からの出力と減算回路５６からの出力値とを比較し、その比較結果に応じた切り換え信号Ｓ4 を出力する比較回路６２とを備えている。変換回路６０は、例えば、上記した式（５）に基づいて作成された目標符号化レートＲに対応した関数値を出力するための変換用テーブルまたは目標符号化レートＲを関数ｆ（Ｒ）の値に変換するための変換式を記録したＲＯＭ（リード・オンリ・メモリ）を有して構成される。
【００４９】
累算回路５２，５３，５９は、それぞれ、累算回路５２，５３，５９に対する入力信号が入力される加算回路５２ａ，５３ａ，５９ａと、この加算回路５２ａ，５３ａ，５９ａの出力信号が入力され、出力信号を累算回路５２，５３，５９の出力信号として出力するレジスタ５２ｂ，５３ｂ，５９ｂとを有している。加算回路５２ａ，５３ａ，５９ａは、累算回路５２，５３，５９に対して入力された信号とレジスタ５２ｂ，５３ｂ，５９ｂの出力信号とを加算した信号をレジスタ５２ｂ，５３ｂ，５９ｂに出力するようになっている。また、レジスタ５２ｂ，５３ｂ，５９ｂは、加算回路５２ａ，５３ａ，５９ａの出力値を一画素分の時間だけ保持して出力することにより、累算回路５２，５３，５９の入力信号を累積して出力するようになっている。
【００５０】
上記のように構成される判定回路４２では、乗算回路５１により、現信号ｏ（ｉ，ｊ）が自乗されて、信号｛ｏ（ｉ，ｊ）｝2 が求められる。続いて、加算回路５２ａとレジスタ５２ｂからなる累算回路５２により、信号｛ｏ（ｉ，ｊ）｝2 のマクロブロック単位での総和Σi,j ｛ｏ（ｉ，ｊ）｝2 が求められる。
【００５１】
また、加算回路５３ａとレジスタ５３ｂからなる累算回路５３により、現信号ｏ（ｉ，ｊ）のマクロブロック単位での総和Σi,j ｏ（ｉ，ｊ）が求められる。続いて、除算回路５４により、現信号ｏ（ｉ，ｊ）の総和Σi,j ｏ（ｉ，ｊ）がマクロブロック内の要素数Ｎで除算され、平均値（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）が求められる。続いて、乗算回路５５により平均値（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）が自乗された信号｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 が求められる。そして、減算回路５６により、累算回路５２で求められた総和Σi,j ｛ｏ（ｉ，ｊ）｝2 から、乗算回路５５で求められた信号｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 が減算され、分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 が得られる。なお、減算回路５６ににおいて分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 を求める際には、前述の式（３）による数学的変形を利用している。
【００５２】
一方、減算回路５７によって、現信号ｏ（ｉ，ｊ）から、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）を引いた差分｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝が求められる。続いて、積算回路５８により、差分｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝を自乗した信号｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2が求められる。そして、加算回路５９ａおよびレジスタ５９ｂからなる累算回路５９により、自乗された差分信号｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 のマクロブロック単位での差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 が求められる。
【００５３】
また、変換回路６０において、入力された目標符号化レートＲに対応した関数値ｆ（Ｒ）が求められる。次に、乗算回路６１により、関数値ｆ（Ｒ）と、累算回路５９からの出力値である差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 とが乗算された値ｆ（Ｒ）・Σi,j ｏ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 が求められる。
【００５４】
最後に、比較回路６２により、減算回路５６で得られた分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 と、乗算回路６１で求められた値ｆ（Ｒ）・Σi,j ｏ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 とを比較することにより、「イントラ／インタ判定」が行なわれ、切り換え信号Ｓ4 が出力される。
【００５５】
次に、図１に示した本実施の形態に係る画像符号化装置の主要な動作について説明する。なお、以下の説明は、本実施の形態に係る画像符号化方法の説明を兼ねている。ビデオエンコーダ１１では、まず、画像並べ替え回路２１によって、入力画像信号Ｓ1 に対して、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替え、次に、走査変換・マクロブロック化回路２２によって、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換およびマクロブロック化を行い、減算回路３１に送る。また、走査変換・マクロブロック化回路２２の出力データは、動き検出回路４０および判定回路４２にも送られる。また、動き検出回路４０は、動きベクトルを検出して動き補償回路３９に送る。
【００５６】
そして、Ｉピクチャ、ＰピクチャおよびＢピクチャのそれぞれに対応した符号化処理が行われる。
【００５７】
Ｉピクチャの場合には、フレーム内符号化による符号化処理が行われる。すなわち、減算回路３１において予測画像データとの差分をとることなく、走査変換・マクロブロック化回路２２の出力データをそのままＤＣＴ回路３２に入力してＤＣＴを行い、量子化回路３３によってＤＣＴ係数を量子化し、可変長符号化回路３４によって量子化回路３３の出力データを可変長符号化し、バッファメモリ３５によって可変長符号化回路３４の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ5 として出力する。また、逆量子化回路３６によって量子化回路３３の出力データを逆量子化し、逆ＤＣＴ回路３７によって逆量子化回路３６の出力データに対して逆ＤＣＴを行い、逆ＤＣＴ回路３７の出力画像データを加算回路３８を介して動き補償回路３９に入力して保持させる。
【００５８】
ＰピクチャおよびＢピクチャの場合には、判定回路４２によって、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれの方式により符号化を行うべきかを判定し、この判定結果に基づいて、マクロブロック単位で、フレーム内符号化とフレーム間符号化のどちらか一方の符号化方式を選択して、符号化処理が行われる。判定回路４２は、走査変換・マクロブロック化回路２２から出力された現画像に対応する出力データ（現信号）ｏ（ｉ，ｊ），動き補償回路３９から出力された、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ），および圧縮符号化をする際の目標とされる目標符号化レートＲに基づいて、「イントラ／インタ判定」を行い、切り換え部４３に切り換え信号Ｓ4 を出力する。切り換え部４３は、判定回路４２からの切り換え信号Ｓ4 がフレーム内符号化（イントラ符号化）を選択すべきとの判定に基づく信号である場合には、出力端４３ｃを入力端４３ｂに接続し、減算回路３１にデータ“０”を入力させる。一方、切り換え信号Ｓ4 がフレーム間符号化（インタ符号化）を選択すべきとの判定に基づく信号である場合には、切り換え部４３は、出力端４３ｃを入力端４３ａに接続し、減算回路３１に動き補償回路３９の出力データを入力させる。
【００５９】
これにより、判定回路４２によって、フレーム内符号化を選択すべきと判定されたマクロブロックについては、ＰピクチャおよびＢピクチャ共に、上記したＩピクチャの場合と同様のフレーム内符号化を利用した圧縮符号化処理が行われる。また、判定回路４２によって、フレーム間符号化を選択すべきと判定されたマクロブロックについては、Ｐピクチャでは、フレーム間順方向予測符号化を利用した圧縮符号化処理が行われ、Ｂピクチャでは、フレーム間双方向予測符号化を利用した圧縮符号化処理が行われる。
【００６０】
Ｐピクチャにおいてフレーム間順方向予測符号化を利用した圧縮符号化処理が行われるマクロブロックについては、動き補償回路３９によって、保持している過去のＩピクチャまたはＰピクチャに対応する画像データと動き検出回路４０からの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路３１および加算回路３８に出力する。また、減算回路３１によって、走査変換・マクロブロック化回路２２の出力データと動き補償回路３９からの予測画像データとの差分をとり、ＤＣＴ回路３２によってＤＣＴを行い、量子化回路３３によってＤＣＴ係数を量子化し、可変長符号化回路３４によって量子化回路３３の出力データを可変長符号化し、バッファメモリ３５によって可変長符号化回路３４の出力データを一旦保持し圧縮画像データＳ5 として出力する。また、逆量子化回路３６によって量子化回路３３の出力データを逆量子化し、逆ＤＣＴ回路３７によって逆量子化回路３６の出力データに対して逆ＤＣＴを行い、加算回路３８によって逆ＤＣＴ回路３７の出力データと予測画像データとを加算し、動き補償回路３９に入力して保持させる。
【００６１】
また、Ｂピクチャにおいてフレーム間双方向予測符号化を利用した圧縮符号化処理が行われるマクロブロックについては、動き補償回路３９によって、保持している過去および未来のＩピクチャまたはＰピクチャに対応する２つの画像データと動き検出回路４０からの２つの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路３１および加算回路３８に出力する。また、減算回路３１によって、走査変換・マクロブロック化回路２２の出力データと動き補償回路３９からの予測画像データとの差分をとり、ＤＣＴ回路３２によってＤＣＴを行い、量子化回路３３によってＤＣＴ係数を量子化し、可変長符号化回路３４によって量子化回路３３の出力データを可変長符号化し、バッファメモリ３５によって可変長符号化回路３４の出力データを一旦保持し圧縮画像データＳ5 として出力する。なお、Ｂピクチャは動き補償回路３９に保持させない。
【００６２】
以上説明したように本実施の形態に係る画像符号化装置としてのビデオエンコーダ１１では、判定回路４２によって、入力された画像データと目標符号化レートＲとに基づいて、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれの方式で符号化を行うべきかを判定し、この判定結果に基づいて、切り換え部４３により、フレーム内符号化とフレーム間符号化のどちらか一方を選択して、符号化処理を行う。より具体的には、判定回路４２は、走査変換・マクロブロック化回路２２から出力された現画像に対応する出力データｏ（ｉ，ｊ）と動き補償回路３９から出力された、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）とを変数とする所定の判定式（４）により判定を行う。この判定式（４）は、目標符号化レートＲが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートＲが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように、目標符号化レートＲに応じて内容が変更される。これにより、入力画像データを、所定の単位毎にフレーム内符号化で符号化するかフレーム間符号化で符号化するかが選択可能となると共に、再生時において良好な画質を得ることが可能となる。具体的には、目標符号化レートＲが小さく、量子化ステップが大きくなる場合には、判定式（４）が正になる割合が大きくなり、フレーム間符号化を選択すべきと判定する割合が大きくなって、より効率よく符号化することが可能となる。逆に、目標符号化レートＲが大きく、量子化ステップが小さくなる場合には、判定式（４）が負になる割合が大きくなり、フレーム内符号化を選択すべきと判定する割合が大きくなって、符号化の効率をほとんど変えることなく、フレーム間符号化によるジャーキネス等の弊害を防止して良好な画質を得ることが可能になる。
【００６３】
なお、本発明は、上記実施の形態に限定されず、種々の変形実施が可能である。例えば、上記実施の形態では、判定回路４２で行う「イントラ／インタ判定」として、平均自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 と差分自乗総和を利用した値ｆ（Ｒ）・Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 との比較による判定法を使用したが、別の判定法を使用しても構わない。また、この判定法は、判定式（４）とは異なる別の判定式を利用するようにしてもかまわない。
【００６４】
更に、上記実施の形態では、目標符号化レートＲから求められた関数ｆ（Ｒ）を差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 に乗ずることによって判定を変化させるようにしたが、例えば、目標符号化レートＲを変数とする別の関数の値をオフセット成分として用いるなど別の手法であっても構わない。
【００６５】
更に、上記実施の形態では、判定回路４２内の変換回路６０（図３）として、ＲＯＭを使用し、目標符号化レートＲに対応する関数値ｆ（Ｒ）を求めるようにしていたが、ＲＯＭでなく、ＲＡＭ（ランダム・アクセス・メモリ）を使用して、関数値ｆ（Ｒ）を求めるための変換テーブルや変換式を、例えば、装置の初期設定の段階で任意に変更できるようにしてもよい。こうすることで、入力される画像データおよび目標符号化レートＲに応じて、関数ｆ（Ｒ）を柔軟に変更させることが可能となる。
【００６６】
また、本発明は、上記実施の形態のように目標符号化レートＲを動的に変化させるような場合に限らず、例えば、目標符号化レートＲをビデオエンコーダ１１の接続先のトランスポンダ（中継器）の性能や送信する信号の数等に基づいて決める場合のように、目標符号化レートＲが、あらかじめ決められた一定の値であるような場合にも適用可能である。なお、この場合には、ビデオエンコーダ制御用コンピュータ１２において、例えば、バッファメモリ３５から出力される圧縮画像データＳ5 の伝送レートが、ビデオエンコーダ１１の接続先のトランスポンダ（中継器）の性能や送信する信号の数等に応じた伝送レートとなるように、圧縮符号化をする際の目標となる目標符号化レートＲが決定され、目標符号化レートデータＳ3 が出力される。
【００６７】
また、本発明は、いわゆる２パスエンコードを利用するような画像符号化装置においても適用可能である。ここで、２パスエンコードとは、例えば、ＤＶＤ（Digital Video Disk）等の蓄積メディアに対して記録するデータを編集、作成するためのオーサリング装置等において用いられる技術である。このようなオーサリング装置における２パスエンコードでは、リアルタイム性が要求されないので、一旦、映像信号を固定の量子化ステップで符号化することによって各ピクチャ毎の符号化難易度を測定し、その結果に基づいて、可変ビットレートで再度符号化するようになっている。
【００６８】
例えば、上記実施の形態で示したビデオエンコーダ１１において、２パスエンコードを用いる場合には、まず、１回目の符号化（１パス目）で、入力画像信号Ｓ1 を固定の量子化ステップで符号化して、発生ビット量を示す発生ビット量データＳ2 を、ビデオエンコーダ制御用コンピュータ１２に送り、ビデオエンコーダ制御用コンピュータ１２によって、発生ビット量または発生ビット量より求めた各ピクチャ毎の符号化難易度に基づいて目標符号量を決定する。次に、２回目の符号化（２パス目）では、ビデオエンコーダ制御用コンピュータ１２は、目標符号化レートＲを示す目標符号化レートデータＳ3 をビデオエンコーダ１１に与え、ビデオエンコーダ１１は、この目標符号化レートデータデータＳ3 と、過去の発生ビット量やそれによるＶＢＶ（Video Buffering Verifier）バッファの占有量等に基づいて、可変ビットレートで、入力画像信号Ｓ1 を符号化し、ビットストリームからなる圧縮画像データＳ5 として出力する。また、ビデオエンコーダ１１は、２回目の符号化では、上記実施の形態で説明したのと同様に、判定回路４２によって、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれの方式で符号化を行うべきかを判定し、この判定結果に基づいて、切り換え部４３により、フレーム内符号化とフレーム間符号化のどちらか一方を選択して、符号化処理を行う。
【００６９】
【発明の効果】
以上説明したように、請求項１ないし３記載の画像符号化装置または、請求項４記載の画像符号化方法によれば、画像データをいずれの符号化方式を選択して圧縮符号化すべきかを、画像データと、圧縮符号化をする際の目標となる目標符号化レートとに基づいて、所定のマクロブロック毎に判定し、この判定結果に応じた符号化方式を選択して、入力された画像データを圧縮符号化するようにしたので、入力画像データを、マクロブロック毎にフレーム内符号化で符号化するかフレーム間符号化で符号化するかを選択可能とすると共に、再生時において良好な画質を得ることが可能となるという効果を奏する。
また、目標符号化レートが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行うようにしたので、目標符号化レートが小さく、量子化ステップが大きくなる場合には、フレーム間符号化を選択すべきと判定する割合が大きくなって、より効率よく符号化することが可能となる。また、目標符号化レートが大きく、量子化ステップが小さくなる場合には、フレーム内符号化を選択すべきと判定する割合が大きくなって、符号化の効率をほとんど変えることなく、フレーム間符号化によるジャーキネス等の弊害を防止して良好な画質を得ることが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像符号化装置としてのビデオエンコーダの構成を示すブロック図である。
【図２】図１に示したビデオエンコーダにおける判定回路において利用される関数の値と目標符号化レートとの関係を説明するための関係図である。
【図３】図１に示したビデオエンコーダにおける判定回路の詳細な構成を示す回路図である。
【図４】従来の画像符号化装置の一例としてのビデオエンコーダの構成を示すブロック図である。
【図５】図４に示す従来のビデオエンコーダで用いられる判定回路の構成を示す回路図である。
【図６】フレーム内符号化とフレーム間符号化のそれぞれについての量子化ステップと発生符号量との関係を説明するための関係図である。
【符号の説明】
１１…ビデオエンコーダ、１２…ビデオエンコーダ制御用コンピュータ、２１…画像並べ替え回路、２２…走査変換・マクロブロック化回路、３１…減算回路、３２…ＤＣＴ回路、３３…量子化回路、３４…可変長符号化回路、３５…バッファメモリ、３６…逆量子化回路、３７…逆ＤＣＴ回路、３８…加算回路、３９…動き補償回路、４０…動き検出回路、４１…符号量制御部、４２…判定回路、４３…切り換え部、６０…変換回路。
【発明の属する技術分野】
本発明は、画像データを圧縮符号化する画像符号化装置および方法に関する。
【０００２】
【従来の技術】
送信側で画像データを圧縮して送信すると共に、受信側では圧縮された画像データを伸張する通信システムや、画像データを圧縮して記録すると共に、再生時には圧縮された画像データを伸張して出力する圧縮画像記録再生システム等において、画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式がある。この双方向予測符号化方式では、双方向予測を用いることで符号化効率を向上させている。双方向予測符号化方式では、フレーム内符号化（以下、イントラ（ｉｎｔｒａ）符号化ともいう）とフレーム間符号化（以下、インタ（ｉｎｔｅｒ）符号化ともいう）という２つのタイプの符号化が行われる。フレーム間符号化は、更に、フレーム間順方向予測符号化とフレーム間双方向予測符号化とに分けられる。ここで、フレーム内符号化は、例えば、入力された画像データを、所定の単位毎にマクロブロック化し、マクロブロック毎にＤＣＴ（離散コサイン変換）のような周波数変換を用いてエネルギコンパクションによる圧縮を行うようになっている。一方、フレーム間符号化においては、同様に入力された画像データをマクロブロック化し、マクロブロック毎に以前に符号化した画像からの動きベクトルを検出し、この動きベクトルを用いて動き補償を行って、現画像と以前に符号化した画像との差分を用いた予測符号化がなされる。なお、ＭＰＥＧ規格では、この差分に対してＤＣＴを行なって符号化をしている。
【０００３】
このように、双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化および双方向予測符号化の３つのタイプの符号化が行われ、各符号化タイプによる画像は、それぞれＩピクチャ（intra coded picture ）、Ｐピクチャ（predictive coded picture）およびＢピクチャ（bidirectionally predictive coded picture）と呼ばれる。ただし、ＰピクチャおよびＢピクチャでは、マクロブロック毎に、フレーム内符号化を行うかフレーム間符号化を行うかを選択できるようになっている。一方、Ｉピクチャは、全てフレーム内符号化による符号化処理がなされる。
【０００４】
上記のようなフレーム内符号化とフレーム間符号化とを比較すると、一般に、フレーム間符号化の方が、フレーム内符号化よりも符号化の効率がよいことが多い。しかし、必ずしも全てのマクロブロックをフレーム間符号化するのがよいというわけではない。例えば、画像撮影手段をパンニング(panning)させて得られた画像においては、以前に得られた画像では見えなかった部分が現画像に存在するようになる。このような場合には、フレーム間符号化において利用される動き補償がうまくいかず、現画像と以前の画像との差分が大きくなるため、フレーム間符号化処理を施すよりも、フレーム内符号化処理を施す方が望ましい。
【０００５】
従って、従来から、入力された画像に基づいて、フレーム間符号化を行うか、フレーム内符号化を行うかをマクロブロック毎に判定し、この判定結果に応じた符号化方式で符号化処理を行うという手法が採られている。このように、いずれの符号化方式を選択するのかをマクロブロック毎に判定することを、一般に「イントラ／インタ判定」という。
【０００６】
次に、図４を参照して、上記イントラ／インタ判定を行いながら画像の圧縮符号化を行う従来の画像符号化装置の一例について説明する。この図に示したように、画像符号化装置としてのビデオエンコーダ１１０は、圧縮符号化をする際の目標となる符号化レート（単位時間当たりの符号量）を示す目標符号化レートデータＳ13を出力するビデオエンコーダ制御用コンピュータ１２０に接続されている。また、ビデオエンコーダ１１０は、入力画像信号Ｓ11を入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路１２１と、この画像並べ替え回路１２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路１２２と、この走査変換・マクロブロック化回路１２２の出力データと予測画像データとの差分をとる減算回路１３１と、この減算回路１３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路１３２と、このＤＣＴ回路１３２の出力データを所定の量子化ステップ（量子化のための割り算の係数）に基づいて量子化する量子化回路１３３と、この量子化回路１３３の出力データを可変長符号化する可変長符号化回路１３４と、この可変長符号化回路１３４の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ15として出力するバッファメモリ１３５とを備えている。また、バッファメモリ１３５は、可変長符号化回路１３４の発生ビット量を示す発生ビット量データＳ12を出力するようになっている。
【０００７】
ビデオエンコーダ１１０は、更に、走査変換・マクロブロック化回路１２２の出力データに基づいて動きベクトルを検出する動き検出回路１４０と、量子化回路１３３の出力データを逆量子化する逆量子化回路１３６と、この逆量子化回路１３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路１３７と、この逆ＤＣＴ回路１３７の出力データと予測画像データとを加算して出力する加算回路１３８と、この加算回路１３８の出力データを保持し、動き検出回路１４０から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路１３１および加算回路１３８に出力する動き補償回路１３９とを備えている。
【０００８】
ビデオエンコーダ１１０は、更に、ビデオエンコーダ制御用コンピュータ１２０からの目標符号化レートデータＳ13に基づいて、発生符号量（発生ビット量）が目標符号量となるように量子化回路１３３における量子化ステップを決定し、量子化回路１３３に与える符号量制御部１４１を備えている。
【０００９】
ビデオエンコーダ１１０は、更に、圧縮符号化を行う際にフレーム内符号化とフレーム間符号化のいずれの符号化方式を選択するのかをマクロブロック毎に判定し、この判定に基づく切り換え信号Ｓ14を出力する判定回路１４２と、この判定回路１４２からの切り換え信号Ｓ14に基づいて、符号化方式の切り換えを行う切り換え部１４３とを備えている。
【００１０】
判定回路１４２は、走査変換・マクロブロック化回路１２２から出力された現画像に対応する出力データ（以下、現信号ともいう）ｏ（ｉ，ｊ）と、動き補償回路１３９から出力された、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）とに基づいて、上記した「イントラ／インタ判定」を行い、切り換え部１４３に切り換え信号Ｓ14を出力するようになっている。
【００１１】
切り換え部１４３は、動き補償回路１３９の出力データが入力される入力端１４３ａと、データとして“０”が入力される入力端１４３ｂと、減算回路１３１の一方の入力端に接続された出力端１４３ｃとを有している。この切り換え部１４３は、判定回路１４２からの切り換え信号Ｓ14がフレーム内符号化（イントラ符号化）を選択すべきとの判定に基づく信号である場合には、出力端１４３ｃを入力端１４３ｂに接続し、減算回路１３１にデータ“０”を入力させるようになっている。一方、切り換え信号Ｓ14がフレーム間符号化（インタ符号化）を選択すべきとの判定に基づく信号である場合には、切り換え部１４３は、出力端１４３ｃを入力端１４３ａに接続し、減算回路１３１に動き補償回路１３９の出力データを入力させるようになっている。
【００１２】
次に、判定回路１４２において行われる従来の「イントラ／インタ判定」の具体的手法について説明する。従来の「イントラ／インタ判定」は、例えば、次の判定式（１）に基づいて行われる。
【００１３】
Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 −Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 ……（１）
【００１４】
判定回路１４２は、上記判定式（１）が正であれば、フレーム間符号化すべきであると判定し、負であれば、フレーム内符号化すべきであると判定する。なお、式（１）において、Σi,j は、マクロブロック内の全ての画素値についての総和を意味する。また、ｏ′は、現信号ｏ（ｉ，ｊ）のマクロブロック内における画素値の平均を示しており、次の式（２）で与えられるものである。なお、この式（２）において、Ｎは、マクロブロック内の画素の要素数である。
【００１５】
ｏ′＝（１／Ｎ）・Σi,j ｏ（ｉ，ｊ） ……（２）
【００１６】
図５は、上記判定式（１）を利用して「イントラ／インタ判定」を行うための判定回路１４２の詳細な構成を示す回路図である。この図に示したように、判定回路１４２は、入力された現信号ｏ（ｉ，ｊ）を自乗して出力する乗算回路２０１と、この乗算回路２０１からの出力をマクロブロック単位で累算して出力する累算回路２０２と、現信号ｏ（ｉ，ｊ）をマクロブロック単位で累算して出力する累算回路２０３と、この累算回路２０３からの出力をマクロブロック内の要素数Ｎで除算して出力する除算回路２０４と、この除算回路２０４からの出力を自乗して出力する乗算回路２０５と、累算回路２０２の出力値から乗算回路２０５の出力値を減算して出力する減算回路２０６とを備えている。
【００１７】
また、判定回路１４２は、現信号ｏ（ｉ，ｊ）から、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）を減算する減算回路２０７と、この減算回路２０７の出力値を自乗して出力する乗算回路２０８と、この乗算回路２０８からの出力値を累算する累算回路２０９と、この累算回路２０９からの出力値と減算回路２０６からの出力値とを比較し、その比較結果に応じた切り換え信号Ｓ14を出力する比較回路２１０とを備えている。
【００１８】
累算回路２０２，２０３，２０９は、それぞれ、累算回路２０２，２０３，２０９に対する入力信号が入力される加算回路２０２ａ，２０３ａ，２０９ａと、この加算回路２０２ａ，２０３ａ，２０９ａの出力信号が入力され、出力信号を累算回路２０２，２０３，２０９の出力信号として出力するレジスタ２０２ｂ，２０３ｂ，２０９ｂとを有している。加算回路２０２ａ，２０３ａ，２０９ａは、累算回路２０２，２０３，２０９に対して入力された信号とレジスタ２０２ｂ，２０３ｂ，２０９ｂの出力信号とを加算した信号をレジスタ２０２ｂ，２０３ｂ，２０９ｂに出力するようになっている。また、レジスタ２０２ｂ，２０３ｂ，２０９ｂは、加算回路２０２ａ，２０３ａ，２０９ａの出力値を一画素分の時間だけ保持して出力することにより、累算回路２０２，２０３，２０９の入力信号を累積して出力するようになっている。
【００１９】
上記のように構成される判定回路１４２では、乗算回路２０１により、現信号ｏ（ｉ，ｊ）が自乗されて、信号｛ｏ（ｉ，ｊ）｝2 が求められる。続いて、加算回路２０２ａとレジスタ２０２ｂからなる累算回路２０２により、信号｛ｏ（ｉ，ｊ）｝2 のマクロブロック単位での総和Σi,j ｛ｏ（ｉ，ｊ）｝2 が求められる。
【００２０】
また、加算回路２０３ａとレジスタ２０３ｂからなる累算回路２０３により、現信号ｏ（ｉ，ｊ）のマクロブロック単位での総和Σi,jｏ（ｉ，ｊ）が求められる。続いて、除算回路２０４により、現信号ｏ（ｉ，ｊ）の総和Σi,j ｏ（ｉ，ｊ）がマクロブロック内の要素数Ｎで除算され、平均値（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）が求められる。続いて、乗算回路２０５により平均値（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）が自乗された信号｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 が求められる。そして、減算回路２０６により、累算回路２０２で求められた総和Σi,j ｛ｏ（ｉ，ｊ）｝2 から、乗算回路２０５で求められた信号｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 が減算され、分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 が得られる。なお、減算回路２０６において分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 を求める際には、以下の式（３）による数学的変形を利用している。
【００２１】
Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 ＝Σi,j ｛ｏ（ｉ，ｊ）｝2 −｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 ……（３）
【００２２】
一方、減算回路２０７によって、現信号ｏ（ｉ，ｊ）から、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）を引いた差分｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝が求められる。続いて、積算回路２０８により、差分｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝を自乗した信号｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 が求められる。そして、加算回路２０９ａおよびレジスタ２０９ｂからなる累算回路２０９により、自乗された差分信号｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 のマクロブロック単位での差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 が求められる。
【００２３】
最後に、比較回路２１０により、減算回路２０６で得られた分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 と、累算回路２０９で求められた差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 とを比較することにより、「イントラ／インタ判定」が行なわれ、切り換え信号Ｓ14が出力される。
【００２４】
【発明が解決しようとする課題】
ところで、実際の画像の圧縮技術では、その応用例に応じて画像データの符号化（伝送）レートが異なっている。例えば、デジタルテレビジョンに用いられるデジタル放送システムにおいては、番組内容がスポーツのように画像の動きが速いものであると、符号化レートが相対的に大きめに設定されるのに対し、天気予報などの画像の動きの少ない番組では、符号化レートが小さめに設定される。従来では、このように符号化レートが異なる場合でも、「イントラ／インタ判定」は、符号化レートを考慮せずに行っているのだが、その場合、以下で述べるような問題が生ずる。
【００２５】
まず、図６を参照して、符号化の際の量子化ステップと、符号化による発生符号量との関係について考察する。この図において、フレーム内符号化における量子化ステップと発生符号量との関係は、符号１６１で示され、フレーム間符号化における量子化ステップと発生符号量との関係は、符号１６２で示されている。
【００２６】
この図に示されているように、量子化ステップが粗い（大きい）場合には、フレーム内符号化に比べてフレーム間符号化による発生符号量が格段に少なく、効率よく符号化がなされることが分かる。これは、フレーム間符号化の場合、符号化の際に参照とされる画像データ間の差分の振幅が小さく、ほとんどの画像データ間の差分がゼロになるためと考えられる。
【００２７】
一方、量子化ステップが細かい（小さい）場合には、フレーム間符号化による発生符号量は、フレーム内符号化による発生符号量に比べて、それほど差が無く、効率よく符号化がなされるとはいえなくなってくる。これは、フレーム間符号化の差分の振幅が、細かい量子化ではゼロにならないことと、ＤＣＴが現信号に対してはエネルギーコンパクションが優れているのに、差分についてはそれほど優れていないことによるためと考えられる。
【００２８】
このように、量子化ステップが細かい場合には、フレーム間符号化よりもフレーム内符号化による符号化処理の方が優れている場合がある。しかしながら、従来では、例えば、前述したデジタルテレビジョンにおけるスポーツ番組のように、符号化レートが相対的に大きめに設定され、量子化ステップが小さくなる場合においても、フレーム間符号化が採用される場合があり、この場合には、フレーム間符号化によるメリットよりも、デメリットが目立つようになるという問題点があった。例えば、フレーム間符号化の場合、以前に符号化した画像に差分を加算することにより現画像を得るため、差分に対する符号化データ量が充分でない場合には、再生時における画像にギクシャクした動き（ジャーキネス）が目立ってしまうという問題点があった。この問題は、符号化レー卜に関わらず「イントラ／インタ判定」を常に固定の方法で行なっていることに起因するためと考えられる。
【００２９】
本発明はかかる問題点に鑑みてなされたもので、その目的は、入力画像データを、所定の単位毎に、フレーム内符号化で符号化するかフレーム間符号化で符号化するかを選択可能とすると共に、再生時において良好な画質を得ることを可能とした画像符号化装置および方法を提供することにある。
【００３０】
【課題を解決するための手段】
本発明の画像符号化装置は、入力された画像データを、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれか一方の符号化方式を選択して圧縮符号化可能な符号化手段と、この符号化手段において圧縮符号化をする際の目標となる目標符号化レートに基づいて、符号化手段における発生符号量が目標符号量となるように符号化手段における量子化ステップを決定する符号量制御手段と、画像データをいずれの符号化方式を選択して圧縮符号化すべきかを、画像データと目標符号化レートとに基づいて画像データのマクロブロック毎に判定し、符号化手段に対して、判定結果に応じた符号化方式を選択させる判定手段とを備え、この判定手段が、目標符号化レートが小さいほどフレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートが大きいほどフレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行うようにしたものである。
【００３１】
また、本発明の画像符号化方法は、入力された画像データを、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれか一方の符号化方式を選択して圧縮符号化可能とすると共に、圧縮符号化をする際の目標となる目標符号化レートに基づいて、発生符号量が目標符号量となるように圧縮符号化の際の量子化ステップを決定する画像符号化方法において、画像データをいずれの符号化方式を選択して圧縮符号化すべきかを、画像データと目標符号化レートとに基づいて画像データのマクロブロック毎に判定する判定手順と、この判定結果に応じた符号化方式を選択して、入力された画像データを圧縮符号化する符号化手順とを含み、上記判定手順において、目標符号化レートが小さいほどフレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートが大きいほどフレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行うようにしたものである。
【００３２】
本発明の画像符号化装置および方法では、入力された画像データをいずれの符号化方式を選択して圧縮符号化すべきかが、画像データと、圧縮符号化をする際の目標となる目標符号化レートとに基づいて、画像データのマクロブロック毎に判定される。具体的には、目標符号化レートが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように判定がなされる。そしてこの判定結果に応じた符号化方式が選択されて、画像データが圧縮符号化される。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３４】
図１は、本発明の一実施の形態に係る画像符号化装置としてのビデオエンコーダの構成を示すブロック図である。この図に示したように、画像符号化装置としてのビデオエンコーダ１１は、圧縮符号化をする際の目標となる目標符号化レートＲを示す目標符号化レートデータＳ3 を出力するビデオエンコーダ制御用コンピュータ１２に接続されている。ビデオエンコーダ１１は、入力画像信号Ｓ1 を入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路２１と、この画像並べ替え回路２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路２２と、この走査変換・マクロブロック化回路２２の出力データと予測画像データとの差分をとる減算回路３１と、この減算回路３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３２と、このＤＣＴ回路３２の出力データを所定の量子化ステップ（量子化のための割り算の係数）に基づいて量子化する量子化回路３３と、この量子化回路３３の出力データを可変長符号化する可変長符号化回路３４と、この可変長符号化回路３４の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ5 として出力するバッファメモリ３５とを備えている。また、バッファメモリ３５は、可変長符号化回路３４の発生ビット量を示す発生ビット量データＳ2 を出力するようになっている。
【００３５】
ビデオエンコーダ１１は、更に、走査変換・マクロブロック化回路２２の出力データに基づいて動きベクトルを検出する動き検出回路４０と、量子化回路３３の出力データを逆量子化する逆量子化回路３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持し、動き検出回路４０から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路３１および加算回路３８に出力する動き補償回路３９とを備えている。
【００３６】
ビデオエンコーダ１１は、更に、ビデオエンコーダ制御用コンピュータ１２からの目標符号化レートデータＳ3 に基づいて、発生符号量（発生ビット量）が目標符号量となるように量子化回路３３における量子化ステップを決定し、量子化回路３３に与える符号量制御部４１を備えている。
【００３７】
ビデオエンコーダ１１は、更に、圧縮符号化を行う際にフレーム内符号化とフレーム間符号化のいずれの符号化方式を選択するのかをマクロブロック毎に判定し、この判定に基づく切り換え信号Ｓ4 を出力する判定回路４２と、この判定回路４２からの切り換え信号Ｓ4 に基づいて、符号化方式の切り換えを行う切り換え部４３とを備えている。ここで、判定回路４２が、本発明における判定手段に対応する。
【００３８】
ビデオエンコーダ１１に接続されたビデオエンコーダ制御用コンピュータ１２は、例えば、ビデオエンコーダ１１を統計多重を用いたデジタル放送システムに利用した場合においては、バッファメモリ３５から出力される圧縮画像データＳ5 の伝送レートがプログラム（番組データ）に応じた伝送レートとなるように、圧縮符号化をする際の目標となる目標符号化レートＲを決定し、目標符号化レートデータＳ3 を出力するようになっている。なお、「統計多重」とは、所定の伝送路に対して、より多くのプログラムを流すために用いられる手法であり、各プログラムの伝送レートを動的に変化させることにより、より多くのプログラムを伝送することを可能とするものである。この統計多重では、例えば、伝送レートを減らしても画質の劣化が目立たないプログラムについては、伝送レートを減らすことにより、より多くのプログラムの伝送を可能としている。
【００３９】
判定回路４２は、走査変換・マクロブロック化回路２２から出力された現画像に対応する出力データ（現信号）ｏ（ｉ，ｊ），動き補償回路３９から出力された、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ），および圧縮符号化をする際の目標とされる目標符号化レートＲに基づいて、「イントラ／インタ判定」を行い、切り換え部４３に切り換え信号Ｓ4 を出力するようになっている。
【００４０】
切り換え部４３は、動き補償回路３９の出力データが入力される入力端４３ａと、データとして“０”が入力される入力端４３ｂと、減算回路３１の一方の入力端に接続された出力端４３ｃとを有している。この切り換え部４３は、判定回路４２からの切り換え信号Ｓ4 がフレーム内符号化（イントラ符号化）を選択すべきとの判定に基づく信号である場合には、出力端４３ｃを入力端４３ｂに接続し、減算回路３１にデータ“０”を入力させるようになっている。一方、切り換え信号Ｓ4 がフレーム間符号化（インタ符号化）を選択すべきとの判定に基づく信号である場合には、切り換え部４３は、出力端４３ｃを入力端４３ａに接続し、減算回路３１に動き補償回路３９の出力データを入力させるようになっている。
【００４１】
次に、本実施の形態において判定回路４２で行われる「イントラ／インタ判定」のより具体的な手法について説明する。本実施の形態における「イントラ／インタ判定」は、例えば、次の判定式（４）に基づいて行われる。本実施の形態では、この判定式（４）により、目標となる目標符号化レートＲを考慮して、「イントラ／インタ判定」の方法を変化させることにより、良好な画質を実現しようとするものである。
【００４２】
Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 −ｆ（Ｒ）・Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 ……（４）
【００４３】
判定回路４２は、上記判定式（４）が正であれば、フレーム間符号化を選択すべきであると判定し、負であれば、フレーム内符号化を選択すべきであると判定する。なお、式（４）において、Σi,j は、マクロブロック内の全ての画素値についての総和を意味する。また、ｏ′は、現信号ｏ（ｉ，ｊ）のマクロブロック内における画素値の平均を示しており、前述の式（２）で与えられるものである。
【００４４】
また、式（４）において、ｆ（Ｒ）は、目標符号化レートＲの関数であり、目標とされる目標符号化レートＲが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートＲが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行うために設定される関数である。この関数ｆ（Ｒ）としては、例えば、以下の式（５）の関数が考えられる。なお、関数ｆ（Ｒ）は、以下の式（５）に限定されるものではなく、上記設定条件を満足するような関数であれば、他の関数式によるものであってもかまわない。
【００４５】
ｆ（Ｒ）＝（ａ・Ｒ＋ｂ）／（Ｒ＋ａ・ｂ） ……（５）
【００４６】
この式（５）において、ａ，ｂは、所定の定数であり、例えば、ａ＝４，ｂ＝３という値が設定される。図２は、ａ＝４，ｂ＝３とし、目標符号化レートＲの単位をＭｂｐｓ（Mega bits per second）とした場合における、目標符号化レートＲと関数ｆ（Ｒ）との関係を示した関係図である。この図に示したように、ａ＝４，ｂ＝３とした場合には、関数ｆ（Ｒ）は、目標符号化レートＲが３Ｍｂｐｓのときに関数値が１となり、且つ目標符号化レートＲが大きくなるに従い増加するような関数となる。従って、判定回路４２が判定を行う場合には、目標符号化レートＲが小さいほど、判定式（４）が正になる割合が大きくなり、フレーム間符号化を選択すべきと判定する割合が大きくなる。一方、目標符号化レートＲが大きいほど、判定式（４）が負になる割合が大きくなり、フレーム内符号化を選択すべきと判定する割合が大きくなる。
【００４７】
図３は、上記判定式（４）を利用して「イントラ／インタ判定」を行うための判定回路４２の詳細な構成を示す回路図である。この図に示したように、判定回路４２は、入力された現信号ｏ（ｉ，ｊ）を自乗して出力する乗算回路５１と、この乗算回路５１からの出力をマクロブロック単位で累算して出力する累算回路５２と、現信号ｏ（ｉ，ｊ）をマクロブロック単位で累算して出力する累算回路５３と、この累算回路５４からの出力をマクロブロック内の要素数Ｎで除算して出力する除算回路５４と、この除算回路５４からの出力を自乗して出力する乗算回路５５と、累算回路５２の出力値から乗算回路５５の出力値を減算して出力する減算回路５６とを備えている。
【００４８】
また、判定回路４２は、現信号ｏ（ｉ，ｊ）から、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）を減算する減算回路５７と、この減算回路５７の出力値を自乗して出力する乗算回路５８と、この乗算回路５８からの出力値を累算する累算回路５９と、入力された目標符号化レートＲを関数ｆ（Ｒ）の値に変換して出力する変換回路６０と、この変換回路６０から出力された関数ｆ（Ｒ）と、累算回路５９からの出力値とを乗算して出力する乗算回路６１と、この乗算回路６１からの出力と減算回路５６からの出力値とを比較し、その比較結果に応じた切り換え信号Ｓ4 を出力する比較回路６２とを備えている。変換回路６０は、例えば、上記した式（５）に基づいて作成された目標符号化レートＲに対応した関数値を出力するための変換用テーブルまたは目標符号化レートＲを関数ｆ（Ｒ）の値に変換するための変換式を記録したＲＯＭ（リード・オンリ・メモリ）を有して構成される。
【００４９】
累算回路５２，５３，５９は、それぞれ、累算回路５２，５３，５９に対する入力信号が入力される加算回路５２ａ，５３ａ，５９ａと、この加算回路５２ａ，５３ａ，５９ａの出力信号が入力され、出力信号を累算回路５２，５３，５９の出力信号として出力するレジスタ５２ｂ，５３ｂ，５９ｂとを有している。加算回路５２ａ，５３ａ，５９ａは、累算回路５２，５３，５９に対して入力された信号とレジスタ５２ｂ，５３ｂ，５９ｂの出力信号とを加算した信号をレジスタ５２ｂ，５３ｂ，５９ｂに出力するようになっている。また、レジスタ５２ｂ，５３ｂ，５９ｂは、加算回路５２ａ，５３ａ，５９ａの出力値を一画素分の時間だけ保持して出力することにより、累算回路５２，５３，５９の入力信号を累積して出力するようになっている。
【００５０】
上記のように構成される判定回路４２では、乗算回路５１により、現信号ｏ（ｉ，ｊ）が自乗されて、信号｛ｏ（ｉ，ｊ）｝2 が求められる。続いて、加算回路５２ａとレジスタ５２ｂからなる累算回路５２により、信号｛ｏ（ｉ，ｊ）｝2 のマクロブロック単位での総和Σi,j ｛ｏ（ｉ，ｊ）｝2 が求められる。
【００５１】
また、加算回路５３ａとレジスタ５３ｂからなる累算回路５３により、現信号ｏ（ｉ，ｊ）のマクロブロック単位での総和Σi,j ｏ（ｉ，ｊ）が求められる。続いて、除算回路５４により、現信号ｏ（ｉ，ｊ）の総和Σi,j ｏ（ｉ，ｊ）がマクロブロック内の要素数Ｎで除算され、平均値（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）が求められる。続いて、乗算回路５５により平均値（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）が自乗された信号｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 が求められる。そして、減算回路５６により、累算回路５２で求められた総和Σi,j ｛ｏ（ｉ，ｊ）｝2 から、乗算回路５５で求められた信号｛（１／Ｎ）・Σi,j ｏ（ｉ，ｊ）｝2 が減算され、分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 が得られる。なお、減算回路５６ににおいて分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 を求める際には、前述の式（３）による数学的変形を利用している。
【００５２】
一方、減算回路５７によって、現信号ｏ（ｉ，ｊ）から、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）を引いた差分｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝が求められる。続いて、積算回路５８により、差分｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝を自乗した信号｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2が求められる。そして、加算回路５９ａおよびレジスタ５９ｂからなる累算回路５９により、自乗された差分信号｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 のマクロブロック単位での差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 が求められる。
【００５３】
また、変換回路６０において、入力された目標符号化レートＲに対応した関数値ｆ（Ｒ）が求められる。次に、乗算回路６１により、関数値ｆ（Ｒ）と、累算回路５９からの出力値である差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 とが乗算された値ｆ（Ｒ）・Σi,j ｏ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 が求められる。
【００５４】
最後に、比較回路６２により、減算回路５６で得られた分散値Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 と、乗算回路６１で求められた値ｆ（Ｒ）・Σi,j ｏ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 とを比較することにより、「イントラ／インタ判定」が行なわれ、切り換え信号Ｓ4 が出力される。
【００５５】
次に、図１に示した本実施の形態に係る画像符号化装置の主要な動作について説明する。なお、以下の説明は、本実施の形態に係る画像符号化方法の説明を兼ねている。ビデオエンコーダ１１では、まず、画像並べ替え回路２１によって、入力画像信号Ｓ1 に対して、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替え、次に、走査変換・マクロブロック化回路２２によって、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換およびマクロブロック化を行い、減算回路３１に送る。また、走査変換・マクロブロック化回路２２の出力データは、動き検出回路４０および判定回路４２にも送られる。また、動き検出回路４０は、動きベクトルを検出して動き補償回路３９に送る。
【００５６】
そして、Ｉピクチャ、ＰピクチャおよびＢピクチャのそれぞれに対応した符号化処理が行われる。
【００５７】
Ｉピクチャの場合には、フレーム内符号化による符号化処理が行われる。すなわち、減算回路３１において予測画像データとの差分をとることなく、走査変換・マクロブロック化回路２２の出力データをそのままＤＣＴ回路３２に入力してＤＣＴを行い、量子化回路３３によってＤＣＴ係数を量子化し、可変長符号化回路３４によって量子化回路３３の出力データを可変長符号化し、バッファメモリ３５によって可変長符号化回路３４の出力データを一旦保持し、ビットストリームからなる圧縮画像データＳ5 として出力する。また、逆量子化回路３６によって量子化回路３３の出力データを逆量子化し、逆ＤＣＴ回路３７によって逆量子化回路３６の出力データに対して逆ＤＣＴを行い、逆ＤＣＴ回路３７の出力画像データを加算回路３８を介して動き補償回路３９に入力して保持させる。
【００５８】
ＰピクチャおよびＢピクチャの場合には、判定回路４２によって、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれの方式により符号化を行うべきかを判定し、この判定結果に基づいて、マクロブロック単位で、フレーム内符号化とフレーム間符号化のどちらか一方の符号化方式を選択して、符号化処理が行われる。判定回路４２は、走査変換・マクロブロック化回路２２から出力された現画像に対応する出力データ（現信号）ｏ（ｉ，ｊ），動き補償回路３９から出力された、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ），および圧縮符号化をする際の目標とされる目標符号化レートＲに基づいて、「イントラ／インタ判定」を行い、切り換え部４３に切り換え信号Ｓ4 を出力する。切り換え部４３は、判定回路４２からの切り換え信号Ｓ4 がフレーム内符号化（イントラ符号化）を選択すべきとの判定に基づく信号である場合には、出力端４３ｃを入力端４３ｂに接続し、減算回路３１にデータ“０”を入力させる。一方、切り換え信号Ｓ4 がフレーム間符号化（インタ符号化）を選択すべきとの判定に基づく信号である場合には、切り換え部４３は、出力端４３ｃを入力端４３ａに接続し、減算回路３１に動き補償回路３９の出力データを入力させる。
【００５９】
これにより、判定回路４２によって、フレーム内符号化を選択すべきと判定されたマクロブロックについては、ＰピクチャおよびＢピクチャ共に、上記したＩピクチャの場合と同様のフレーム内符号化を利用した圧縮符号化処理が行われる。また、判定回路４２によって、フレーム間符号化を選択すべきと判定されたマクロブロックについては、Ｐピクチャでは、フレーム間順方向予測符号化を利用した圧縮符号化処理が行われ、Ｂピクチャでは、フレーム間双方向予測符号化を利用した圧縮符号化処理が行われる。
【００６０】
Ｐピクチャにおいてフレーム間順方向予測符号化を利用した圧縮符号化処理が行われるマクロブロックについては、動き補償回路３９によって、保持している過去のＩピクチャまたはＰピクチャに対応する画像データと動き検出回路４０からの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路３１および加算回路３８に出力する。また、減算回路３１によって、走査変換・マクロブロック化回路２２の出力データと動き補償回路３９からの予測画像データとの差分をとり、ＤＣＴ回路３２によってＤＣＴを行い、量子化回路３３によってＤＣＴ係数を量子化し、可変長符号化回路３４によって量子化回路３３の出力データを可変長符号化し、バッファメモリ３５によって可変長符号化回路３４の出力データを一旦保持し圧縮画像データＳ5 として出力する。また、逆量子化回路３６によって量子化回路３３の出力データを逆量子化し、逆ＤＣＴ回路３７によって逆量子化回路３６の出力データに対して逆ＤＣＴを行い、加算回路３８によって逆ＤＣＴ回路３７の出力データと予測画像データとを加算し、動き補償回路３９に入力して保持させる。
【００６１】
また、Ｂピクチャにおいてフレーム間双方向予測符号化を利用した圧縮符号化処理が行われるマクロブロックについては、動き補償回路３９によって、保持している過去および未来のＩピクチャまたはＰピクチャに対応する２つの画像データと動き検出回路４０からの２つの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路３１および加算回路３８に出力する。また、減算回路３１によって、走査変換・マクロブロック化回路２２の出力データと動き補償回路３９からの予測画像データとの差分をとり、ＤＣＴ回路３２によってＤＣＴを行い、量子化回路３３によってＤＣＴ係数を量子化し、可変長符号化回路３４によって量子化回路３３の出力データを可変長符号化し、バッファメモリ３５によって可変長符号化回路３４の出力データを一旦保持し圧縮画像データＳ5 として出力する。なお、Ｂピクチャは動き補償回路３９に保持させない。
【００６２】
以上説明したように本実施の形態に係る画像符号化装置としてのビデオエンコーダ１１では、判定回路４２によって、入力された画像データと目標符号化レートＲとに基づいて、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれの方式で符号化を行うべきかを判定し、この判定結果に基づいて、切り換え部４３により、フレーム内符号化とフレーム間符号化のどちらか一方を選択して、符号化処理を行う。より具体的には、判定回路４２は、走査変換・マクロブロック化回路２２から出力された現画像に対応する出力データｏ（ｉ，ｊ）と動き補償回路３９から出力された、以前に符号化した画像に対応する出力データｓ（ｉ，ｊ）とを変数とする所定の判定式（４）により判定を行う。この判定式（４）は、目標符号化レートＲが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートＲが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように、目標符号化レートＲに応じて内容が変更される。これにより、入力画像データを、所定の単位毎にフレーム内符号化で符号化するかフレーム間符号化で符号化するかが選択可能となると共に、再生時において良好な画質を得ることが可能となる。具体的には、目標符号化レートＲが小さく、量子化ステップが大きくなる場合には、判定式（４）が正になる割合が大きくなり、フレーム間符号化を選択すべきと判定する割合が大きくなって、より効率よく符号化することが可能となる。逆に、目標符号化レートＲが大きく、量子化ステップが小さくなる場合には、判定式（４）が負になる割合が大きくなり、フレーム内符号化を選択すべきと判定する割合が大きくなって、符号化の効率をほとんど変えることなく、フレーム間符号化によるジャーキネス等の弊害を防止して良好な画質を得ることが可能になる。
【００６３】
なお、本発明は、上記実施の形態に限定されず、種々の変形実施が可能である。例えば、上記実施の形態では、判定回路４２で行う「イントラ／インタ判定」として、平均自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｏ′｝2 と差分自乗総和を利用した値ｆ（Ｒ）・Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 との比較による判定法を使用したが、別の判定法を使用しても構わない。また、この判定法は、判定式（４）とは異なる別の判定式を利用するようにしてもかまわない。
【００６４】
更に、上記実施の形態では、目標符号化レートＲから求められた関数ｆ（Ｒ）を差分自乗総和Σi,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝2 に乗ずることによって判定を変化させるようにしたが、例えば、目標符号化レートＲを変数とする別の関数の値をオフセット成分として用いるなど別の手法であっても構わない。
【００６５】
更に、上記実施の形態では、判定回路４２内の変換回路６０（図３）として、ＲＯＭを使用し、目標符号化レートＲに対応する関数値ｆ（Ｒ）を求めるようにしていたが、ＲＯＭでなく、ＲＡＭ（ランダム・アクセス・メモリ）を使用して、関数値ｆ（Ｒ）を求めるための変換テーブルや変換式を、例えば、装置の初期設定の段階で任意に変更できるようにしてもよい。こうすることで、入力される画像データおよび目標符号化レートＲに応じて、関数ｆ（Ｒ）を柔軟に変更させることが可能となる。
【００６６】
また、本発明は、上記実施の形態のように目標符号化レートＲを動的に変化させるような場合に限らず、例えば、目標符号化レートＲをビデオエンコーダ１１の接続先のトランスポンダ（中継器）の性能や送信する信号の数等に基づいて決める場合のように、目標符号化レートＲが、あらかじめ決められた一定の値であるような場合にも適用可能である。なお、この場合には、ビデオエンコーダ制御用コンピュータ１２において、例えば、バッファメモリ３５から出力される圧縮画像データＳ5 の伝送レートが、ビデオエンコーダ１１の接続先のトランスポンダ（中継器）の性能や送信する信号の数等に応じた伝送レートとなるように、圧縮符号化をする際の目標となる目標符号化レートＲが決定され、目標符号化レートデータＳ3 が出力される。
【００６７】
また、本発明は、いわゆる２パスエンコードを利用するような画像符号化装置においても適用可能である。ここで、２パスエンコードとは、例えば、ＤＶＤ（Digital Video Disk）等の蓄積メディアに対して記録するデータを編集、作成するためのオーサリング装置等において用いられる技術である。このようなオーサリング装置における２パスエンコードでは、リアルタイム性が要求されないので、一旦、映像信号を固定の量子化ステップで符号化することによって各ピクチャ毎の符号化難易度を測定し、その結果に基づいて、可変ビットレートで再度符号化するようになっている。
【００６８】
例えば、上記実施の形態で示したビデオエンコーダ１１において、２パスエンコードを用いる場合には、まず、１回目の符号化（１パス目）で、入力画像信号Ｓ1 を固定の量子化ステップで符号化して、発生ビット量を示す発生ビット量データＳ2 を、ビデオエンコーダ制御用コンピュータ１２に送り、ビデオエンコーダ制御用コンピュータ１２によって、発生ビット量または発生ビット量より求めた各ピクチャ毎の符号化難易度に基づいて目標符号量を決定する。次に、２回目の符号化（２パス目）では、ビデオエンコーダ制御用コンピュータ１２は、目標符号化レートＲを示す目標符号化レートデータＳ3 をビデオエンコーダ１１に与え、ビデオエンコーダ１１は、この目標符号化レートデータデータＳ3 と、過去の発生ビット量やそれによるＶＢＶ（Video Buffering Verifier）バッファの占有量等に基づいて、可変ビットレートで、入力画像信号Ｓ1 を符号化し、ビットストリームからなる圧縮画像データＳ5 として出力する。また、ビデオエンコーダ１１は、２回目の符号化では、上記実施の形態で説明したのと同様に、判定回路４２によって、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれの方式で符号化を行うべきかを判定し、この判定結果に基づいて、切り換え部４３により、フレーム内符号化とフレーム間符号化のどちらか一方を選択して、符号化処理を行う。
【００６９】
【発明の効果】
以上説明したように、請求項１ないし３記載の画像符号化装置または、請求項４記載の画像符号化方法によれば、画像データをいずれの符号化方式を選択して圧縮符号化すべきかを、画像データと、圧縮符号化をする際の目標となる目標符号化レートとに基づいて、所定のマクロブロック毎に判定し、この判定結果に応じた符号化方式を選択して、入力された画像データを圧縮符号化するようにしたので、入力画像データを、マクロブロック毎にフレーム内符号化で符号化するかフレーム間符号化で符号化するかを選択可能とすると共に、再生時において良好な画質を得ることが可能となるという効果を奏する。
また、目標符号化レートが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行うようにしたので、目標符号化レートが小さく、量子化ステップが大きくなる場合には、フレーム間符号化を選択すべきと判定する割合が大きくなって、より効率よく符号化することが可能となる。また、目標符号化レートが大きく、量子化ステップが小さくなる場合には、フレーム内符号化を選択すべきと判定する割合が大きくなって、符号化の効率をほとんど変えることなく、フレーム間符号化によるジャーキネス等の弊害を防止して良好な画質を得ることが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像符号化装置としてのビデオエンコーダの構成を示すブロック図である。
【図２】図１に示したビデオエンコーダにおける判定回路において利用される関数の値と目標符号化レートとの関係を説明するための関係図である。
【図３】図１に示したビデオエンコーダにおける判定回路の詳細な構成を示す回路図である。
【図４】従来の画像符号化装置の一例としてのビデオエンコーダの構成を示すブロック図である。
【図５】図４に示す従来のビデオエンコーダで用いられる判定回路の構成を示す回路図である。
【図６】フレーム内符号化とフレーム間符号化のそれぞれについての量子化ステップと発生符号量との関係を説明するための関係図である。
【符号の説明】
１１…ビデオエンコーダ、１２…ビデオエンコーダ制御用コンピュータ、２１…画像並べ替え回路、２２…走査変換・マクロブロック化回路、３１…減算回路、３２…ＤＣＴ回路、３３…量子化回路、３４…可変長符号化回路、３５…バッファメモリ、３６…逆量子化回路、３７…逆ＤＣＴ回路、３８…加算回路、３９…動き補償回路、４０…動き検出回路、４１…符号量制御部、４２…判定回路、４３…切り換え部、６０…変換回路。
Claims (4)
- 入力された画像データを、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれか一方の符号化方式を選択して圧縮符号化可能な符号化手段と、
前記符号化手段において圧縮符号化をする際の目標となる目標符号化レートに基づいて、前記符号化手段における発生符号量が目標符号量となるように前記符号化手段における量子化ステップを決定し、符号化手段へ供給する符号量制御手段と、
前記画像データをいずれの符号化方式を選択して圧縮符号化すべきかを、前記画像データと前記目標符号化レートとに基づいて前記画像データのマクロブロック毎に判定し、前記符号化手段に対して、判定結果に応じた符号化方式を選択させる判定手段と
を備え、
前記判定手段は、前記目標符号化レートが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、前記目標符号化レートが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行う
ことを特徴とする画像符号化装置。 - 前記判定手段は、以下の判定式に基づき、この判定式が正であれば、フレーム間符号化を選択すべきと判定し、この判定式が負であれば、フレーム内符号化を選択すべきと判定する
ことを特徴とする請求項１記載の画像符号化装置。
Σ i,j ｛ｏ（ｉ，ｊ）−ｏ′｝ 2 −ｆ（Ｒ）・Σ i,j ｛ｏ（ｉ，ｊ）−ｓ（ｉ，ｊ）｝ 2
但し、Σ i,j は、マクロブロック内の全ての画素値についての総和を意味し、ｏ（ｉ，ｊ）は、現画像に対応する画像データを示し、ｏ′は、ｏ（ｉ，ｊ）のマクロブロック内における画素値の平均を示し、ｓ（ｉ，ｊ）は、以前に符号化した画像に対応する画像データを示し、ｆ（Ｒ）は、目標符号化レートＲの関数であり、目標符号化レートＲが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、目標符号化レートＲが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行うために設定される関数を示す。 - 入力される画像データおよび前記目標符号化レートに応じて、関数ｆ（Ｒ）を変更可能なように構成されている
ことを特徴とする請求項２記載の画像符号化装置。 - 入力された画像データを、マクロブロック毎に、フレーム内符号化とフレーム間符号化のいずれか一方の符号化方式を選択して圧縮符号化可能とすると共に、圧縮符号化をする際の目標となる目標符号化レートに基づいて、発生符号量が目標符号量となるように圧縮符号化の際の量子化ステップを決定する画像符号化方法において、
前記画像データをいずれの符号化方式を選択して圧縮符号化すべきかを、前記画像データと前記目標符号化レートとに基づいて前記画像データのマクロブロック毎に判定する判定手順と、
この判定結果に応じた符号化方式を選択して、入力された画像データを圧縮符号化する符号化手順と
を含み、
前記判定手順において、前記目標符号化レートが小さいほど、フレーム間符号化を選択すべきと判定する割合が大きくなり、前記目標符号化レートが大きいほど、フレーム内符号化を選択すべきと判定する割合が大きくなるように判定を行う
ことを特徴とする画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26872897A JP4000581B2 (ja) | 1997-10-01 | 1997-10-01 | 画像符号化装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26872897A JP4000581B2 (ja) | 1997-10-01 | 1997-10-01 | 画像符号化装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112999A JPH11112999A (ja) | 1999-04-23 |
| JP4000581B2 true JP4000581B2 (ja) | 2007-10-31 |
Family
ID=17462532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26872897A Expired - Fee Related JP4000581B2 (ja) | 1997-10-01 | 1997-10-01 | 画像符号化装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4000581B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005151391A (ja) | 2003-11-19 | 2005-06-09 | Toshiba Corp | 動画像符号化方法、動画像符号化装置およびプログラム |
-
1997
- 1997-10-01 JP JP26872897A patent/JP4000581B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11112999A (ja) | 1999-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100289852B1 (ko) | 화상 부호화 방법, 화상 부호화 장치 및 화상 기록 매체 | |
| KR100599017B1 (ko) | 영상 데이터 압축 장치 및 그 방법 | |
| KR100391027B1 (ko) | 비디오정보를예측부호화하는방법및장치 | |
| US6628713B1 (en) | Method and device for data encoding and method for data transmission | |
| KR101096827B1 (ko) | 각기 다수의 매크로블록을 포함하는 예측 및 비예측 화상을이용하여 화상 시퀀스를 인코딩하는 방법 및 장치 | |
| JP5640979B2 (ja) | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム | |
| JP3911035B2 (ja) | 動画像符号化方法及び動画像符号化装置 | |
| JP4114210B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JP4224778B2 (ja) | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム | |
| JP5708490B2 (ja) | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム | |
| JPH0998427A (ja) | 動画像符号化装置 | |
| JP3599942B2 (ja) | 動画像符号化方法、及び動画像符号化装置 | |
| JP4421734B2 (ja) | 符号化データ変換方法，及びデータ記録媒体 | |
| KR100571685B1 (ko) | 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법 | |
| JP4032446B2 (ja) | 映像データ圧縮装置およびその方法 | |
| JP4000581B2 (ja) | 画像符号化装置および方法 | |
| JP3738511B2 (ja) | 動画像符号化方式 | |
| JP2001045490A (ja) | 動画像信号の符号化装置及び符号化方法 | |
| JP2005072995A (ja) | レート変換装置 | |
| JPH0775095A (ja) | レート制御回路 | |
| JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP4100067B2 (ja) | 画像情報変換方法及び画像情報変換装置 | |
| KR0152024B1 (ko) | 로우 딜레이 코딩 방식의 부호화 및 복호화 장치 | |
| JP4211023B2 (ja) | 動画像処理方法及び動画像処理装置 | |
| JP3770466B2 (ja) | 画像符号化レート変換装置及び画像符号化レート変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040416 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070805 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |