JPH08307878A

JPH08307878A - 画像符号化方法および装置

Info

Publication number: JPH08307878A
Application number: JP12722195A
Authority: JP
Inventors: Yoko Matsuura; 陽子松浦
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-04-27
Filing date: 1995-04-27
Publication date: 1996-11-22
Anticipated expiration: 2020-06-22
Also published as: JP3661711B2

Abstract

(57)【要約】【目的】フレーム内符号化モードと、動き補償予測に
よるフレーム間符号化モードとを用いると共に、定レー
ト化制御を行ないながら、リアルタイムで画像圧縮符号
化を行なう画像符号化装置において、動画中に静止画が
続くようなシーンであっても、高画質の画像が得られ
る。【構成】シーンチェンジ検出部１２と、発生符号量見
積り部１７と、実際に圧縮符号化が行なわれるフレーム
より未来の、１ＧＯＰ以上の区間に渡ってフレーム単位
の発生符号量を記憶するメモリ１８と、ＧＯＰコントロ
ーラ１４とを設ける。ＧＯＰコントローラ１４は、フレ
ーム内符号化モードで圧縮符号化すべきと指定されたフ
レームを、当該フレームの発生符号見積り量が、メモリ
１８中の過去のフレームの見積もり量に比べて有意され
る程度に多く、しかも、当該フレームがシーンチェンジ
のフレームでない場合には、フレーム間符号化モードを
使用して圧縮符号化するように指定を変更する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えばＭＰＥＧ（Ｍ
ｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕ
ｐ）１やＭＰＥＧ２による画像符号化に適用して好適な
画像符号化方法および装置に関する。

【０００２】

【従来の技術】動画像の圧縮符号化としてＭＰＥＧ１
や、その発展型のＭＰＥＧ２がよく知られている。この
圧縮符号化方式（以下、単にＭＰＥＧと呼ぶことにす
る）は、その符号化アルゴリズムとして、動き補償予測
と、２次元ＤＣＴ（離散コサイン変換）を組み合わせた
ものを使用するものである。

【０００３】ＭＰＥＧの特徴としては、動き補償の予測
効率を高める双方向予測、編集やランダムアクセスを可
能とする画面群（これをＧＯＰ（ＧｒｏｕｐＯｆＰ
ｉｃｔｕｒｅ）と呼ぶ）構造、全体の符号発生量制御な
どの符号化の細かな制御が挙げられる。

【０００４】双方向予測を実現するため、ＭＰＥＧで
は、１画面分の画像（フレームまたはフィールド）に、
Ｉピクチャと、Ｐピクチャと、Ｂピクチャの３種類のピ
クチャタイプを規定している。

【０００５】Ｉピクチャは、予測は使わずに、１画面内
で閉じた情報による符号化（画面内符号化と呼ぶ。以
下、この画面内符号化のモードをイントラモードと呼
び、このイントラモードのみで符号化されたフレームを
イントラフレームと呼ぶ）のみを行なうものである。

【０００６】ＭＰＥＧでは、前記のＧＯＰには、Ｉピク
チャが少なくとも１枚入るように規定されている。この
ようにすれば、Ｉピクチャから映像をデコードできるの
で、ＧＯＰ単位での編集やランダムアクセスが可能にな
る。

【０００７】Ｐピクチャは、過去のＩピクチャあるいは
Ｐピクチャからの一方向の動き補償予測を用いるもので
ある。また、Ｂピクチャは、過去および未来のピクチャ
を用いた双方向予測を用いるものである。

【０００８】ＰピクチャおよびＢピクチャは、画面内の
小ブロック単位（マクロブロックと呼ばれている）の部
分では、イントラモードによる符号化を含む。以下の説
明では、一方向および双方向予測を画面（フレームまた
はフィールド）間で行なう符号化モード（画面間符号化
モード）をインターモードと呼び、このインターモード
により符号化されたマクロブロックを含むフレームをイ
ンターフレームと呼ぶこととする。

【０００９】

【発明が解決しようとする課題】上述したＭＰＥＧにお
いても、Ｈ．２６１規格と同様に、ＤＣＴ係数の量子化
ステップ（量子化スケール）を制御することにより、全
体の符号発生量制御を行なうことができる。例えば、一
定の伝送レートで圧縮符号化画像データを伝送する場合
には、送信バッファを設けておき、このバッファの占有
率に応じて量子化ステップを制御して符号発生量を制御
するものである。

【００１０】ところで、このように、定レート化制御を
行なっているＭＰＥＧの画像符号化装置の場合（以下の
説明はＭＰＥＧ１の場合）、入力画像として動きの少な
いシーンが続くときに、各フレームをインターモードで
符号化すると、フレーム間誤差信号のエネルギーが非常
に少なくなり、符号発生量が減る。このため、定レート
化のフィードバックがかかり、量子化スケールが細かく
なって、量子化誤差が少なくなり、高画質のインターフ
レームが得られる。

【００１１】前述したように、ＭＰＥＧでは、ＧＯＰ内
には、必ずＩピクチャ、すなわち、イントラフレームが
少なくとも１枚は強制的に挿入される。このため、上述
のように、動きの少ないシーンが続いているような状況
において、強制的にイントラフレームが挿入されると、
このイントラフレームでは圧倒的に符号発生量が多くな
るので、定レート化制御により、いきなり量子化スケー
ルを粗くするようにフィードバックがかかり、このイン
トラフレームおよびその後のピクチャの画質は、急激に
悪化してしまう。

【００１２】そして、このようにして量子化されたイン
トラフレームは、量子化誤差を多く含むため、その後、
インターフレームが続いても、そのインターフレームの
動き補償が、当該量子化誤差の多いフレームを元に行な
われることになるので、前記挿入されたイントラフレー
ムの直前のＳ／Ｎ程度に復帰するまで数フレームかか
り、そのため、動きの少ないシーンでは周期的に画質の
劣化、向上が繰り返され、これが視覚上問題となる。

【００１３】圧縮符号化した画像データを、一旦、蓄積
メディアに保存できるようなシステムでは、強制イント
ラフレームをインターフレームにした場合の結果から決
定して、イントラフレームをインターフレームにすげ替
えることは可能であるが、リアルタイム処理が必要とな
る放送用の装置の場合には、入力画像が静止画と予め判
明している素材であるならともかく、動画中の静止画の
ような部分における前記のすげ替えは従来はできなかっ
た。

【００１４】この発明は、以上の点にかんがみ、上述の
ように、画面内符号化モードと、動き補償予測による画
面間符号化モードとを用いると共に、定レート化制御を
行ないながら、リアルタイムで画像圧縮符号化を行なう
画像符号化装置において、動画中に静止画が続くような
シーンであっても、高画質の画像が得られるようにする
ことを目的とする。

【００１５】

【課題を解決するための手段】上記課題を解決するた
め、この発明による画像符号化装置は、画面内符号化モ
ードと、動き補償予測による画面間符号化モードとを用
いると共に、予め設定された周期で前記画面内符号化モ
ードでのみ圧縮符号化する符号化領域を選択指定し、リ
アルタイムで画像圧縮符号化を行なう画像符号化装置で
あって、圧縮符号化部と、前記各符号化領域について、
どのような符号化モードで符号化を行なうかを仮に指定
する指定情報発生手段と、この圧縮符号化部の前段に設
けられ、シーンが変化したことを検知するシーンチェン
ジ検出部と、前記圧縮符号化部の前段に設けられ、前記
符号化領域単位での発生符号量を見積る発生符号量見積
り部と、前記シーンチェンジ検出部の検出出力と、前記
発生符号量見積り部の見積り量とに基づいて、前記予め
画面内符号化モードで圧縮符号化するように選択された
符号化領域を、そのまま画面内符号化モードで圧縮符号
化を行なわせるか否かを決定する判断手段とを備え、前
記判断手段から前記圧縮符号化に、いずれのモードで圧
縮符号化を行なわせるかの指示情報を供給するようにし
たことを特徴とする。

【００１６】また、前記圧縮符号化部の後段に、バッフ
ァメモリと、このバッファメモリからのデータ占有量の
情報に基づいて前記圧縮符号化部の量子化特性を制御し
て、前記バッファメモリから出力されるデータの伝送レ
ートを一定に制御する制御手段を設け、前記バッファ占
有量の情報を前記判断手段に供給し、前記判断手段は、
前記シーンチェンジ検出部の検出出力と、前記発生符号
量見積り部の見積り量と、前記バッファ占有量に基づい
て、前記予め画面内符号化モードで圧縮符号化するよう
に選択された符号化領域を、そのまま画面内符号化モー
ドで圧縮符号化を行なわせるか否かを決定するようにし
てもよい。

【００１７】

【作用】以上の構成のこの発明による画像符号化装置に
おいては、予め、発生符号量見積り部で、画面内符号化
モードのみで符号化したときの見積り量や、画面間符号
化モードを含む状態で符号化したときの見積り量を算出
しておくことができる。このため、判断手段では、両見
積り量の差から静止画が続いているシーンであることを
検出でき、その検出結果に基づいて、画面内符号化のみ
の指定を解除して、画面間符号化を行なわせるなど、適
切な指定変更処理が行なわれる。

【００１８】また、実際の圧縮符号化に先立ち、見積り
量の推移を監視することも可能になり、静止画領域か、
通常の動画領域かの判断も確実に行なうことも可能にな
る。

【００１９】また、伝送レートを一定にするために、バ
ッファメモリと制御手段とを備え、バッファ占有量をも
判断手段の判断資料情報として用いる場合には、バッフ
ァ占有量を最優先にして、前記の符号化領域についての
指定の変更を決定することができる。

【００２０】

【実施例】以下、この発明による画像符号化装置の一実
施例を図１および図２を参照しながら説明する。図１
は、この例の画像符号化装置のブロック図であり、この
例は、デジタル画像データをＭＰＥＧ１で圧縮する場合
の例である。図２は、図１の例の説明のためのタイムチ
ャートである。

【００２１】図１の例の画像符号化装置は、エントロピ
ー符号化を伴う画像圧縮システムであり、入力画像デー
タＤｉを圧縮符号化して、一定通信路容量の通信路に、
圧縮後の出力データＤｏを伝送するものである。

【００２２】圧縮符号化部２１は、画像データの圧縮符
号化を行なう。この圧縮符号化は、前述したように、動
き補償予測と、２次元ＤＣＴを組み合わせたものであ
る。後述するように、この圧縮符号化部２１に対して
は、ＧＯＰコントローラ１４からの情報Ｔｙｐにより、
処理対象となっているフレームについて、前述したＩピ
クチャ、Ｐピクチャ、Ｂピクチャの３種のピクチャタイ
プの指定が行なわれる。

【００２３】圧縮符号化部２１で圧縮符号化されたデー
タは、可変長符号化部２２に供給されて、ハフマン符号
などの可変長符号とされ、定レート化バッファ２３に供
給される。可変長符号化部２２は、また、当該対象とな
っている、例えばフレーム単位の発生符号量を算出し
て、定レートコントローラ２４に供給する。

【００２４】定レート化バッファ２３は、一定通信路容
量の通信路に、圧縮後の出力データＤｏを、定レートで
出力端子２５を介して送出するためのバッファである。
この定レート化バッファ２３がオーバーフローあるいは
アンダーフローしないようにすることにより、出力デー
タＤｏの定レート化が実現できる。このため、この定レ
ート化バッファ２３におけるデータＤｏのバッファ占有
量Ｂｅも、定レート化コントローラ２４に供給される。

【００２５】定レート化コントローラ２４は、可変長符
号化部２２からの発生符号量と、定レート化バッファ２
３からのバッファ占有量Ｂｅの情報とに基づいて、圧縮
符号化部２１での量子化のステップ幅の制御を行ない、
定レート化バッファ２３がオーバーフローあるいはアン
ダーフローしないようにしている。

【００２６】定レート化コントローラ２４は、また、Ｇ
ＯＰコントローラ１４に前述したフレーム単位の発生符
号量、現在のバッファ占有量Ｂｅ、実際の圧縮符号化の
結果を与えている。また、逆に、定レート化コントロー
ラ２４は、ＧＯＰコントローラ１４からこれから符号化
するフレームの確定したピクチャタイプの情報Ｔｙｐを
受け取り、現在のバッファ占有量Ｂｅと、ピクチャタイ
プに応じて、圧縮符号化部２１で符号化しようとするピ
クチャの発生符号量の目標値であるターゲット量（ビッ
ト数）を設定する。

【００２７】後述するように、ＧＯＰコントローラ１４
は、現時点の入力画像データについて仮にＩピクチャと
されたフレームを圧縮符号化したときの発生符号量の見
積り量が、過去のＰピクチャ、Ｂピクチャでの発生符号
見積り量に比べ圧倒的に多く、しかも、そのＩピクチャ
がシーンチェンジのフレームでない場合には、その仮の
ＩピクチャをＰピクチャに変更するようにする。

【００２８】この目的のため、この例においては、圧縮
符号化部２１の前段に、シーンチェンジ検出部１２と、
発生符号量見積り部１７とを設ける。

【００２９】入力画像データＤｉは、入力端子１１を通
じてシーンチェンジ検出部１２に供給される。シーンチ
ェンジ検出部１２は、動画中でシーンが変化するフレー
ムを検出するもので、この例では、その検出方法とし
て、例えば画像入力データＤｉの現在のフレームと、１
フレーム前のフレームとの２フレーム間の差分をとり、
その差分の絶対値がスレッショールド値を越えた場合
に、現フレームをシーンチェンジのフレームとして検出
する方法を用いる。なお、このシーンチェンジの検出方
法としては、この方法に限られるものでないことはもち
ろんである。このシーンチェンジ検出部１２の検出信号
ＣＨＧ（この例ではフレーム単位）は、ＧＯＰコントロ
ーラ１４に供給される。

【００３０】入力端子１１を通じた入力画像データＤｉ
は、また、ピクチャ順入れ替え部１３に供給される。ピ
クチャ順入れ替え部１３は、ＧＯＰシーケンス発生部１
５からの前述した３種類のピクチャタイプ（Ｉピクチ
ャ、Ｐピクチャ、Ｂピクチャの３タイプ）の情報に基づ
いて、各ピクチャの予測符号化の方向を考慮して、指定
されたピクチャタイプで予測符号化ができるようにフレ
ーム順序を変更する。

【００３１】ＧＯＰシーケンス発生部１５は、周期的に
イントラ符号化のみを行なうフレーム、すなわち、Ｉピ
クチャを含み、前記の３種のピクチャタイプからなる複
数フレームとして仮のＧＯＰのシーケンスを発生する。
この例の場合、強制的に８フレームごとにＩピクチャが
登場するように、仮のＧＯＰシーケンスが定められてい
る。ここで、仮のＧＯＰシーケンスと称したのは、前述
したように、このＧＯＰシーケンス発生部１５により指
定されたＩピクチャが、ＧＯＰコントローラ１４によっ
てＰピクチャに変更される場合があるからである。

【００３２】このＧＯＰシーケンス発生部１５からのピ
クチャタイプの情報ｔｙは、ＧＯＰコントローラ１４、
符号化モードおよび動きベクトル決定部１６、発生符号
量見積り部１７に供給される。

【００３３】符号化モードおよび動きベクトル決定部１
６は、ピクチャ順入れ替え部１３からの画像データを受
けるとともに、ＧＯＰシーケンス発生部１５からのピク
チャタイプの情報ｔｙを受け、マクロブロック単位で符
号化モードを決定する。この場合、ピクチャタイプがイ
ントラフレームのＩピクチャであれば、すべてイントラ
モードとする。また、ピクチャタイプが他のタイプのイ
ンターフレームとするものであれば、イントラモードか
インターモードか、インターモードであれば、予測符号
化の予測方向が片方向か両方向か、片方向であれば、順
方向か逆方向かを決定する。

【００３４】また、符号化モードおよび動きベクトル決
定部１６は、ピクチャタイプに応じて動き検出および動
きベクトルの検出を行なう。

【００３５】発生符号量見積り部１７は、実際の圧縮符
号化に先立ち、指定されたピクチャタイプで符号化され
たときの発生符号量（可変長符号化部２２からの発生符
号量に対応）を見積る。発生符号量見積り部１７は、可
変長符号化部２２で発生する符号化領域単位の発生符号
量を事前に見積るもので、この例の場合、発生符号量の
見積りはフレーム単位で行なわれる。

【００３６】発生符号量見積り部１７では、発生符号量
の見積もり時に、ＧＯＰシーケンス発生部１５からのピ
クチャタイプの情報ｔｙが各フレームで使用されること
になる。また、符号化モードおよび動きベクトル決定部
１６で決定されたイントラ、インター、予測方向などの
符号化モードおよび動きベクトルなども、発生符号量を
見積る際に使用される。

【００３７】この例の場合、ＧＯＰシーケンス発生部１
５からのピクチャタイプｔｙがＩピクチャを指示するも
のである場合には、前述したように、ＩピクチャがＰピ
クチャに変更される場合を考慮して、符号化モードおよ
び動きベクトル決定部１６では、Ｐピクチャである場合
の符号化モード、動き検出および動きベクトルも決定さ
れる。

【００３８】また、発生符号量見積り部１７は、ＧＯＰ
シーケンス発生部１５からのピクチャタイプｔｙがＩピ
クチャを指示するものである場合には、決定部１６で決
定さらた前記ＩピクチャがＰピクチャである場合の符号
化モード、動き検出および動きベクトルを用いて、Ｐピ
クチャである場合の発生符号見積り量の算出を行なう。

【００３９】発生符号量見積り部１７で算出されたフレ
ーム単位の発生符号見積り量は、ＧＯＰコントローラ１
４を介してメモリ１８に蓄えられる。この例の場合、発
生符号量見積り部１７で見積もっているフレームと、圧
縮符号化部２１で実際に圧縮符号化しているフレームと
の間に、数フレームの見積り量推移観察区間を設定し、
メモリ１８には、その見積り量推移観察区間分の複数フ
レーム分の見積り量が記憶される。

【００４０】この例においては、この見積り量推移観察
区間の長さは、少なくとも１ＧＯＰ以上、この例では９
フレームとしている。

【００４１】そして、ＧＯＰコントローラ１４は、ＧＯ
Ｐシーケンス発生部１５からのピクチャタイプの情報ｔ
ｙがＩピクチャを示しているとき、発生符号量見積り部
１７からの発生符号量の見積り量により、当該フレーム
を、そのままＩピクチャで圧縮符号化したときの発生符
号見積り量ＥＩと、Ｐピクチャに変更して圧縮符号化す
るときの発生符号見積り量ＥＰとを調べ、これにより、
見積り量ＥＩが、見積り量ＥＰに比べて、有意とされる
ほどに多いかどうかを調べる。

【００４２】動画が連続しているシーン中においては、
フレームがＩピクチャとされたときの発生符号見積り量
ＥＩａと、Ｐピクチャとされたときの発生符号見積り量
ＥＰａとを比べると、概ね、見積り量ＥＩａは、ＥＰａ
＜ＥＩａ＜２・ＥＰａの範囲にある。

【００４３】一方、静止画が連続しているシーン中にお
いては、フレームがＩピクチャとされたときの発生符号
見積り量ＥＩｂと、Ｐピクチャとされたときの発生符号
見積り量ＥＰｂとを比べると、上記の範囲内にはなく、
ＥＩｂ＞２ＥＰｂとなる。場合によっては、ＥＩｂ＞１
０ＥＰｂとなる。そこで、前記の見積り量ＥＩと、見積
り量ＥＰとを比較することで、当該フレームが、静止画
が連続しているシーン部分のものであるかどうかが判定
できる。

【００４４】そして、当該フレームがシーンチェンジ部
分であれば、それはＩピクチャのまま符号化すべきもの
であるので、ピクチャタイプの変更は行なわないように
すべきであるので、見積り量ＥＩおよびＥＰと、シーン
チェンジ検出出力ＣＨＧとからＩピクチャをＰピクチャ
に変更するかどうかを決定することが可能である。

【００４５】しかし、この例では、静止画が連続してい
ることをより確実に検知するようにするため、メモリ１
８に蓄えられている、見積り量推移観察区間の過去のＰ
ピクチャ、Ｂピクチャの発生符号見積り量の推移を調
べ、静止画あるいは動きが非常に少ないシーンであるか
どうかを調べて、ピクチャタイプをＩピクチャからＰピ
クチャに変更するかどうかを決定する。すなわち、見積
り量推移観察区間の過去のＰピクチャ、Ｂピクチャの発
生符号見積り量の推移を調べ、それに応じて、見積り量
ＥＩと見積り量ＥＰとの差が度の程度であれば、Ｉピク
チャをＰピクチャに変更するかのスレッショールド値を
変更するようにする。

【００４６】また、定レート化バッファ２３の占有量が
少なく容量に十分に余裕があれば、ＩピクチャをＰピク
チャに変更しないようにすることもできるし、バッファ
２３の占有量が大きければ、見積り量ＥＩと見積り量Ｅ
Ｐの差がそれほど大きくなくても、ＩピクチャをＰピク
チャに変更したほうがよい場合もある。そこで、ＧＯＰ
コントローラ１４は、この例では、定レート化コントロ
ーラ２４からのバッファ占有量の情報をも参照して、Ｉ
ピクチャをＰピクチャに変更するか否かを決定する。

【００４７】そして、ＧＯＰコントローラ１４は、変更
したピクチャタイプにより、実際の圧縮符号化を圧縮符
号化部２１で行なわせるようにするため、前述したよう
に、ピクチャタイプの情報Ｔypを、圧縮符号化部２１お
よび定レート化コントローラ２４に知らせる。

【００４８】ピクチャ順入れ替え部１３からの画像デー
タは、遅延手段２０により、前述した見積り量推移観察
区間の複数フレーム分だけ遅延されて圧縮符号化部２１
に供給される。また、符号化モードおよび動きベクトル
決定部１６からの情報も、前述した見積り量推移観察区
間分の遅延を行なう遅延手段１９により遅延されて、圧
縮符号化部２１に供給される。

【００４９】なお、ＧＯＰコントローラ１４は、Ｉピク
チャからＰピクチャへの変更が頻繁に行なわれるなどし
て、イントラ符号化領域が少なくなる場合を考慮して、
ＩピクチャからＰピクチャへの変更が予め設定しておい
た規定回数を越えた場合には、後述するように、符号量
の極端な増加が起きない、１フレームより小さい適当な
符号化領域を周期的に選択設定し、その領域では量子化
ステップ幅を細かくしたイントラ符号化モードで符号化
が行なわれるように制御するようにするようにしてい
る。この制御信号は、ＧＯＰコントローラ１４から遅延
手段１９を通じて圧縮符号化部２１に送られる。

【００５０】以上の例では、見積り量推移観察区間を１
ＧＯＰ以上の長さとしたことにより、次のような効果が
得られる。すなわち、ＧＯＰコントローラ１４でＩピク
チャをそのまま、Ｉピクチャとするか、Ｐピクチャに変
更するかのために注目しているフレームは、圧縮符号化
部２１で符号化しようとしているフレームにとっては、
１ＧＯＰ分だけ未来のＩピクチャである。

【００５１】定レート化コントローラ２４において、圧
縮符号化部２１でこれから圧縮符号化を行なおうとする
Ｉピクチャのターゲット量を決めるとき、そのＩピクチ
ャに対して１ＧＯＰ分未来のＩピクチャが、そのままＩ
ピクチャであるのか、それともＰピクチャに変更された
が分かると、よりオーバーフローの危険性を回避しつ
つ、かつ、その中で許容されるビット量を有効に使うこ
とが可能になり、信頼性の高いターゲット量の決定を行
なうことができる。

【００５２】上述のように、見積り量推移観察区間を１
ＧＯＰ以上の長さとしたことにより、前記の１ＧＯＰ分
未来の仮Ｉピクチャがそのまま、Ｉピクチャとされる
か、Ｐピクチャに変更されたかの情報を定レート化コン
トローラ２４に伝達することができ、定レート化コント
ローラ２４は、圧縮符号化部２１での圧縮符号化の際の
ターゲット量を効率よく設定することができるものであ
る。すなわち、１ＧＯＰ分未来のＩピクチャがＰピクチ
ャに変更される場合には、圧縮符号化部２１でこれから
符号化するＩピクチャについてのターゲット量は、それ
を考慮してより多くのビットを割り付けることができ
る。

【００５３】以上の動作を、図２のタイムチャートにし
たがって、さらに説明する。図２Ａは、フレームパルス
を示す。また、図２Ｂは、フレーム単位の入力画像デー
タＤｉを示すものであり、数値は入力順のフレーム番号
を示している。ＧＯＰコントローラ１４は、図２のタイ
ムチャートの各フレームの最後で、そのフレームにおい
て、図１の各部で生成された各種パラメータを読み込
む。そして、ＧＯＰシーケンス発生部１５からのピクチ
ャタイプの情報ｔｙがＩピクチャである場合には、その
部分が静止画かどうかの判断を行ない、かつ、この例の
場合には、バッファ占有量が過去の発生符号量の影響で
上がっていると判断した場合には、そのＩピクチャをＰ
ピクチャに変更する。

【００５４】今、フレーム番号「１」のフレームがシー
ンチェンジのフレームであるとすると、図２Ｃに示すよ
うなシーンチェンジ検出信号ＣＨＧがシーンチェンジ検
出部１２から得られ、ＧＯＰコントローラ１４に与えら
れる。

【００５５】この例の場合、ＧＯＰシーケンス発生部１
５から図２Ｄに示すように、８フレーム毎にＩピクチャ
が挿入されるピクチャタイプの情報（図では記号ＩはＩ
ピクチャ、記号ＰはＰピクチャ、記号ＢはＢピクチャを
示している）が発生するものとする。このようなピクチ
ャタイプの情報により、ピクチャ順入れ替え部１３で
は、図２Ｅに示すように、フレーム順を入れ替える。

【００５６】そして、入れ替えられたフレームの画像デ
ータについて、フレーム単位で発生符号量見積り部１７
で発生符号量の見積りを行なった結果の例を図２Ｆに示
す。この図２Ｆで、各ピクチャタイプの記号に付与した
数値は入力順のフレーム番号である。

【００５７】そして、ピクチャ順入れ替え部１３からの
画像データは、遅延手段２０で９フレーム分遅延され
る。図２Ｇ，Ｈ，Ｉ，…，Ｎ，Ｏは、ピクチャ順入れ替
え部１３からの画像データがそれぞれ１フレームずつ遅
延された状態を示している。

【００５８】そして、図２Ｐは、圧縮符号化部２１で実
際に圧縮符号化が行なわれたときの可変長符号化部２２
から発生するフレーム単位の発生符号量のデータを示し
ている。

【００５９】次に、ＧＯＰコントローラ１４におけるＩ
ピクチャからＰピクチャへの変更動作の処理ルーチン
を、図３のフローチャートに従い説明する。

【００６０】まず、ＧＯＰコントローラ１４は、ステッ
プＳ１で、ＧＯＰシーケンス発生部１５で指定された現
見積りフレーム（当該時点で発生符号量見積り部１７で
見積りを行なうフレーム）のピクチャタイプを読む。次
に、ステップＳ２で、定レート化コントローラ２４から
の現符号化フレーム（当該時点で圧縮符号化部２１で符
号化を行なうフレーム）の発生符号量を読む。

【００６１】次に、ステップＳ３に進んで、現符号化フ
レームより１ＧＯＰ分未来である現見積りフレームの見
積り量を読む。次に、ステップＳ４で、現見積りフレー
ムがシーンチェンジフレームか否かを確かめるため、シ
ーンチェンジ検出信号ＣＨＧを読む。次に、ステップＳ
５で、現見積りフレームのピクチャタイプがＩピクチャ
であるか否か判断する。

【００６２】現見積りフレームがＩピクチャでなけれ
ば、ステップＳ１０に飛んで、次の見積りフレームまで
待ち、ステップＳ１に戻る。また、現見積りフレームが
Ｉピクチャであれば、ステップＳ６に進んで、現符号化
フレームより１ＧＯＰ分未来のフレームまでにシーンチ
ェンジがあるか否か判断し、シーンチェンジがあれば、
同様にステップＳ１０に飛んで、次の見積りフレームま
で待ち、ステップＳ１に戻る。

【００６３】一方、ステップＳ６で現符号化フレームよ
り１ＧＯＰ分未来のフレームまでにシーンチェンジがな
いと判断したときは、ステップＳ７に進んで、見積りフ
レームがＩピクチャであったときの発生符号見積り量Ｅ
Ｉと、見積りフレームがＰピクチャであったときの発生
符号見積り量ＥＰとを比較し、見積り量ＥＩが見積もり
量ＥＰよりも有意である程度に多いかどうか判断する。
ここで、有意かどうかは、前述したように、この例では
見積り量ＥＩが見積り量ＥＰの２倍以上であり、また、
過去のＢピクチャ、Ｐピクチャの状況やバッファ占有量
により応じた差異を判断するものとなる。ステップＳ６
とステップＳ７の判断処理は、静止画かどうかの判断で
ある。

【００６４】ステップＳ６で見積り量ＥＩと見積り量Ｅ
Ｐの差は、有意ではないとされたとき、つまり、静止画
でないと判断されたときには、ステップＳ１０に飛ん
で、次の見積りフレームまで待ち、ステップＳ１に戻
る。

【００６５】また、ステップＳ７で見積り量ＥＩと見積
り量ＥＰの差が、有意であるとされたとき、つまり、静
止画であると判断されたときには、ステップＳ８に進
み、定レート化バッファ２３のバッファ占有率が過去の
発生符号量の影響で上がっているか否かを判断する。現
符号化フレームより過去のフレームの符号発生量中に、
シーンチェンジなどにより著しい符号発生量の変化があ
れば、バッファ占有率は上がっている。

【００６６】ステップＳ８で、バッファ占有率が上がっ
ていると判断されたときには、ステップＳ９に進んで、
現見積りフレームのピクチャタイプをＩピクチャからＰ
ピクチャに変更する。その後、ステップＳ１０に進み、
次の見積りフレームまで待ち、ステップＳ１に戻る。ま
た、ステップＳ８で、バッファ占有率が上がってはいな
いと判断されたときには、ピクチャタイプの変更を行な
うことなく、ステップＳ１０に進んで、次の見積りフレ
ームまで待ち、ステップＳ１に戻る。

【００６７】図２のタイムチャートの例の場合に、フレ
ーム番号「９」のフレームＩ９はＩピクチャとＧＯＰシ
ーケンス発生部１５により指定されているが、その前の
複数フレームＢ０〜Ｉ９までの発生符号見積り部１７で
得られた各フレームの発生符号見積り量の推移を見る
と、図２Ｅに示すように、フレームＩ９の見積り量ＥＩ
が、それより前の８フレーム分のＰピクチャおよびＢピ
クチャの発生符号見積り量に比べ、著しく多くなってい
る点を除いて、同程度の少ないビット数で推移してお
り、かつ、その区間、シーンチェンジも検出されていな
い。

【００６８】そして、フレームＩ９をＰピクチャにし
て、発生符号見積り量を比べると、図２Ｅに示すよう
に、その見積り量ＥＰは、それより前の８フレーム分の
ＰピクチャおよびＢピクチャの発生符号見積り量と同程
度である。そこで、図３のフローチャートのステップＳ
６およびＳ７により、フレームＢ０〜Ｉ９までは静止画
が続いているものと判断されることになる。そして、図
２の例では、フレームＩ１は、シーンチェンジフレーム
であるので、Ｉピクチャのままとなっており、このフレ
ームＩ１より前のＧＯＰ（Ｉ−７〜Ｂ−２）の発生符号
量が多くて、バッファ占有率が上がっているので、フレ
ームＩ９は、Ｐピクチャに変更される。

【００６９】以上のようにして、ＧＯＰシーケンス発生
部１５により指定されたピクチャタイプがＩピクチャで
あるフレームの前後に、シーンチェンジや、符号量の多
いフレームがない場合、静止画がかなり長い間連続して
いると判断する。

【００７０】そして、その間のＰピクチャおよびＢピク
チャでは、インターモードばかりが選択されて符号化さ
れているので画質が向上してきているため、当該Ｉピク
チャと指定されたフレームをそのままＩピクチャとして
イントラモードで符号化すると、エントロピーが増大
し、発生符号量が一気に多くなり、バッファ占有率を押
し上げることなる。その結果、定レート化コントローラ
２４は量子化ステップ幅を粗くし、エントロピーを減ら
して定レート化制御を行なうので、量子化ステップ幅が
当該Ｉピクチャと、その直後で粗くなり、画質が劣化し
てしまう。そして、その後のインターフレームで静止画
が連続するため、徐々に画質が良くなるというように、
冒頭で述べたような現象が生じてしまう。

【００７１】この発明では、以上のような場合、Ｉピク
チャとして指定されていたフレームのピクチャタイプ
は、Ｐピクチャに変更されるので、上記のような現象に
よる画質の変化を防ぐことができる。

【００７２】なお、前述したように、以上のようなＩピ
クチャからＰピクチャへの変更が、規定回数を越えて行
なわれるような場合には、伝送上、イントラモードの領
域は復号化のためには必ず必要であるので、ＧＯＰコン
トローラ１４から、符号量の極端な増加が起きないよう
に１フレーム中の小さい範囲の適当な符号化領域を周期
的に選択する制御信号が遅延手段１９を通じて圧縮符号
化部２１に供給される。圧縮符号化部２１では、この指
定された小領域では量子化ステップ幅を細かくしたイン
トラ符号化モードで圧縮符号化を行なう。これにより、
イントラ符号化領域の画質が上げられ、周りのインター
符号化領域と比べて差異がないようにされる。

【００７３】なお、図３のフローチャートにおいて、ス
テップＳ８の処理は、必須のものではなく、ステップＳ
６およびステップＳ７で静止画を検出したときには、Ｉ
ピクチャをＰピクチャに変更するようにしてもよい。

【００７４】次に、定レート化コントローラ２４での処
理動作を図４のフローチャートを参照しながら説明す
る。

【００７５】まず、ステップＳ１１でフレームの先頭を
判別する。フレームの先頭になったら、ステップＳ１２
に進み、ＧＯＰコントローラ１４により確定されたピク
チャタイプの情報を読む。次に、ステップＳ１３で最新
ピクチャＰ０の見積り量Ｅ０を読み、記憶する。次に、
ステップＳ１４に進んで、バッファ占有量Ｂｅを読む。

【００７６】次に、ステップＳ１５において、これから
圧縮符号化するピクチャのフレーム（現ピクチャとい
う）のターゲットビット数Ｔを、以下の変数を使用して
算出する。ピクチャタイプＴyp。バッファ占有量Ｂｅ。現ピクチャＰｎから、最新ピクチャＰ０までの未来の
ピクチャＰｎ，Ｐｎ−１，Ｐｎ−２，…，Ｐ０の発生符
号見積り量Ｅｎ，Ｅｎ−１，Ｅｎ−２，…，Ｅ０。

【００７７】この場合、ターゲットビット数Ｔは、これ
らの関数、Ｔ＝ｆ（Ｔyp，Ｂｅ，Ｅｎ，Ｅｎ−１，Ｅｎ−２，…，
Ｅ０）として、算出する。

【００７８】次に、ステップＳ１６に進み、最小符号化
制御可能領域であるマクロブロック分のデータの符号化
を終了したか否かを判定し、終了したら次のステップＳ
１７に進む。

【００７９】このステップＳ１７では、可変長符号化部
２２からの発生符号量を読む。次に、ステップＳ１８に
進んで、アクティビティを読む。次に、ステップＳ１９
に進み、現ピクチャの累積発生符号量を求める。そし
て、ステップＳ２０に進み、圧縮符号化部２１に与える
量子化ステップ幅の情報を、ターゲットビット数Ｔと、
発生符号量と、アクティビティ（マクロブロック単位）
とから求める。そして、ステップＳ２１において、求め
た量子化ステップ幅の値を、圧縮符号化部２１に対して
出力する。

【００８０】次に、ステップＳ２２において、前回処理
終了したのはフレームの最後のマクロブロックであるか
否か判断し、そうであればステップＳ１１に戻り、次の
フレームの先頭まで待ち、以上の処理を繰り返す。ま
た、最後のマクロブロックでなければ、ステップＳ１６
に戻り、次のマクロブロックの処理まで待ち、ステップ
Ｓ１６以降を繰り返す。

【００８１】なお、ステップＳ１５でターゲットビット
数を算出するための変数の例として挙げた変数は、最小
限のものであり、これら以外の変数を用いても勿論よ
い。また、ステップＳ１１とステップＳ１６とでは、い
わゆるボーリング手法でフレームパルスや、マクロブロ
ック単位の処理時間と、ソフトウエアとの同期をとって
いるが、ボーリング手法とは別方法で割り込みを使用し
てもよい。

【００８２】なお、以上はＭＰＥＧ１の場合として説明
したが、ＭＰＥＧ２にも適用できることはいうまでもな
い。その場合には、フレーム単位ではなく、フィールド
単位で発生符号量や見積り量を算出する場合もある。

【００８３】また、この発明は、ＭＰＥＧに限らず、フ
レーム内符号化モードと、動き補償予測によるフレーム
間符号化モードとを使用する他の符号化方法の場合に
も、適用可能であることは言うまでもない。

【００８４】また、以上の例では、フレーム単位やフィ
ールド単位で、つまり、ＩピクチャからＰピクチャに変
更する場合として説明したが、フレームやフィールドよ
り小さい符号化領域単位、例えばスライスやマクロブロ
ック単位で、イントラ符号化モードとインター符号化モ
ードとの指定の変更を行なうようにする場合にも適用で
きる。その場合には、発生符号量見積り部１７および可
変長符号化部は、その変更を行なう符号化領域単位で発
生符号量を計算するようにする。

【００８５】

【発明の効果】以上説明したように、この発明によれ
ば、フレーム内符号化モードと、動き補償予測によるフ
レーム間符号化モードとを用いると共に、定レート化制
御を行ないながら、リアルタイムで画像圧縮符号化を行
なう画像符号化装置においても、動画中に静止画が続く
ようなシーンであっても、高画質の画像が得られる。

【図面の簡単な説明】

【図１】この発明による画像符号化装置の一実施例のブ
ロック図である。

【図２】この発明による画像符号化装置の動作説明に用
いるタイムチャートである。

【図３】図１の例の要部の処理動作の一例のフローチャ
ートを示す図である。

【図４】図１の例の他の要部の処理動作の一例のフロー
チャートを示す図である。

【符号の説明】

１２シーンチェンジ検出部１３ピクチャ順入れ替え部１４ＧＯＰコントローラ１５ＧＯＰシーケンス発生部１６符号化モードおよび符号化ベクトル決定部１７発生符号量見積り部１８メモリ２１圧縮符号化部２２可変長符号化部２３定レート化バッファ２４定レート化コントローラ

Claims

【特許請求の範囲】

【請求項１】画面内符号化モードと、動き補償予測によ
る画面間符号化モードとを用いると共に、予め設定され
た周期で前記画面内符号化モードでのみ圧縮符号化する
符号化領域を選択し、リアルタイムで画像圧縮符号化を
行なう画像符号化方法において、実際の圧縮符号化に先立ち、前記予め画面内符号化モー
ドでのみ圧縮符号化するように選択された符号化領域に
おける発生符号見積り量を、前記画面内符号化モードで
のものと、前記画面間符号化モードを含む状態でのもの
とを算出すると共に、前記符号化領域が含まれるフレームがシーンが変化する
部分であるか否かを検出し、前記画面内符号化モードでの発生符号見積り量と、前記
画面間符号化モードを含む状態での発生符号見積り量と
を比較し、その差が、動きが少ないシーンであると検出
されるほどに大きく、かつ、当該符号化領域を含むフレ
ームがシーンが変化する部分でもないときには、前記符
号化領域に対する前記画面内符号化モードで圧縮符号化
すべきとする選択を解除して、前記画面間符号化モード
を含む符号化モードで圧縮符号化するように指定を変更
するようにしたことを特徴とする画像符号化方法。
【請求項２】画面内符号化モードと、動き補償予測によ
る画面間符号化モードとを用いると共に、予め設定され
た周期で前記画面内符号化モードでのみ圧縮符号化する
符号化領域を選択指定し、リアルタイムで画像圧縮符号
化を行なう画像符号化方法において、実際の圧縮符号化に先立ち、指定された符号化モードで
の前記符号化領域単位の発生符号見積り量を算出し、前記符号化領域単位の前記算出した発生符号見積り量
を、前記実際の圧縮符号化に先立ち、複数画面分に渡っ
てメモリに記憶し、前記符号化領域が含まれるフレームがシーンが変化する
部分であるか否かを検出し、前記予め画面内符号化モードでのみ圧縮符号化するよう
に選択指定された符号化領域について算出された発生符
号見積り量と、前記メモリに記憶された、それ以前の符
号化領域単位の発生符号見積り量と、前記シーンが変化
する部分であるか否かの検出結果とを参照して、前記選
択指定された符号化領域が動きが少ないシーンのもので
あり、かつ、当該符号化領域を含むフレームがシーンが
変化する部分でもないときには、前記符号化領域に対す
る前記画面内符号化モードで圧縮符号化すべきとする選
択を解除して、前記画面間符号化モードを含む符号化モ
ードで圧縮符号化するように指定を変更するようにした
ことを特徴とする画像符号化方法。
【請求項３】請求項１に記載の画像符号化方法におい
て、圧縮符号化した画像データについて定レート化制御を行
なうようにしたことを特徴とする画像符号化方法。
【請求項４】請求項２に記載の画像符号化方法におい
て、圧縮符号化した画像データについて定レート化制御を行
なうようにしたことを特徴とする画像符号化方法。
【請求項５】請求項３に記載の画像符号化方法におい
て、定レート制御のためのバッファメモリのデータ占有量を
も、前記指定の変更を決定するための参照情報として用
いるようにしたことを特徴とする画像符号化方法。
【請求項６】請求項４に記載の画像符号化方法におい
て、定レート制御のためのバッファメモリのデータ占有量を
も、前記指定の変更を決定するための参照情報として用
いるようにしたことを特徴とする画像符号化方法。
【請求項７】画面内符号化モードと、動き補償予測によ
る画面間符号化モードとを用いると共に、予め設定され
た周期で前記画面内符号化モードでのみ圧縮符号化する
符号化領域を選択指定し、リアルタイムで画像圧縮符号
化を行なう画像符号化装置であって、圧縮符号化部と、前記各符号化領域について、どのような符号化モードで
符号化を行なうかを仮に指定する指定情報発生手段と、この圧縮符号化部の前段に設けられ、シーンが変化した
ことを検知するシーンチェンジ検出部と、前記圧縮符号化部の前段に設けられ、前記符号化領域単
位での発生符号量を見積る発生符号量見積り部と、前記シーンチェンジ検出部の検出出力と、前記発生符号
量見積り部の見積り量とに基づいて、前記予め画面内符
号化モードで圧縮符号化するように選択された符号化領
域を、そのまま画面内符号化モードで圧縮符号化を行な
わせるか否かを決定する判断手段とを備え、前記判断手段から前記圧縮符号化に、いずれのモードで
圧縮符号化を行なわせるかの指示情報を供給するように
したことを特徴とする画像符号化装置。
【請求項８】前記発生符号量見積り部は、見積り対象の
符号化領域についての前記指定情報発生手段からの指定
が、画面内符号化モードでのみ圧縮符号化するものであ
るときには、前記画面内符号化モードでのみ符号化した
ときの第１の発生符号見積り量と、前記画面間符号化モ
ードを含む状態での第２の発生符号見積り量とを算出
し、前記判断手段では、前記第１の発生符号見積り量と前記
第２の発生符号見積り量とを比較して、その比較結果
と、前記シーンチェンジ検出部からの検出出力とに基づ
いて前記決定を行なうようにしたことを特徴とする画像
符号化装置。
【請求項９】請求項７に記載の画像符号化装置におい
て、前記発生符号量見積り部での処理タイミングと前記圧縮
符号化部での処理タイミングとの間の遅延時間に対応す
る分、前記発生符号量見積り部で見積られた発生符号量
を格納するメモリを設け、前記判断手段は、前記シーンチェンジ検出部の検出出力
と、前記発生符号量見積り部の見積り量と、前記メモリ
に格納された過去の発生符号見積り量に基づいて、前記
予め画面内符号化モードで圧縮符号化するように選択さ
れた符号化領域を、そのまま画面内符号化モードで圧縮
符号化を行なわせるか否かを決定するようにしたことを
特徴とする画像符号化装置。
【請求項１０】請求項７に記載の画像符号化装置におい
て、前記圧縮符号化部の後段に、バッファメモリと、このバッファメモリからのデータ占有量の情報に基づい
て前記圧縮符号化部の量子化特性を制御して、前記バッ
ファメモリから出力されるデータの伝送レートを一定に
制御する制御手段とを設けるようにしたことを特徴とす
る画像符号化装置。
【請求項１１】請求項１０に記載の画像符号化装置にお
いて、前記バッファ占有量の情報を前記判断手段に供給し、前記判断手段は、前記シーンチェンジ検出部の検出出力
と、前記発生符号量見積り部の見積り量と、前記バッフ
ァ占有量に基づいて、前記予めフレーム内符号化モード
で圧縮符号化するように選択された符号化領域を、その
ままフレーム内符号化モードで圧縮符号化を行なわせる
か否かを決定するようにしたことを特徴とする画像符号
化装置。
【請求項１２】請求項７に記載の画像符号化装置におい
て、前記符号化領域より小さい領域を、周期的に選択して、
当該小領域では、強制的にフレーム内符号化モードで圧
縮符号化するように指定する手段を備えることを特徴と
する画像符号化装置。