JPH0750839A - 動画像の符号化方法 - Google Patents

Abstract

(57)【要約】 【目的】 動画像の符号化方法において、シーンチェン
ジなどの変化の激しいフレームが存在しても、極端な符
号量の増加を抑え、かつ画像劣化を目立たなくする。 【構成】 入力された動画像中にシーンチェンジを検出
すると、そのフレームをフレーム内符号化フレーム（Ｉ
フレーム）とし、その直前の少なくとも１枚のフレーム
については、前後両方向予測符号化フレーム（Ｂフレー
ム）とし、前方向の動き情報のみを符号化する。また、
シーンチェンジ直後のフレームをＢフレームにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像をディジタル符
号化して伝送または蓄積する動画像の符号化方法に関す
るものである。

【０００２】

【従来の技術】近年、情報化社会の進展に伴い、動画像
を時間や距離の壁を越えて、他者に伝えたいという要望
が高まっている。ディジタル技術の本格的な実用化の時
代を迎え、動画像を記録装置で記録・再生したり、通信
網を用いて遠距離間を伝送することが可能になってき
た。動画像のディジタル信号は、音声信号に比べて非常
に情報量が多いため、これを効率よく記録および伝送す
るには動画像の高能率符号化技術の開発が不可欠となっ
ている。

【０００３】動画像の符号化方式は、世界的規模で標準
化作業が行われており、各種機器に幅広く応用されると
期待されている（例えば「ＡＴＭ映像符号化に関する標
準化動向」、電子情報通信学会技術報告ＣＳ９２−２
６、pp.１〜８、１９９２年を参照）。

【０００４】以下図面を参照しながら、上述した従来の
動画像の符号化方法の一例について説明する。図７に、
従来の動画像の符号化方法の動作を示す。

【０００５】図７において、Ｉはフレーム内符号化フレ
ーム（以下、Ｉフレームと呼ぶ）、Ｐは過去からのみの
前方向予測フレーム（以下、Ｐフレームと呼ぶ）、Ｂは
過去と未来両方からの前後両方向予測フレーム（以下、
Ｂフレームと呼ぶ）を表す。

【０００６】入力された動画像は、グループ・オブ・ピ
クチャ（以下、ＧＯＰと呼ぶ）と呼ばれる一続きの連続
した画像群に分割される。一つのＧＯＰ内には必ず１枚
以上のＩフレームが存在し、Ｐフレームは過去の方向に
最も近いＰまたはＩフレームより予測符号化される。Ｂ
フレームは、過去の方向に最も近いＰまたはＩフレーム
と未来の方向に最も近いＰまたはＩフレームより予測符
号化される。

【０００７】以上で予測符号化とは、基準画像と符号化
対象の画像の単純な差分、または基準画像を動き補償し
たものと符号化対象の画像の差分を求め、それを符号化
することである。基準画像が２枚のときは、動き補償後
の画像を補間した画像を、新たな基準画像とする。

【０００８】実際には、すべての場合について予測符号
化するわけではなく、マクロブロックと呼ばれる８×８
画素または１６×１６画素の画素群ごとに、差分ではな
く符号化対象となる画像自身を符号化した方が効率がよ
いか判定し、もしそうならばフレーム内符号化を行う。
図７において、Ｉ、Ｐ、Ｂフレームの並び方はフレーム
ストラクチャと呼ばれ、どのＧＯＰについても同じとす
る事例が多い。

【０００９】

【発明が解決しようとする課題】しかし、以上の構成で
は、予測符号化を行っているＰ、Ｂフレームでシーンチ
ェンジ等の変化の激しい画像が発生すると、一般的に予
測符号化の効率が著しく低下するため、フレーム内符号
化が選択されて通常の予測符号化を行う場合より符号発
生量が増大する。この符号発生量を抑圧すると、該当す
る画像が劣化し、それを基準画像とする画像も劣化しや
すくなるという課題があった。

【００１０】本発明は以上の課題に鑑み、シーンチェン
ジ等の変化の激しい画像がある場合でも劣化が目立た
ず、極端な発生符号量の増加を起こさない動画像の符号
化方法を提供するものである。

【００１１】

【課題を解決するための手段】上記目的を達するため、
本発明の映像信号の符号化方法は、動画像を入力とし、
前記動画像を連続したＮ個（Ｎは２以上の整数）の映像
フレームをまとめた映像フレーム群毎に符号化を行い、
前記映像フレーム群中に少なくとも１つのフレーム内符
号化フレームを含み、前記フレーム内符号化フレームを
除く映像フレームについては前方予測符号化と前後両方
向予測符号化のどちらか一方を行う場合、前記映像フレ
ーム群中でシーンチェンジ点を検出すると、前記シーン
チェンジ点の映像フレームをフレーム内符号化フレーム
とし、前記シーンチェンジ点の映像フレームの直前の少
なくとも１枚の映像フレームを前後両方向予測符号化フ
レームとし、前記前後両方向予測符号化フレームについ
ては前記動画像の前方向の動き情報のみを符号化するこ
とを特徴とする。

【００１２】また、本発明の映像信号の符号化方法は、
シーンチェンジ点の直後の映像フレームを強制的に前後
両方向予測符号化フレームにすることを特徴とする。

【００１３】

【作用】本発明は上記した構成により、符号化対象のフ
レームがシーンチェンジ等で変化が激しい場合、そのフ
レームを強制的にＩフレームにすると同時に、シーンチ
ェンジ直前の少なくとも１枚のフレームについては、強
制的に動き情報のみを符号化するＢフレームにする。さ
らにシーンチェンジ直後のフレームをＢフレームにす
る。

【００１４】

【実施例】以下、本発明の一実施例の動画像の符号化方
法について、図面を参照しながら説明する。図１に、本
発明の第１の実施例の動画像の符号化方法の動作を示す
図である。図１（ａ）は、本実施例のフレームストラク
チャ（基本ストラクチャ）の一部分であり、全体のスト
ラクチャは図７の通りとする。

【００１５】もし、入力された動画像中にシーンチェン
ジが存在しなければ、図７に示したフレーム種で符号化
してゆく。シーンチェンジが存在する場合でも、基本ス
トラクチャと同様なフレーム種で符号化してゆくが、シ
ーンチェンジ前後のフレームを条件に応じて変更する。

【００１６】具体的な符号化処理は、図１（ａ）に示す
ように、シーンチェンジが起こったフレーム位置によっ
て、６通りに分類できる。２枚のＰフレームに挟まれた
Ｂフレームでシーンチェンジが起こった場合でも、Ｂ点
またはＣ点でシーンチェンジが起こった場合と同様に扱
う。

【００１７】まず、Ａ点でシーンチェンジが起こった時
は、Ａ点自身がＩフレームなので、図１（ｂ）のよう
に、基本ストラクチャの通り符号化処理を続ける。シー
ンチェンジ直前の少なくとも１枚のＢフレームについて
は、その前方向の動き情報のみを符号化する。即ち、前
方向の動きベクトルは符号化するが、前方向の差分情報
と後方向の動きベクトルと差分情報はすべて０を符号化
する。以下、このようなＢフレームをＢｆフレームと呼
び、シーンチェンジ点に近い方からＢ_-1、Ｂ_-2、…、Ｂ
_-nと記す。

【００１８】前方向の動きベクトルのみを符号化する理
由は以下の通りである。人間の視覚特性について、シー
ンチェンジ直前の画像劣化は目立ちにくいことが知られ
ている。しかし、パンニング、物体の移動などを含む動
画像中のシーンチェンジの自然さ（画面がフリーズしな
い等）を考慮すれば、動き情報は重要な情報である。そ
こで、相関がある前方向の動き情報だけは符号化し、そ
れ以外は削減する。

【００１９】一般に、差分情報より動き情報の方が少な
く、また、「差分０」を表す符号の符号量は小さいの
で、Ｂｆフレーム化により他のフレームに割り当て可能
な符号量が増えることになり、総合的な画像劣化を軽減
できる。

【００２０】次に、Ｂ点でシーンチェンジが起こったと
きは、図１（ｃ）のように、Ｂ点のフレームを強制的に
Ｉフレームにし、シーンチェンジ直前のフレームをＢｆ
フレームに変更する。この場合は、人間の視覚特性がシ
ーンチェンジ直前では劣化が目立ちにくいことを更に利
用し、シーンチェンジ直前の基本ストラクチャでは本来
Ｉフレームに相当するフレームをＢｆフレームに変更す
る。加えて、それに先行するＢフレームも、Ｂｆフレー
ムに変更すれば、一層の符号量削減が図れる。

【００２１】Ｃ点でシーンチェンジが起こったときは、
図１（ｄ）のように、やはりＣ点のフレームを強制的に
Ｉフレームにし、シーンチェンジ直前のフレームをＢｆ
フレームに変更する。そして、シーンチェンジ直後の、
基本ストラクチャでは本来Ｐフレームに相当するフレー
ムを、Ｂフレームに変更する。

【００２２】これは、もしこの変更を行わなければ、Ｉ
フレームとＰフレームが連続してしまい、符号化効率の
点で劣ってしまうからである。

【００２３】Ｄ点でシーンチェンジが起こったときは、
図１（ｅ）のように、Ｄ点のフレームを強制的にＩフレ
ームにし、シーンチェンジ直前のフレームをＢｆフレー
ムに変更する。この場合も、それに先行するＢフレーム
についても、Ｂｆフレームに変更することで、符号量削
減が図れる。

【００２４】Ｅ点でシーンチェンジが起こったときは、
図１（ｆ）のように、（ｄ）の場合と同様にする。ただ
し、この場合、シーンチェンジ直後の、基本ストラクチ
ャでは本来Ｉフレームに相当するフレームを、Ｂフレー
ムに変更する。

【００２５】Ｆ点でシーンチェンジが起こったときは、
図１（ｇ）のように、Ｆ点のフレームを強制的にＩフレ
ームにし、シーンチェンジの直前のフレームをＢｆフレ
ームに変更する。先行するＢフレームについても、Ｂｆ
フレームに変更することで、一層の符号量削減が図れ
る。また、Ａ点に来るＩフレームについては、Ｐフレー
ムに変更する。

【００２６】以上のような方法で符号化フレーム種を決
定すれば、符号化後のストラクチャは、シーンチェンジ
がなかった場合と比較しても大きく変わることないた
め、ハードウェア化が容易である。

【００２７】では次に、図２に本発明の第２の実施例の
動画像の符号化方法の動作を示す。基本ストラクチャ
は、第１の実施例と同一の場合である。

【００２８】もし、動画像中にシーンチェンジが存在し
なければ、図２（ａ）に示したフレーム種で符号化して
ゆく。シーンチェンジが存在する場合は、シーンチェン
ジしたフレームからは、基本ストラクチャのうちＩフレ
ーム以降と同様に符号化してゆく。ここで、シーンチェ
ンジ点のフレームを強制的にＩフレームにし、その直前
のフレームをＢｆフレームに変更する点は同じである。

【００２９】すなわち、Ａ点〜Ｆ点でシーンチェンジが
起こった場合、それぞれ図２（ｂ）〜（ｇ）のように符
号化する。すなわち、Ｉフレーム（シーンチェンジ点）
以降は、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ…の順に符号化してゆ
く。ただし、シーンチェンジがなかったと仮定した場
合、次に現れるＩフレームの位置、すなわち、図７のＺ
点からは、再び基本ストラクチャで符号化してゆく。

【００３０】以上のような方法で符号化フレーム種を決
定すれば、符号化後のストラクチャにおいて、Ｉフレー
ム後は必ずＢフレームが２枚続くため、符号化効率がよ
い。

【００３１】図３に本発明の一実施例の動画像の符号化
装置の構成を示す。図３において、３００は映像信号の
入力端子、３１０は適応符号化手段、３２０はシーンチ
ェンジ検出手段、３３０はフレーム種別を決定するフレ
ームストラクチャ決定手段、３９０は符号化出力端子で
ある。

【００３２】以上のように構成された動画像の符号化装
置について、以下、図３、図４、図５及び図６を用い
て、その動作について説明する。

【００３３】入力端子３００に入力された映像信号は、
シーンチェンジ検出手段３２０に入力され、動画像中の
シーンチェンジが検出される。シーンチェンジ検出手段
３２０の判定出力は、フレームストラクチャ決定手段３
３０に入力され、符号化フレームストラクチャが決定さ
れる。適応符号化手段３１０は、入力された映像信号を
１ＧＯＰ分以上蓄積した後、フレームストラクチャ決定
手段３３０の出力をもとに符号化する。

【００３４】シーンチェンジ検出手段３２０の一構成例
を図４に示す。図４において、４００は映像信号の入力
端子、４１０はフレームメモリ、４２０は演算器、４３
０は比較手段、４４０はしきい値設定手段、４９０は出
力端子である。

【００３５】入力された映像信号と、フレームメモリ４
１０で１フレームだけ遅延された映像信号の差分Ｄｆが
演算器４２０で求められ、しきい値設定手段４４０で予
め設定されたしきい値Ｄｔｈと比較され、Ｄｆ＞Ｄｔｈ
ならばシーンチェンジ点と判定し、その結果が出力端子
４９０から出力される。このとき、差分Ｄｆは、映像フ
レームの画素同士の差分の合計または平均値などが用い
られる。

【００３６】フレームストラクチャ決定手段３３０での
判定処理の一例を、図５と図６を用いて説明する。

【００３７】判定処理のために、シーンチェンジ点の位
置情報から符号化後のフレームストラクチャを記した変
換テーブルを設けておく。図５と図６は、それぞれ第１
の実施例、第２の実施例に相当する変換テーブルであ
る。

【００３８】図５または図６の変換テーブルにおいて、
ＳＣはシーンチェンジ点を検出したときの１５フレーム
中の位置、ｘはフレーム位置、表中のフレーム種は決定
された符号化後のフレームストラクチャである。表中
で、ｘ＝１６，１７は、それぞれ次にくる１５フレーム
におけるｘ＝１，２のフレームに相当する。

【００３９】まず、シーンチェンジ検出手段３２０で判
定された、シーンチェンジの有無とその位置情報（Ｓ
Ｃ）を参照し、もし、シーンチェンジがなければＳＣ＝
０のフレームストラクチャを適応符号化手段３１０に渡
す。もし、シーンチェンジがあれば、そのＳＣに対応す
るフレームストラクチャを渡す。

【００４０】ｘ＝１６，１７のフレーム種は、次にくる
１５フレームのフレームストラクチャの決定のときに限
り、ｘ＝１，２のフレーム種の代わりに用いる。

【００４１】以上の動作を繰り返し行うことで、次々に
適応符号化手段３１０に符号化すべきフレーム種を出力
する。

【００４２】なお、以上の処理は一例であり、Ｂｆフレ
ームは１枚だけであったが、複数枚に設定することも可
能である。

【００４３】また、以上で１ＧＯＰが１５フレームの例
で説明したが、Ｎフレーム（Ｎは２以上の整数）でもよ
く、また、ＧＯＰのフレームストラクチャにおいて、
Ｉ、ＰおよびＢフレームの枚数および配置は以上の限り
でなく、ＩまたはＰフレームで終わるものでもよい。

【００４４】さらに、インタレースされた動画像につい
て、偶数フィールドと奇数フィールドを分解してそれぞ
れ独立なフレームとみなす動画像の符号化方法でもよ
い。

【００４５】

【発明の効果】以上のように本発明は、シーンチェンジ
等の変化の激しい画像がある場合、そのフレームをＩフ
レームとして扱うので、画像の劣化が抑えられる。ま
た、人間に知覚されにくいシーンチェンジ直前の少なく
とも１枚のフレームについては、前方向の動き情報のみ
を符号化するＢフレームとし、さらにシーンチェンジ直
後のフレームを強制的にＢフレームにするので、符号量
の増大が抑えられる。

【図面の簡単な説明】

【図１】本発明の一実施例における動画像の符号化方法
の動作を示す図

【図２】本発明の一実施例における動画像の符号化方法
の動作を示す図

【図３】本発明の一実施例における動画像の符号化装置
の構成を示すブロック図

【図４】図３におけるシーンチェンジ検出手段の詳細を
示すブロック図

【図５】本発明の第１の実施例のフレームストラクチャ
決定手段の動作を示す図

【図６】本発明の第２の実施例のフレームストラクチャ
決定手段の動作を示す図

【図７】従来の動画像の符号化方法を示す図

【符号の説明】 ３１０ 適応符号化手段 ３２０ シーンチェンジ検出手段 ３３０ フレームストラクチャ決定手段

Claims (2)

【特許請求の範囲】
1. 【請求項１】動画像を入力とし、前記動画像を連続した
   Ｎ個（Ｎは２以上の整数）の映像フレームをまとめた映
   像フレーム群毎に符号化を行い、前記映像フレーム群中
   に少なくとも１つのフレーム内符号化フレームを含み、
   前記フレーム内符号化フレームを除く映像フレームにつ
   いては前方予測符号化と前後両方向予測符号化のどちら
   か一方を行う動画像の符号化方法であって、 前記映像フレーム群中でシーンチェンジ点を検出する
   と、前記シーンチェンジ点の映像フレームをフレーム内
   符号化フレームとし、前記シーンチェンジ点の映像フレ
   ームの直前の少なくとも１枚の映像フレームを前後両方
   向予測符号化フレームとし、前記前後両方向予測符号化
   フレームについては前記動画像の前方向の動き情報のみ
   を符号化することを特徴とした動画像の符号化方法。
2. 【請求項２】シーンチェンジ点の直後の映像フレームを
   強制的に前後両方向予測符号化フレームにすることを特
   徴とした請求項１記載の動画像の符号化方法。