JP3428332B2 - 画像符号化方法及び装置、並びに画像伝送方法 - Google Patents
画像符号化方法及び装置、並びに画像伝送方法Info
- Publication number
- JP3428332B2 JP3428332B2 JP32045396A JP32045396A JP3428332B2 JP 3428332 B2 JP3428332 B2 JP 3428332B2 JP 32045396 A JP32045396 A JP 32045396A JP 32045396 A JP32045396 A JP 32045396A JP 3428332 B2 JP3428332 B2 JP 3428332B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coded
- frame
- coding
- scene change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
び装置、並びに画像伝送方法に関し、特に、光ディス
ク、磁気ディスク、磁気テープ等の画像記録媒体に動画
の映像信号を蓄積用符号化して記録するシステムや、伝
送路を介して動画の映像信号を伝送するシステム等にお
いて使用される画像符号化方法及び装置、並びに画像伝
送方法に関する。
プ等にデジタル的に記録する場合、あるいは所定の伝送
媒体を介して伝送する場合、データを符号化し、圧縮し
て、データ量を減少するようにしている。
G(Moving Picture Image CodingExperts Group )の
符号化規格を用いる場合について説明する。MPEGと
は、ISO−IEC/JTC1/SC2/WG11にて
議論され、標準案として提案されたものであり、動き補
償予測符号化と離散コサイン変換(DCT:DiscreteCo
sine Transform) 符号化とを組み合わせたハイブリッ
ド方式である。例えば、本出願人による米国出願USP5,1
55,593(出願日:October 13, 1992)の明細書及び図面
において提案されている。
は、一つのビデオシーケンスはGOP(フレーム群)、
例えば15フレーム単位に分割されており、各フレーム
は、予測方式によって次の3種類に分類される。すなわ
ち、 Iピクチャ:(フレーム内あるいはイントラ符号化画
像:Intra-coded picture )、フレーム内で符号化され
る画像、 Pピクチャ:(順方向予測あるいは前方予測符号化画
像:Predictive-coded picture)、過去及び未来のPピ
クチャまたはIピクチャから動き予測を行なうフレーム
の画像、 Bピクチャ:(双方向予測あるいは両方向予測符号化画
像:Bidirectionallypredictive coded picture)、過
去及び未来のPピクチャまたはIピクチャから動き予測
を行なうフレームの画像、である。
法においては、Iピクチャ、PピクチャまたはBピクチ
ャのいずれかの予測モードで各フレームの画像を予測
し、予測誤差を符号化して伝送するようにしている。基
本的に予測誤差のみが伝送されるため、各フレームの画
像データをそのまま伝送する場合に比べて、データ量を
圧縮することができる。
入った画像群構造としてのGOP(グループオブピクチ
ャ)の構成例を図11に示す。ここでGOP中での各フ
レームの番号は表示順番を表す。
F14までの15フレームの画像信号をグループオブピ
クチャ(GOP)とし、処理の1単位とする。図中、
“I”、“P”、“B”で示されるフレームは、それぞ
れ上記Iピクチャ、Pピクチャ、Bピクチャで符号化さ
れるフレームを表す。Iピクチャのフレームとしては、
その画像情報だけで符号化して伝送する(フレーム内あ
るいはイントラ符号化)。これに対して、Pピクチャの
フレームとしては、基本的には、図11の(A)に示す
ように、それより時間的に過去にあるIピクチャまたは
Pピクチャのフレームを予測画像として、予測残差信号
を符号化して伝送する(順方向予測あるいは前方予測符
号化)。さらにBピクチャのフレームとしては、基本的
には、図11の(B)に示すように、時間的に過去およ
び未来にある参照フレームの両方を予測画像として、予
測残差信号を符号化して伝送する(双方向予測あるいは
両方向予測符号化)。
一連のピクチャにおいて、場面や情景等のシーンが切り
替わるようなシーンチェンジの箇所では、シーンチェン
ジの前のフレームから、シーンチェンジの後のフレーム
のピクチャを予測したとしても、その予測誤差が極めて
大きなものとなり、予測したフレームの画質は劣化す
る。また、その画質の劣化したフレームを予測画像とし
て、さらに他のフレームの画像データを圧縮すると、そ
の他のフレームの画像データもその画質が劣化すること
になる。
に、シーンチェンジがあったすぐ後にIピクチャを挿入
して、それ以降の参照フレームを新しいIピクチャにす
ることにより画質劣化の伝搬を防でいた。
うにフレームF7でシーンチェンジSCがあったとき、
その直後のPピクチャであるフレームF8のピクチャa
を、(B)に示すようにIピクチャに変更している。
ジ対策では、Iピクチャの枚数がシーケンス全体で増え
てしまう。従って、Iピクチャは1フレーム分の画像信
号をそのまま伝送するため、伝送するのに大きな情報量
が必要であり、そのためIピクチャの枚数増加が圧縮効
率の低下を招き、全体的な画質の劣化を招いていた。
を解決するために、少なくともフレーム内符号化、順方
向予測符号化及び双方向予測符号化を含む複数の符号化
モードのいずれかにて入力画像信号を所定の順序で符号
化し、フレーム内符号化画像、順方向符号化画像及び双
方向予測符号化画像を含む符号化データを生成する際
に、入力画像信号のシーンチェンジをフレーム内符号化
画像及び順方向符号化画像を用いて検出し、上記入力画
像信号をフレーム内符号化、順方向予測符号化及び双方
向予測符号化を含む複数の符号化モードのいずれかにて
符号化し、検出されたシーンチェンジ直後の順方向予測
符号化画像をフレーム内符号化画像に変更すると共に、
上記検出されたシーンチェンジの前後の少なくとも一方
のフレーム内符号化画像を順方向予測符号化画像に変更
し、上記検出は、固定された量子化サイズで符号化した
ときに発生するビット量をフレーム内符号化画像及び順
方向符号化画像毎に計測し、2つの順方向予測符号化画
像間の発生ビット量の変化分が第1の閾値を超えたと
き、あるいは、フレーム内符号化画像と順方向予測符号
化画像との間の発生ビット量の変化分が第2の閾値の範
囲にあるときをシーンチェンジと判断することを特徴と
している。
チェンジまでの間の同一シーン内のフレーム内符号化画
像の少なくとも一部を順方向予測符号化画像に変更する
ことを特徴としている。
は、量子化サイズを固定して符号化したときに発生する
ビット量をフレーム毎に計測し、2つの順方向予測符号
化画像間の発生ビット量の変化分や、フレーム内符号化
画像とその直後の順方向予測符号化画像との間の発生ビ
ット量の変化分や、順方向予測符号化画像とこの画像の
前後のフレーム内符号化画像との間の発生ビット量の変
化分に応じてシーンチェンジ検出を行うことが挙げられ
る。また、フレーム内の輝度値の平均をフレーム毎に計
測し、過去数フレームの平均と現在のフレームの値との
間の変化分に応じてシーンチェンジ検出を行うようにし
てもよい。
符号化画像よりも先にフレーム内符号化画像が配置され
ている場合には、上記変更を加えない。
法及び装置、並びに画像伝送方法のいくつかの好ましい
実施の形態について図面を参照しながら説明する。
本的な動作を説明するためのフローチャートである。こ
の画像符号化方法は、入力画像信号に対して、フレーム
内符号化、順方向予測符号化及び双方向予測符号化を含
む複数の符号化モードのいずれかにて所定の順序で符号
化を行って出力するものである。
おいては、入力画像信号のシーンチェンジを検出してい
る。次のステップS2においては、検出されたシーンチ
ェンジ直後の順方向予測符号化画像(Pピクチャ)をフ
レーム内符号化画像(Iピクチャ)に変更する。またこ
のステップS2においては、上記検出されたシーンチェ
ンジの前後の少なくとも一方のフレーム内符号化画像
(Iピクチャ)を順方向予測符号化画像(Pピクチャ)
に変更する。すなわち、シーンチェンジがあった場合、
過去または未来のIピクチャ、もしくはその両方をPピ
クチャに変更し、シーンチェンジ後の参照フレームをI
ピクチャに変更している。
参照しながら説明する。図2の(A)は、前記図11と
共に説明したようなGOP(グループオブピクチャ)の
例えば2つ分を示しており、フレームF7のBピクチャ
でシーンチェンジSCが検出された場合を示している。
このとき、検出されたシーンチェンジSCの直後の参照
フレームであるPピクチャ、すなわちフレームF8のピ
クチャaを、(B)に示すようにIピクチャに変更する
と共に、シーンチェンジSCよりも前の、すなわち過去
のIピクチャであるフレームF2のピクチャbを、
(B)に示すようにPピクチャに変更する。
に対して過去のIピクチャであるピクチャbの代わり
に、未来のIピクチャであるピクチャcをPピクチャに
変更してもよく、このときのフレームシーケンスを図3
の(A)に示している。この図3の(A)の例では、図
2の(A)のシーンチェンジSCの直後のPピクチャで
あるピクチャaをIピクチャに変更し、シーンチェンジ
SCに対して未来のIピクチャであるピクチャcをピク
チャPに変更している。
ンチェンジSCに対して過去及び未来のIピクチャであ
るピクチャb及びcの両方を、図3の(B)に示すよう
にPピクチャに変更してもよい。すなわちこの図3の
(B)の例では、図2の(A)のシーンチェンジSCの
直後のPピクチャであるピクチャaをIピクチャに変更
すると共に、シーンチェンジSCに対して過去及び未来
の両方のIピクチャであるピクチャb及びcをそれぞれ
ピクチャPに変更している。
よりも先にIピクチャがある場合には、上述したような
変更を加える必要はない。
とにより、シーンチェンジ直後にIピクチャが配置され
ることで画質劣化の伝搬を防止できると共に、全体とし
てのIピクチャの割合が増加しないため、圧縮効率の低
下も防止できる。
化装置の一例について図4を参照しながら説明する。
像信号を符号化して第1の符号化データを生成する第1
の符号化回路10と、入力映像信号の統計的性質あるい
は画像特性を求める画像解析あるいはフレーム内情報回
路60と、該第1の符号化回路10からの第1の符号化
データの所定時間毎のデータ量、及び該フレーム内情報
解析回路60からの統計データあるいは画像特性情報よ
りシーンチェンジを検出するシーンチェンジ検出回路3
0と、該シーンチェンジ検出回路30からの情報に基づ
いて上記所定時間毎に画像符号化の方法を決定するピク
チャタイプ指定回路99と、このピクチャタイプ指定回
路99からの情報に基づいて上記入力映像信号を符号化
して第2の符号化データを生成する第2の符号化回路4
0とを備える。
60は、例えば、輝度、平坦度の統計情報を計算し、入
力画像の画像特性情報として計算する。
画像の輝度についての統計情報としては、例えば、輝度
信号Yの所定時間毎の平均値(L)を挙げることができ
る。また、入力画像の色度についての統計情報として
は、例えば、色度信号Crの所定時間毎の平均値(R)
を挙げることができる。さらに、入力画像の平坦度の統
計情報としては、例えば、輝度信号Yの所定時間毎の分
散値(V)を挙げることができ、入力画像の動き量の統
計情報としては、例えば、動きベクトル量の所定時間毎
の平均値(M)をそれぞれ挙げることができる。
に、入力映像信号である入力画像データをフレームメモ
リ群12に記憶する。そして、ピクチャタイプ指定回路
100からのピクチャタイプを示す情報が動きベクトル
検出回路11に供給され、動きベクトル検出回路11
は、フレームメモリ群12に記憶された画像データ及び
ピクチャタイプを示す情報とに基づいて、マクロブロッ
ク単位で入力画像データの動きベクトルを検出する。さ
らに、第1の符号化回路10は、予測画像データを記憶
するフレームメモリ22を有し、上記フレームメモリ2
2から読み出された予測画像データが動き補償回路23
に供給され、上記動きベクトル検出回路11からの動き
ベクトルに基づいて、その予測画像データに対して動き
補償を施す。また、上記動きベクトル検出回路11から
のマクロブロック単位でのフレーム間差分の絶対値和が
フレーム内/前方/後方/両方向予測判定回路13に供
給され、さらに、このフレーム内/前方/後方/両方向
予測判定回路13は、供給されたフレーム間差分の絶対
値和により予測モードを決定し、ブロック単位でフレー
ム内/前方/後方/両方向予測の切り換えを行うように
予測符号化回路14を制御するために、その決定された
予測モードを予測符号化回路14に供給する。
23からの動き補償された予測画像データと入力画像デ
ータを受信し、予測判定回路13からの予測モードに基
づいて、その予測画像データと入力画像データとの差分
を演算して予測符号データ(差分データ)を出力する。
その予測符号化回路14からの予測誤差である差分デー
タは、例えば離散余弦変換(以下DCT:Discrete Cos
ine Transform という)回路に供給され、DCT回路1
5は、係数データを生成する。DCT回路15からの係
数データは、量子化回路16に供給される。量子化回路
16は、その係数データを一定の量子化ステップサイズ
で量子化して、量子化データを生成し、その量子化デー
タを可変長符号化回路(VLC:Variable Length Cod
e)17及び逆量子化回路18に供給する。可変長符号
化回路17は、量子化データを可変長符号化して、可変
長符号化データをカウンタに対して出力する。また、逆
量子化回路18は、上記量子化回路16からの量子化デ
ータを逆量子化して係数データに復元し、その係数デー
タを、例えば逆離散余弦変換(以下IDCT:Inverse
Discrete Cosine Transform という)回路20に供給す
る。IDCT回路20は、係数データを差分データに復
号して、その差分データを加算回路21に供給する。加
算回路21は、IDCT回路20からの差分データと上
記動き補償回路23からの動き補償された予測画像デー
タを受信し、それら差分データと予測画像データを加算
して、次の入力画像データに対する予測画像データを生
成し、その該予測画像データを上記フレームメモリ22
に供給する。
に示すように、入力画像データを遅延する遅延器43
と、遅延回路43からの入力映像信号である入力画像デ
ータをフレームメモリ群102に記憶する。そして、ピ
クチャタイプ指定回路99からのピクチャタイプを示す
情報とが動きベクトル検出回路101に供給され、動き
ベクトル検出回路101は、フレームメモリ群102に
記憶された画像データ及びピクチャタイプを示す情報と
に基づいて、マクロブロック単位で入力画像データの動
きベクトルを検出する。さらに、第2の符号化回路40
は、予測画像データを記憶するフレームメモリ52を有
し、上記フレームメモリ52から読み出された予測画像
データが動き補償回路53に供給され、上記動きベクト
ル検出回路101からの動きベクトルに基づいて、その
予測画像データに対して動き補償を施す。また、上記動
きベクトル検出回路101からのマクロブロック単位で
のフレーム間差分の絶対値和がフレーム内/前方/後方
/両方向予測判定回路103に供給され、さらに、この
フレーム内/前方/後方/両方向予測判定回路103
は、供給されたフレーム間差分の絶対値和により予測モ
ードを決定し、ブロック単位でフレーム内/前方/後方
/両方向予測の切り換えを行うように予測符号化回路4
4を制御するために、その決定された予測モードを予測
符号化回路44に供給する。
53からの動き補償された予測画像データと入力画像デ
ータを受信し、予測符号化回路44からの予測モードに
基づいて、その予測画像データと入力画像データとの差
分を演算して予測符号データ(差分データ)を出力す
る。その予測符号化回路44からの予測誤差である差分
データは、例えば離散余弦変換(以下DCT:Discrete
Cosine Transform という)回路45に供給され、DC
T回路45は、係数データを生成する。DCT回路45
からの係数データは、量子化回路46に供給される。量
子化回路46は、その係数データを一定の量子化ステッ
プサイズで量子化して、量子化データを生成し、その量
子化データを可変長符号化回路(VLC:Variable Len
gth Code)47及び逆量子化回路48に供給する。可変
長符号化回路47は、量子化回路45からの量子化デー
タの他にフレーム内/前方/後方/両方向予測判定回路
103により決定された予測モード及び動きベクトル検
出回路からの動きベクトルを受信し、それらのデータを
可変長符号化して、可変長符号化データとして送信バッ
ファ49に対して出力する。また、逆量子化回路48
は、上記量子化回路46からの量子化データを逆量子化
して係数データに復元し、その係数データを、例えば逆
離散余弦変換(以下IDCT:Inverse Discrete Cosin
e Transform という)回路50に供給する。IDCT回
路50は、係数データを差分データに復号して、その差
分データを加算回路51に供給する。加算回路51は、
IDCT回路50からの差分データと上記動き補償回路
53からの動き補償された予測画像データを受信し、そ
れら差分データと予測画像データを加算して、次の入力
画像データに対する予測画像データを生成し、その該予
測画像データを上記フレームメモリ52に供給する。ま
た、送信バッファ49は、可変長符号化回路47からの
可変長符号データを一旦記憶し、伝送データとして一定
のビットレートで出力される。また、この送信バッファ
49は、バッファの記憶状態を示す情報を量子化スケー
ル設定回路33にフィードバックする。量子化スケール
設定回路33は、、割当符号量と発生符号量及びフィー
ドバック情報により量子化回路46を制御する。また、
この出力データは、例えばディスク、テープもしくは半
導体メモリなどの記録媒体120に記録されるか、もし
くは伝送路110を介して受信側に伝送される。さら
に、この記録媒体に記録された伝送データ(符号化デー
タ)は、図示ぜず画像復号装置によって復号され、元の
画像データに復元される。
トル検出回路11からの入力画像データがフレーム内情
報解析回路60に供給され、フレーム内情報解析回路6
0は、所定時間ごとの入力画像データに関する統計情報
を求める。そして、これらの統計情報をシーンチェンジ
検出回路30に供給する。シーンチェンジ検出回路30
は、カウンタからの情報、ピクチャタイプ指定回路10
0からのピクチャタイプを示す情報及び入力された統計
情報に基づいてシーンチェンジを検出し、その検出結果
を示す情報をピクチャタイプ指定回路99に供給する。
ピクチャタイプ指定回路99は、ピクチャタイプ指定回
路100からの情報及びシーンチェンジ検出回路30か
らの検出情報に基づいて、ピクチャタイプを示す情報を
動きベクトル回路101に供給する。
する。第1の符号化回路10は、入力画像データの1シ
ーケンスに対して符号化処理を実行する。つまり、例え
ばピクチャタイプ指定回路100からのピクチャタイプ
を示す情報により、例えば、図5に示すように周期的に
ピクチャタイプ指定し、予測符号化処理、DCT変換処
理、一定の量子化ステップサイズでの量子化処理、可変
長符号化処理を順次実行する。また、シーンチェンジ検
出回路30は、シーンチェンジの検出を行ない、得られ
たシーンチェンジの情報をピクチャタイプ指定回路に9
9に供給する。そして、第2の符号化回路40は、ピク
チャタイプ指定回路99からのピクチャタイプを示す情
報により、ピクチャタイプのスケジュールが最適になる
ように符号化を行う。ここで、上記1シーケンスとは、
例えば、映画や番組の1本分のように、1つの画像記録
媒体に記録される全フレームを想定しており、この他、
記録媒体を分割して用いるときには各分割領域毎に記録
される全フレームを1シーケンスとしてもよい。また、
シーンチェンジ検出回路30は、カウンタ31からの、
第1の符号化回路により得られた第1のビットストリー
ムである可変長符号データの所定時間毎のデータ量と、
ピクチャタイプ指定回路100からのピクチャタイプを
示す情報と、フレーム内情報解析回路60により求めら
れた入力映像信号の輝度信号Yの所定時間毎の平均値
(L)および分散(V)、色度信号Crの所定時間毎の
平均値(R)と、動きベクトル量の所定時間毎の平均値
(M)などに基づきシーンチェンジを検出し、所定時間
毎のピクチャータイプの指定を上記1シーケンス分求め
ている。また、第2の符号化回路40は、ピクチャタイ
プ指定回路99からのピクチャタイプを示す情報に基づ
いて、入力画像データに再び予測符号化処理、DCT変
換処理、量子化処理、可変長符号化処理を施して、第2
のビットストリームである可変長符号データを生成す
る。その際に、第2の符号化回路40は、入力画像デー
タを上記符号化ビットレートに基づいた量子化ステップ
サイズで量子化している。
は一定のピクチャ枚数ごとに、GOPとよばれる一まと
まりのグループとしてエンコードされる。上記第1の実
施例の画像符号化装置を構成する第1の符号化回路10
の動作の具体例について、図5のGOP周期でピクチャ
指定されるときを例に挙げ説明する。
れ、Pピクチャはその前の参照フレームであるIピクチ
ャまたはPピクチャから符号化され、Bピクチャはその
前後の参照フレームから作成される。そのため図5の各
フレームF0〜F14の順序で入力画像とピクチャタイ
プが指定されたとすると、図5の符号化順序に示すよう
な順序で符号化される。すなわち、入力された各フレー
ムF2,F0,F1,F5,F3,F4,F8,F6,
F7,F11,F9,F10,F14,F12,F13
の順に符号化される。
ピクチャタイプの情報を得て、入力画像がいつの時刻に
符号化されるか判断をし、符号化される時間になればフ
レームメモリ12から取り出して動きベクトルを導き出
す。
回路16は、量子化ステップサイズを例えば1としてD
CT回路15から供給される係数データを量子化して、
量子化データを生成する。符号化制御回路のカウンタ3
1は、この量子化データを可変長符号化して得られる可
変長符号データ(第1のビットストリーム)のデータ量
を所定の単位時間、例えばフレーム毎に計数して、発生
符号量(y)をフレーム毎に求める。さらに、画像解析
あるいはフレーム内情報解析回路60により、該フレー
ム内の輝度信号Yの平均値(L)及び分散(V)と、色
度信号Crの平均値(R)とを求め、またマクロブロッ
クの動きベクトル量の平均値(M)を求める。
号化回路10での発生符号量(y)を計測し、フレーム
がどのピクチャタイプで符号化されているかを考慮し
て、各パラメータのフレーム間差分の状態を観察する。
そして、フレーム間の差分量と設定されている所定の値
とを比較し、その比較結果によりシーンチェンジの有無
を判別する。具体的には、その差分の値が設定された閾
値を超えていた場合に、そのフレームにシーンチェンジ
があると判断する。
のいくつかの例について、図6〜図9を参照しながら説
明する。
量(y)のピクチャ毎の変化を用いて、2つのPピクチ
ャ間の発生ビット量(y)の変化分あるいは差分に応じ
てシーンチェンジ検出を行なっている。すなわち、現在
のピクチャがPピクチャの例えば図6中のフレームF8
のとき、このフレームF8での発生ビット量(y)につ
いて、これ以前のPピクチャである図6中のフレームF
5での発生ビット量(y)との差分を演算する。その差
分Yaが所定の閾値を超えていた場合、これらのPピク
チャの間、すなわち図6中のフレームF5からF8まで
の間にシーンチェンジがあったとして、現在のPピクチ
ャであるフレームF8にてシーンチェンジSCが発見さ
れたとしている。
上記発生ビット量(y)とその後のPピクチャでの発生
ビット量(y)との間の変化分あるいは差分に応じてシ
ーンチェンジ検出を行っている。すなわち、現在のピク
チャがIピクチャの直後のPピクチャ(図7中のフレー
ムF5)であるとき、このPピクチャでの発生ビット量
(y)と、以前のIピクチャ(図7中のフレームF2)
での発生ビット量(y)との差分を演算する。その差分
Ybが所定の閾値の範囲にある場合、これらのIピクチ
ャとPピクチャの間である図7中のフレームF2からF
5までの間にシーンチェンジがあったとして、現在のP
ピクチャであるフレームF5でシーンチェンジが発見さ
れたとしている。
て、Pピクチャとその前後のIピクチャとの間の変化分
あるいは差分を求めてシーンチェンジ検出を行う具体例
を示している。すなわち、現在のピクチャがPピクチャ
の例えば図8中のフレームF8のとき、このフレームF
8での発生ビット量(y)と、こpピクチャの前後のI
ピクチャである図8中のフレームF2またはF17との
差分を演算する。その差分YcまたはYdが所定の閾値
の範囲にある場合、PピクチャとPピクチャの間にシー
ンチェンジがあったとして、現在のPピクチャでシーン
チェンジが発見されたとしている。
からの情報である画面の輝度値の平均(L)を用いてシ
ーンチェンジ検出を行なう例を示している。すなわち、
現在のピクチャをフレームF13とするとき、これ以前
の一定の複数数フレームの輝度値の平均値Lavとの差分
Leが所定の閾値を超えていた場合、そのピクチャであ
るフレームF13にシーンチェンジがあったとして、現
在のピクチャでシーンチェンジが発見されたとしてい
る。
ようなシーンチェンジ検出回路30からの情報に基づ
き、上記第2の符号化のためのピクチャ指定を行なう。
共に説明したように、シーンチェンジがあった直後の参
照フレームをIピクチャに変更し、かつその直前のIピ
クチャをPピクチャに変更するか、もしくは上記図3の
(A)と共に説明したように、シーンチェンジがあった
直後の参照フレームをIピクチャにし、かつその直後の
IピクチャをPピクチャに変更する。あるいは、上記図
3の(C)と共に説明したように、シーンチェンジがあ
った直後の参照フレームをIピクチャに変更し、かつそ
の前後のIピクチャの両方をそれぞれPピクチャに変更
するようにしてもよい。なお、シーンチェンジ直後にP
ピクチャより先にIピクチャがある場合は、変更を加え
ない。
て説明する。なお、第2の符号化回路40を構成する量
子化スケール設定回路33、遅延器43、量子化回路4
6、送信バッファメモリ49以外の回路は、上述した第
1の符号化回路10を構成する回路と同じ動作を行うの
で、説明を省略する。
ピクチャタイプ指定回路99からピクチャタイプ信号が
出力されるまでの時間遅延する。そして、予測符号化回
路44、DCT回路45において、遅延された入力画像
データは、フレーム内/前方/後方/両方向予測判定回
路13から供給される予測モードに従った予測符号化処
理が施され、DCT回路45によって係数データが生成
され、その係数データが量子化回路46に入力される。
ファ49からのバッファフィードバック情報が、送信バ
ッファ49のオーバーフローが近いことを示す場合、上
記の割当符号量と発生符号量との比較結果によらず、量
子化ステップサイズを大きくしてオーバーフローを抑制
する。また、送信バッファからのバッファフィードバッ
ク情報が、送信バッファ49のアンダーフローが近いこ
とを示す場合、上記の割当符号量と発生符号量との比較
結果によらず、量子化ステップサイズを小さくしてアン
ダーフローを抑制するようにしてもよい。
ャの枚数がシーケンス全体で増えてしまい、Iピクチャ
は1フレーム分の画像信号をそのまま伝送するため、伝
送するのに大きな情報量が必要であり、そのためIピク
チャの枚数増加が圧縮効率の低下を招き、画質の劣化を
招いていた。しかしながら、上述したような本発明の実
施の形態によれば、Iピクチャの数を全体として増やす
ことなくシーンチェンジによる劣化を防ぎ、画質の向上
ができ、GOPの変更が全体の一部分ですみ、可変レー
トなどのビット割り当てに与える影響は少くてすむ。
て説明する。例えば図10の(A)に示すようなシーン
チェンジSC1、SC2があって、各シーンSN1、S
N2、SN3に分けられる場合において、上述したピク
チャタイプ指定回路99において、シーンチェンジ後の
最初のPピクチャ(フレームF5やフレームF20)を
Iピクチャに変更する。そして、さらに、次にシーンチ
ェンジが検出されるまで、Iピクチャ(フレームF8、
F17やフレームF26)をPピクチャに変更すること
によって、図10の(B)に示すようにIピクチャの数
を減らし、1シーン内のIピクチャの数を極力減らすよ
うに符号化してもよい。
減少させることにより、圧縮効率を高め画質を向上させ
ることができる。
に限定されるものではなく、例えばGOP(グループオ
ブピクチャ)内のピクチャタイプ構成やフレーム数は図
示の例に限定されず、この他、本発明の要旨を逸脱しな
い範囲で種々の変更が可能であることは勿論である。
符号化、順方向予測符号化及び双方向予測符号化を含む
複数の符号化モードのいずれかにて入力画像信号を所定
の順序で符号化し、フレーム内符号化画像、順方向符号
化画像及び双方向予測符号化画像を含む符号化データを
生成する際に、入力画像信号のシーンチェンジをフレー
ム内符号化画像及び順方向符号化画像を用いて検出し、
上記入力画像信号をフレーム内符号化、順方向予測符号
化及び双方向予測符号化を含む複数の符号化モードのい
ずれかにて符号化し、検出されたシーンチェンジ直後の
順方向予測符号化画像をフレーム内符号化画像に変更す
ると共に、上記検出されたシーンチェンジの前後の少な
くとも一方のフレーム内符号化画像を順方向予測符号化
画像に変更し、上記検出は、固定された量子化サイズで
符号化したときに発生するビット量をフレーム内符号化
画像及び順方向符号化画像毎に計測し、2つの順方向予
測符号化画像間の発生ビット量の変化分が第1の閾値を
超えたとき、あるいは、フレーム内符号化画像と順方向
予測符号化画像との間の発生ビット量の変化分が第2の
閾値の範囲にあるときをシーンチェンジと判断している
ため、シーンチェンジによる画質劣化を防ぐと同時に、
符号化ビット量の大きなフレーム内符号化画像の増加を
抑えて伝送情報量の増大を防ぎ、画質の向上が図れ、可
変レートなどのビット割り当てに与える影響は少くてす
む。
像を減少させることにより、圧縮効率を上げ画質を向上
させることができる。
説明するためのフローチャートである。
の一例を説明するための図である。
の他の例を説明するための図である。
例を示すブロック図である。
の順序及び符号化の順序を示す図である。
ための図である。
ための図である。
ための図である。
ための図である。
例を説明するための図である。
オブピクチャ及びピクチャタイプの一例を示す図であ
る。
プの変更の一例を説明するための図である。
/前方/後方/両方向予測判定回路、 14,44 予
測符号化回路、 30 シーンチェンジ検出回路、 4
0 第2の符号化回路、 99 ピクチャタイプ指定回
路
Claims (6)
- 【請求項1】 少なくともフレーム内符号化、順方向予
測符号化及び双方向予測符号化を含む複数の符号化モー
ドのいずれかにて入力画像信号を所定の順序で符号化
し、フレーム内符号化画像、順方向符号化画像及び双方
向予測符号化画像を含む符号化データを生成する画像符
号化方法において、 入力画像信号のシーンチェンジをフレーム内符号化画像
及び順方向符号化画像を用いて検出する検出工程と、 上記入力画像信号をフレーム内符号化、順方向予測符号
化及び双方向予測符号化を含む複数の符号化モードのい
ずれかにて符号化する符号化工程と、 検出されたシーンチェンジ直後の順方向予測符号化画像
をフレーム内符号化画像に変更すると共に、上記検出さ
れたシーンチェンジの前後の少なくとも一方のフレーム
内符号化画像を順方向予測符号化画像に変更する変更工
程とを有し、 上記検出工程は、固定された量子化サイズで符号化した
ときに発生するビット量をフレーム内符号化画像及び順
方向符号化画像毎に計測し、2つの順方向予測符号化画
像間の発生ビット量の変化分が第1の閾値を超えたと
き、あるいは、フレーム内符号化画像と順方向予測符号
化画像との間の発生ビット量の変化分が第2の閾値の範
囲にあるときをシーンチェンジと判断すること を特徴と
する画像符号化方法。 - 【請求項2】 上記変更工程は、上記シーンチェンジか
ら次のシーンチェンジまでの間の同一シーン内のフレー
ム内符号化画像の少なくとも一部を順方向予測符号化画
像に変更することを特徴とする請求項1記載の画像符号
化方法。 - 【請求項3】 フレーム内符号化、順方向予測符号化及
び双方向予測符号化を含む複数の符号化モードのいずれ
かにて入力画像信号を所定の順序で符号化し、フレーム
内符号化画像、順方向符号化画像及び双方向予測符号化
画像を含む符号化データを生成する画像符号化装置にお
いて、 入力画像信号のシーンチェンジをフレーム内符号化画像
及び順方向符号化画像を用いて検出する検出手段と、 上記入力画像信号をフレーム内符号化、順方向予測符号
化及び双方向予測符号 化を含む複数の符号化モードのい
ずれかにて符号化する符号化手段と、 検出されたシーンチェンジ直後の順方向予測符号化画像
をフレーム内符号化画像に変更し、上記検出されたシー
ンチェンジの前後の少なくとも一方のフレーム内符号化
画像を順方向予測符号化画像に変更する変更手段とを有
し、 上記検出手段は、固定された量子化サイズで符号化した
ときに発生するビット量をフレーム内符号化画像及び順
方向符号化画像毎に計測し、2つの順方向予測符号化画
像間の発生ビット量の変化分が第1の閾値を超えたと
き、あるいは、フレーム内符号化画像と順方向予測符号
化画像との間の発生ビット量の変化分が第2の閾値の範
囲にあるときをシーンチェンジと判断すること を特徴と
する画像符号化装置。 - 【請求項4】 上記変更手段は、上記シーンチェンジか
ら次のシーンチェンジまでの間の同一シーン内のフレー
ム内符号化画像の少なくとも一部を順方向予測符号化画
像に変更すること を特徴とする請求項3記載の画像符号
化装置。 - 【請求項5】 少なくともフレーム内符号化、順方向予
測符号化及び双方向予測符号化を含む複数の符号化モー
ドのいずれかにて入力画像信号を所定の順序で符号化
し、フレーム内符号化画像、順方向符号化画像及び双方
向予測符号化画像を含む符号化データを生成し、この符
号化データを伝送する画像伝送方法において、 入力画像信号のシーンチェンジをフレーム内符号化画像
及び順方向符号化画像を用いて検出すると共に、このシ
ーンチェンジ検出では、固定された量子化サイズで符号
化したときに発生するビット量をフレーム内符号化画像
及び順方向符号化画像毎に計測し、2つの順方向予測符
号化画像間の発生ビット量の変化分が第1の閾値を超え
たとき、あるいは、フレーム内符号化画像と順方向予測
符号化画像との間の発生ビット量の変化分が第2の閾値
の範囲にあるときをシーンチェンジと判断し、 上記入力画像信号をフレーム内符号化、順方向予測符号
化及び双方向予測符号化を含む複数の符号化モードのい
ずれかにて符号化データを生成し、 検出されたシーンチェンジ直後の順方向予測符号化画像
をフレーム内符号化画像に変更すると共に、上記検出さ
れたシーンチェンジの前後の少なくとも一方のフレーム
内符号化画像を順方向予測符号化画像に変更して、変更
された符号化データを生成し、 上記変更された符号化データを伝送データとして伝送す
ることを特徴とする画像伝送方法。 - 【請求項6】 上記変更は、上記シーンチェンジから次
のシーンチェンジまでの間の同一シーン内のフレーム内
符号化画像の少なくとも一部を順方向予測符号化画像に
変更すること を特徴とする請求項5記載の画像伝送方
法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP32045396A JP3428332B2 (ja) | 1995-12-28 | 1996-11-29 | 画像符号化方法及び装置、並びに画像伝送方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34416095 | 1995-12-28 | ||
JP7-344160 | 1995-12-28 | ||
JP32045396A JP3428332B2 (ja) | 1995-12-28 | 1996-11-29 | 画像符号化方法及び装置、並びに画像伝送方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09238353A JPH09238353A (ja) | 1997-09-09 |
JP3428332B2 true JP3428332B2 (ja) | 2003-07-22 |
Family
ID=26570094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32045396A Expired - Fee Related JP3428332B2 (ja) | 1995-12-28 | 1996-11-29 | 画像符号化方法及び装置、並びに画像伝送方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3428332B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6100940A (en) * | 1998-01-21 | 2000-08-08 | Sarnoff Corporation | Apparatus and method for using side information to improve a coding system |
JP4005691B2 (ja) | 1998-03-19 | 2007-11-07 | 株式会社東芝 | 動画像符号化方法および動画像符号化装置 |
JP5147546B2 (ja) * | 2008-05-30 | 2013-02-20 | キヤノン株式会社 | 映像符号化装置及び映像復号化装置 |
JP5146470B2 (ja) * | 2010-01-15 | 2013-02-20 | 富士通株式会社 | 画像制御装置 |
CN104782124B (zh) * | 2012-12-17 | 2018-09-07 | 英特尔公司 | 利用编码器硬件对视频内容进行预处理 |
-
1996
- 1996-11-29 JP JP32045396A patent/JP3428332B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09238353A (ja) | 1997-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6057893A (en) | Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium | |
US7224734B2 (en) | Video data encoding apparatus and method for removing a continuous repeat field from the video data | |
EP0883963B1 (en) | Dynamic coding rate control in a block-based video coding system | |
US6628713B1 (en) | Method and device for data encoding and method for data transmission | |
JPH08223577A (ja) | 動画像符号化方法及び装置、並びに動画像復号方法及び装置 | |
EP0700213B1 (en) | Motion picture encoding method and apparatus | |
US7606433B2 (en) | Encoding apparatus, encoding method, and storage medium | |
EP0878967A2 (en) | Signal coding apparatus and method | |
WO1999059344A1 (en) | Conditional masking for video encoder | |
JP2006135557A (ja) | 動画像符号化装置 | |
JP3428332B2 (ja) | 画像符号化方法及び装置、並びに画像伝送方法 | |
JPH06350995A (ja) | 動画像処理方法 | |
JPH09284770A (ja) | 画像符号化装置および方法 | |
JPH10229563A (ja) | 動画像符号化方法、及び動画像符号化装置 | |
JP4288897B2 (ja) | 符号化装置及び方法、プログラム、記録媒体 | |
WO1996033573A1 (en) | Device and method for coding moving image | |
JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 | |
JPH0775095A (ja) | レート制御回路 | |
JPH0993537A (ja) | ディジタル映像信号記録再生装置及びディジタル映像信号符号化方法 | |
JP2002218470A (ja) | 画像符号化データのレート変換方法、及び画像符号化レート変換装置 | |
JP3934772B2 (ja) | 可変転送レート符号化方法および装置 | |
JPH0646411A (ja) | 画像符号化装置 | |
JP4359273B2 (ja) | 符号化モード選択方法 | |
JP3922581B2 (ja) | 可変転送レート符号化方法および装置 | |
JP3590976B2 (ja) | 動画像圧縮装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030415 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090516 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100516 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100516 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |