JPH09238353A - 画像符号化方法及び装置、画像伝送方法、並びに画像記録媒体 - Google Patents

画像符号化方法及び装置、画像伝送方法、並びに画像記録媒体

Info

Publication number
JPH09238353A
JPH09238353A JP32045396A JP32045396A JPH09238353A JP H09238353 A JPH09238353 A JP H09238353A JP 32045396 A JP32045396 A JP 32045396A JP 32045396 A JP32045396 A JP 32045396A JP H09238353 A JPH09238353 A JP H09238353A
Authority
JP
Japan
Prior art keywords
image
frame
scene change
coded
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP32045396A
Other languages
English (en)
Other versions
JP3428332B2 (ja
Inventor
Takashi Kojima
尚 小嶋
Motoki Kato
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP32045396A priority Critical patent/JP3428332B2/ja
Publication of JPH09238353A publication Critical patent/JPH09238353A/ja
Application granted granted Critical
Publication of JP3428332B2 publication Critical patent/JP3428332B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 シーンチェンジによる符号化画像の画質劣化
を防ぐと共に、伝送情報量の増大を防止する。 【解決手段】 ステップS1において入力画像信号のシ
ーンチェンジを検出し、ステップS2において、検出さ
れたシーンチェンジ直後の順方向予測符号化画像をフレ
ーム内符号化画像に変更し、上記検出されたシーンチェ
ンジの前後の少なくとも一方のフレーム内符号化画像を
順方向予測符号化画像に変更して符号化を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像符号化方法及
び装置、画像伝送方法、並びに画像記録媒体に関し、特
に、光ディスク、磁気ディスク、磁気テープ等の画像記
録媒体に動画の映像信号を蓄積用符号化して記録するシ
ステムや、伝送路を介して動画の映像信号を伝送するシ
ステム等において使用される画像符号化方法及び装置、
画像伝送方法、並びに、画像復号装置によって復号可能
な画像記録媒体に関する。
【0002】
【従来の技術】画像データを光磁気ディスクや磁気テー
プ等にデジタル的に記録する場合、あるいは所定の伝送
媒体を介して伝送する場合、データを符号化し、圧縮し
て、データ量を減少するようにしている。
【0003】ここで、符号化規格としていわゆるMPE
G(Moving Picture Image CodingExperts Group )の
符号化規格を用いる場合について説明する。MPEGと
は、ISO−IEC/JTC1/SC2/WG11にて
議論され、標準案として提案されたものであり、動き補
償予測符号化と離散コサイン変換(DCT:DiscreteCo
sine Transform) 符号化とを組み合わせたハイブリッ
ド方式である。例えば、本出願人による米国出願USP5,1
55,593(出願日:October 13, 1992)の明細書及び図面
において提案されている。
【0004】このMPEG方式による符号化において
は、一つのビデオシーケンスはGOP(フレーム群)、
例えば15フレーム単位に分割されており、各フレーム
は、予測方式によって次の3種類に分類される。すなわ
ち、 Iピクチャ:(フレーム内あるいはイントラ符号化画
像:Intra-coded picture )、フレーム内で符号化され
る画像、 Pピクチャ:(順方向予測あるいは前方予測符号化画
像:Predictive-coded picture)、過去及び未来のPピ
クチャまたはIピクチャから動き予測を行なうフレーム
の画像、 Bピクチャ:(双方向予測あるいは両方向予測符号化画
像:Bidirectionallypredictive coded picture)、過
去及び未来のPピクチャまたはIピクチャから動き予測
を行なうフレームの画像、である。
【0005】このようないわゆるMPEG方式の圧縮方
法においては、Iピクチャ、PピクチャまたはBピクチ
ャのいずれかの予測モードで各フレームの画像を予測
し、予測誤差を符号化して伝送するようにしている。基
本的に予測誤差のみが伝送されるため、各フレームの画
像データをそのまま伝送する場合に比べて、データ量を
圧縮することができる。
【0006】ここで、上記Iピクチャが少なくとも1枚
入った画像群構造としてのGOP(グループオブピクチ
ャ)の構成例を図11に示す。ここでGOP中での各フ
レームの番号は表示順番を表す。
【0007】この図11においては、フレームF0乃至
F14までの15フレームの画像信号をグループオブピ
クチャ(GOP)とし、処理の1単位とする。図中、
“I”、“P”、“B”で示されるフレームは、それぞ
れ上記Iピクチャ、Pピクチャ、Bピクチャで符号化さ
れるフレームを表す。Iピクチャのフレームとしては、
その画像情報だけで符号化して伝送する(フレーム内あ
るいはイントラ符号化)。これに対して、Pピクチャの
フレームとしては、基本的には、図11の(A)に示す
ように、それより時間的に過去にあるIピクチャまたは
Pピクチャのフレームを予測画像として、予測残差信号
を符号化して伝送する(順方向予測あるいは前方予測符
号化)。さらにBピクチャのフレームとしては、基本的
には、図11の(B)に示すように、時間的に過去およ
び未来にある参照フレームの両方を予測画像として、予
測残差信号を符号化して伝送する(双方向予測あるいは
両方向予測符号化)。
【0008】
【発明が解決しようとする課題】ところで、伝送すべき
一連のピクチャにおいて、場面や情景等のシーンが切り
替わるようなシーンチェンジの箇所では、シーンチェン
ジの前のフレームから、シーンチェンジの後のフレーム
のピクチャを予測したとしても、その予測誤差が極めて
大きなものとなり、予測したフレームの画質は劣化す
る。また、その画質の劣化したフレームを予測画像とし
て、さらに他のフレームの画像データを圧縮すると、そ
の他のフレームの画像データもその画質が劣化すること
になる。
【0009】そこで従来においては、図12に示すよう
に、シーンチェンジがあったすぐ後にIピクチャを挿入
して、それ以降の参照フレームを新しいIピクチャにす
ることにより画質劣化の伝搬を防でいた。
【0010】すなわち図12において、(A)に示すよ
うにフレームF7でシーンチェンジSCがあったとき、
その直後のPピクチャであるフレームF8のピクチャa
を、(B)に示すようにIピクチャに変更している。
【0011】ところが、このような従来のシーンチェン
ジ対策では、Iピクチャの枚数がシーケンス全体で増え
てしまう。従って、Iピクチャは1フレーム分の画像信
号をそのまま伝送するため、伝送するのに大きな情報量
が必要であり、そのためIピクチャの枚数増加が圧縮効
率の低下を招き、全体的な画質の劣化を招いていた。
【0012】
【課題を解決するための手段】本発明は、上述した課題
を解決するために、入力画像信号のシーンチェンジを検
出し、検出されたシーンチェンジ直後の順方向予測符号
化画像をフレーム内符号化画像に変更すると共に、上記
検出されたシーンチェンジの前後の少なくとも一方のフ
レーム内符号化画像を順方向予測符号化画像に変更する
ことを特徴としている。
【0013】また、上記シーンチェンジから次のシーン
チェンジまでの間の同一シーン内のフレーム内符号化画
像の少なくとも一部を順方向予測符号化画像に変更する
ことを特徴としている。
【0014】ここで、上記シーンチェンジの検出として
は、量子化サイズを固定して符号化したときに発生する
ビット量をフレーム毎に計測し、2つの順方向予測符号
化画像間の発生ビット量の変化分や、フレーム内符号化
画像とその直後の順方向予測符号化画像との間の発生ビ
ット量の変化分や、順方向予測符号化画像とこの画像の
前後のフレーム内符号化画像との間の発生ビット量の変
化分に応じてシーンチェンジ検出を行うことが挙げられ
る。また、フレーム内の輝度値の平均をフレーム毎に計
測し、過去数フレームの平均と現在のフレームの値との
間の変化分に応じてシーンチェンジ検出を行うようにし
てもよい。
【0015】なお、シーンチェンジ直後に、順方向予測
符号化画像よりも先にフレーム内符号化画像が配置され
ている場合には、上記変更を加えない。
【0016】
【発明の実施の形態】以下、本発明に係る画像符号化方
法及び装置、画像伝送方法、並びに画像記録媒体のいく
つかの好ましい実施の形態について図面を参照しながら
説明する。
【0017】図1は、本発明に係る画像符号化方法の基
本的な動作を説明するためのフローチャートである。こ
の画像符号化方法は、入力画像信号に対して、フレーム
内符号化、順方向予測符号化及び双方向予測符号化を含
む複数の符号化モードのいずれかにて所定の順序で符号
化を行って出力するものである。
【0018】この図1において、最初のステップS1に
おいては、入力画像信号のシーンチェンジを検出してい
る。次のステップS2においては、検出されたシーンチ
ェンジ直後の順方向予測符号化画像(Pピクチャ)をフ
レーム内符号化画像(Iピクチャ)に変更する。またこ
のステップS2においては、上記検出されたシーンチェ
ンジの前後の少なくとも一方のフレーム内符号化画像
(Iピクチャ)を順方向予測符号化画像(Pピクチャ)
に変更する。すなわち、シーンチェンジがあった場合、
過去または未来のIピクチャ、もしくはその両方をPピ
クチャに変更し、シーンチェンジ後の参照フレームをI
ピクチャに変更している。
【0019】このときの具体的な動作を、図2、図3を
参照しながら説明する。図2の(A)は、前記図11と
共に説明したようなGOP(グループオブピクチャ)の
例えば2つ分を示しており、フレームF7のBピクチャ
でシーンチェンジSCが検出された場合を示している。
このとき、検出されたシーンチェンジSCの直後の参照
フレームであるPピクチャ、すなわちフレームF8のピ
クチャaを、(B)に示すようにIピクチャに変更する
と共に、シーンチェンジSCよりも前の、すなわち過去
のIピクチャであるフレームF2のピクチャbを、
(B)に示すようにPピクチャに変更する。
【0020】また、図2の(A)のシーンチェンジSC
に対して過去のIピクチャであるピクチャbの代わり
に、未来のIピクチャであるピクチャcをPピクチャに
変更してもよく、このときのフレームシーケンスを図3
の(A)に示している。この図3の(A)の例では、図
2の(A)のシーンチェンジSCの直後のPピクチャで
あるピクチャaをIピクチャに変更し、シーンチェンジ
SCに対して未来のIピクチャであるピクチャcをピク
チャPに変更している。
【0021】さらに他の例として、図2の(A)のシー
ンチェンジSCに対して過去及び未来のIピクチャであ
るピクチャb及びcの両方を、図3の(B)に示すよう
にPピクチャに変更してもよい。すなわちこの図3の
(B)の例では、図2の(A)のシーンチェンジSCの
直後のPピクチャであるピクチャaをIピクチャに変更
すると共に、シーンチェンジSCに対して過去及び未来
の両方のIピクチャであるピクチャb及びcをそれぞれ
ピクチャPに変更している。
【0022】なお、シーンチェンジの直後にPピクチャ
よりも先にIピクチャがある場合には、上述したような
変更を加える必要はない。
【0023】このようなピクチャタイプの変更を行うこ
とにより、シーンチェンジ直後にIピクチャが配置され
ることで画質劣化の伝搬を防止できると共に、全体とし
てのIピクチャの割合が増加しないため、圧縮効率の低
下も防止できる。
【0024】次に、本発明の実施の形態となる画像符号
化装置の一例について図4を参照しながら説明する。
【0025】この図4に示す画像符号化装置は、入力映
像信号を符号化して第1の符号化データを生成する第1
の符号化回路10と、入力映像信号の統計的性質あるい
は画像特性を求める画像解析あるいはフレーム内情報回
路60と、該第1の符号化回路10からの第1の符号化
データの所定時間毎のデータ量、及び該フレーム内情報
解析回路60からの統計データあるいは画像特性情報よ
りシーンチェンジを検出するシーンチェンジ検出回路3
0と、該シーンチェンジ検出回路30からの情報に基づ
いて上記所定時間毎に画像符号化の方法を決定するピク
チャタイプ指定回路99と、このピクチャタイプ指定回
路99からの情報に基づいて上記入力映像信号を符号化
して第2の符号化データを生成する第2の符号化回路4
0とを備える。
【0026】画像解析あるいあフレーム内情報解析回路
60は、例えば、輝度、平坦度の統計情報を計算し、入
力画像の画像特性情報として計算する。
【0027】上記画像特性情報の具体例を挙げる。入力
画像の輝度についての統計情報としては、例えば、輝度
信号Yの所定時間毎の平均値(L)を挙げることができ
る。また、入力画像の色度についての統計情報として
は、例えば、色度信号Crの所定時間毎の平均値(R)
を挙げることができる。さらに、入力画像の平坦度の統
計情報としては、例えば、輝度信号Yの所定時間毎の分
散値(V)を挙げることができ、入力画像の動き量の統
計情報としては、例えば、動きベクトル量の所定時間毎
の平均値(M)をそれぞれ挙げることができる。
【0028】第1の符号化回路10は、図4に示すよう
に、入力映像信号である入力画像データをフレームメモ
リ群12に記憶する。そして、ピクチャタイプ指定回路
100からのピクチャタイプを示す情報が動きベクトル
検出回路11に供給され、動きベクトル検出回路11
は、フレームメモリ群12に記憶された画像データ及び
ピクチャタイプを示す情報とに基づいて、マクロブロッ
ク単位で入力画像データの動きベクトルを検出する。さ
らに、第1の符号化回路10は、予測画像データを記憶
するフレームメモリ22を有し、上記フレームメモリ2
2から読み出された予測画像データが動き補償回路23
に供給され、上記動きベクトル検出回路11からの動き
ベクトルに基づいて、その予測画像データに対して動き
補償を施す。また、上記動きベクトル検出回路11から
のマクロブロック単位でのフレーム間差分の絶対値和が
フレーム内/前方/後方/両方向予測判定回路13に供
給され、さらに、このフレーム内/前方/後方/両方向
予測判定回路13は、供給されたフレーム間差分の絶対
値和により予測モードを決定し、ブロック単位でフレー
ム内/前方/後方/両方向予測の切り換えを行うように
予測符号化回路14を制御するために、その決定された
予測モードを予測符号化回路14に供給する。
【0029】予測符号化回路14は、上記動き補償回路
23からの動き補償された予測画像データと入力画像デ
ータを受信し、予測判定回路13からの予測モードに基
づいて、その予測画像データと入力画像データとの差分
を演算して予測符号データ(差分データ)を出力する。
その予測符号化回路14からの予測誤差である差分デー
タは、例えば離散余弦変換(以下DCT:Discrete Cos
ine Transform という)回路に供給され、DCT回路1
5は、係数データを生成する。DCT回路15からの係
数データは、量子化回路16に供給される。量子化回路
16は、その係数データを一定の量子化ステップサイズ
で量子化して、量子化データを生成し、その量子化デー
タを可変長符号化回路(VLC:Variable Length Cod
e)17及び逆量子化回路18に供給する。可変長符号
化回路17は、量子化データを可変長符号化して、可変
長符号化データをカウンタに対して出力する。また、逆
量子化回路18は、上記量子化回路16からの量子化デ
ータを逆量子化して係数データに復元し、その係数デー
タを、例えば逆離散余弦変換(以下IDCT:Inverse
Discrete Cosine Transform という)回路20に供給す
る。IDCT回路20は、係数データを差分データに復
号して、その差分データを加算回路21に供給する。加
算回路21は、IDCT回路20からの差分データと上
記動き補償回路23からの動き補償された予測画像デー
タを受信し、それら差分データと予測画像データを加算
して、次の入力画像データに対する予測画像データを生
成し、その該予測画像データを上記フレームメモリ22
に供給する。
【0030】また、上記第2の符号化回路40は、図4
に示すように、入力画像データを遅延する遅延器43
と、遅延回路43からの入力映像信号である入力画像デ
ータをフレームメモリ群102に記憶する。そして、ピ
クチャタイプ指定回路99からのピクチャタイプを示す
情報とが動きベクトル検出回路101に供給され、動き
ベクトル検出回路101は、フレームメモリ群102に
記憶された画像データ及びピクチャタイプを示す情報と
に基づいて、マクロブロック単位で入力画像データの動
きベクトルを検出する。さらに、第2の符号化回路40
は、予測画像データを記憶するフレームメモリ52を有
し、上記フレームメモリ52から読み出された予測画像
データが動き補償回路53に供給され、上記動きベクト
ル検出回路101からの動きベクトルに基づいて、その
予測画像データに対して動き補償を施す。また、上記動
きベクトル検出回路101からのマクロブロック単位で
のフレーム間差分の絶対値和がフレーム内/前方/後方
/両方向予測判定回路103に供給され、さらに、この
フレーム内/前方/後方/両方向予測判定回路103
は、供給されたフレーム間差分の絶対値和により予測モ
ードを決定し、ブロック単位でフレーム内/前方/後方
/両方向予測の切り換えを行うように予測符号化回路4
4を制御するために、その決定された予測モードを予測
符号化回路44に供給する。
【0031】予測符号化回路44は、上記動き補償回路
53からの動き補償された予測画像データと入力画像デ
ータを受信し、予測符号化回路44からの予測モードに
基づいて、その予測画像データと入力画像データとの差
分を演算して予測符号データ(差分データ)を出力す
る。その予測符号化回路44からの予測誤差である差分
データは、例えば離散余弦変換(以下DCT:Discrete
Cosine Transform という)回路45に供給され、DC
T回路45は、係数データを生成する。DCT回路45
からの係数データは、量子化回路46に供給される。量
子化回路46は、その係数データを一定の量子化ステッ
プサイズで量子化して、量子化データを生成し、その量
子化データを可変長符号化回路(VLC:Variable Len
gth Code)47及び逆量子化回路48に供給する。可変
長符号化回路47は、量子化回路45からの量子化デー
タの他にフレーム内/前方/後方/両方向予測判定回路
103により決定された予測モード及び動きベクトル検
出回路からの動きベクトルを受信し、それらのデータを
可変長符号化して、可変長符号化データとして送信バッ
ファ49に対して出力する。また、逆量子化回路48
は、上記量子化回路46からの量子化データを逆量子化
して係数データに復元し、その係数データを、例えば逆
離散余弦変換(以下IDCT:Inverse Discrete Cosin
e Transform という)回路50に供給する。IDCT回
路50は、係数データを差分データに復号して、その差
分データを加算回路51に供給する。加算回路51は、
IDCT回路50からの差分データと上記動き補償回路
53からの動き補償された予測画像データを受信し、そ
れら差分データと予測画像データを加算して、次の入力
画像データに対する予測画像データを生成し、その該予
測画像データを上記フレームメモリ52に供給する。ま
た、送信バッファ49は、可変長符号化回路47からの
可変長符号データを一旦記憶し、伝送データとして一定
のビットレートで出力される。また、この送信バッファ
49は、バッファの記憶状態を示す情報を量子化スケー
ル設定回路33にフィードバックする。量子化スケール
設定回路33は、、割当符号量と発生符号量及びフィー
ドバック情報により量子化回路46を制御する。また、
この出力データは、例えばディスク、テープもしくは半
導体メモリなどの記録媒体120に記録されるか、もし
くは伝送路110を介して受信側に伝送される。さら
に、この記録媒体に記録された伝送データ(符号化デー
タ)は、図示ぜず画像復号装置によって復号され、元の
画像データに復元される。
【0032】また、この画像符号化装置では、動きベク
トル検出回路11からの入力画像データがフレーム内情
報解析回路60に供給され、フレーム内情報解析回路6
0は、所定時間ごとの入力画像データに関する統計情報
を求める。そして、これらの統計情報をシーンチェンジ
検出回路30に供給する。シーンチェンジ検出回路30
は、カウンタからの情報、ピクチャタイプ指定回路10
0からのピクチャタイプを示す情報及び入力された統計
情報に基づいてシーンチェンジを検出し、その検出結果
を示す情報をピクチャタイプ指定回路99に供給する。
ピクチャタイプ指定回路99は、ピクチャタイプ指定回
路100からの情報及びシーンチェンジ検出回路30か
らの検出情報に基づいて、ピクチャタイプを示す情報を
動きベクトル回路101に供給する。
【0033】次に、本実施例についてさらに詳細に説明
する。第1の符号化回路10は、入力画像データの1シ
ーケンスに対して符号化処理を実行する。つまり、例え
ばピクチャタイプ指定回路100からのピクチャタイプ
を示す情報により、例えば、図5に示すように周期的に
ピクチャタイプ指定し、予測符号化処理、DCT変換処
理、一定の量子化ステップサイズでの量子化処理、可変
長符号化処理を順次実行する。また、シーンチェンジ検
出回路30は、シーンチェンジの検出を行ない、得られ
たシーンチェンジの情報をピクチャタイプ指定回路に9
9に供給する。そして、第2の符号化回路40は、ピク
チャタイプ指定回路99からのピクチャタイプを示す情
報により、ピクチャタイプのスケジュールが最適になる
ように符号化を行う。ここで、上記1シーケンスとは、
例えば、映画や番組の1本分のように、1つの画像記録
媒体に記録される全フレームを想定しており、この他、
記録媒体を分割して用いるときには各分割領域毎に記録
される全フレームを1シーケンスとしてもよい。また、
シーンチェンジ検出回路30は、カウンタ31からの、
第1の符号化回路により得られた第1のビットストリー
ムである可変長符号データの所定時間毎のデータ量と、
ピクチャタイプ指定回路100からのピクチャタイプを
示す情報と、フレーム内情報解析回路60により求めら
れた入力映像信号の輝度信号Yの所定時間毎の平均値
(L)および分散(V)、色度信号Crの所定時間毎の
平均値(R)と、動きベクトル量の所定時間毎の平均値
(M)などに基づきシーンチェンジを検出し、所定時間
毎のピクチャータイプの指定を上記1シーケンス分求め
ている。また、第2の符号化回路40は、ピクチャタイ
プ指定回路99からのピクチャタイプを示す情報に基づ
いて、入力画像データに再び予測符号化処理、DCT変
換処理、量子化処理、可変長符号化処理を施して、第2
のビットストリームである可変長符号データを生成す
る。その際に、第2の符号化回路40は、入力画像デー
タを上記符号化ビットレートに基づいた量子化ステップ
サイズで量子化している。
【0034】ここで、前述したいわゆるMPEGなどで
は一定のピクチャ枚数ごとに、GOPとよばれる一まと
まりのグループとしてエンコードされる。上記第1の実
施例の画像符号化装置を構成する第1の符号化回路10
の動作の具体例について、図5のGOP周期でピクチャ
指定されるときを例に挙げ説明する。
【0035】Iピクチャはそのピクチャだけで符号化さ
れ、Pピクチャはその前の参照フレームであるIピクチ
ャまたはPピクチャから符号化され、Bピクチャはその
前後の参照フレームから作成される。そのため図5の各
フレームF0〜F14の順序で入力画像とピクチャタイ
プが指定されたとすると、図5の符号化順序に示すよう
な順序で符号化される。すなわち、入力された各フレー
ムF2,F0,F1,F5,F3,F4,F8,F6,
F7,F11,F9,F10,F14,F12,F13
の順に符号化される。
【0036】動きベクトル検出回路は入力画像データと
ピクチャタイプの情報を得て、入力画像がいつの時刻に
符号化されるか判断をし、符号化される時間になればフ
レームメモリ12から取り出して動きベクトルを導き出
す。
【0037】上記図4の第1の符号化回路10の量子化
回路16は、量子化ステップサイズを例えば1としてD
CT回路15から供給される係数データを量子化して、
量子化データを生成する。符号化制御回路のカウンタ3
1は、この量子化データを可変長符号化して得られる可
変長符号データ(第1のビットストリーム)のデータ量
を所定の単位時間、例えばフレーム毎に計数して、発生
符号量(y)をフレーム毎に求める。さらに、画像解析
あるいはフレーム内情報解析回路60により、該フレー
ム内の輝度信号Yの平均値(L)及び分散(V)と、色
度信号Crの平均値(R)とを求め、またマクロブロッ
クの動きベクトル量の平均値(M)を求める。
【0038】シーンチェンジ検出回路30は、第1の符
号化回路10での発生符号量(y)を計測し、フレーム
がどのピクチャタイプで符号化されているかを考慮し
て、各パラメータのフレーム間差分の状態を観察する。
そして、フレーム間の差分量と設定されている所定の値
とを比較し、その比較結果によりシーンチェンジの有無
を判別する。具体的には、その差分の値が設定された閾
値を超えていた場合に、そのフレームにシーンチェンジ
があると判断する。
【0039】ここで、具体的なシーンチェンジ検出方法
のいくつかの例について、図6〜図9を参照しながら説
明する。
【0040】図6の具体例においては、上記発生ビット
量(y)のピクチャ毎の変化を用いて、2つのPピクチ
ャ間の発生ビット量(y)の変化分あるいは差分に応じ
てシーンチェンジ検出を行なっている。すなわち、現在
のピクチャがPピクチャの例えば図6中のフレームF8
のとき、このフレームF8での発生ビット量(y)につ
いて、これ以前のPピクチャである図6中のフレームF
5での発生ビット量(y)との差分を演算する。その差
分Yaが所定の閾値を超えていた場合、これらのPピク
チャの間、すなわち図6中のフレームF5からF8まで
の間にシーンチェンジがあったとして、現在のPピクチ
ャであるフレームF8にてシーンチェンジSCが発見さ
れたとしている。
【0041】図7の具体例においては、Iピクチャでの
上記発生ビット量(y)とその後のPピクチャでの発生
ビット量(y)との間の変化分あるいは差分に応じてシ
ーンチェンジ検出を行っている。すなわち、現在のピク
チャがIピクチャの直後のPピクチャ(図7中のフレー
ムF5)であるとき、このPピクチャでの発生ビット量
(y)と、以前のIピクチャ(図7中のフレームF2)
での発生ビット量(y)との差分を演算する。その差分
Ybが所定の閾値の範囲にある場合、これらのIピクチ
ャとPピクチャの間である図7中のフレームF2からF
5までの間にシーンチェンジがあったとして、現在のP
ピクチャであるフレームF5でシーンチェンジが発見さ
れたとしている。
【0042】図8は、上記発生ビット量(y)につい
て、Pピクチャとその前後のIピクチャとの間の変化分
あるいは差分を求めてシーンチェンジ検出を行う具体例
を示している。すなわち、現在のピクチャがPピクチャ
の例えば図8中のフレームF8のとき、このフレームF
8での発生ビット量(y)と、こpピクチャの前後のI
ピクチャである図8中のフレームF2またはF17との
差分を演算する。その差分YcまたはYdが所定の閾値
の範囲にある場合、PピクチャとPピクチャの間にシー
ンチェンジがあったとして、現在のPピクチャでシーン
チェンジが発見されたとしている。
【0043】次に図9は、フレーム内情報解析回路60
からの情報である画面の輝度値の平均(L)を用いてシ
ーンチェンジ検出を行なう例を示している。すなわち、
現在のピクチャをフレームF13とするとき、これ以前
の一定の複数数フレームの輝度値の平均値Lavとの差分
Leが所定の閾値を超えていた場合、そのピクチャであ
るフレームF13にシーンチェンジがあったとして、現
在のピクチャでシーンチェンジが発見されたとしてい
る。
【0044】ピクチャタイプ指定回路99は、上述した
ようなシーンチェンジ検出回路30からの情報に基づ
き、上記第2の符号化のためのピクチャ指定を行なう。
【0045】このピクチャ指定は、上記図2の(B)と
共に説明したように、シーンチェンジがあった直後の参
照フレームをIピクチャに変更し、かつその直前のIピ
クチャをPピクチャに変更するか、もしくは上記図3の
(A)と共に説明したように、シーンチェンジがあった
直後の参照フレームをIピクチャにし、かつその直後の
IピクチャをPピクチャに変更する。あるいは、上記図
3の(C)と共に説明したように、シーンチェンジがあ
った直後の参照フレームをIピクチャに変更し、かつそ
の前後のIピクチャの両方をそれぞれPピクチャに変更
するようにしてもよい。なお、シーンチェンジ直後にP
ピクチャより先にIピクチャがある場合は、変更を加え
ない。
【0046】次に、第2の符号化回路40の動作につい
て説明する。なお、第2の符号化回路40を構成する量
子化スケール設定回路33、遅延器43、量子化回路4
6、送信バッファメモリ49以外の回路は、上述した第
1の符号化回路10を構成する回路と同じ動作を行うの
で、説明を省略する。
【0047】遅延器43は、入力画像データを、例えば
ピクチャタイプ指定回路99からピクチャタイプ信号が
出力されるまでの時間遅延する。そして、予測符号化回
路44、DCT回路45において、遅延された入力画像
データは、フレーム内/前方/後方/両方向予測判定回
路13から供給される予測モードに従った予測符号化処
理が施され、DCT回路45によって係数データが生成
され、その係数データが量子化回路46に入力される。
【0048】量子化スケール設定回路33は、送信バッ
ファ49からのバッファフィードバック情報が、送信バ
ッファ49のオーバーフローが近いことを示す場合、上
記の割当符号量と発生符号量との比較結果によらず、量
子化ステップサイズを大きくしてオーバーフローを抑制
する。また、送信バッファからのバッファフィードバッ
ク情報が、送信バッファ49のアンダーフローが近いこ
とを示す場合、上記の割当符号量と発生符号量との比較
結果によらず、量子化ステップサイズを小さくしてアン
ダーフローを抑制するようにしてもよい。
【0049】従来のシーンチェンジ対策では、Iピクチ
ャの枚数がシーケンス全体で増えてしまい、Iピクチャ
は1フレーム分の画像信号をそのまま伝送するため、伝
送するのに大きな情報量が必要であり、そのためIピク
チャの枚数増加が圧縮効率の低下を招き、画質の劣化を
招いていた。しかしながら、上述したような本発明の実
施の形態によれば、Iピクチャの数を全体として増やす
ことなくシーンチェンジによる劣化を防ぎ、画質の向上
ができ、GOPの変更が全体の一部分ですみ、可変レー
トなどのビット割り当てに与える影響は少くてすむ。
【0050】次に、本発明に係る他の実施の形態につい
て説明する。例えば図10の(A)に示すようなシーン
チェンジSC1、SC2があって、各シーンSN1、S
N2、SN3に分けられる場合において、上述したピク
チャタイプ指定回路99において、シーンチェンジ後の
最初のPピクチャ(フレームF5やフレームF20)を
Iピクチャに変更する。そして、さらに、次にシーンチ
ェンジが検出されるまで、Iピクチャ(フレームF8、
F17やフレームF26)をPピクチャに変更すること
によって、図10の(B)に示すようにIピクチャの数
を減らし、1シーン内のIピクチャの数を極力減らすよ
うに符号化してもよい。
【0051】このように、同一シーン内のIピクチャを
減少させることにより、圧縮効率を高め画質を向上させ
ることができる。
【0052】なお、本発明は、上述した実施の形態のみ
に限定されるものではなく、例えばGOP(グループオ
ブピクチャ)内のピクチャタイプ構成やフレーム数は図
示の例に限定されず、この他、本発明の要旨を逸脱しな
い範囲で種々の変更が可能であることは勿論である。
【0053】
【発明の効果】本発明によれば、入力画像信号のシーン
チェンジを検出し、検出されたシーンチェンジ直後の順
方向予測符号化画像をフレーム内符号化画像に変更し、
上記検出されたシーンチェンジの前後の少なくとも一方
のフレーム内符号化画像を順方向予測符号化画像に変更
して符号化を行っているため、シーンチェンジによる画
質劣化を防ぐと同時に、符号化ビット量の大きなフレー
ム内符号化画像の増加を抑えて伝送情報量の増大を防
ぎ、画質の向上が図れ、可変レートなどのビット割り当
てに与える影響は少くてすむ。
【0054】また、同一シーン内のフレーム内符号化画
像を減少させることにより、圧縮効率を上げ画質を向上
させることができる。
【図面の簡単な説明】
【図1】本発明に係る画像符号化方法の基本的な動作を
説明するためのフローチャートである。
【図2】シーンチェンジに応じたピクチャタイプの変更
の一例を説明するための図である。
【図3】シーンチェンジに応じたピクチャタイプの変更
の他の例を説明するための図である。
【図4】本発明の実施の形態となる画像符号化装置の一
例を示すブロック図である。
【図5】グループオブピクチャ内のピクチャタイプ指定
の順序及び符号化の順序を示す図である。
【図6】シーンチェンジ検出の第1の具体例を説明する
ための図である。
【図7】シーンチェンジ検出の第2の具体例を説明する
ための図である。
【図8】シーンチェンジ検出の第3の具体例を説明する
ための図である。
【図9】シーンチェンジ検出の第4の具体例を説明する
ための図である。
【図10】同一シーン内のIピクチャを減少させる具体
例を説明するための図である。
【図11】画像データを圧縮符号化する場合のグループ
オブピクチャ及びピクチャタイプの一例を示す図であ
る。
【図12】従来のシーンチェンジに応じたピクチャタイ
プの変更の一例を説明するための図である。
【符号の説明】
10 第1の符号化回路、 13,103 フレーム内
/前方/後方/両方向予測判定回路、 14,44 予
測符号化回路、 30 シーンチェンジ検出回路、 4
0 第2の符号化回路、 99 ピクチャタイプ指定回

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 少なくともフレーム内符号化、順方向予
    測符号化及び双方向予測符号化を含む複数の符号化モー
    ドのいずれかにて入力画像信号を所定の順序で符号化
    し、フレーム内符号化画像及び順方向符号化画像を含む
    符号化データを生成する画像符号化方法において、 入力画像信号のシーンチェンジを検出する検出工程と、 上記入力画像信号をフレーム内符号化及び順方向予測符
    号化を含む複数の符号化モードのいずれかにて符号化す
    る符号化工程と、 検出されたシーンチェンジ直後の順方向予測符号化画像
    をフレーム内符号化画像に変更すると共に、上記検出さ
    れたシーンチェンジの前後の少なくとも一方のフレーム
    内符号化画像を順方向予測符号化画像に変更する変更工
    程とを有することを特徴とする画像符号化方法。
  2. 【請求項2】 上記変更工程は、上記検出されたシーン
    チェンジの時間的に前に存在するフレーム内符号化画像
    を順方向予測符号化画像に変更することを特徴とする請
    求項1記載の画像符号化方法。
  3. 【請求項3】 上記変更工程は、上記検出されたシーン
    チェンジの時間的に後ろに存在するフレーム内符号化画
    像を順方向予測符号化画像に変更することを特徴とする
    請求項1記載の画像符号化方法。
  4. 【請求項4】 上記変更工程は、上記検出されたシーン
    チェンジの時間的に前及び後ろに存在するフレーム内符
    号化画像の両方を順方向予測符号化画像に変更すること
    を特徴とする請求項1記載の画像符号化方法。
  5. 【請求項5】 上記変更工程は、上記シーンチェンジか
    ら次のシーンチェンジまでの間の同一シーン内のフレー
    ム内符号化画像の少なくとも一部を順方向予測符号化画
    像に変更することを特徴とする請求項1記載の画像符号
    化方法。
  6. 【請求項6】 上記検出工程は、固定された量子化サイ
    ズで符号化したときに発生するビット量をフレーム毎に
    計測し、2つの順方向予測符号化画像間の発生ビット量
    の変化分に応じてシーンチェンジ検出を行うことを特徴
    とする請求項1記載の画像符号化方法。
  7. 【請求項7】 上記検出工程は、固定された量子化サイ
    ズで符号化したときに発生するビット量をフレーム毎に
    計測し、フレーム内符号化画像とその直後の順方向予測
    符号化画像との間の発生ビット量の変化分に応じてシー
    ンチェンジ検出を行うことを特徴とする請求項1記載の
    画像符号化方法。
  8. 【請求項8】 上記検出工程は、固定された量子化サイ
    ズを符号化したときに発生するビット量をフレーム毎に
    計測し、順方向予測符号化画像とこの画像の過去又は未
    来のフレーム内符号化画像との間の発生ビット量の変化
    分に応じてシーンチェンジ検出を行うことを特徴とする
    請求項1記載の画像符号化方法。
  9. 【請求項9】 上記検出工程は、フレーム内の輝度値の
    平均をフレーム毎に計測し、過去数フレームの平均と現
    在のフレームの値との間の変化分に応じてシーンチェン
    ジ検出を行うことを特徴とする請求項1記載の画像符号
    化方法。
  10. 【請求項10】 フレーム内符号化、順方向予測符号化
    及び双方向予測符号化を含む複数の符号化モードのいず
    れかにて入力画像信号を所定の順序で符号化し、フレー
    ム内符号化画像及び順方向符号化画像を含む符号化デー
    タを生成する画像符号化装置において、 入力画像信号のシーンチェンジを検出する検出手段と、
    上記入力画像信号をフレーム内符号化及び順方向予測符
    号化画像を含む複数の符号化モードのいずれかにて符号
    化する符号化手段と、 検出されたシーンチェンジ直後の順方向予測符号化画像
    をフレーム内符号化画像に変更し、上記検出されたシー
    ンチェンジの前後の少なくとも一方のフレーム内符号化
    画像を順方向予測符号化画像に変更する変更手段とを有
    することを特徴とする画像符号化装置。
  11. 【請求項11】 上記変更手段は、上記検出されたシー
    ンチェンジの時間的に前に存在するフレーム内符号化画
    像を順方向予測符号化画像に変更することを特徴とする
    請求項10記載の画像符号化装置。
  12. 【請求項12】 上記変更手段は、上記検出されたシー
    ンチェンジの時間的に後ろに存在するフレーム内符号化
    画像を順方向予測符号化画像に変更することを特徴とす
    る請求項10記載の画像符号化装置。
  13. 【請求項13】 上記変更手段は、上記検出されたシー
    ンチェンジの時間的に前及び後ろに存在するフレーム内
    符号化画像の両方を順方向予測符号化画像に変更するこ
    とを特徴とする請求項10記載の画像符号化装置。
  14. 【請求項14】 上記変更手段は、上記シーンチェンジ
    から次のシーンチェンジまでの間の同一シーン内のフレ
    ーム内符号化画像の少なくとも一部を順方向予測符号化
    画像に変更することを特徴とする請求項10記載の画像
    符号化装置。
  15. 【請求項15】 上記検出手段は、固定された量子化サ
    イズで符号化したときに発生するビット量をフレーム毎
    に計測し、2つの順方向予測符号化画像間の発生ビット
    量の変化分に応じてシーンチェンジ検出を行うことを特
    徴とする請求項10記載の画像符号化装置。
  16. 【請求項16】 上記検出手段は、固定された量子化サ
    イズで符号化したときに発生するビット量をフレーム毎
    に計測し、フレーム内符号化画像とその直後の順方向予
    測符号化画像との間の発生ビット量の変化分に応じてシ
    ーンチェンジ検出を行うことを特徴とする請求項10記
    載の画像符号化装置。
  17. 【請求項17】 上記検出手段は、固定された量子化サ
    イズを符号化したときに発生するビット量をフレーム毎
    に計測し、順方向予測符号化画像とこの画像の過去又は
    未来のフレーム内符号化画像との間の発生ビット量の変
    化分に応じてシーンチェンジ検出を行うことを特徴とす
    る請求項10記載の画像符号化装置。
  18. 【請求項18】 上記検出手段は、フレーム内の輝度値
    の平均をフレーム毎に計測し、過去数フレームの平均と
    現在のフレームの値との間の変化分に応じてシーンチェ
    ンジ検出を行うことを特徴とする請求項10記載の画像
    符号化装置。
  19. 【請求項19】 少なくともフレーム内符号化、順方向
    予測符号化及び双方向予測符号化を含む複数の符号化モ
    ードのいずれかにて入力画像信号を所定の順序で符号化
    し、フレーム内符号化画像及び順方向符号化画像を含む
    符号化データを生成し、この付後かデータを伝送する画
    像伝送方法において、 入力画像信号のシーンチェンジを検出し、 上記入力画像信号をフレーム内符号化及び順方向予測符
    号化を含む複数の符号化モードのいずれかにて符号化デ
    ータを生成し、 検出されたシーンチェンジ直後の順方向予測符号化画像
    をフレーム内符号化画像に変更すると共に、上記検出さ
    れたシーンチェンジの前後の少なくとも一方のフレーム
    内符号化画像を順方向予測符号化画像に変更して、変更
    された符号化データを生成し、 上記変更された符号化データを伝送データとして伝送す
    ることを特徴とする画像伝送方法。
  20. 【請求項20】 復号装置によって復号可能な画像記録
    媒体において、 上記記録媒体は、上記復号装置によって復号可能な記録
    信号を有し、 上記記録信号は、 入力画像信号のシーンチェンジを検出し、上記入力画像
    信号をフレーム内符号化及び順方向予測符号化を含む複
    数の符号化モードのいずれかにて符号化して、フレーム
    内符号化画像及び順方向符号化画像を含む符号化データ
    を生成し、検出されたシーンチェンジ直後の順方向予測
    符号化画像をフレーム内符号化画像に変更すると共に、
    上記検出されたシーンチェンジの前後の少なくとも一方
    のフレーム内符号化画像を順方向予測符号化画像に変更
    して、変更された符号化データを生成することにより得
    られたことを特徴とする画像記録媒体。
JP32045396A 1995-12-28 1996-11-29 画像符号化方法及び装置、並びに画像伝送方法 Expired - Fee Related JP3428332B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32045396A JP3428332B2 (ja) 1995-12-28 1996-11-29 画像符号化方法及び装置、並びに画像伝送方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-344160 1995-12-28
JP34416095 1995-12-28
JP32045396A JP3428332B2 (ja) 1995-12-28 1996-11-29 画像符号化方法及び装置、並びに画像伝送方法

Publications (2)

Publication Number Publication Date
JPH09238353A true JPH09238353A (ja) 1997-09-09
JP3428332B2 JP3428332B2 (ja) 2003-07-22

Family

ID=26570094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32045396A Expired - Fee Related JP3428332B2 (ja) 1995-12-28 1996-11-29 画像符号化方法及び装置、並びに画像伝送方法

Country Status (1)

Country Link
JP (1) JP3428332B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1051837A2 (en) * 1998-01-21 2000-11-15 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
US6463101B1 (en) 1998-03-19 2002-10-08 Kabushiki Kaisha Toshiba Video encoding method and apparatus
JP2009290630A (ja) * 2008-05-30 2009-12-10 Canon Inc 映像符号化装置
JP2010124486A (ja) * 2010-01-15 2010-06-03 Fujitsu Ltd 画像制御装置
JP2016504829A (ja) * 2012-12-17 2016-02-12 インテル・コーポレーション ビデオコンテンツを前処理するエンコーダハードウェアの活用

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1051837A2 (en) * 1998-01-21 2000-11-15 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
JP2002502158A (ja) * 1998-01-21 2002-01-22 サーノフ コーポレイション 符号化システムを改善するために付随情報を使用する装置及び方法
EP1051837A4 (en) * 1998-01-21 2004-03-31 Sarnoff Corp DEVICE AND METHOD FOR USING SUPPLEMENTARY INFORMATION TO IMPROVE CODING SYSTEMS
US6463101B1 (en) 1998-03-19 2002-10-08 Kabushiki Kaisha Toshiba Video encoding method and apparatus
JP2009290630A (ja) * 2008-05-30 2009-12-10 Canon Inc 映像符号化装置
JP2010124486A (ja) * 2010-01-15 2010-06-03 Fujitsu Ltd 画像制御装置
JP2016504829A (ja) * 2012-12-17 2016-02-12 インテル・コーポレーション ビデオコンテンツを前処理するエンコーダハードウェアの活用

Also Published As

Publication number Publication date
JP3428332B2 (ja) 2003-07-22

Similar Documents

Publication Publication Date Title
US6057893A (en) Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium
US7224734B2 (en) Video data encoding apparatus and method for removing a continuous repeat field from the video data
US20070199011A1 (en) System and method for high quality AVC encoding
US6628713B1 (en) Method and device for data encoding and method for data transmission
JPH08223577A (ja) 動画像符号化方法及び装置、並びに動画像復号方法及び装置
US9071846B2 (en) Moving picture encoding method and apparatus for performing a multi-frame motion prediction with reference to a plurality of picture frames
WO1993003578A1 (en) Apparatus for coding and decoding picture signal with high efficiency
EP0878967A2 (en) Signal coding apparatus and method
JPH11275580A (ja) 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
JP3428332B2 (ja) 画像符号化方法及び装置、並びに画像伝送方法
JP2000102021A (ja) 画像圧縮方法及びこの方法を実施する装置
JPH06350995A (ja) 動画像処理方法
US6968087B1 (en) Encoding apparatus, encoding method, and storage medium
JP3599942B2 (ja) 動画像符号化方法、及び動画像符号化装置
JPH09284770A (ja) 画像符号化装置および方法
WO1996033573A1 (en) Device and method for coding moving image
JP2001148852A (ja) 画像情報変換装置及び画像情報変換方法
JPH0775095A (ja) レート制御回路
JP2002218470A (ja) 画像符号化データのレート変換方法、及び画像符号化レート変換装置
JPH0646411A (ja) 画像符号化装置
JP3590976B2 (ja) 動画像圧縮装置
US20070025440A1 (en) Video encoding method and device
JP3922581B2 (ja) 可変転送レート符号化方法および装置
JP3724662B2 (ja) 画像符号化装置及び画像符号化方法
JP2000156868A (ja) 画像復号化方法及び装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030415

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees