JPH0923423A - 信号符号化方法、信号符号化装置及び信号記録媒体 - Google Patents

信号符号化方法、信号符号化装置及び信号記録媒体

Info

Publication number
JPH0923423A
JPH0923423A JP31141895A JP31141895A JPH0923423A JP H0923423 A JPH0923423 A JP H0923423A JP 31141895 A JP31141895 A JP 31141895A JP 31141895 A JP31141895 A JP 31141895A JP H0923423 A JPH0923423 A JP H0923423A
Authority
JP
Japan
Prior art keywords
encoding
image
circuit
predetermined time
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP31141895A
Other languages
English (en)
Other versions
JP4223571B2 (ja
Inventor
Motoki Kato
元樹 加藤
Takashi Kojima
尚 小嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP31141895A priority Critical patent/JP4223571B2/ja
Priority to US08/641,491 priority patent/US5719986A/en
Publication of JPH0923423A publication Critical patent/JPH0923423A/ja
Application granted granted Critical
Publication of JP4223571B2 publication Critical patent/JP4223571B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 【課題】 映像信号の入力に応じて、ほぼリアルタイム
で、画像の複雑さに応じた最適の符号化レートでの符号
化が行え、しかも、人間の視覚特性が反映された符号化
が行えるようにする。 【解決手段】 画像解析回路６０は、入力映像信号の画
像の輝度、色度、平坦度、動画像の動き量、画像間差分
等の画像特性情報を求め、符号化制御回路３０に送る。
符号化制御回路３０は、画像解析回路６０からの画像特
性情報に応じて得られる符号化難易度と、符号化ビット
レートとを、所定の関係式に基づいて、あるいは所定の
テーブルに基づいて関係付け、得られた符号化ビットレ
ートを符号化回路４０に送る。符号化回路４０は、この
求められた符号化レートに基づいて所定時間毎に入力映
像信号を符号化して、符号化データを生成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、信号符号化方法、
信号符号化装置及び信号記録媒体に関し、特に、光ディ
スク、磁気ディスク、磁気テープ等の記録媒体に動画の
映像信号等を蓄積用符号化して記録するシステムや、伝
送路を介して動画の映像信号等を伝送するシステム等に
おいて使用される信号符号化方法、信号符号化装置及び
信号記録媒体に関するものである。
【０００２】
【従来の技術】従来、例えばテレビ会議システム、テレ
ビ電話システム等のように動画の映像信号を遠隔地に伝
送するシステムや、動画の映像信号を光ディスク、磁気
ディスク、磁気テープ等の画像記録媒体に記録し、また
記録された動画の映像信号を再生するシステム等におい
て、伝送路（あるいは画像記録媒体）を効率良く利用す
るために、映像信号の有するライン相関やフレーム相関
を利用して映像信号を所謂高能率符号化し、空間軸方向
と時間軸方向の冗長度を落として有意情報のみを伝送
し、伝送効率を高めるようになされている。
【０００３】例えば空間軸方向の符号化処理（以下フレ
ーム内符号化処理という）では、映像信号の例えばライ
ン相関を利用するもので、図１９のＡに示す時刻ｔ1 、
ｔ2、ｔ3 、・・・において動画を構成する各画像ＰＣ
１、ＰＣ２、ＰＣ３・・・を伝送しようとする場合、伝
送処理すべき画像データを、例えば同一走査線内で１次
元符号化したり、例えば画像を複数のブロックに分割
し、各ブロックの画像データを２次元符号化することに
より、データ圧縮を行い、伝送効率を向上させている。
【０００４】また、時間軸方向の符号化処理（以下フレ
ーム間符号化処理という）では、映像信号のフレーム間
相関を利用して例えば所謂予測符号化により、すなわち
図１９のＢに示すように、順次隣合う画像ＰＣ１及びＰ
Ｃ２、ＰＣ２及びＰＣ３・・・間の対応する画素毎の画
像データの差分（所謂予測誤差）でなる画像データＰＣ
１２、ＰＣ２３・・・を求め、これらの画像データＰＣ
１２、ＰＣ２３・・・を伝送することにより、データ圧
縮を行い、伝送効率を向上させている。
【０００５】かくして、画像ＰＣ１、ＰＣ２、ＰＣ３・
・・の全ての画像データを伝送する場合と比較して、格
段に少ないデータ量で映像信号を伝送することができ
る。
【０００６】また、上述のフレーム間符号化処理におけ
る予測符号化では、さらに効率を高めるために、例えば
マクロブロック単位で動き補償予測が用いられる。すな
わち、例えば画面中央の人物が移動する場合等、画面中
の動いている物体に対してその動きを検出し、その動き
分だけ前の画像中で予測に用いる画像データの位置を補
正して予測符号化を行うことにより、符号化効率を向上
させることができる。しかし、これでもまだ、物体が移
動して後ろから出現した部分に対しては、多くのデータ
を送らなけらばならない。そこで、動き補償予測を上述
の前方だけではなく、後方あるいは両者を組み合わせて
行うことにより、さらに符号化効率を高めることができ
る。
【０００７】具体的には、図２０のＡに示すように、伝
送しようとする動画の映像信号ＶＤの第０、第１、第
２、第３・・・番目のフレームのフレームデータＦ０、
Ｆ１、Ｆ２、Ｆ３・・・のマクロブロックにおいて、順
次フレーム間に動きベクトルＸ０、Ｘ１、Ｘ２、Ｘ３・
・・でそれぞれ表わされるような画像の変化があった場
合、送信側の装置は、所定フレーム数（例えば１フレー
ム）置きの、すなわち第２、第４・・・番目のフレーム
を補間フレームに指定し、これらの補間フレームに対し
て、図２０のＢに示すように、所定の補間フレーム処理
により伝送補間フレームデータＦ２Ｘ、Ｆ４Ｘ・・・を
生成する。また、残りの非補間フレームに対して、フレ
ームデータＦ１、Ｆ３・・・に所定の符号化処理を施し
て、伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ・・・を
生成する。
【０００８】例えば、動き補償されたフレームデータＦ
３とフレームデータＦ２の差分ＳＰ２（予測誤差）、動
き補償されたフレームデータＦ１とフレームデータＦ２
の差分ＳＰ３、動き補償されたフレームデータＦ１、Ｆ
３を補間処理して得られるフレームデータとフレームデ
ータＦ２の差分ＳＰ４をマクロブロック単位でそれぞれ
求め、フレームデータＦ２のマクロブロックＳＰ１とこ
れらの差分の比較を行う。そして、これらのデータＳＰ
１〜ＳＰ４のうちでデータ発生量が最小のデータをマク
ロブロック単位で伝送補間データＦ２Ｘとし、以下同様
して各補間フレームに対する伝送補間データＦ４Ｘ・・
・を生成する。また、非補間フレームのフレームデータ
Ｆ１、Ｆ３・・・にそれぞれ、例えばＤＣＴ変換処理、
可変長符号化処理等を施して伝送非補間フレームデータ
Ｆ１Ｘ、Ｆ３Ｘ・・・を生成する。
【０００９】そして、これらの伝送非補間フレームデー
タＦ１Ｘ、Ｆ３Ｘ・・・及び伝送補間データＦ２Ｘ、Ｆ
４Ｘ・・・を、動きベクトルＸ０, Ｘ１, Ｘ３・・・の
データと共に、伝送データDATAとして受信側の装置に伝
送する。
【００１０】一方、受信側の装置は、送られてくる伝送
データDATA（伝送非補間フレームデータＦ１Ｘ、Ｆ３Ｘ
・・・、伝送補間データＦ２Ｘ、Ｆ４Ｘ・・・、動きベ
クトルＸ０, Ｘ１, Ｘ３・・・のデータ）に、送信側の
符号化処理に対応した復号化処理を施して、フレームデ
ータＦ０、Ｆ１、Ｆ２、Ｆ３・・・を再生する。この結
果、動き補償予測を前方だけではなく、後方あるいは両
者を組み合わせて行うことにより、さらに符号化効率を
高めることができる。
【００１１】ここで、上述の機能を有する画像符号化装
置と画像復号化装置について、図２１を参照しながら説
明する。
【００１２】この図２１に示す画像符号化装置７０は、
入力映像信号ＶＤを輝度信号と色差信号に分離する前処
理回路７１と、該前処理回路７１からの輝度信号、色差
信号をそれぞれディジタル信号に変換するアナログ／デ
ィジタル（以下Ａ／Ｄという）変換回路７２ａ、７２ｂ
と、該Ａ／Ｄ変換回路７２ａ、７２ｂからの輝度デー
タ、色差データ（以下これらを画像データという）を記
憶するフレームメモリ群７３と、フレームメモリ群７３
から画像データをブロックフォーマットに従って読み出
すフォーマット変換回路７４と、フォーマット変換回路
７４からのブロックの画像データを高能率符号化するエ
ンコーダ７５とを備える。
【００１３】そして、前処理回路７１は、入力映像信号
ＶＤを輝度信号と色差信号に分離し、Ａ／Ｄ変換回路７
２ａ、７２ｂは、輝度信号、色差信号をそれぞれ８ビツ
トからなる輝度データ、色差データに変換し、フレーム
メモリ群７３は、これらの輝度データ、色差データを記
憶する。
【００１４】フォーマット変換回路７４は、フレームメ
モリ群７３に記憶されている画像データ（輝度データ、
色差データ）を、ブロックフォーマットに従って読み出
し、エンコーダ７５は、この読みだされた画像データを
所定の高能率符号化により符号化して、ビットストリー
ムを出力する。
【００１５】そして、このビットストリームは、伝送路
や、光ディスク、磁気ディスク、磁気テープ等の画像記
録媒体からなる伝送メディア９０を介して、画像復号化
装置８０に供給される。
【００１６】この画像復号化装置８０は、上述の図２１
に示すように、上記エンコーダ７５に対応したデコーダ
８１と、該デコーダ８１で再生された画像データを、フ
レームフォーマットに変換するフォーマット変換回路８
２と、該フォーマット変換回路８２からの画像データを
記憶するフレームメモリ群８３と、該フレームメモリ群
８３から読み出された輝度データ、色差データをアナロ
グ信号に変換するＤ／Ａ変換回路８４ａ、８４ｂと、該
Ｄ／Ａ変換回路８４ａ、８４ｂからの輝度信号、色差信
号を混合して出力映像信号を生成する後処理回路８５と
を備える。
【００１７】そして、デコーダ８１は、エンコーダ７５
の高能率符号化に対応した復号化によりビットストリー
ムを復号化して、ブロックフォーマットの画像データを
再生し、フォーマット変換回路８２は、この画像データ
をフレームフォーマットに変換してフレームメモリ群８
３に記憶する。
【００１８】Ｄ／Ａ変換回路８４ａ、８４ｂは、フレー
ムメモリ群８３から読み出された輝度データ、色差デー
タをそれぞれ輝度信号、色差信号に変換し、後処理回路
８１は、これらの輝度信号、色差信号を混合して出力映
像信号を生成する。
【００１９】具体的には、前処理回路７１及びＡ／Ｄ変
換回路７２ａ、７２ｂは、上述したように輝度信号及び
色差信号をディジタル信号に変換すると共に、色差信号
に対しては上下左右方向に画素数が輝度信号の１／２と
なるようにデータ量を削減した後、時間軸多重化し、得
られる輝度データと色差データをフレームメモリ群７３
に供給する。
【００２０】そして、フレームメモリ群７３からは、上
述したようにブロックフォーマットに従って輝度データ
と色差データが読み出される。すなわち、例えば１フレ
ーム分の画像データは、図２２のＡに示すように、Ｎ個
のスライスに分割され、各スライスが、図２２のＢに示
すように、Ｍ個のマクロブロックを含むようになされ、
各マクロブロックは、図２２のＣに示すように、８×８
画素からなるブロック単位であって上下左右に隣接する
４つの輝度ブロックの輝度データＹ[1] 、Ｙ[2] 、Ｙ
[3] 、Ｙ[4] と、これらの４つの輝度ブロックに対応す
る範囲の８×８画素からなる色差ブロックの色差データ
Ｃb[5]、Ｃr[6]とを含んでなる。そして、フレームメモ
リ群７３からは、スライスではマクロブロツク単位で画
像データが連続し、マクロブロツク内ではＹ[1],Ｙ[2],
Ｙ[3],Ｙ[4],Ｃb[5],Ｃr[6] の順に連続するように輝度
データと色差データが読み出される。このようにしてブ
ロックフォーマットに従って読み出された画像データ
は、エンコーダ７５に供給される。
【００２１】エンコーダ７５は、図２３に示すように、
動きベクトル検出回路１０１を備え、この動きベクトル
検出回路１０１は、ブロックフォーマットで供給される
画像データの動きベクトルをマクロブロック単位で検出
する。すなわち、動きベクトル検出回路１０１は、フレ
ームメモリ群１０２に記憶された前方原画像及び／又は
後方原画像を用いて、現在の参照画像の動きベクトルを
マクロブロック単位で検出する。ここで、動きベクトル
の検出は、マクロブロック単位でのフレーム間差分の絶
対値和が最小になるものを、その動きベクトルとする。
そして、検出された動きベクトルは動き補償回路１１３
等に供給され、マクロブロック単位でのフレーム間差分
の絶対値和はフレーム内／前方／後方／両方向予測判定
回路１０３に供給される。
【００２２】このフレーム内／前方／後方／両方向予測
判定回路１０３は、この値をもとに、参照ブロックの予
測モードを決定し、決定した予測モードに基づいて、マ
クロブロック単位でフレーム内／前方／後方／両方向予
測の切り換えを行うように予測符号化回路１０４を制御
する。そして、予測符号化回路１０４は、加算回路１０
４ａ、１０４ｂ、１０４ｃ及び切換スイッチ１０４ｄを
備え、フレーム内符号化モードのときは入力画像データ
そのものを、前方／後方／両方向予測モードのときはそ
れぞれの予測画像に対する入力画像データの画素毎の差
分（以下差分データという）を選択し、選択したデータ
をＤＣＴ回路１０５に供給する。
【００２３】ＤＣＴ回路１０５は、映像信号の２次元相
関を利用して、入力画像データ又は差分データをブロツ
ク単位でＤＣＴ変換し、得られる係数データを量子化回
路１０６に供給する。
【００２４】量子化回路１０６は、マクロブロック又は
スライス毎に定まる量子化ステップサイズ（量子化スケ
ール）を用いて係数データを量子化し、得られる量子化
データを可変長符号化（ＶＬＣ：Variable Length Cod
e）回路１０７及び逆量子化回路１０８に供給する。と
ころで、この量子化に用いる量子化ステップサイズは、
後述する送信バッファメモリ１０９のバッファ残量をフ
ィードバックすることによって、送信バッファメモリ１
０９が破綻しない値に決定され、この量子化ステップサ
イズも、可変長符号化回路１０７及び逆量子化回路１０
８に供給される。
【００２５】可変長符号化回路１０７は、量子化データ
を、量子化ステップサイズ、予測モード、動きベクトル
と共に可変長符号化し、伝送データとして送信バッファ
メモリ１０９に供給する。
【００２６】送信バッファメモリ１０９は、伝送データ
を一旦記憶した後、一定のビットレートで読み出すこと
により、伝送データを平滑化してビットストリームとし
て出力すると共に、メモリに残留している残留データ量
に応じてマクロブロック単位の量子化制御信号を量子化
回路１０６にフィードバックして量子化ステップサイズ
を制御する。これにより送信バッファメモリ１０９は、
ビットストリームとして発生されるデータ量を調整し、
メモリ内に適正な残量（オーバーフロー又はアンダーフ
ローを生じさせないようなデータ量）のデータを維持す
る。例えば、送信バッファメモリ１０９のデータ残量が
許容上限にまで増量すると、送信バッファメモリ１０９
は、量子化制御信号によつて量子化回路１０６の量子化
ステップサイズを大きくすることにより、量子化データ
のデータ量を低下させる。一方、送信バッファメモリ１
０９のデータ残量が許容下限まで減量すると、送信バッ
ファメモリ１０９は、量子化制御信号によつて量子化回
路１０６の量子化ステップサイズを小さくすることによ
り、量子化データのデータ量を増大させる。
【００２７】このようにして、バッファメモリ１０９か
ら出力されるビットストリームは一定のビットレート
で、上述したように伝送路や、光ディスク、磁気ディス
ク、磁気テープ等の画像記録媒体からなる伝送メディア
９０を介して、画像復号化装置８０に供給される。
【００２８】一方、逆量子化回路１０８は、量子化回路
１０６から供給される量子化データを逆量子化して、上
述のＤＣＴ回路１０５の出力に対応する係数データ（量
子化歪みが加算されている）を再生し、この係数データ
を逆離散余弦変換（以下ＩＤＣＴ：Inverse Discrete C
osine Trasformという）回路１１０に供給する。
【００２９】ＩＤＣＴ回路１１０は、係数データをＩＤ
ＣＴ変換して、フレーム内符号化モードでは入力画像デ
ータに対応する画像データを再生し、前方／後方／両方
向予測モードでは予測符号化回路１０４の出力に対応す
る差分データを再生して、加算回路１１１に供給する。
【００３０】この加算回路１１１には、前方／後方／両
方向予測モードのとき、後述する動き補償回路１１３か
ら動き補償された予測画像データが供給されており、こ
の動き補償された予測画像データと差分データを加算す
ることにより、入力画像データに対応する画像データを
再生する。
【００３１】そして、このようにして再生された画像デ
ータは、フレームメモリ１１２に記憶される。すなわ
ち、逆量子化回路１０８〜加算回路１１１は、局所復号
化回路を構成し、予測モードに基づいて、量子化回路１
０６から出力される量子化データを局所復号化し、得ら
れる復号画像を前方予測画像もしくは後方予測画像とし
てフレームメモリ１１２に書き込む。フレームメモリ１
１２は、複数のフレームメモリからなり、フレームメモ
リのバンク切り換えが行われ、符号化する画像に応じ
て、単一のフレームが、前方予測画像データとして出力
されたり、後方予測画像データとして出力される。ま
た、両方向予測の場合は、前方予測画像データと後方予
測画像データが例えば平均化されて出力される。これら
の予測画像データは、後述するデコーダ８１で再生され
る画像と全く同一の画像であり、次の処理画像はこの予
測画像をもとに前方／後方／両方向予測符号化が行われ
る。
【００３２】すなわち、フレームメモリ１１２から読み
出された画像データは動き補償回路１１３に供給され、
この動き補償回路１１３は、動きベクトルに基づいて、
予測画像データに動き補償を施し、動き補償された予測
画像データを予測符号化回路１０４及び加算回路１１１
に供給する。
【００３３】次に、デコーダ８１について図２４を参照
しながら説明する。
【００３４】この図２４に示すデコーダ８１には、上記
図２１の伝送メディア９０を介してビットストリームが
入力される。このビットストリームは、受信バッファ２
０１を介して可変長復号化（ＩＶＬＣ）回路２０２に入
力される。可変長復号化回路２０２は、ビットストリー
ムから量子化データ、動きベクトル、予測モード、量子
化ステップサイズ等を再生する。これらの量子化データ
と量子化ステップサイズは逆量子化回路２０３に供給さ
れ、動きベクトルは動き補償回路２０７に供給され、予
測モードは加算回路２０５に供給される。
【００３５】逆量子化回路２０３〜加算回路２０５の動
作は、上記図２３に示すエンコーダ７５の局所復号化回
路と同様であり、フレームメモリ群２０６、動き補償回
路２０７の動作はそれぞれエンコーダ７５のフレームメ
モリ１１２、動き補償回路１１３と同じであり、量子化
データ、動きベクトル、予測モード、量子化ステップサ
イズをもとに復号化が行われる。この結果、加算回路２
０５から再生画像データが出力され、この再生画像デー
タは、上記図２１のフォーマット変換回路８２に送られ
る。
【００３６】
【発明が解決しようとする課題】以上のように、従来の
装置では、エンコーダ７５で発生するビットストリーム
の符号化ビットレートは伝送メディア９０の転送レート
にあわせて一定とされ、この制限のもとでデータ発生
量、すなわちエンコーダ７５における量子化回路１０６
の量子化ステップサイズが制御されていた。換言する
と、例えば絵柄が複雑な画像が連続するときは、量子化
ステップサイズを大きくしてデータ発生量を抑圧し、逆
に単純な絵柄が連続するときは、量子化ステップサイズ
を小さくしてデータ発生量を増加させることにより、バ
ッファメモリ１０９のオーバーフロー又はアンダーフロ
ーを生じさせないようにして固定レートを保持するよう
になっていた。
【００３７】したがって、従来の装置では複雑な画像が
連続するときは、量子化ステップサイズが大きくされ、
画質が劣化し、単純な画像が連続するときは、量子化ス
テップサイズが小さくされ、全体を通じて均等な画質を
得ることができなかった。
【００３８】また、ビットストリームをデータ容量が限
られている画像記録媒体に記録する場合、絵柄が複雑な
画像に対する極端な画質劣化を避けるためには、この複
雑な画像の画質を損なわないような高いレートの固定レ
ートを全体に対して適用しなければならず、記録時間を
減少させる結果となっていた。
【００３９】さらに、単に画像の複雑さが同じ場合で
も、絵柄によって符号化画質の主観的印象が悪い場合が
ある。これは、人間の視覚特性によるものであり、例え
ば画像の暗い部分や、赤い部分や、平坦な部分で、符号
化ノイズ、例えばブロックノイズやモスキートノイズ等
が目立つ、という問題がある。
【００４０】ここで、入力信号の実際の符号化に先立っ
て、同じ入力信号を符号化することにより所定時間当た
りの割当符号量を求め、記録媒体等により定まる使用可
能なデータ総量を越えない範囲で所定時間毎の符号化ビ
ットレートを計算して、実際の符号化を行うことが提案
されている。これは、いわゆる２パスの符号化方法であ
り、入力信号の１シーケンス、例えば１本の映画を全て
符号化して符号化ビットレートを計算するため、実際の
符号化を開始するまでに１シーケンス以上の時間がかか
り、最終的な伝送用あるいは記録用の符号化データのビ
ットストリームを生成するためには２シーケンス以上の
時間がかかるという問題がある。
【００４１】また、以上は動画の映像信号を取り扱う場
合であったが、入力信号がオーディオ信号の場合や、字
幕データあるいはキャラクタデータ等の信号の場合にも
同様の問題がある。
【００４２】本発明は、このような実情に鑑みてなされ
たものであり、全体を通じて均等で良好な品質の符号化
データを得ることができ、長時間記録を可能にし、入力
信号をほぼリアルタイムで符号化できるような信号符号
化方法、信号符号化装置及び信号記録媒体を提供するこ
とを目的とする。さらに、入力信号が映像信号の場合
に、人間の視覚特性を反映して符号化ノイズを目立たせ
ないように符号化することを可能とすることを目的とす
る。
【００４３】
【課題を解決するための手段】本発明によれば、入力信
号が属する種類の一般の入力信号により予め標準化され
た所定時間毎の符号化難易度と割当符号量とを関係付
け、入力信号の所定時間毎の符号化難易度を求め、この
入力信号の所定時間毎の符号化難易度に対して上記関係
付けられた上記所定時間毎の割当符号量を求め、この割
当符号量に基づいて上記所定時間毎に上記入力信号を符
号化して符号化データを生成することにより、上述の課
題を解決する。
【００４４】上記符号化難易度は、入力信号の少なくと
も一部を符号化して生成された符号化データの上記所定
時間毎のデータ量に基づいて求めることが挙げられる。
【００４５】また、上記入力信号が映像信号の場合に
は、上記符号化難易度として、入力映像信号の所定時間
毎の画像特性情報に基づいて求めることが挙げられ、こ
のときの上記画像特性情報としては、画像の輝度情報と
しての輝度信号の所定時間毎の平均値、色度情報として
の色度信号の所定時間毎の平均値、平坦度情報としての
輝度信号の分散値、画像の動き情報としてのマクロブロ
ックの動きベクトル量の所定時間毎の平均値、画像間差
分情報としてマクロブロックの動きベクトルの画像間予
測残差の所定時間毎の総和等を挙げることができる。
【００４６】入力信号が属する種類の一般の入力信号に
より予め標準化された所定時間毎の符号化難易度と割当
符号量とを関係付けておき、入力信号の所定時間毎の符
号化難易度に対して上記関係付けられた上記所定時間毎
の割当符号量に基づいて上記所定時間毎に上記入力信号
を符号化して符号化データを生成する。これにより、信
号の入力に応じて、ほぼリアルタイムで、信号の複雑さ
に応じた最適の割当符号量での符号化が行える。
【００４７】
【発明の実施の形態】以下、本発明に係る信号符号化方
法、信号符号化装置及び信号記録媒体のいくつかの好ま
しい実施の形態について図面を参照しながら説明する。
【００４８】ここで、以下の実施の形態においては、特
に画像信号や映像信号を符号化する場合の画像符号化方
法、画像符号化装置及び画像記録媒体の例について説明
するが、本発明はこれに限定されず、オーディオ信号の
符号化にも適用でき、また、字幕データやキャラクタデ
ータの信号の符号化にも適用できるものである。
【００４９】第１の実施の形態 本発明の第１の実施の形態を適用した画像符号化装置
は、例えば図１に示すように、入力映像信号を符号化し
て第１の符号化データを生成する第１の符号化回路１０
と、入力映像信号の統計的性質あるいは画像特性を求め
る画像解析回路６０と、該第１の符号化回路１０からの
第１の符号化データの所定時間毎のデータ量、及び該画
像解析回路６０からの統計データあるいは画像特性情
報、及び使用可能なデータ総量に基づいて上記所定時間
毎の符号化レートを求める符号化制御回路３０と、該符
号化制御回路３０からの符号化レートに基づいて上記所
定時間毎に上記入力映像信号を符号化して第２の符号化
データを生成する第２の符号化回路４０とを備える。
【００５０】上記画像解析回路６０は、上述の図１に示
すように、フレーム内情報解析回路６１とフレーム間情
報解析回路６２からなる。フレーム内情報解析回路６１
では、入力画像の画像特性情報として、例えば、輝度，
色度，平坦度の統計情報を計算し、フレーム間情報解析
回路６２では、入力画像の画像特性情報として、例え
ば、動画像の動き量の統計情報を計算する。
【００５１】上記画像特性情報の具体例を挙げると、入
力画像の輝度についての統計情報としては、例えば、輝
度信号Ｙの所定時間毎の平均値（Ｌ）を計算し、また入
力画像の色度についての統計情報としては、例えば、色
度信号Ｃｒの所定時間毎の平均値（Ｒ）を計算し、また
入力画像の平坦度の統計情報としては、例えば、輝度信
号Ｙの所定時間毎の分散値（Ｖ）を計算し、入力画像の
動き量の統計情報としては、例えば、動きベクトル量の
所定時間毎の平均値（Ｍ）を計算する。
【００５２】さらに、上記第１の符号化回路１０は、上
述の図１に示すように、入力映像信号である入力画像デ
ータを記憶するフレームメモリ群１２と、該フレームメ
モリ群１２に記憶された画像データに基づいて、入力画
像データの動きベクトルを検出する動きベクトル検出回
路１１と、予測画像データを記憶するフレームメモリ２
２と、上記動きベクトル検出回路１１からの動きベクト
ルに基づいて、上記フレームメモリ２２から読み出され
た予測画像データに動き補償を施する動き補償回路２３
と、該動き補償回路２３からの動き補償された予測画像
データに基づいて、入力画像データを予測符号する予測
符号化回路１４と、該予測符号化回路１４からの予測誤
差である差分等を符号化、例えば離散余弦変換（以下Ｄ
ＣＴ：Discrete Cosine Transform という）して係数デ
ータを生成するＤＣＴ回路１５と、該ＤＣＴ回路１５か
らの係数データを一定の量子化ステップサイズで量子化
して、量子化データを生成する量子化回路１６と、該量
子化回路１６からの量子化データを可変長符号化して、
可変長符号データを出力する可変長符号化（ＶＬＣ：Va
riable Length Code）回路１７と、上記量子化回路１６
からの量子化データを逆量子化して係数データを再生す
る逆量子化回路１８と、該逆量子化回路１８からの係数
データを復号化、例えば逆離散余弦変換（以下ＩＤＣ
Ｔ：Inverse Discrete Cosine Trasformという）して上
記差分を再生するＩＤＣＴ回路２０と、該ＩＤＣＴ回路
２０からの差分と上記動き補償回路２３からの動き補償
された予測画像データを加算して次の入力画像データに
対する予測画像データを生成し、該予測画像データを上
記フレームメモリ２２に供給する加算回路２１とを備え
る。
【００５３】また、上記第２の符号化回路４０は、上述
の図１に示すように、入力画像データを遅延する遅延器
４３と、予測画像データを記憶するフレームメモリ５２
と、上記動きベクトル検出回路１１からの動きベクトル
に基づいて上記フレームメモリ５２から読み出された予
測画像データに動き補償を施す動き補償回路５３と、該
動き補償回路５３からの動き補償された予測画像データ
に基づいて、上記遅延器４３で遅延された入力画像デー
タを予測符号化する予測符号化回路４４と、該予測符号
化回路４４からの差分等を符号化、例えばＤＣＴ変換し
て係数データを生成するＤＣＴ回路４５と、上記符号化
制御回路３０からの符号化レートに基づいて量子化ステ
ップサイズを設定する量子化スケール設定回路３３と、
上記ＤＣＴ回路４５からの係数データを上記量子化スケ
ール設定回路３３からの量子化ステップサイズで量子化
して、量子化データを生成する量子化回路４６と、該量
子化回路４６からの量子化データを可変長符号化して、
可変長符号データを出力する可変長符号化回路４７と、
該可変長符号化回路４７からの可変長符号データを一旦
記憶し、一定のビットレートで出力する送信バッファメ
モリ４９と、上記量子化回路４６からの量子化データを
逆量子化して係数データを再生する逆量子化回路４８
と、該逆量子化回路４８からの係数データを復号化、例
えばＩＤＣＴ変換して上記差分を再生するＩＤＣＴ回路
５０と、該ＩＤＣＴ回路５０からの差分と上記動き補償
回路５３からの動き補償された予測画像データを加算し
て次の入力画像データに対する予測画像データを生成
し、該予測画像データを上記フレームメモリ５２に供給
する加算回路５１とを備える。
【００５４】この画像符号化装置では、第１の符号化回
路１０により、入力画像データに対して符号化処理、例
えば予測符号化処理、ＤＣＴ変換処理、一定の量子化ス
テップサイズでの量子化処理、可変長符号化処理を施
し、符号化制御回路３０により得られる符号化ビットレ
ートに基づいて第２の符号化回路４０により符号化を行
っている。符号化制御回路３０は、第１の符号化回路に
より得られた第１のビットストリームである可変長符号
データの所定時間毎のデータ量と、画像解析回路６０に
より求められた入力映像信号の輝度信号Ｙの所定時間毎
の平均値（Ｌ）および分散（Ｖ），色度信号Ｃｒの所定
時間毎の平均値（Ｒ）と、動きベクトル量の所定時間毎
の平均値（Ｍ）と、例えば光ディスク、磁気ディスク、
磁気テープ等からなる画像記録媒体５５のデータ容量、
あるいは伝送路のビットレート（転送レート）等により
定まる使用可能なデータ総量とに基づいて、所定時間毎
の符号化ビットレートを求めている。また、第２の符号
化回路４０は、入力画像データに再び予測符号化処理、
ＤＣＴ変換処理、量子化処理、可変長符号化処理を施し
て、第２のビットストリームである可変長符号データを
生成する際に、上記符号化ビットレートに基づいた量子
化ステップサイズで量子化している。
【００５５】ここで、上記第１の実施の形態の画像符号
化装置を構成する第１の符号化回路１０の動作の具体例
について、図２のフローチャートを参照しながら説明す
る。
【００５６】すなわち、図２に示すフローチャートのス
テップＳＴ１において、上記図１の第１の符号化回路１
０の量子化回路１６は、量子化ステップサイズを例えば
１としてＤＣＴ回路１５から供給される係数データを量
子化して、量子化データを生成し、符号化制御回路３０
のカウンタ３１は、この量子化データを可変長符号化し
て得られる可変長符号データ（第１のビットストリー
ム）のデータ量を所定の単位時間、例えばマクロブロッ
ク毎に計数して、発生符号量（ｙ）をマクロブロック毎
に求める。さらに、画像解析回路６０により、該マクロ
ブロック内の輝度信号Ｙの平均値（Ｌ）及び分散（Ｖ）
と、色度信号Ｃｒの平均値（Ｒ）とを求め、またマクロ
ブロックの動きベクトル量の平均値（Ｍ）を求める。
【００５７】次のステップＳＴ２において、上記ビット
レート演算回路３２は、上記各値ｙ，Ｌ，Ｖ，Ｒ，Ｍ
と、上述した使用可能なデータ総量（Ｂ）とに基づい
て、マクロブロック毎に割り当てられる割当符号量
（ｂ）を求める。この場合、具体的には上記各値ｙ，
Ｌ，Ｖ，Ｒ，Ｍに基づいて符号化の難易度（difficult
y）（ｄ）を求め、この符号化難易度（ｄ）と上記使用
可能なデータ総量（Ｂ）とに基づいて上記割当符号量
（ｂ）を求めている。
【００５８】ステップＳＴ３において、第２の符号化回
路４０の量子化回路４６は、割当符号量に基づいた量子
化ステップサイズにより、ＤＣＴ回路４５から供給され
る係数データを量子化して、量子化データを生成するよ
うになっている。
【００５９】このような第１の符号化回路１０の動作に
ついて、図１を参照しながらより具体的に説明する。
【００６０】入力された画像データは、フレームメモリ
群１２に一旦記憶される。そして、フレームメモリ群１
２からは、従来の技術で述べたようにブロックフォーマ
ットに従って読み出される。
【００６１】動きベクトル検出回路１１は、フレームメ
モリ群１２から必要な画像データを上述のマクロブロッ
ク単位で読みだし、動きベクトルを検出する。すなわ
ち、動きベクトル検出回路１１は、フレームメモリ群１
２に記憶されている前方原画像及び／又は後方原画像を
用いて、現在の参照画像の動きベクトルをマクロブロッ
ク単位で検出する。ここで、動きベクトルの検出は、例
えばマクロブロック単位でのフレーム間差分の絶対値和
が最小になるものを、その動きベクトルとする。そし
て、検出された動きベクトルは動き補償回路２３、５３
等に供給され、マクロブロック単位でのフレーム間差分
の絶対値和はフレーム内／前方／後方／両方向予測判定
回路１３に供給される。
【００６２】フレーム内／前方／後方／両方向予測判定
回路１３は、この値をもとに、参照ブロックの予測モー
ドを決定し、決定した予測モードに基づいて、ブロック
単位でフレーム内／前方／後方／両方向予測の切り換え
を行うように予測符号化回路１４を制御する。
【００６３】予測符号化回路１４は、上述の図１に示す
ように、加算回路１４ａ、１４ｂ、１４ｃ及び切換スイ
ッチ１４ｄを備え、フレーム内符号化モードのときは入
力画像データそのものを、前方／後方／両方向予測モー
ドのときはそれぞれの予測画像に対する入力画像データ
の画素毎の差分（以下差分データという）を選択し、選
択したデータをＤＣＴ回路１５に供給する。
【００６４】ＤＣＴ回路１５は、映像信号の２次元相関
を利用して、切換スイッチ１４ｄから供給される入力画
像データ又は差分データをブロツク単位でＤＣＴ変換
し、得られる係数データを量子化回路１６に供給する。
【００６５】量子化回路１６は、一定の量子化ステップ
サイズ、例えば量子化ステップサイズを１として、ＤＣ
Ｔ回路１５から供給される係数データを量子化し、得ら
れる量子化データを可変長符号化回路１７及び逆量子化
回路１８に供給する。
【００６６】可変長符号化回路１７は、量子化データ
を、量子化ステップサイズ、予測モード、動きベクトル
等と共に可変長符号化し、得られる可変長符号データを
第１のビットストリームとして符号化制御回路３０に供
給する。
【００６７】符号化制御回路３０は、上述の図１に示す
ように、上記可変長符号化回路１７から可変長符号デー
タの所定時間毎のデータ量を計数するカウンタ３１と、
該カウンタ３１からのデータ量及び使用可能なデータ総
量に基づいて所定時間当たりの割当符号量を求めるビッ
トレート演算回路３２とを備える。そして、カウンタ３
１は、第１のビットストリームのデータ量を所定時間
毎、例えばマクロブロック毎に計数して、発生符号量を
マクロブロック毎に求め、この発生符号量をビットレー
ト演算回路３２に供給する。
【００６８】ビットレート演算回路３２は、このマクロ
ブロック毎の発生符号量と、マクロブロックの輝度信号
Ｙの平均値（Ｌ）と分散（Ｖ）と、マクロブロックの色
度信号Ｃｒの平均値（Ｒ）と、マクロブロックの動きベ
クトル量の平均値（Ｍ）と、使用可能なデータ総量に基
づいて、マクロブロック毎に割り当てられる割当符号量
すなわちマクロブロック時間毎の平均符号化レートを求
めると共に、この割当符号量を第２の符号化回路４０の
量子化スケール設定回路３３に供給する。
【００６９】具体的には、ビットレート演算回路３２
は、先ず次の式１に示すように、符号化する１シーケン
スの時間ＳＱＴと、使用可能なデータ総量Ｂとに基づい
て、そのシーケンスの平均ビットレートＳＱＢＲを計算
する。
【００７０】 ＳＱＢＲ ＝ Ｂ／ＳＱＴ ・・・ 式１ ここで、上記１シーケンスとは、例えば映画や番組の１
本分のように、１つの画像記録媒体に記録される全フレ
ームを想定しており、この他、記録媒体を分割して用い
るときには各分割領域毎に記録される全フレームを１シ
ーケンスとしてもよい。
【００７１】またビットレート演算回路３２は、上記１
シーケンスの全マクロブロック数をＮとし、使用可能な
データ総量をＢとし、ｉ（ｉ＝０、１、２・・・Ｎ−
１）番目のマクロブロックの発生符号量をｙi とし、ｉ
番目のマクロブロックの輝度信号Ｙの平均値をＬｉ、分
散をＶｉとし、色度信号Ｃｒの平均値をＲｉとし、動き
ベクトル量の平均値をＭｉとし、それぞれ関数ｆ1 、ｆ
2 、ｆ3 、ｆ4 の特性から画像の絵柄の主観的印象を符
号化難易度ｄi へ反映する係数αi ，βi ，γi，θi
を求め、式６に示すように、これらの係数とｙｉの積に
より、符号化難易度ｄｉを求めている。
【００７２】 αi ＝ ｆ1（Ｌｉ） ・・・式２ βi ＝ ｆ2（Ｒｉ） ・・・式３ γi ＝ ｆ3（Ｖｉ） ・・・式４ θi ＝ ｆ4（Ｍｉ） ・・・式５ ｄi ＝ αi×βi×γi×θi×ｙi ・・・式６ ここで、関数ｆ1 、ｆ2 、ｆ3 、ｆ4 の特性の具体例に
ついて、図３〜図６を参照しながら説明する。
【００７３】図３に、輝度信号Ｙの平均値Ｌに対する係
数αを表す関数ｆ1 の特性を示す。この図３の横軸のＬ
は、０が黒であり、ＭＡＸが最も明るい値である。一般
に、人間の目は、暗い画像では、符号化ノイズをわかり
やすい。ただし、あるレベル以下の暗さでは、暗すぎて
符号化ノイズを知覚できなくなる。この特徴に基づい
て、Ｌ＝０付近では、α＝１とし、最も劣化を知覚しや
すいＬのレベルで、αはピークをもち、それ以上のＬで
は、徐々にαを小さくする。αが１以上の場合、符号化
難易度ｄを増大させ、逆にαが１以下の場合、符号化難
易度ｄを減少させる。なお、ｉ番目のマクロブロックに
ついての輝度信号Ｙの平均値はＬｉであり、このｉ番目
のマクロブロックについての係数αi は ｆ1（Ｌｉ）と
なる。
【００７４】図４に、色度信号Ｃｒの平均値Ｒと係数β
の関数ｆ2 の特性を示す。図４の横軸のＲは、０がグレ
ーであり、ＭＡＸが最も赤い値である。一般に、人間の
目は赤の劣化をわかりやすい特徴がある。この特徴に基
づいて、Ｒが大きい値ほどβを１以上の大きな値とし、
符号化難易度ｄを増大させる。なお、ｉ番目のマクロブ
ロックについての色度信号Ｃｒの平均値はＲｉであり、
このｉ番目のマクロブロックについての係数βi は ｆ2
（Ｒｉ）となる。
【００７５】図５に、輝度信号Ｙの分散値Ｖと係数γの
関数ｆ3 の特性を示す。図５の横軸のＶは、０が完全に
平坦であり、ＭＡＸが最も絵柄が乱雑である。一般に、
人間の目は、絵柄の平坦部分で、符号化ノイズがわかり
やすく、逆に、絵柄が乱雑な部分では、劣化はわかりに
くい。この特徴に基づいて、Ｖが大きい値ほどγを１以
下の小さな値とし、符号化難易度ｄを減少させる。ｉ番
目のマクロブロックについての輝度信号Ｙの分散値はＶ
ｉであり、このｉ番目のマクロブロックについての係数
γi は ｆ3（Ｖｉ）となる。
【００７６】図６に、動きベクトル量の平均値Ｍと係数
θの関数ｆ4 の特性を示す。図６の横軸のＭは、０が静
止している場合で、ＭＡＸが最も動きが大きい（速
い）。一般に、人間の目は、画像の動きが大きい（速
い）と、目が動きについていけず、画像の劣化がわかり
にくい。この特徴に基づいて、Ｍが大きい値ほどθを１
以下の小さな値とし、符号化難易度ｄを減少させる。な
お、マクロブロックがイントラ符号化される時は、θ＝
１とする。ｉ番目のマクロブロックについての動きベク
トル量の平均値はＭｉで、このｉ番目のマクロブロック
についての係数θi はｆ4（Ｍｉ）となる。
【００７７】このように求めた係数α，β，γ，θを、
発生符号量ｙと乗算することで、符号化難易度ｄを求め
る。なお、ｉ番目のマクロブロックについては、それぞ
れ係数αi ，βi ，γi ，θi を求め、上記式６に示し
たように発生符号量ｙi と乗算し、符号化難易度ｄｉと
する。
【００７８】ビットレート演算回路３２は、ｉ番目のマ
クロブロックに対する割当符号量をｂi として、この割
当符号量ｂi を下記式７に従って計算する。ここでａ，
ｃは定数であり、１シーケンスの上記平均ビットレート
ＳＱＢＲに応じて決定される値である。
【００７９】 ｂｉ ＝ ａ×ｄi ＋ ｃ ・・・式７ なお、上記式７のような線形の関係式を用いないで、テ
ーブル・ルックアップで割当符号量ｂi を求めるように
してもよい。
【００８０】次に、上記関係式７について説明する。
【００８１】式７は、多くの動画像シーケンス、例えば
多くの映画を符号化実験し、その画質を評価し、思考錯
誤を通じて、経験的に求められる。一般に、１シーケン
スでのｄｉの分布は、図７に示すような形となる。
【００８２】この図７において、横軸は符号化難易度ｄ
を示し、縦軸は該符号化難易度ｄの１シーケンス内での
出現確率ｈ（ｄ）、すなわち、所定時間単位が例えばマ
クロブロック単位のときには、符号化難易度ｄとなるマ
クロブロックの１シーケンス内での出現頻度を１シーケ
ンス内の全マクロブロック数で割ったもの、を示してお
り、図中の分布曲線と横軸とで囲まれた斜線部の面積は
１となる。
【００８３】ここで、いくつかのシーケンスについての
平均的な符号化難易度が高いか低いかは、各シーケンス
の符号化難易度ｄの平均値によって判断できる。例え
ば、図８は、平均的な符号化難易度が、低位、中位、高
位の３種類の映画についての符号化難易度の分布曲線
Ａ、Ｂ、Ｃを示す図である。これらの分布曲線Ａ、Ｂ、
Ｃにそれぞれ対応する各映画のｉ番目のマクロブロック
の符号化難易度を、それぞれｄＡi （ｉ＝０〜Ｎ）、ｄ
Ｂi （ｉ＝０〜Ｍ）、ｄＣi （ｉ＝０〜Ｋ）とすると、
以下の関係がある。
【００８４】
【数１】
【００８５】この場合、平均的な符号化難易度が最も高
い映画の分布曲線Ｃに基づいて、上記式７の関係をつく
る。手順としては、使用可能なデータ総量Ｂの範囲内
で、符号化難易度ｄに対して、十分な画質を得るために
必要な割当符号量ｂを、経験的に関係づける。こうして
作られた関係式は、他の種類の分布曲線Ａ、Ｂの映画に
ついても適用することが可能となる。
【００８６】具体的に説明すると、映画Ａ、Ｂ、Ｃのｉ
番目のマクロブロックの割当符号量ｂＡi 、ｂＢi 、ｂ
Ｃi は、以下ように計算される。
【００８７】 ｂＡi ＝ａ×ｄＡi ＋ｃ ・・・式９ ｂＢi ＝ａ×ｄＢi ＋ｃ ・・・式１０ ｂＣi ＝ａ×ｄＣi ＋ｃ ・・・式１１ また、映画Ａ、Ｂ、Ｃのそれぞれのシーケンスあたりの
割当符号量、ＢＡ、ＢＢ、ＢＣは、以下ように計算され
る。
【００８８】
【数２】
【００８９】このとき、以下のような関係になる。 ＢＡ＜ＢＢ＜ＢＣ ・・・式１５ すなわち、全記録容量が一定の記録媒体に１シーケンス
分の映像信号、例えば映画を記録する場合には、上記分
布曲線Ｃに基づく上記式７の関係をつくっておくこと
で、曲線Ａ、Ｂ、Ｃに対応するいずれの映画でも、記録
媒体の容量を越えることなく記録することができる。
【００９０】多くの動画像シーケンスを符号化実験する
ことによって求めたモデルとなる、あるいは基準となる
典型的なシーケンス（例えば映画）の符号化難易度ｄの
分布曲線を図７に示す。このモデルの平均符号化難易度
は、世の中にある動画シーケンスのほとんどをカバーす
るものと考えることができる。ここで、任意のシーケン
スでの平均ビットレートＳＱＢＲを所定値としたとき
の、符号化難易度ｄとその割当符号量ｂとの関係を図９
に示す。この図９において、関数ｂ（ｄ）は、上記式７
を一般化したｂ（ｄ）＝ａ×ｄ＋ｃを表すものであり、
ｉ番目のマクロブロックに対する割当符号量ｂi は、該
ｉ番目のマクロブロックについての符号化難易度ｄｉに
より、ｂｉ＝ａ×ｄi＋ｃにて求められることは勿論で
ある。
【００９１】また、シーケンスでの平均ビットレートＳ
ＱＢＲを独立変数としたときの、所定時間毎の符号化難
易度ｄと割当符号量ｂとの関係を図１０に示す。この図
１０では、具体例として、上記平均ビットレートＳＱＢ
Ｒが７Ｍbps 、６Ｍbps 、５Ｍbps 、４Ｍbps 、３Ｍbp
s の場合をそれぞれ示している。
【００９２】これらの図９や図１０に示す上記式７に相
当する関係式は、使用可能なデータ総量Ｂ以内で、世の
中のほとんどのシーケンスの可変ビットレート符号化に
適用できる。
【００９３】１スライスを構成する全てのマクロブロッ
クについてのｂｉを加算したものが、そのスライスの割
当符号量である。また、１フレームを構成する全てのマ
クロブロックについてのｂｉを加算したものが、そのフ
レームの割当符号量である。かくして、ビットレート演
算回路３２は、例えば複雑な絵柄のフレームに対しては
割当符号量を多くし、逆に単純な絵柄のフレームに対し
ては割当符号量を少なくする。
【００９４】一方、逆量子化回路１８は、量子化回路１
６から供給される量子化データを、量子化ステップサイ
ズを１として逆量子化して、ＤＣＴ回路１５の出力に対
応した係数データ（量子化歪みが加算されている）を再
生し、この係数データをＩＤＣＴ回路２０に供給する。
【００９５】ＩＤＣＴ回路２０は、係数データをＩＤＣ
Ｔ変換して、フレーム内符号化モードでは予測符号化回
路１４の出力に対応した入力画像データを再生し、前方
／後方／両方向予測モードでは差分データを再生して、
加算回路２１に供給する。
【００９６】加算回路２１には、前方／後方／両方向予
測モードのとき、動き補償回路２３から動き補償された
予測画像データが供給されており、この予測画像データ
とＩＤＣＴ回路２０から供給される差分データを加算す
ることにより、入力画像データに対応した画像データを
再生する。
【００９７】そして、このようにして再生された画像デ
ータは、フレームメモリ２２に予測画像データとして記
憶される。すなわち、逆量子化回路１８〜加算回路２１
は、局所復号化回路を構成し、予測モードに基づいて、
量子化回路１６から出力される量子化データを局所復号
化し、得られる復号画像を前方予測画像もしくは後方予
測画像としてフレームメモリ２２に書き込む。フレーム
メモリ２２は、複数のフレームメモリからなり、フレー
ムメモリのバンク切り替えが行われ、符号化する画像に
応じて、例えば単一のフレームが、前方予測画像データ
として出力されたり、後方予測画像データとして出力さ
れる。また、前方／後方／両方向予測の場合は、前方予
測画像データと後方予測画像データが例えば平均化され
て出力される。これらの予測画像データは、後述する画
像復号化装置で再生される画像データと全く同一の画像
データであり、次の処理画像はこの予測画像をもとに前
方／後方／両方向予測符号化が行われる。
【００９８】次に、第２の符号化回路４０の動作につい
て説明する。なお、第２の符号化回路４０を構成する量
子化スケール設定回路３３、遅延器４３、量子化回路４
６、送信バッファメモリ４９以外の回路は、上述した第
１の符号化回路１０を構成する回路と同じ動作を行うの
で、説明を省略する。
【００９９】遅延器４３は、入力画像データを、例えば
符号化制御回路３０から符号化制御信号が出力されるま
での時間遅延する。この遅延器４３の遅延時間として
は、従来の２パス方式の場合には１シーケンス以上の時
間が必要であったが、この実施の形態の場合には、ビッ
トレートの切換単位時間、例えば後述する１ＧＯＰ（グ
ループオブピクチャ）の時間程度とすればよい。そし
て、予測符号化回路４４、ＤＣＴ回路４５において、遅
延された入力画像データにフレーム内／前方／後方／両
方向予測判定回路１３から供給される予測モードに従っ
た予測符号化処理、ＤＣＴ変換処理が施され、係数デー
タが生成される。
【０１００】量子化スケール設定回路３３は、送信バッ
ファ４９からのバッファフィードバックから検出され
る、あるマクロブロックにおいて発生した発生符号量
と、このマクロブロック毎の割当符号量の比較を行う。
【０１０１】量子化スケール設定回路３３は、第２の符
号化での各マクロブロックの発生符号量を設定された各
マクロブロックの割当符号量に近付けるため、当該マク
ロブロックにおける発生符号量がマクロブロック毎の割
当符号量より大きい場合、次のマクロブロックの発生符
号量を抑えるために次のマクロブロックの量子化ステッ
プサイズを大きく設定し、当該マクロブロックにおける
発生符号量がマクロブロック毎の割当符号量より小さい
場合は、発生符号量を多くするために次のマクロブロッ
クの量子化ステップサイズを小さくする。なお上記の説
明では、マクロブロック毎に割当符号量と発生符号化量
を近付けるように制御したが、この他、スライス毎に、
フレーム毎に、あるいは後述するようにＧＯＰ（グルー
プオブピクチャ）毎に制御を行わせるようにしてもよ
い。
【０１０２】さらに、量子化スケール設定回路３３は、
送信バッファ４９からのバッファフィードバックが、送
信バッファ４９のオーバーフローが近いことを示す場
合、上記の割当符号量と発生符号量との比較結果によら
ず、量子化ステップサイズを大きくしてオーバーフロー
を抑制し、また、送信バッファからのバッファフィード
バックが、送信バッファ４９のアンダーフローが近いこ
とを示す場合、上記の割当符号量と発生符号量との比較
結果によらず、量子化ステップサイズを小さくしてアン
ダーフローを抑制するようにしてもよい。
【０１０３】なお、上記の説明では、マクロブロック毎
に発生符号量と割当符号量とを比較して、マクロブロッ
ク毎に量子化ステップサイズを切り換えるようにした
が、スライス毎、フレーム毎、あるいはＧＯＰ毎に切り
換えを行うこともできる。
【０１０４】また、上記の説明では、発生符号量を送信
バッファ４９の蓄積量から検出するようにしたが、可変
長符号化回路４７の出力から直接得ることもできる。量
子化スケール設定回路３３は、このようにして設定した
量子化ステップサイズを量子化回路４６に供給する。
【０１０５】量子化回路４６は、上述した量子化スケー
ル設定回路３３から供給される量子化ステップサイズに
より、ＤＣＴ回路４５から供給される係数データを量子
化して、量子化データを生成する。
【０１０６】そして、可変長符号化回路４７は、量子化
回路４６から供給される量子化データを、量子化スケー
ル設定回路３３からの量子化ステップサイズ、フレーム
内／前方／後方／両方向予測判定回路１３からの予測モ
ード、動きベクトル検出回路１１からの動きベクトル等
と共に可変長符号化し、得られる可変長符号データを第
２のビットストリームとして送信バッファメモリ４９に
供給する。
【０１０７】ここで、図１１は、この画像符号化装置の
第２の符号化回路４０の動作を概略的に示すフローチャ
ートである。
【０１０８】この図１１に示すように、ステップＳＴ１
１において、遅延器４３を介して画像データが入力され
ると、ステップＳＴ１２において、量子化スケール設定
回路３３は、現在符号化の対象とされているフレームに
対する割当符号量を符号化制御回路３０から読み込み、
ステップＳＴ１３に進む。
【０１０９】ステップＳＴ１３において、予測符号化回
路４４〜可変長符号化回路４７は、画像データに予測符
号化処理、ＤＣＴ変換処理を施すと共に、マクロブロッ
クの割当符号量に基づいた量子化ステップサイズにより
係数データを量子化した後、可変長符号化し、ステップ
ＳＴ１４に進む。
【０１１０】ステップＳＴ１４において、例えば同一の
画面サイズや同一の転送レートが適用される全フレーム
（シーケンス）に対して符号化処理が終了したかが判断
され、該当するときは終了し、該当しないときはステッ
プＳＴ１１に戻る。かくして、フレーム単位で符号化レ
ートが変わる可変レート符号化が実現され、絵柄が複雑
な画像（フレーム）が連続しても、これらの画像に対し
て量子化ステップサイズが従来の装置のように大きくさ
れることなく、全体を通じて均等な高画質を得ることが
できる。
【０１１１】一方、逆量子化回路４８は、量子化回路４
６から供給される量子化データを、上述の量子化回路４
６で用いた量子化ステップサイズにより逆量子化して、
ＤＣＴ回路４５の出力に対応した係数データ（量子化歪
みが加算されている）を再生し、この係数データをＩＤ
ＣＴ回路５０に供給する。すなわち、局所復号化回路を
構成する逆量子化回路４８〜加算回路５１は、量子化回
路４６から出力される量子化データを局所復号化し、得
られる復号画像を前方予測画像もしくは後方予測画像と
してフレームメモリ５２に書き込む。フレームメモリ５
２に記憶された画像データは、次の処理画像に対する予
測画像として使用される。
【０１１２】送信バッファメモリ４９は、必要に応じて
設ければよいが、設けた場合には、送信バッファメモリ
４９は、可変長符号データを一旦記憶した後、一定のビ
ットレートで読み出すことにより、可変長符号データを
平滑化してビットストリームとして出力する。そして、
送信バッファメモリ４９から出力されたビットストリー
ムは、例えば符号化されたオーディオ信号、同期信号等
と多重化され、更にエラー訂正用のコードが付加され、
伝送あるいは記録に適した所定の変調が加えられた後、
例えば伝送路を介して画像復号化装置に伝送されたり、
上述の図１に示すように、光ディスク、磁気ディスク、
磁気テープ等からなる画像記録媒体５５に記録される。
すなわち、第２の符号化回路４０において、例えば予め
複雑な画像に対しては割当符号量ｂi を多くして、単純
な画像に対しては割当符号量ｂiを少なくして可変レー
ト符号化を行っていることから、従来の装置のように絵
柄が複雑な画像に対して極端な画質劣化をさけるために
全体を通じて高いレートの固定レートを適用する必要が
なく、画像記録媒体５５の記録時間を長くすることがで
きる。
【０１１３】送信バッファメモリ４９を設けない場合、
あるいは小容量のメモリを設ける場合には、可変ビット
レートで出力ビットストリームが画像記録媒体５５に供
給されることになるが、記録レートを可変制御でき最高
記録レートが出力ビットストリームの最高ビットレート
以上の記録装置を用いることにより、画像記録媒体５５
の全記録容量あるいは上記使用可能なデータ総量Ｂをオ
ーバーフローすることがない範囲で、１シーケンスの映
像信号を記録することができ、画像記録媒体５５の全記
録容量を、複雑な画像には多く、単純な画像には少なく
割り当てて、全体として良好な画質が得られるように、
媒体容量の最適の有効利用を図ることができる。
【０１１４】以上説明した本発明の実施の形態からも明
らかなように、第１の符号化回路１０において、所定時
間毎に符号化の難易度（difficulty）を計算するため
に、標準量子化値を予め設定し、バッファの占有量によ
る制御を行なわず、適応量子化のみでＤＣＴ係数を量子
化し符号量を求めており、適応量子化は、固定の標準量
子化値とした時の符号化情報量に加え、画像の明るさ、
平坦度、色度、画像の動きのような画像特性情報を所定
時間毎に計算し、ビットレート演算回路では、これらの
画像特性情報と、符号化情報量と、使用可能なデータ総
量とに基づいて、所定時間毎に割り当てられる割当符号
量、例えばフレーム時間毎の平均符号化レートを求めて
いる。
【０１１５】ここで、上記画像の明るさとしては、例え
ば、輝度信号Ｙの所定時間毎の平均値（Ｌ）を、平坦度
としては、例えば、輝度信号Ｙの所定時間毎の分散値
（Ｖ）を、色度としては、例えば、色度信号Ｃｒの所定
時間毎の平均値（Ｒ）を、画像の動きとしては、例え
ば、マクロブロックの動きベクトル量の所定時間毎の平
均値（Ｍ）を、それぞれ用いている。
【０１１６】第２の符号化回路４０では、仮符号化（第
１の符号化）で得られた所定時間毎の発生符号量に対し
て、目標符号量を決めて、量子化ステップサイズあるい
は量子化値を制御して、画像の符号化を行なう。すなわ
ち、各所定時間毎に、人間の視覚特性に応じた符号量が
配分されるように、暗い画像のノイズを知覚しやすい部
分で量子化ステップサイズを小さくし、画面の平坦部分
ほど量子化ステップサイズを小さくし、赤レベルが大き
いほど量子化ステップサイズを小さくし、動きベクトル
量が大きい（動きが速い）ほど量子化ステップサイズを
大きくしている。
【０１１７】このように、人間の視覚特性が反映された
符号化を行うことにより、絵柄によって符号化画質の主
観的印象が悪い場合、例えば、画像の暗い部分や、赤い
部分や、平坦な部分等でも、符号化ノイズ（ブロックノ
イズ、モスキートノイズ）が目立つことを未然に回避で
きる。
【０１１８】ここで、上記第２の符号化回路４０で、ｉ
番目のマクロブロックでの発生符号量をｂ'ｉ とする
と、シーケンスを符号化し終えた時、すべてのｂ'ｉ に
ついての総和は、下記の式１６を満たさねばならない。
【０１１９】
【数３】
【０１２０】このため失敗するケースを減らすために、
符号化制御回路３０から割当てる符号量の総和を、実際
のＢよりも少なめに、例えばＢの９５％くらいに控える
ことは有効である。また、一シーケンスの長さを、例え
ば４分割し、それぞれの小シーケンスの中で、それぞれ
Ｂの１／４を目標符号量として符号化しきるように制御
することが有効な場合もある。
【０１２１】以上説明したような本発明に係る実施の形
態の信号符号化方法あるいは装置は、いわゆる１パスの
エンコーダであり、ほぼリアルタイムで入力信号の符号
化が行える。これに対し、いわゆる２パスのエンコー
ダ、すなわち、第１の符号化の際には予め１シーケンス
分の全ての符号化難易度ｄｉを計算し、この全ての符号
化難易度ｄｉと使用可能なデータ総量に基づいて、所定
時間毎に割り当てられる割当符号量を求め、第２の符号
化の際は、第１の符号化で求めた符号量配分に応じてビ
ットレート制御を行なうような符号化方法や装置におい
ては、信号を入力してから出力までに少なくとも１シー
ケンス分だけ待ち時間あるいは遅延時間が必要とされ
る。
【０１２２】従って、上述したような本実施の形態によ
れば、上記２パスのエンコーダと比較して、世の中のほ
とんどのシーケンスについて、リアルタイム（実時間）
で伝送用のビットレート生成が可能となるので、大幅な
時間の節約が実現される。
【０１２３】なお、本発明の実施の形態のような１パス
の符号化と、従来の２パスの符号化とを組み合わせるよ
うにしてもよい。
【０１２４】すなわち。符号化制御回路３０が用意する
符号化難易度と割当符号量の関係は、ほとんどの動画シ
ーケンスに適用できるが、いくつかの特殊なシーケンス
には対応できず、一般化されたモデルの式７を満たすこ
とが困難な場合には、２パスの符号化、すなわち第１の
符号化回路で、１シーケンス分のすべての符号化難易度
ｄｉを計算した後、ビットレート演算回路では、ｄｉと
使用可能なデータ総量に基づいて、所定時間毎に割り当
てられる割当符号量、例えばフレーム時間毎の平均符号
化レートを求め、第２の符号化回路では、第１の符号化
で求めた符号量配分に応じてビットレート制御を行なう
ようにしてもよい。
【０１２５】第２の実施の形態 ところで、上述の第１の実施の形態では、所定時間当た
りの割当符号量、すなわち所定時間当たりの平均符号化
レートを、マクロブロックを所定時間としてマクロブロ
ック毎に得るようにしているが、本発明はこれに限定さ
れるものではない。例えば、フレームを所定時間とする
場合も同様である。この場合は、上記式１〜式５におけ
る、ｙｉ，Ｌｉ，Ｒｉ，Ｖｉ，Ｍｉのパラメータ群を１
フレーム時間を所定時間として計算する。それらパラメ
ータ群に基づいて、各フレーム毎にその割当符号量ｂｉ
を上記式７により求めることができる。
【０１２６】この第２の実施の形態の場合のＬｉ，Ｒ
ｉ，Ｖｉ，Ｍｉの計算方法は、１フレームでの全てのマ
クロブロックの平均値としても良いし、１フレームの中
で指定された一部のマクロブロックの平均値としても良
い。後者の方法は、レターボックスフォーマット、すな
わち４：３の画面に１６：９の画像を表示するためにフ
レームの上下が黒帯でマスクされているフォーマットの
画像を扱う場合に有効である。この場合、画像の上下の
黒帯のマスク部分を除いた中央の有効な画像部分を構成
するマクロブロックについて、Ｌｉ，Ｒｉ，Ｖｉ，Ｍｉ
を計算する。この方法では、フレームの中央の有効な画
像部分についての性質を正確にとらえることができ、上
記黒帯のマスク部分の計算を省略することができるので
有効である。
【０１２７】この第２の実施の形態における第２の符号
化回路４０では、上述の第１の実施の形態と比べ、量子
化スケール設定回路３３において、マクロブロック毎の
割当符号量を計算する必要がある。この場合、量子化ス
ケール設定回路３３は、供給されたフレーム毎の割当符
号量ｂｉから、マクロブロック毎の割当符号量を、例え
ば、フレーム毎の割当符号量ｂｉを１フレーム中のマク
ロブロックの数で割ったものとする。送信バッファ４９
からのバッファフィードバック制御は、上述の第１の実
施の形態と同じである。
【０１２８】この第２の実施の形態では、割当符号量ｂ
ｉをフレームに基づいて求めていることから、上述の第
１の実施の形態に比して、すべてのｂｉを記憶するため
に必要なメモリ量を節約することが可能である。
【０１２９】第３の実施の形態 上述の実施の形態では、所定時間当たりの割当符号量す
なわち所定時間当たりの平均符号化レートを、フレーム
を所定時間としてフレーム毎に得るようにしているが、
本発明はこれに限定されるものではない。例えば、所謂
ＭＰＥＧ（Moving Picture ExpertGroup）におけるＧＯ
Ｐ（Group of Picture）を所定時間としてもよい。な
お、上述のＭＰＥＧは、所謂ＩＳＯ（国際標準化機構）
とＩＥＣ（国際電気標準会議）のＪＴＣ（Joint Techni
cal Committee ）１におけるＳＣ（Sub Committee ）２
９のＷＧ（Working Group ）１１において検討されてい
る動画像符号化方式の通称である。
【０１３０】すなわち、この第３の実施の形態におい
て、上記ＭＰＥＧにおけるＧＯＰは、少なくとも１枚の
所謂Ｉピクチャと、複数枚のＰピクチャ又はＢピクチャ
（非Ｉピクチャ）とから構成される。具体的には、例え
ば図１２に示すように、１枚のＩピクチャと、３ピクチ
ャ周期の４枚のＰピクチャと、１０枚のＢピクチャとか
ら構成されるとすると、符号化制御回路３０は、ＧＯＰ
毎に割当符号量を求める。ここで、Ｉピクチャとは、フ
ィールド内若しくはフレーム内符号化される画像であ
り、Ｐピクチャとは、前方向からのみ予測可能とされ、
フィールド間若しくはフレーム間符号化される画像であ
り、Ｂピクチャとは、前方向から、後方向から、および
両方向から予測可能とされ、フィールド間若しくはフレ
ーム間符号化される画像である。
【０１３１】そして、第１の符号化回路１０において、
例えば図１３に示すように、ＧＯＰを構成するピクチャ
数を周期としてＧＯＰ内の連続する任意の２枚のピクチ
ャを仮にＩピクチャ、Ｐピクチャとすると共に、量子化
ステップサイズを例えば１として、これらのＩピクチ
ャ、Ｐピクチャの画像データに予測符号化処理、ＤＣＴ
変換処理、可変長符号化処理を施して、可変長符号デー
タを生成し、この可変長符号データを符号化制御回路３
０に供給する。ここで、２枚のピクチャをＩピクチャ、
Ｐピクチャとするのは、絵柄の複雑さと、フレーム間の
相関性を調べるためであり、Ｉピクチャの発生符号量か
ら絵柄の複雑さを知ることができ、Ｐピクチャの発生符
号量からフレーム間の相関性を知ることができる。一般
的に、連続する複数のフレームは類似した画像をもつた
め、抽出した２枚のピクチャからでも、ＧＯＰの絵柄の
傾向を見ることができる。
【０１３２】符号化制御回路３０は、Ｉピクチャのデー
タ量 bitＩj とＰピクチャのデータ量 bitＰj をＧＯＰ
毎に計数すると共に、例えば下記式１７に示すように、
これらのデータ量 bitＩj 、 bitＰj と、ＧＯＰを構成
するＰピクチャの枚数Ｎとに基づいて、発生符号量ＧＯ
Ｐｙj （ｊ＝０、１、２・・・）をＧＯＰ毎に求める。
【０１３３】 ＧＯＰｙj ＝ bitＩj ＋Ｎ× bitＰj ・・・式１７ そして、符号化制御回路３０は、このＧＯＰ毎の発生符
号量ＧＯＰｙj と、使用可能なデータ総量に基づいて、
ＧＯＰ毎に割り当てられる割当符号量を求めると共に、
この割当符号量を第２の符号化回路４０に供給する。
【０１３４】具体的には、全ＧＯＰ数をＭとし、使用可
能なデータ総量をＢとし、ｊ（ｊ＝０、１、２・・・Ｍ
−１）番目のＧＯＰの発生符号量をＧＯＰｙj とし、ｊ
番目のＧＯＰでの輝度信号Ｙの平均値をＬｊ、分散をＶ
ｊとし、色度信号Ｃｒの平均値をＲｊとし、動きベクト
ル量の平均値をＭｊとし、それぞれ関数ｆ1 、ｆ2 、ｆ
3 、ｆ4 の特性から画像の絵柄の主観的印象を符号化難
易度ＧＯＰｄj へ反映する係数αj，βj，γj，θjを求
め、式２２に示すように、それらとＧＯＰｙjの積によ
り、符号化難易度ＧＯＰｄj を求める。関数ｆ1 、
ｆ2 、ｆ3 、ｆ4 のそれぞれの特性は、上述した図３〜
図６に示したものと同じものが適用できる。
【０１３５】ビットレート演算回路３２は、ｊ番目のＧ
ＯＰに対する割当符号量ＧＯＰｂjを下記式２３に従っ
て計算する。ここで、ａ，ｃは定数であり、１シーケン
スでの上記式１に示す平均ビットレートＳＱＢＲに応じ
て決定される値である。
【０１３６】 αj ＝ ｆ1（Ｌj） ・・・式１８ βj ＝ ｆ2（Ｒj） ・・・式１９ γj ＝ ｆ3（Ｖj） ・・・式２０ θj ＝ ｆ4（Ｍj） ・・・式２１ ＧＯＰｄj ＝ αj×βj×γj×θj×ＧＯＰｙj ・・・式２２ ＧＯＰｂj ＝ ａ×ＧＯＰｄj ＋ ｃ ・・・式２３ なお、上記式２３のような線形の関係式を用いないで、
テーブル・ルックアップで割当符号量ＧＯＰｂj を求め
るようにしてもよい。
【０１３７】かくして、符号化制御回路３０は、例えば
絵柄が複雑な画像が含まれる或いはフレーム間の相関が
低いＧＯＰに対しては割当符号量ＧＯＰｂj を多くし、
逆に単純な絵柄の画像が含まれる或いはフレーム間の相
関が高いＧＯＰに対しては割当符号量ＧＯＰｂj を少な
くする。
【０１３８】次に、第２の符号化回路４０は、例えば図
１４に示すように、ステップＳＴ２１において遅延器４
３を介して画像データが入力されると、ステップＳＴ２
２において、現在入力されている画像データがＧＯＰの
先頭ピクチャかを判断し、該当するときはステップＳＴ
２３に進み、該当しないときはステップＳＴ２４に進
む。
【０１３９】ステップＳＴ２３において、第２の符号化
回路４０は、現在符号化の対象とされているＧＯＰに対
する割当符号量を符号化制御回路３０から読み込み、ス
テップＳＴ２４に進む。
【０１４０】ステップＳＴ２４において、第２の符号化
回路４０は、画像データに予測符号化処理、ＤＣＴ変換
処理を施すと共に、割当符号量に基づいた量子化ステッ
プサイズにより係数データを量子化した後、可変長符号
化し、ステップＳＴ２５に進む。
【０１４１】ここで、量子化スケール設定回路３３は、
供給されたＧＯＰ毎の割当符号量から、フレーム毎の割
当符号量を、実際の符号化におけるピクチャタイプ（Ｉ
ピクチャ、Ｐピクチャ、Ｂピクチャ）、すなわち図１２
に示されるピクチャタイプを考慮して設定する。具体的
には、Ｉピクチャに対する割当符号量を多くし、Ｂピク
チャに対する割当符号量を少なくし、Ｐピクチャに対す
る割当符号量をその中間とする。量子化スケール設定回
路３３の以降の処理は、上述のフレーム毎に割当符号量
を求めた実施の形態と同様である。
【０１４２】次にステップＳＴ２５において、同一の画
面サイズや同一の転送レートが適用される全フレーム
（シーケンス）に対して符号化処理が終了したかが判断
され、該当するときは終了し、該当しないときはステッ
プＳＴ２１に戻る。かくして、ＧＯＰ単位で符号化レー
トが変わる可変レート符号化が実現され、絵柄が複雑な
画像（フレーム）が連続しても、これらの画像に対して
量子化ステップサイズが従来の装置のように大きくされ
ることなく、全体を通じて均等な高画質を得ることがで
きる。また、この実施の形態ではＧＯＰ毎の割当符号量
を２つのピクチャに基づいて求めていることから、上述
の実施の形態に比して高速処理が可能である。なお、Ｇ
ＯＰ内の全ピクチャのデータ量に基づいて各ＧＯＰの割
当符号量を求めるようにしてもよいことは言うまでもな
い。
【０１４３】第４の実施の形態 次に、本発明を適用した画像符号化装置の第４の実施の
形態について、図１５を参照しながら説明する。
【０１４４】この第４の実施の形態と、上記第１〜第３
の実施の形態とでは、次に示すような２つの相違点があ
る。すなわち、第１に、図１の第１の符号化回路１０が
なく符号化難易度の求め方が異なっており、第２に、ビ
ットレート演算回路３２の動作が異なっている。以下
に、これらの違いについて説明する。
【０１４５】この図１５に示す第４の実施の形態の画像
符号化装置は、入力映像信号の統計的性質を求める画像
解析回路６０と、該画像解析回路６０からの統計デー
タ、及び使用可能なデータ総量に基づいて所定時間毎の
符号化レートを求める符号化制御回路３０と、該符号化
制御回路３０からの符号化レートに基づいて上記所定時
間毎に上記入力映像信号を符号化して符号化データを生
成する符号化回路４０とを備える。
【０１４６】画像解析回路６０では、入力映像信号の統
計的性質に基づく情報あるいは画像特性情報を求めてお
り、この画像特性情報として、例えば、輝度信号Ｙの所
定時間毎の平均値（Ｌ）を計算し、また入力画像の色度
についての統計情報、例えば、色度信号Ｃｒの所定時間
毎の平均値（Ｒ）を計算し、また入力画像の平坦度の統
計情報、例えば、輝度信号Ｙの所定時間毎の分散値
（Ｖ）を計算し、入力画像の動き量の統計情報、例え
ば、動きベクトル量の所定時間毎の平均値（Ｍ）を計算
し、さらに、画像間差分情報、例えば動きベクトルの画
像間予測残差の所定時間毎の絶対値和（Ｅ）を計算す
る。
【０１４７】すなわち、動きベクトルの画像間予測残差
としては、符号化対象マクロブロックの輝度信号Ｙj
と、動きベクトルにより参照されるマクロブロックの輝
度信号Ｒi の差の絶対値の和Ｅを求める。
【０１４８】
【数４】
【０１４９】なお、Ｅについては、絶対値和の代わりに
二乗和を用いてもよい。
【０１５０】この画像符号化装置では、例えば図１６に
示すように、ステップＳＴ３１において、符号化難易度
（difficulty）を表す入力映像信号の統計的性質の情報
である画像特性情報、ここではマクロブロックの輝度信
号Ｙの平均値Ｌと分散Ｖ、そして色度信号Ｃｒの平均値
Ｒ、そしてマクロブロックの動きベクトル量の平均値Ｍ
と動きベクトルの画像間予測残差の絶対値和Ｅを、所定
時間毎、例えばマクロブロック毎に求める。なお、マク
ロブロックがイントラ符号化モード、いわゆるＩピクチ
ャの場合は、上記動きベクトルの画像間予測残差の絶対
値和を計算するよりも、むしろマクロブロック内の平均
値分離残差の絶対値和を計算することが好ましい。
【０１５１】すなわち、イントラ符号化モードのブロッ
ク内の平均値分離残差の絶対値和として、符号化対象マ
クロブロックの輝度信号Ｙi と、マクロブロックの輝度
信号Ｙi の平均値Ｙavとの差の絶対値和Ｅを、次の式２
５により求める。
【０１５２】
【数５】
【０１５３】なお、この式２５のＥについて、絶対値和
の代わりに、二乗和、すなわち上記分散値Ｖを用いるよ
うにしてもよい。
【０１５４】次のステップＳＴ３２において、ビットレ
ート演算回路３２は、マクロブロック毎の輝度信号の平
均値と分散と、色度信号の平均値と、動きベクトル量の
平均値と、動きベクトルの画像間予測残差又は輝度信号
の平均値分離残差と、使用可能なデータ総量に基づい
て、マクロブロック毎に割り当てられる割当符号量を求
める。
【０１５５】次のステップＳＴ３３において、符号化回
路４０の量子化回路４６は、割当符号量に基づいた量子
化ステップサイズにより、ＤＣＴ回路４５から供給され
る係数データを量子化して、量子化データを生成するよ
うになっている。
【０１５６】ここで、ビットレート演算回路３２の具体
的な動作を説明する。ビットレート演算回路３２は、シ
ーケンスの全マクロブロック数をＮとし、ｉ（ｉ＝０、
１、２・・・Ｎ−１）番目のマクロブロックの輝度信号
Ｙの平均値をＬｉ、分散をＶｉとし、色度信号Ｃｒの平
均値をＲｉとし、動きベクトル量の平均値をＭｉとし、
関数ｆ1 、ｆ2 、ｆ3 、ｆ4 の特性から画像の絵柄の主
観的印象を符号化難易度ｄi へ反映する係数αi ，
βi ，γi ，θi を求める。また、動きベクトルの画像
間予測残差の絶対値和Ｅに基づき、関数ｆ6 の特性か
ら、そのマクロブロックの発生符号量の推定値、すなわ
ち上記第１の実施の形態でのｙｉに相当するものｙ'ｉ
を経験的に推定する。そして、下記の式３１に示すよう
に、各係数αi，βi ，γi ，θi と発生符号量の推定
値ｙ'ｉ との積により、符号化難易度ｄｉを求めてい
る。
【０１５７】 αi ＝ ｆ1（Ｌｉ） ・・・式２６ βi ＝ ｆ2（Ｒｉ） ・・・式２７ γi ＝ ｆ3（Ｖｉ） ・・・式２８ θi ＝ ｆ4（Ｍｉ） ・・・式２９ ｙ'i ＝ ｆ6（Ｅｉ） ・・・式３０ ｄi ＝ αi×βi×γi×θi×ｙ'i ・・・式３１ 上記関数ｆ1 、ｆ2 、ｆ3 、ｆ4 の特性の具体例は、上
記図３〜図６に示すものを使用できる。また、上記関数
ｆ6 の一例を図１７に示す。すなわち、この図１７は、
動きベクトルの画像間予測残差に対するマクロブロック
単位の発生符号量の推定値ｙ' を示している。実験結果
から経験的にＥとｙ’とはほぼ比例する関係にあり、ｉ
番目のマクロブロックの動きベクトルの画像間予測残差
Ｅｉについての発生符号量の推定値ｙ'ｉ は ｆ6（Ｖ
ｉ）となる。
【０１５８】符号化対象マクロブロックがイントラ符号
化モードの場合は、マクロブロック内の輝度信号の上記
平均値分離残差の絶対値和、又は分散値（Ｖ）を用いる
ことが好ましく、この場合には、例えば輝度信号Ｙの分
散Ｖｉに基づき、関数ｆ5 の特性から、そのマクロブロ
ックの発生符号量の推定値ｙ'ｉ を推定する。
【０１５９】 ｙ'i ＝ ｆ5（Ｖｉ） ・・・式３２ この関数 ｆ5（Ｖｉ）の具体例を図１８に示す。この図
１８は、輝度信号Ｙの分散Ｖに対するマクロブロック単
位の発生符号量の推定値ｙ' を示しており、ｉ番目のマ
クロブロックの輝度信号Ｙの分散Ｖｉについての発生符
号量の推定値ｙ'ｉ は ｆ5（Ｖｉ）となる。
【０１６０】ビットレート演算回路３２は、上記第１の
実施の形態と同様に、符号化難易度ｄｉに対するｉ番目
のマクロブロックの割当符号量ｂｉを下記式３３に示す
ように、計算する。なお、式３３のような線形の関係式
を用いないで、テーブル・ルック・アップで行なうよう
にしてもよい。
【０１６１】 ｂｉ ＝ ａ×ｄi ＋ ｃ ・・・式３３ この関係式３３は、多くの動画像シーケンス、例えば多
くの映画を符号化実験し、その画質を評価し、思考錯誤
を通じて、経験的に求められるものであり、世の中のほ
とんどのシーケンスに適用可能な一般的な関係式とす
る。その求め方については、上記第１の実施の形態で説
明した式７と同様な方法で作られる。
【０１６２】かくして、ビットレート演算回路３２は、
例えば複雑な絵柄のフレームに対しては割当符号量を多
くし、逆に単純な絵柄のフレームに対しては割当符号量
を少なくする。
【０１６３】符号化回路４０の動作は、上記第１の実施
の形態で説明した第２の符号化回路４０と同じであるの
で、省略する。
【０１６４】なお、本発明は上述の実施の形態に限定さ
れるものではなく、例えば上述の実施の形態おいては、
変換符号化をＤＣＴとしているが、いわゆるストラト変
換、ハール変換、ウエーブレット変換等としてもよい。
また、取り扱う信号は、画像信号や映像信号に限定され
ず、例えばオーディオ信号の符号化にも適用でき、字幕
データやキャラクタデータの信号等の符号化にも適用で
きるものである。例えばオーディオ信号の符号化に本発
明を適用する場合には、聴覚的な統計情報と、必要に応
じて第１の符号化を行って得られた所定時間毎の発生符
号量とにより、符号化難易度を求めるようにすればよ
い。
【０１６５】
【発明の効果】以上の説明からも明らかなように、本発
明によれば、入力信号が属する種類の一般の入力信号に
より予め標準化された所定時間毎の符号化難易度と割当
符号量とを関係付け、入力信号の所定時間毎の符号化難
易度を求め、この入力信号の所定時間毎の符号化難易度
に対して上記関係付けられた上記所定時間毎の割当符号
量を求め、この割当符号量に基づいて上記所定時間毎に
上記入力信号を符号化して符号化データを生成している
ため、信号の入力に応じて、ほぼリアルタイムで、信号
の複雑さに応じた最適の割当符号量での符号化が行え
る。
【０１６６】また、上記符号化難易度を、入力信号の少
なくとも一部を符号化して生成された符号化データの上
記所定時間毎のデータ量に基づいて求めることにより、
複雑な信号が連続しても量子化ステップサイズが極端に
大きくされることなく、全体を通じて均等な高品質の符
号化データを得ることができる。
【０１６７】また、上記入力信号が映像信号の場合に、
上記符号化難易度として、入力映像信号の所定時間毎の
画像特性情報に基づいて求め、このときの上記画像特性
情報として、画像の輝度情報としての輝度信号の所定時
間毎の平均値、色度情報としての色度信号の所定時間毎
の平均値、平坦度情報としての輝度信号の分散値、画像
の動き情報としてのマクロブロックの動きベクトル量の
所定時間毎の平均値、画像間差分としてマクロブロック
の動きベクトルの画像間予測残差の所定時間毎の総和等
を用いることにより、画像特性情報により人間の視覚特
性が反映された符号化レートで符号化が行える。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を適用した画像符号
化装置の要部の回路構成を示すブロック図である。
【図２】第１の実施の形態の画像符号化装置を構成する
第１の符号化回路の動作を説明するためのフローチャー
トである。
【図３】輝度信号Ｙの平均値Ｌと係数αの関数ｆ1 の特
性図である。
【図４】色度信号Ｃｒの平均値Ｒと係数βの関数ｆ2 の
特性図である。
【図５】輝度信号Ｙの分散値Ｖと係数γの関数ｆ3 の特
性図である。
【図６】動きベクトル量の平均値Ｍと係数θの関数ｆ4
の特性図である。
【図７】シーケンス内での符号化難易度ｄのマクロブロ
ックの出現確率ｈ（ｄ）を示す分布図である。
【図８】平均的な符号化難易度が低位、中位、高位の場
合の符号化難易度ｄのマクロブロックの出現確率ｈ
（ｄ）を示す分布図である。
【図９】符号化難易度ｄに対するマクロブロックの出現
確率ｈ（ｄ）と、割当符号量ｂとを示す分布図である。
【図１０】符号化難易度ｄに対し平均ビットレートＳＱ
ＢＲを独立変数としたときの割当符号量ｂを示す分布図
である。
【図１１】第１の実施の形態の画像符号化装置を構成す
る第２の符号化回路の動作を説明するためのフローチャ
ートである。
【図１２】ＭＰＥＧにおけるＧＯＰの構成を説明するた
めの各ピクチャを示す図である。
【図１３】ＧＯＰ毎の符号化制御信号を説明するための
各ピクチャを示す図である。
【図１４】本発明の第３の実施の形態となる画像符号化
装置を構成する第２の符号化回路の動作を説明するため
のフローチャートである。
【図１５】本発明の第４の実施の形態を適用した画像符
号化装置の要部の回路構成を示すブロック図である。
【図１６】該第４の実施の形態の画像符号化装置の要部
の動作を説明するためのフローチャートである。
【図１７】動きベクトルの画像間予測残差に対するマク
ロブロック単位の発生符号量の推定値ｙ'iの関数ｆ6 の
特性図である。
【図１８】輝度信号Ｙの分散値Ｖとマクロブロックの発
生符号量の推定値ｙ'iの関数ｆ5の特性図である。
【図１９】予測符号化の原理を説明するための画像を示
す図である。
【図２０】動き補償予測符号化の原理を説明するための
画像を示す図である。
【図２１】画像符号化装置と画像復号化装置の構成例を
示すブロック図である。
【図２２】マクロブロック、スライスの構成を示す図で
ある。
【図２３】従来のエンコーダの回路構成の一例を示すブ
ロック図である。
【図２４】従来のデコーダの回路構成の一例を示すブロ
ック図である。
【符号の説明】
１０ 第１の符号化回路 １４、４４ 予測符号化回路 １５、４５ ＤＣＴ回路 １６、４６ 量子化回路 １７、４７ 可変長符号化回路 ３０ 符号化制御回路 ３１ カウンタ ３２ ビットレート演算回路 ３３ 量子化スケール設定回路 ４０ 第２の符号化回路 ４３ 遅延器 ６０ 画像解析回路 ６１ フレーム内情報解析回路 ６２ フレーム間情報解析回路

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 入力信号が属する種類の一般の入力信号
    により予め標準化された所定時間毎の符号化難易度と割
    当符号量とを関係付け、 入力信号の所定時間毎の符号化難易度を求め、 この入力信号の所定時間毎の符号化難易度に対して上記
    関係付けられた上記所定時間毎の割当符号量を求め、 この割当符号量に基づいて上記所定時間毎に上記入力信
    号を符号化して符号化データを生成することを特徴とす
    る信号符号化方法。
  2. 【請求項２】 上記符号化難易度は、入力信号の少なく
    とも一部を符号化して生成された符号化データの上記所
    定時間毎のデータ量に基づいて求めることを特徴とする
    請求項１記載の信号符号化方法。
  3. 【請求項３】 上記入力信号は映像信号であり、 上記符号化難易度は、上記入力映像信号の所定時間毎の
    画像特性情報に基づいて求めることを特徴とする請求項
    １記載の信号符号化方法。
  4. 【請求項４】 上記画像特性情報は、画像の輝度、色
    度、平坦度、画像の動き、画像間差分の少なくとも１つ
    を所定時間毎に計算して求めることを特徴とする請求項
    ３記載の信号符号化方法。
  5. 【請求項５】 上記画像特性情報は、画像の輝度情報と
    しての輝度信号の所定時間毎の平均値、色度情報として
    の色度信号の所定時間毎の平均値、平坦度情報としての
    輝度信号の分散値、画像の動き情報としてのマクロブロ
    ックの動きベクトル量の所定時間毎の平均値、画像間差
    分としてマクロブロックの動きベクトルの画像間予測残
    差の所定時間毎の総和の内の少なくとも１つを求めるこ
    とを特徴とする請求項３記載の信号符号化方法。
  6. 【請求項６】 入力信号が属する種類の一般の入力信号
    により予め標準化された所定時間毎の符号化難易度と割
    当符号量とを関係付ける符号化制御手段と、 入力信号の所定時間毎の符号化難易度を求めて上記符号
    化制御手段に送る符号化難易度出力手段と、 上記符号化制御手段により上記符号化難易度出力手段か
    らの符号化難易度と関係付けられて求められた割当符号
    量に基づいて上記所定時間毎に上記入力信号を符号化し
    て符号化データを生成する符号化手段とを備えることを
    特徴とする信号符号化装置。
  7. 【請求項７】 上記符号化手段は、入力信号の少なくと
    も一部を符号化して生成された符号化データの上記所定
    時間毎のデータ量に基づいて求めた符号化難易度と上記
    割当符号量とを関係付けることを特徴とする請求項６記
    載の信号符号化装置。
  8. 【請求項８】 上記入力信号は映像信号であり、 上記符号化制御手段は、上記符号化難易度として入力映
    像信号の所定時間毎の画像特性情報に基づいて求めたも
    のを用いることを特徴とする請求項６記載の信号符号化
    装置。
  9. 【請求項９】 上記符号化制御手段は、上記画像特性情
    報として、画像の輝度、色度、平坦度、画像の動き、画
    像間差分の少なくとも１つを所定時間毎に計算して求め
    たものを用いることを特徴とする請求項８記載の信号符
    号化装置。
  10. 【請求項１０】 上記符号化制御手段は、上記画像特性
    情報として、画像の輝度情報としての輝度信号の所定時
    間毎の平均値、色度情報としての色度信号の所定時間毎
    の平均値、平坦度情報としての輝度信号の分散値、画像
    の動き情報としてのマクロブロックの動きベクトル量の
    所定時間毎の平均値、画像間差分としてマクロブロック
    の動きベクトルの画像間予測残差の所定時間毎の総和の
    内の少なくとも１つを求めたものを用いることを特徴と
    する請求項８記載の信号符号化装置。
  11. 【請求項１１】 入力信号が属する種類の一般の入力信
    号により予め標準化された所定時間毎の符号化難易度と
    割当符号量とを関係付け、入力信号の所定時間毎の符号
    化難易度対して上記関係付けられた上記所定時間毎の割
    当符号量を求め、この割当符号量に基づいて上記所定時
    間毎に上記入力信号を符号化して得られた符号化データ
    が記録されて成ることを特徴とする信号記録媒体。
JP31141895A 1995-05-02 1995-11-29 画像符号化方法及び装置 Expired - Fee Related JP4223571B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP31141895A JP4223571B2 (ja) 1995-05-02 1995-11-29 画像符号化方法及び装置
US08/641,491 US5719986A (en) 1995-05-02 1996-05-01 Video signal encoding method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10886095 1995-05-02
JP7-108860 1995-05-02
JP31141895A JP4223571B2 (ja) 1995-05-02 1995-11-29 画像符号化方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008260100A Division JP4636159B2 (ja) 1995-05-02 2008-10-06 符号化装置及び方法

Publications (2)

Publication Number Publication Date
JPH0923423A true JPH0923423A (ja) 1997-01-21
JP4223571B2 JP4223571B2 (ja) 2009-02-12

Family

ID=26448677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31141895A Expired - Fee Related JP4223571B2 (ja) 1995-05-02 1995-11-29 画像符号化方法及び装置

Country Status (2)

Country Link
US (1) US5719986A (ja)
JP (1) JP4223571B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0858171A2 (en) * 1997-01-27 1998-08-12 Sony Corporation Encoding digital signals
JP2001507908A (ja) * 1997-11-07 2001-06-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像シーケンスの符号化
US6879632B1 (en) 1998-12-24 2005-04-12 Nec Corporation Apparatus for and method of variable bit rate video coding
JP2006352198A (ja) * 2005-06-13 2006-12-28 Hitachi Ltd 画像符号化装置及び画像符号化プログラム
JP2007243515A (ja) * 2006-03-08 2007-09-20 Nippon Hoso Kyokai <Nhk> カラー画像信号符号化装置
US7313318B2 (en) 1998-06-17 2007-12-25 Victor Company Of Japan, Limited Video signal encoding and recording apparatus with variable transmission rate
JP2009503999A (ja) * 2005-07-26 2009-01-29 ソニー株式会社 符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム
JP2009152895A (ja) * 2007-12-20 2009-07-09 Panasonic Corp 符号量制御方法および装置、符号量制御プログラム、カメラシステム
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
JP2011077788A (ja) * 2009-09-30 2011-04-14 Nec Corp 映像符号化画質劣化抑制装置、方法およびプログラム
CN102119527A (zh) * 2008-08-04 2011-07-06 佳能株式会社 图像处理设备和图像处理方法
JP2012105128A (ja) * 2010-11-11 2012-05-31 Mitsubishi Electric Corp 画像符号化装置
JP2012133505A (ja) * 2010-12-21 2012-07-12 Nec Corp 処理割り当て装置、処理割り当てシステム、処理割り当て方法、処理割り当てプログラム
WO2014054325A1 (ja) 2012-10-05 2014-04-10 ソニー株式会社 符号化制御装置および符号化制御方法
WO2015060174A1 (ja) * 2013-10-25 2015-04-30 シャープ株式会社 情報処理装置、情報処理装置の制御方法、情報処理装置制御プログラム

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2137266C (en) * 1993-04-09 2003-07-22 Tsuyoshi Oda Picture encoding method, picture encoding apparatus and picture recording medium
US5933451A (en) * 1994-04-22 1999-08-03 Thomson Consumer Electronics, Inc. Complexity determining apparatus
US6337879B1 (en) * 1996-08-14 2002-01-08 Sony Corporation Video data compression apparatus and method of same
US6243417B1 (en) * 1996-12-12 2001-06-05 Sony Corporation Device and method for encoding image data, and image data transmission method
EP0898427A4 (en) * 1997-02-13 2004-04-28 Mitsubishi Electric Corp ANIMATED IMAGE ESTIMATION SYSTEM
JP3588970B2 (ja) 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
US6366704B1 (en) * 1997-12-01 2002-04-02 Sharp Laboratories Of America, Inc. Method and apparatus for a delay-adaptive rate control scheme for the frame layer
US6353683B1 (en) 1997-12-10 2002-03-05 Matsushita Electric Industrial Co., Ltd. Method and apparatus of image processing, and data storage media
US7016413B2 (en) 1998-03-20 2006-03-21 International Business Machines Corporation Adaptively encoding a picture of contrasted complexity having normal video and noisy video portions
US6904174B1 (en) * 1998-12-11 2005-06-07 Intel Corporation Simplified predictive video encoder
US6963608B1 (en) 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
JP3907875B2 (ja) * 1998-10-23 2007-04-18 パイオニア株式会社 符号化レート制御装置及び情報符号化装置
US6240379B1 (en) 1998-12-24 2001-05-29 Sony Corporation System and method for preventing artifacts in an audio data encoder device
JP2000261459A (ja) * 1999-03-10 2000-09-22 Nec Corp 統計多重伝送方式
AU4468000A (en) * 1999-04-17 2000-11-02 Pulsent Corporation Method and apparatus for efficient video processing
US7082162B2 (en) * 1999-04-17 2006-07-25 Pts Corporation Segment-based encoding system including segment-specific metadata
US7085319B2 (en) * 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
US6600786B1 (en) 1999-04-17 2003-07-29 Pulsent Corporation Method and apparatus for efficient video processing
JP3807157B2 (ja) * 1999-06-25 2006-08-09 日本ビクター株式会社 符号化装置及び符号化方法
JP3757088B2 (ja) * 1999-10-26 2006-03-22 日本電気株式会社 動画像符号化装置および方法
US7103103B2 (en) * 2000-04-17 2006-09-05 Pts Corporation Segmenting encoding system encoding video data using segment-by-segment kinetic data including change information in addition to translation information
US6888894B2 (en) * 2000-04-17 2005-05-03 Pts Corporation Segmenting encoding system with image segmentation performed at a decoder and encoding scheme for generating encoded data relying on decoder segmentation
US7082166B2 (en) * 2000-04-17 2006-07-25 Pts Corporation Decoder for decoding segment-based encoding of video data using segmentation performed at a decoder
US7079582B2 (en) * 2000-07-07 2006-07-18 Matsushita Electric Industrial Co., Ltd. Image coding apparatus and image coding method
US7039115B1 (en) 2000-09-20 2006-05-02 General Instrument Corporation Processor allocation for channels in a video multi-processor system
US6904094B1 (en) 2000-09-20 2005-06-07 General Instrument Corporation Processing mode selection for channels in a video multi-processor system
US6724825B1 (en) 2000-09-22 2004-04-20 General Instrument Corporation Regeneration of program clock reference data for MPEG transport streams
US6847656B1 (en) * 2000-09-25 2005-01-25 General Instrument Corporation Statistical remultiplexing with bandwidth allocation among different transcoding channels
US6694060B2 (en) * 2000-12-21 2004-02-17 General Instrument Corporation Frame bit-size allocation for seamlessly spliced, variable-encoding-rate, compressed digital video signals
KR100814431B1 (ko) * 2001-04-25 2008-03-18 삼성전자주식회사 가변 비트레이트를 적용한 디지털 방송 송신장치 및 그방법, 비디오 데이타 부호화장치 및 그 방법 그리고방송신호의 복호화 시스템 및 그 방법
US6950463B2 (en) * 2001-06-13 2005-09-27 Microsoft Corporation Non-compensated transcoding of a video stream
US9894379B2 (en) * 2001-07-10 2018-02-13 The Directv Group, Inc. System and methodology for video compression
JP4130780B2 (ja) * 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
KR100961760B1 (ko) * 2002-08-13 2010-06-07 퀄컴 인코포레이티드 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
JP4788250B2 (ja) * 2005-09-08 2011-10-05 ソニー株式会社 動画像信号の符号化装置、動画像信号の符号化方法およびコンピュータ読み取り可能な記録媒体
US8031777B2 (en) * 2005-11-18 2011-10-04 Apple Inc. Multipass video encoding and rate control using subsampling of frames
US8295343B2 (en) 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method
US8233535B2 (en) 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
US20070116117A1 (en) * 2005-11-18 2007-05-24 Apple Computer, Inc. Controlling buffer states in video compression coding to enable editing and distributed encoding
US8780997B2 (en) * 2005-11-18 2014-07-15 Apple Inc. Regulation of decode-side processing based on perceptual masking
JP4731600B2 (ja) * 2006-03-30 2011-07-27 パイオニア株式会社 コンテンツ送信システムにおけるサーバー装置およびコンテンツ送信方法
US8681858B2 (en) * 2009-12-23 2014-03-25 General Instrument Corporation Rate control for two-pass encoder
US8711928B1 (en) * 2011-10-05 2014-04-29 CSR Technology, Inc. Method, apparatus, and manufacture for adaptation of video encoder tuning parameters

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69032177T2 (de) * 1989-12-25 1998-11-12 Mitsubishi Electric Corp Kodierungsgerät
US5291282A (en) * 1990-04-19 1994-03-01 Olympus Optical Co., Ltd. Image data coding apparatus and method capable of controlling amount of codes
US5237397A (en) * 1991-12-24 1993-08-17 Apple Computer, Inc. Color video data processing
DE69322713T2 (de) * 1992-08-31 1999-05-06 Victor Company Of Japan Vorrichtung zur orthogonalen Transformationskodierung und -dekodierung
JP2902284B2 (ja) * 1993-11-12 1999-06-07 ケイディディ株式会社 動画像の符号化装置
US5506686A (en) * 1994-11-23 1996-04-09 Motorola, Inc. Method and device for determining bit allocation in a video compression system

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0858171A3 (en) * 1997-01-27 2000-11-02 Sony Corporation Encoding digital signals
EP0858171A2 (en) * 1997-01-27 1998-08-12 Sony Corporation Encoding digital signals
JP2001507908A (ja) * 1997-11-07 2001-06-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像シーケンスの符号化
US7313318B2 (en) 1998-06-17 2007-12-25 Victor Company Of Japan, Limited Video signal encoding and recording apparatus with variable transmission rate
US6879632B1 (en) 1998-12-24 2005-04-12 Nec Corporation Apparatus for and method of variable bit rate video coding
US7965768B2 (en) 2005-06-13 2011-06-21 Hitachi, Ltd. Video signal encoding apparatus and computer readable medium with quantization control
JP2006352198A (ja) * 2005-06-13 2006-12-28 Hitachi Ltd 画像符号化装置及び画像符号化プログラム
JP4485996B2 (ja) * 2005-06-13 2010-06-23 株式会社日立製作所 画像符号化装置及び画像符号化プログラム
JP2009503999A (ja) * 2005-07-26 2009-01-29 ソニー株式会社 符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム
JP2007243515A (ja) * 2006-03-08 2007-09-20 Nippon Hoso Kyokai <Nhk> カラー画像信号符号化装置
JP4714044B2 (ja) * 2006-03-08 2011-06-29 日本放送協会 カラー画像信号符号化装置
JP2009152895A (ja) * 2007-12-20 2009-07-09 Panasonic Corp 符号量制御方法および装置、符号量制御プログラム、カメラシステム
JP2011523238A (ja) * 2008-08-04 2011-08-04 キヤノン株式会社 画像処理装置及び画像処理方法
CN102119527A (zh) * 2008-08-04 2011-07-06 佳能株式会社 图像处理设备和图像处理方法
US8842217B2 (en) 2008-08-04 2014-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2011023885A (ja) * 2009-07-14 2011-02-03 Canon Inc 映像符号化装置及び映像符号化方法
JP2011077788A (ja) * 2009-09-30 2011-04-14 Nec Corp 映像符号化画質劣化抑制装置、方法およびプログラム
JP2012105128A (ja) * 2010-11-11 2012-05-31 Mitsubishi Electric Corp 画像符号化装置
JP2012133505A (ja) * 2010-12-21 2012-07-12 Nec Corp 処理割り当て装置、処理割り当てシステム、処理割り当て方法、処理割り当てプログラム
WO2014054325A1 (ja) 2012-10-05 2014-04-10 ソニー株式会社 符号化制御装置および符号化制御方法
US9584809B2 (en) 2012-10-05 2017-02-28 Sony Corporation Encoding control apparatus and encoding control method
WO2015060174A1 (ja) * 2013-10-25 2015-04-30 シャープ株式会社 情報処理装置、情報処理装置の制御方法、情報処理装置制御プログラム

Also Published As

Publication number Publication date
JP4223571B2 (ja) 2009-02-12
US5719986A (en) 1998-02-17

Similar Documents

Publication Publication Date Title
JP4223571B2 (ja) 画像符号化方法及び装置
KR100289852B1 (ko) 화상 부호화 방법, 화상 부호화 장치 및 화상 기록 매체
US7170938B1 (en) Rate control method for video transcoding
JP3358620B2 (ja) 画像符号化方法及び画像符号化装置
US5473377A (en) Method for quantizing intra-block DC transform coefficients using the human visual characteristics
CA2456252C (en) Motion-adaptive noise reduction pre-processing for digital video signal
US5878166A (en) Field frame macroblock encoding decision
US6463100B1 (en) Adaptive quantization control method
KR100504641B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
US6151360A (en) Method for encoding video signal using statistical information
US6628713B1 (en) Method and device for data encoding and method for data transmission
KR20060036934A (ko) 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법
US7373004B2 (en) Apparatus for constant quality rate control in video compression and target bit allocator thereof
US5606372A (en) Video signal decoding apparatus capable of reducing blocking effects
JP3707118B2 (ja) 画像符号化方法及び装置
US5946421A (en) Method and apparatus for compensating quantization errors of a decoded video image by using an adaptive filter
JP2003348597A (ja) 画像符号化装置および画像符号化方法
US5614953A (en) Image signal decoding apparatus having an encoding error compensation
JP3857342B2 (ja) 画像符号化方法及び画像符号化装置
JP4636159B2 (ja) 符号化装置及び方法
JPH0998421A (ja) 画像符号化／復号化装置
KR20010104058A (ko) 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기
KR20010011309A (ko) 저 복잡도의 동영상 인코더 장치 및 방법
JP2002354484A (ja) 符号化画像のレート変換方法、及び符号化画像レート変換装置
JP4359273B2 (ja) 符号化モード選択方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060110

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060131

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060512

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees