JP3043599B2 - ニューラルネットワークを用いた量子化ステップサイズ制御装置 - Google Patents

ニューラルネットワークを用いた量子化ステップサイズ制御装置

Info

Publication number
JP3043599B2
JP3043599B2 JP17234995A JP17234995A JP3043599B2 JP 3043599 B2 JP3043599 B2 JP 3043599B2 JP 17234995 A JP17234995 A JP 17234995A JP 17234995 A JP17234995 A JP 17234995A JP 3043599 B2 JP3043599 B2 JP 3043599B2
Authority
JP
Japan
Prior art keywords
block
data
current
step size
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17234995A
Other languages
English (en)
Other versions
JPH0879748A (ja
Inventor
濟 昌 鄭
祐 演 安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH0879748A publication Critical patent/JPH0879748A/ja
Application granted granted Critical
Publication of JP3043599B2 publication Critical patent/JP3043599B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はビデオデータの符号
化方法及びその装置に係り、特にバッファ占有度、映像
複雑度などに基づき量子化ステップサイズを制御する装
置に関する。
【0002】
【従来の技術】一般に、高画質TV、ディジタルVT
R、ディジタルカムコーダなどのように画像信号及び音
響信号をディジタル処理するシステムは動き画像及びそ
れに関連した音響をディジタル符号化して伝送し、伝送
されたデータを再び復号化する。符号化されたデータを
一定した伝送速度を有する伝送路を通じて伝送する場合
の符号化器は発生されるデータ量を調節するのが求めら
れる。符号化されたデータを一定した伝送率で伝送する
ために量子化ステップサイズを定める装置を図1に基づ
き説明する。
【0003】図1は動き画像を圧縮し一定したデータ伝
送率に圧縮されたデータを伝送するための一般の符号化
装置のブロック図である。図1の装置は当業者にとって
公知の符号器なのでその動作を簡単に説明する。図1に
おいて、現在フレームのビデオデータは減算器31と動
き推定部18に印加される。動き推定部18は外部から
印加されるビデオデータとフレームメモリ17に貯蔵さ
れたビデオデータを用いて動きベクトルを発生する。動
きベクトルは現在フレームのビデオデータにより形成さ
れるN(横)×N(縦)画素(通常、8×8画素)のブ
ロック毎に発生し、動き補償部19及び伝送チャネルに
供給される。動き補償部19はフレームメモリ17に貯
蔵されたデータのうち動きベクトルに対応するビデオデ
ータをスイッチ33,34に供給する。スイッチ33,
34は図1の装置がインタフレームモードとして動作す
ればオンされ、図1の装置がイントラフレームモードと
して動作すればオフされる。スイッチ33がオン状態の
場合、減算器31は外部から印加されるビデオデータか
らスイッチ33を通じて動き補償部19から供給される
データを減算して差分データを発生する。
【0004】一方、スイッチ33がオフ状態なら、減算
器31は外部から印加されるビデオデータをそのまま変
換部11に供給する。変換部11は減算器31の出力デ
ータを周波数領域の変換係数に変換させる。変換は前述
したブロック単位からなる。変換部11から出力される
変換係数は量子化部12に供給される。量子化部12は
バッファ14から供給される量子化ステップサイズによ
り変換係数を量子化させ可変長符号化部13及び逆量子
化部15に供給する。量子化もやはり前述したブロック
単位からなる。可変長符号化部13はデータの統計的特
性に基づき入力データを可変長符号化する。逆量子化部
15は量子化部12により量子化された変換係数を逆量
子化して逆変換部16に出力する。かかる逆量子化部1
5は量子化部12による信号処理の逆過程を行う。
【0005】逆変換部16は入力される変換係数を空間
領域のビデオデータに変換させる。加算器32はスイッ
チ34を通じて動き補償部19から供給されるデータと
逆変換部16からのデータとを加算してフレームメモリ
17に出力する。フレームメモリ17は外部から印加さ
れるビデオデータにより更新しつづけるデータを1フレ
ーム分ずつ貯蔵し、フレームメモリ17に貯蔵されたデ
ータは動き推定部18及び動き補償部19による動き推
定及び動き補償に使われる。
【0006】一方、バッファ14は一定したデータを伝
送率を保つためのもので、貯蔵されたデータによるバッ
ファ占有度による量子化ステップサイズをマクロブロッ
ク毎に発生する。マクロブロックは通常16×16画素
からなる。量子化ステップサイズとバッファから出力さ
れる符号化されたデータは伝送チャネルを通じて図2の
装置に供給される。
【0007】符号化された動き画像を復号化する図2の
装置は量子化ステップサイズ及び動きベクトルを用いて
図1の装置により符号化されたデータを復号化する。さ
らに詳しくは、可変長復号化部21は可変長符号化部1
3による信号処理の逆過程を行う。逆量子化部22は可
変長復号化部21から供給されるデータを量子化ステッ
プサイズにより逆量子化する。
【0008】逆変換部23は入力される周波数領域のデ
ータを空間領域のデータに変換する。加算器35はスイ
ッチ36を通じて動き補償部24から供給されるデータ
と逆変換部23の出力データを加算する。フレームメモ
リ25は加算器35から出力されるデータを1フレーム
分ほど貯蔵する。動き補償部24は図1の装置により発
生された動きベクトルに対応するデータをフレームメモ
リ24から読み出してスイッチ36に供給する。かかる
方式で動作する図2の装置は図1の装置により符号化さ
れたデータを復号化する。加算器35から出力されるビ
デオデータはディスプレイを通じて表示される。
【0009】しかし、前述した量子化部11は損失(lo
ss)符号器の一種なので、量子化される前のデータと、
量子化された後逆量子化されたデータは同一でない。従
って、ビデオデータをマクロブロックのような所定の大
きさのブロック単位に与えられる量子化ステップサイズ
により量子化する場合、ユーザーは画面上でブロック間
の境界線を視覚的に認識するようになる。かかるブロッ
キング現象は複雑な場面の場合、ユーザーにより気がつ
かない。しかし、単純な場面や映像の明るさが急激に変
わって視覚的には輪郭線と認識されるエッジのある場面
で現れるブロッキング現象はユーザーにより容易に気が
つくので画質に悪影響を及ぼす。
【0010】良質の画質を提供するために量子化ステッ
プサイズを決める技術としては、1991年8月6日付
けにて特許された“Hang”のアメリカ特許第5,03
8,209号がある。この先行技術によるバッファ/量
子化器制御器は以前フレームの平均量子化ステップサイ
ズと出力バッファの充満度表示に応答して目標量子化ス
テップサイズを発生する。量子化ステップサイズを定め
る他の先行技術としては、前置解析部から供給される映
像複雑度と出力バッファから供給されるバッファ状態を
用いて量子化ステップサイズを定める比率制御技術など
がある。
【0011】
【発明が解決しようとする課題】本発明の目的はニュー
ラルネットワークを用いて映像複雑度、バッファ状態な
どのような量子化ステップサイズの決定に使われる媒介
変数から所定の量子化ステップサイズを定めることによ
り、場面の変化に従って変わる多様な媒介変数に拘らず
ユーザーがブロッキング現象を認識できないほどの画質
を提供することである。
【0012】
【課題を解決するための手段】前述した本発明の目的を
達成するために、1映像フレームを既に設定された大き
さを有する第1ブロックに分割して符号化し、符号化さ
れたデータを一定した伝送率で伝送する符号器のために
量子化ステップサイズを制御する装置は、量子化しよう
とする第1ブロックのそれぞれに対する映像複雑度を検
出する前解析部と、前記第1ブロックのそれぞれを代
表する輝度値を出力する輝度解析部と、量子化されたデ
ータをそれに応ずる量子化ステップサイズを用いて復元
し、既に設定された個数の第1ブロックからなる第2ブ
ロック毎の復元されたデータに基づきブロッキング現象
を最も少なくする判断基準値を発生する画質評価部と、
前記量子化されたデータを貯蔵し、貯蔵されたデータの
バッファ占有度を出力するバッファと、ニューラルネッ
トワークのための加重値と前記加重値を更新するための
改正規則を貯蔵し、量子化された以前の第2ブロックに
対する前記画質評価部の判断基準値と、前記貯蔵された
改正規則により前記貯蔵された加重値を更新し、量子化
しようとする現在の第2ブロックに対する映像複雑度及
び輝度値のうち少なくとも一種の情報と前記バッファか
らのバッファ占有度及び前記更新された加重値に基づき
前記現在の第2ブロックのための量子化ステップサイズ
を発生し、発生された量子化ステップサイズを前記画質
評価部に供給するニューラルネットワークと、前記符号
器により符号化された第2ブロックのそれぞれのデータ
を前記ニューラルネットワークから供給される対応量子
化ステップサイズにより量子化する量子化部とを含む。
【0013】また本発明の目的を達成するために、1映
像フレームを既に設定された大きさを有する第1ブロッ
クに分割して符号化し、符号化されたデータを一定した
伝送率で伝送するために量子化ステップサイズを制御す
る符号化装置は、予め貯蔵された基準フレームのデータ
と符号化しようとする現在フレームのデータに基づき現
在フレームの第1ブロックのそれぞれに対応する動きベ
クトルと動き補償されたデータを発生する動き補償部
と、前記現在フレームの第1ブロックのそれぞれのデー
タと前記動き補償部からの対応する動き補償されたデー
タ間の差分データを発生し、前記第1ブロックのそれぞ
れに対応して発生された差分データを変換符号化する符
号化手段と、前記現在フレームの第1ブロックのそれぞ
れに対する映像複雑度を検出する前解析部と、前記現
在フレームの第1ブロックのそれぞれを代表する輝度値
を出力する輝度解析部と、前記符号化手段により符号化
され、前記現在フレームの既に設定された個数の第1ブ
ロックからなる第2ブロックをそれぞれのデータを対応
量子化ステップサイズにより量子化する量子化部と、動
き補償部からの動きベクトルと前記量子化部により量子
化されたデータを可変長符号化して出力する手段と、前
記量子化部により量子化されたデータを復元し、前記第
2ブロック毎の復元されたデータに基づきブロッキング
現象を最も少なくする判断基準値を発生する画質評価部
と、前記可変長符号化手段から出力するデータを貯蔵
し、貯蔵されたデータのバッファ占有度を出力するバッ
ファと、ニューラルネットワークのための加重値と前記
加重値を更新するための改正規則を貯蔵し、量子化され
た以前の第2ブロックに対する前記画質評価部の判断基
準値と前記貯蔵された改正規則により前記貯蔵された加
重値を更新し、量子化しようとする現在の第2ブロック
に対する動きベクトルと映像複雑度及び輝度値のうち少
なくとも一種の情報と、前記バッファからのバッファ占
有度及び前記更新された加重値に基づき前記現在の第2
ブロックのための量子化ステップサイズを発生するニュ
ーラルネットワークとを含む。
【0014】
【発明の実施の形態】以下、添付した図3に基づき本発
明の望ましい一実施例を詳細に説明する。図3は本発明
によるニューラルネットワークを用いた符号化装置を示
すブロック図である。図3の装置は図1の装置に前
析部41、輝度解析部42、ニューラルネットワーク
3及び画質評価部44をさらに含めた構成を有する。
【0015】図3において、図1に示したブロックと同
一な機能を有するブロックについては同一な部材番号を
付し、その具体的な動作説明は省くこととする。入力端
10を通じて外部から図3の装置に印加されるビデオデ
ータは前解析部41、輝度解析部42、動き推定部1
8及び減算器31に供給される。前解析部41は入力
端10を通じて印加されるビデオデータにより形成され
るブロック毎の映像複雑度FAを定める。ここで、ブロ
ックはN(水平)×N(垂直)画素からなる。映像複雑
度FAは空間領域、周波数領域またはこの二つの領域を
全部用いて得られたデータの分析に基づき決定される。
輝度解析部22もやはり前述したブロック毎を代表する
輝度値BRを検出してニューラルネットワーク43に出
力する。動き推定部18は図1の装置に関連して説明さ
れた方式により動き推定を行ってブロック毎の動きベク
トルMVを発生する。発生された動きベクトルMVは
ューラルネットワーク43と可変長符号化部45に供給
される。可変長符号化部45は動きベクトルを可変長符
号化してバッファ14に出力する。ニューラルネットワ
ーク43は後述する方式によりブロック毎にまたは複数
個のブロックからなるマクロブロック毎の量子化ステッ
プサイズMQUANTを発生する。量子化部12は変換
部11から印加されるデータを量子化して可変長符号化
部13に出力する。バッファ14は可変長符号化部1
3,45から供給されるデータを貯蔵し、貯蔵されたデ
ータによるバッファ充満度BFをニューラルネットワー
43に出力する。ここで、バッファ充満度BFとはバ
ッファ14の有する全体データ貯蔵容量に対する実際バ
ッファ14に貯蔵されたデータの比率を示す。
【0016】一方、画質評価部44は可変長符号化部1
3から出力されるデータを復元する。データの復元には
ニューラルネットワーク43から供給される該当量子化
ステップサイズが使われる。画質評価部44は復元され
たデータに基づきブロッキング現象を視覚的に最も少な
く感じるようにする判断基準値を発生する。かかる判断
基準値はブロック毎にまたはマクロブロック毎に発生す
る。
【0017】量子化しようとするブロックまたはマクロ
ブロックに対する映像複雑度FA、輝度値BR及び動き
ベクトルMVと、直前に量子化されたブロックまたはマ
クロブロックによる判断基準値バッファ充満度BFが
ニューラルネットワーク43に印加されれば、ニューラ
ルネットワーク43は判断基準値に基づいて加重値を更
新した後、現在のバッファ充満度BFと各ブロック毎に
発生される映像複雑度FA、輝度値BR及び動きベクト
ルMVを用いて各ブロックの量子化のための量子化ステ
ップサイズMQUANTを発生する。かかるニューラル
ネットワーク43は映像複雑度FAと輝度値BRのうち
一つとバッファ14から供給される現在のバッファ占有
度BFを用いて量子化ステップサイズMQUANTを発
生させる変形された形態に設計することもできる。そし
て、四つのブロックからなるマクロブロックを規定する
“MPEG−2”規格に適合に図3の装置を設計する場
合、ニューラルネットワーク43はマクロブロック毎に
量子化ステップサイズMQUANTを発生する。
【0018】かかるニューラルネットワーク43は公知
ニューラルネットワーク理論に基づき具現できるもの
で、本発明の一実施例では3層ニューラルネットワーク
を用いて具現した。3層ニューラルネットワークは入力
端と出力層、そして入力端と出力層との間の第1及び第
2中間層(hidden layer) を有し、各層はニューラル
ードとから構成される。第1中間層の各ニューラルノー
ドは全ての入力端に連結され、第2中間層の各ニューラ
ノードは第1中間層の全てのニューラルノードに連結
される。そして、出力層の各ニューラルノードもやはり
第2中間層の全てのニューラルノードに連結される。ノ
ードを連結するシナプスにはそれぞれ加重値が付加さ
れ、加重値は最適値となるまで改正規則により可変され
る。
【0019】画質評価部44から以前ブロック(または
マクロブロック)による判断基準値が供給されれば、
ューラルネットワーク43はその判断基準値を改正規則
に適応させ以前ブロック(またはマクロブロック)の量
子化ステップサイズMQUANTの発生に使われる加重
値を更新する。そして、ニューラルネットワーク43は
現在のバッファ占有度BFと量子化しようとする現在の
ブロック(またはマクロブロック)に対する量子化ステ
ップサイズMQUANTを発生する。発生された量子化
ステップサイズMQUANTは量子化部12と伝送チャ
ネルに供給される。量子化部12は変換部11から供給
される現在のブロック(またはマクロブロック)のデー
タをそれに対応する量子化ステップサイズMQUANT
により量子化させる。すなわち、量子化部12はブロッ
ク(またはマクロブロック)間の境界線が視覚的に認識
しやすくブロック(またはマクロブロック)には相対的
に多量のビットが割り当てられ、ブロック(またはマク
ロブロック)間の境界線が視覚的に少なく認識されるブ
ロック(またはマクロブロック)には相対的に少ないビ
ットが割り当てられるように変換部11から供給される
データを量子化する。従って、図3の装置により符号化
されたデータはブロック間またはマクロブロック間の境
界線が視覚的に良く認識されない映像として再現され
る。量子化部12と可変長符号化部13を経て出力され
るデータは次のブロック(またはマクロブロック)のた
めの判断基準値の発生に使われる。バッファ14は供給
されたデータを一定した伝送率で復号化側に伝送するた
めに伝送チャネルに供給し、次のブロック(またはマク
ロブロック)のための新たなバッファ充満度BFを出力
する。
【0020】
【発明の効果】以上述べたように、本発明によるニュー
ラルネットワークを用いた符号化装置は量子化ステップ
サイズを定めるための条件を再調整する学習能力を備え
ニューラルネットワークを用いて量子化ステップサイ
ズを定めることにより量子化された映像データの復元時
復元画素のブロック間境界線が視覚的に少なく認識する
ようにする。よって、安定した画質を保たせうる。
【図面の簡単な説明】
【図1】一般の符号化装置を示すブロック図である。
【図2】一般の復号化装置を示すブロック図である。
【図3】本発明の望ましい一実施例によるニューラルネ
ットワークを用いた符号化装置を示すブロック図であ
る。
【符号の説明】
12 量子化部 14 バッファ 41 前解析部 42 輝度解析部 43 ニューラルネットワーク 44 画質評価部
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 G06T 9/00 H03M 7/30 H03M 7/40

Claims (15)

    (57)【特許請求の範囲】
  1. 【請求項1】 1映像フレームを既に設定された大きさ
    を有する第1ブロックに分割して符号化し、符号化され
    たデータを一定した伝送率で伝送する符号器のために量
    子化ステップサイズを制御する装置において、 量子化しようとする第1ブロックのそれぞれに対する映
    像複雑度を検出する前解析部と、 前記第1ブロックのそれぞれを代表する輝度値を出力す
    る輝度解析部と、 量子化されたデータをそれに応ずる量子化ステップサイ
    ズを用いて復元し、既に設定された個数の第1ブロッ
    らなる第2ブロック毎の復元されたデータに基づきブ
    ロッキング現象を最も少なくする判断基準値を発生する
    画質評価部と、 前記量子化されたデータを貯蔵し、貯蔵されたデータの
    バッファ占有度を出力するバッファと、ニューラルネットワーク のための加重値と前記加重値を
    更新するための改正規則を貯蔵し、量子化された以前の
    第2ブロックに対する前記画質評価部の判断基準値と、
    前記貯蔵された改正規則により前記貯蔵された加重値を
    更新し、量子化しようとする現在の第2ブロックに対す
    る映像複雑度及び輝度値のうち少なくとも一種の情報と
    前記バッファからのバッファ占有度及び前記更新された
    加重値に基づき前記現在の第2ブロックのための量子化
    ステップサイズを発生し、発生された量子化ステップサ
    イズを前記画質評価部に供給するニューラルネットワー
    と、 前記符号化器により符号化された第2ブロックのそれぞ
    れのデータを前記ニューラルネットワークから供給され
    る対応量子化ステップサイズにより量子化する量子化部
    とを含む装置。
  2. 【請求項2】 前記第2ブロックは一つの第1ブロック
    からなることを特徴とする請求項1に記載の装置。
  3. 【請求項3】 前記第2ブロックは複数個の前記第1ブ
    ロックからなるマクロブロックであることを特徴とする
    請求項1に記載の装置。
  4. 【請求項4】 前記画質評価部は前記以前の第2ブロッ
    クのデータに基づき前記現在の第2ブロックに対する判
    断基準値を出力することを特徴とする請求項1に記載の
    装置。
  5. 【請求項5】 前記ニューラルネットワークは前記現在
    の第2ブロックに対応する映像複雑度とバッファ占有度
    及び前記更新された加重値に基づき前記現在の第2ブロ
    ックのための量子化ステップサイズを発生することを特
    徴とする請求項1に記載の装置。
  6. 【請求項6】 前記ニューラルネットワークは前記現在
    の第2ブロックに対応する輝度値とバッファ占有度及び
    前記更新された加重値に基づき前記現在の第2ブロック
    のための量子化ステップサイズを発生することを特徴と
    する請求項1に記載の装置。
  7. 【請求項7】 前記ニューラルネットワークは前記現在
    の第2ブロックに対応する映像複雑度輝度値、バッファ
    占有度及び前記更新された加重値に基づき前記現在の第
    2ブロックのための量子化ステップサイズを発生するこ
    とを特徴とする請求項1に記載の装置。
  8. 【請求項8】 1映像フレームを既に設定された大きさ
    を有する第1ブロックに分割して符号化し、符号化され
    たデータを一定した伝送率で伝送する符号化装置におい
    て、 予め貯蔵された基準フレームのデータと符号化しようと
    する現在フレームのデータに基づき現在フレームの第1
    ブロックのそれぞれに対応する動きベクトルと動き補償
    されたデータを発生する動き補償部と、 前記現在フレームの第1ブロックのそれぞれのデータと
    前記動き補償部からの対応する動き補償されたデータ間
    の差分データを発生し、前記第1ブロックのそれぞれに
    対応して発生された差分データを変換符号化する符号化
    手段と、 前記現在フレームの第1ブロックのそれぞれに対する映
    像複雑度を検出する前解析部と、 前記現在フレームの第1ブロックのそれぞれを代表する
    輝度値を出力する輝度解析部と、 前記符号化手段により符号化され、前記現在フレームの
    既に設定された個数の第1ブロックからなる第2ブロッ
    クのそれぞれのデータを対応量子化ステップサイズによ
    り量子化する量子化部と、 動き補償部からの動きベクトルと前記量子化部により量
    子化されたデータを可変長符号化して出力する手段と、 前記量子化部により量子化されたデータを復元し、前記
    第2ブロック毎の復元されたデータに基づきブロッキン
    グ現象を最も少なくする判断基準値を発生する画質評価
    部と、 前記可変長符号化手段から出力するデータを貯蔵し、貯
    蔵されたデータのバッファ占有度を出力するバッファ
    と、ニューラルネットワーク のための加重値と前記加重値を
    更新するための改正規則を貯蔵し、量子化された以前の
    第2ブロックに対する前記画質評価部の判断基準値と前
    記貯蔵された改正規則により前記貯蔵された加重値を更
    新し、量子化しようとする現在の第2ブロックに対する
    動きベクトルと映像複雑度及び輝度値のうち少なくとも
    一種の情報と、前記バッファからのバッファ占有度及び
    前記更新された加重値に基づき前記現在の第2ブロック
    のための量子化ステップサイズを発生するニューラルネ
    ットワークとを含む符号化装置。
  9. 【請求項9】 前記第2ブロックは一つの第1ブロック
    からなることを特徴とする請求項8に記載の符号化装
    置。
  10. 【請求項10】 前記第2ブロックは複数個の前記第1
    ブロックからなるマクロブロックであることを特徴とす
    る請求項8に記載の符号化装置。
  11. 【請求項11】 前記画質評価部は前記以前の第2ブロ
    ックのデータに基づき前記現在の第2ブロックに対する
    判断基準値を出力することを特徴とする請求項8に記載
    の符号化装置。
  12. 【請求項12】 前記ニューラルネットワークは前記現
    在の第2ブロックに対応する映像複雑度とバッファ占有
    度及び前記更新された加重値に基づき前記現在の第2ブ
    ロックのための量子化ステップサイズを発生することを
    特徴とする請求項8に記載の符号化装置。
  13. 【請求項13】 前記ニューラルネットワークは前記現
    在の第2ブロックに対応する輝度値とバッファ占有度及
    び前記更新された加重値に基づき前記現在の第2ブロッ
    クのための量子化ステップサイズを発生することを特徴
    とする請求項8に記載の符号化装置。
  14. 【請求項14】 前記ニューラルネットワークは前記現
    在の第2ブロックに対応する映像複雑度、輝度値、バッ
    ファ占有度及び前記改善された加重値に基づき前記現在
    の第2ブロックのための量子化ステップサイズを発生す
    ることを特徴とする請求項8に記載の符号化装置。
  15. 【請求項15】 前記ニューラルネットワークは前記現
    在の第2ブロックに対応する動きベクトル、映像複雑
    度、輝度値、バッファ占有度及び前記更新された加重値
    に基づき前記現在の第2ブロックのための量子化ステッ
    プサイズを発生することを特徴とする請求項8に記載の
    符号化装置。
JP17234995A 1994-07-08 1995-07-07 ニューラルネットワークを用いた量子化ステップサイズ制御装置 Expired - Fee Related JP3043599B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019940016468A KR0139154B1 (ko) 1994-07-08 1994-07-08 신경망을 이용한 부호화방법 및 그 장치
KR16468/1994 1994-07-08

Publications (2)

Publication Number Publication Date
JPH0879748A JPH0879748A (ja) 1996-03-22
JP3043599B2 true JP3043599B2 (ja) 2000-05-22

Family

ID=19387603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17234995A Expired - Fee Related JP3043599B2 (ja) 1994-07-08 1995-07-07 ニューラルネットワークを用いた量子化ステップサイズ制御装置

Country Status (4)

Country Link
US (1) US5638125A (ja)
JP (1) JP3043599B2 (ja)
KR (1) KR0139154B1 (ja)
CN (1) CN1083216C (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969764A (en) * 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US6088392A (en) * 1997-05-30 2000-07-11 Lucent Technologies Inc. Bit rate coder for differential quantization
JP3356004B2 (ja) * 1997-05-30 2002-12-09 日本ビクター株式会社 可変レート符号化装置及び方法
KR100246626B1 (ko) 1997-10-16 2000-03-15 정선종 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법
JP2000151974A (ja) * 1998-11-11 2000-05-30 Sony Corp 信号編集装置、信号編集方法
JP3403683B2 (ja) * 1999-11-26 2003-05-06 沖電気工業株式会社 画像符号化装置および方法
GB2357210A (en) * 1999-12-06 2001-06-13 Snell & Wilcox Ltd Inserting future bit rate information in a compressed data stream
US20030156642A1 (en) * 2001-03-29 2003-08-21 Vincent Ruol Video coding method and corresponding encoding device
JP2005333609A (ja) * 2004-04-22 2005-12-02 Sanyo Electric Co Ltd 符号化制御回路及び符号化回路
CN100477794C (zh) * 2004-09-10 2009-04-08 松下电器产业株式会社 运动图像编码装置及其编码方法以及运动图像的成像装置
US20060239344A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for rate control in a video encoder
JP4485996B2 (ja) * 2005-06-13 2010-06-23 株式会社日立製作所 画像符号化装置及び画像符号化プログラム
CN101783961A (zh) * 2010-03-05 2010-07-21 厦门大学 基于感知质量的水下视频图像传输控制方法
GB2499671B (en) * 2012-02-27 2014-04-09 Broadcom Corp Apparatus and method for communication
GB201308073D0 (en) * 2013-05-03 2013-06-12 Imagination Tech Ltd Encoding an image
WO2016132150A1 (en) 2015-02-19 2016-08-25 Magic Pony Technology Limited Enhancing visual data using and augmenting model libraries
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
US10681380B2 (en) * 2015-06-12 2020-06-09 Panasonic Intellectual Property Management Co., Ltd. Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus
US10499056B2 (en) * 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
WO2017178808A1 (en) 2016-04-12 2017-10-19 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
US10728553B2 (en) * 2017-07-11 2020-07-28 Sony Corporation Visual quality preserving quantization parameter prediction with deep neural network
US11363302B2 (en) 2017-10-12 2022-06-14 Mediatek Inc. Method and apparatus of neural network for video coding
JP7233875B2 (ja) * 2018-09-26 2023-03-07 株式会社Preferred Networks 作成方法、コンピュータ及びプログラム
CN114786011B (zh) * 2022-06-22 2022-11-15 苏州浪潮智能科技有限公司 一种jpeg图像压缩的方法、系统、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2639739B1 (fr) * 1988-11-25 1991-03-15 Labo Electronique Physique Procede et dispositif de compression de donnees d'image utilisant un reseau de neurones
US5038209A (en) * 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
US5157399A (en) * 1991-08-15 1992-10-20 Sony Corporation Neural network quantizer
JPH06164902A (ja) * 1992-11-17 1994-06-10 Mamoru Tanaka ニューラルネットワークによる画像の圧縮再生

Also Published As

Publication number Publication date
US5638125A (en) 1997-06-10
KR0139154B1 (ko) 1998-06-15
CN1124434A (zh) 1996-06-12
CN1083216C (zh) 2002-04-17
JPH0879748A (ja) 1996-03-22

Similar Documents

Publication Publication Date Title
JP3043599B2 (ja) ニューラルネットワークを用いた量子化ステップサイズ制御装置
JP3748717B2 (ja) 動画像符号化装置
US5686962A (en) Motion image coder using pre-filter to reduce quantization error
US5473377A (en) Method for quantizing intra-block DC transform coefficients using the human visual characteristics
JP3025610B2 (ja) 符号化方法およびその装置
EP0680217B1 (en) Video signal decoding apparatus capable of reducing blocking effects
US5521643A (en) Adaptively coding method and apparatus utilizing variation in quantization step size
JP3651706B2 (ja) 動画像符号化装置
US5946421A (en) Method and apparatus for compensating quantization errors of a decoded video image by using an adaptive filter
US5508745A (en) Apparatus for controlling a quantization level to be modified by a motion vector
JPH06237454A (ja) 可変長符号化を考慮した動作推定装置
JP3206413B2 (ja) 可変フレームレート動画像符号化方法
JPH01228384A (ja) 領域分割を用いた動画像符号化方式
JP3738511B2 (ja) 動画像符号化方式
JPH11504482A (ja) 映像信号復号化システム用後処理方法及びその装置
JP3013602B2 (ja) 映像信号符号化装置
JP4185413B2 (ja) フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラム
JP3382292B2 (ja) 画像符号化装置及びその方法
JP4359273B2 (ja) 符号化モード選択方法
KR0166728B1 (ko) 에지특성을 고려한 영상신호부호화장치 및 양자화레벨결정방법
KR100203676B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
JPH0646411A (ja) 画像符号化装置
KR100774455B1 (ko) 실시간 비디오 전송 응용을 위한 비트율 조절장치
JPH06217296A (ja) 適応的イントラ/インタモード圧縮を用いた映像信号符号化装置
JP3311312B2 (ja) 符号化制御方法、符号化制御装置、および符号化制御プログラムを記録した記録媒体

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080310

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090310

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees