JPH0879748A - 神経網を用いた量子化ステップサイズ制御装置 - Google Patents

神経網を用いた量子化ステップサイズ制御装置

Info

Publication number
JPH0879748A
JPH0879748A JP17234995A JP17234995A JPH0879748A JP H0879748 A JPH0879748 A JP H0879748A JP 17234995 A JP17234995 A JP 17234995A JP 17234995 A JP17234995 A JP 17234995A JP H0879748 A JPH0879748 A JP H0879748A
Authority
JP
Japan
Prior art keywords
block
data
current
value
step size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP17234995A
Other languages
English (en)
Other versions
JP3043599B2 (ja
Inventor
Jechang Jeong
濟 昌 鄭
Wooyoun Ahn
祐 演 安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH0879748A publication Critical patent/JPH0879748A/ja
Application granted granted Critical
Publication of JP3043599B2 publication Critical patent/JP3043599B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 バッファ占有度、映像複雑度などに基づき量
子化ステップサイズを制御する装置。 【解決手段】 量子化しようとする第1ブロックに対す
る映像複雑度を検出する前方解析部41と、第1ブロッ
クの代表輝度値を出力する輝度解析部42と、量子化デ
ータに応ずる量子化ステップサイズで復元し、設定個数
の第1ブロックとからなる第2ブロック毎の復元データ
に基づきブロッキング現象を視覚的に最も少なく感ずる
判断基準値を発生する画質評価部44と、貯蔵データの
バッファ占有度の出力バッファ14と、量子化前の第1
ブロックに対する判断基準値と改正規則により加重値を
更新し、量子化する現在の第2ブロックに対する映像複
雑度及び輝度値とバッファ占有度及び更新加重値に基づ
き現在の第2ブロックの量子化ステップサイズを発生す
る神経網43と、符号化された第2ブロックのデータを
神経網からの対応量子化ステップサイズにより量子化す
る量子化部12を含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はビデオデータの符号
化方法及びその装置に係り、特にバッファ占有度、映像
複雑度などに基づき量子化ステップサイズを制御する装
置に関する。
【0002】
【従来の技術】一般に、高画質TV、ディジタルVT
R、ディジタルカムコーダなどのように画像信号及び音
響信号をディジタル処理するシステムは動き画像及びそ
れに関連した音響をディジタル符号化して伝送し、伝送
されたデータを再び復号化する。符号化されたデータを
一定した伝送速度を有する伝送路を通じて伝送する場合
の符号化器は発生されるデータ量を調節するのが求めら
れる。符号化されたデータを一定した伝送率で伝送する
ために量子化ステップサイズを定める装置を図1に基づ
き説明する。
【0003】図1は動き画像を圧縮し一定したデータ伝
送率に圧縮されたデータを伝送するための一般の符号化
装置のブロック図である。図1の装置は当業者にとって
公知の符号器なのでその動作を簡単に説明する。図1に
おいて、現在フレームのビデオデータは減算器31と動
き推定部18に印加される。動き推定部18は外部から
印加されるビデオデータとフレームメモリ17に貯蔵さ
れたビデオデータを用いて動きベクトルを発生する。動
きベクトルは現在フレームのビデオデータにより形成さ
れるN(横)×N(縦)画素(通常、8×8画素)のブ
ロック毎に発生し、動き補償部19及び伝送チャネルに
供給される。動き補償部19はフレームメモリ17に貯
蔵されたデータのうち動きベクトルに対応するビデオデ
ータをスイッチ33,34に供給する。スイッチ33,
34は図1の装置がインタフレームモードとして動作す
ればオンされ、図1の装置がイントラフレームモードと
して動作すればオフされる。スイッチ33がオン状態の
場合、減算器31は外部から印加されるビデオデータか
らスイッチ33を通じて動き補償部19から供給される
データを減算して差分データを発生する。
【0004】一方、スイッチ33がオフ状態なら、減算
器31は外部から印加されるビデオデータをそのまま変
換部11に供給する。変換部11は減算器31の出力デ
ータを周波数領域の変換係数に変換させる。変換は前述
したブロック単位からなる。変換部11から出力される
変換係数は量子化部12に供給される。量子化部12は
バッファ14から供給される量子化ステップサイズによ
り変換係数を量子化させ可変長符号化部13及び逆量子
化部15に供給する。量子化もやはり前述したブロック
単位からなる。可変長符号化部13はデータの統計的特
性に基づき入力データを可変長符号化する。逆量子化部
15は量子化部12により量子化された変換係数を逆量
子化して逆変換部16に出力する。かかる逆量子化部1
5は量子化部12による信号処理の逆過程を行う。
【0005】逆変換部16は入力される変換係数を空間
領域のビデオデータに変換させる。加算器32はスイッ
チ34を通じて動き補償部19から供給されるデータと
逆変換部16からのデータとを加算してフレームメモリ
17に出力する。フレームメモリ17は外部から印加さ
れるビデオデータにより更新しつづけるデータを1フレ
ーム分ずつ貯蔵し、フレームメモリ17に貯蔵されたデ
ータは動き推定部18及び動き補償部19による動き推
定及び動き補償に使われる。
【0006】一方、バッファ14は一定したデータを伝
送率を保つためのもので、貯蔵されたデータによるバッ
ファ占有度による量子化ステップサイズをマクロブロッ
ク毎に発生する。マクロブロックは通常16×16画素
からなる。量子化ステップサイズとバッファから出力さ
れる符号化されたデータは伝送チャネルを通じて図2の
装置に供給される。
【0007】符号化された動き画像を復号化する図2の
装置は量子化ステップサイズ及び動きベクトルを用いて
図1の装置により符号化されたデータを復号化する。さ
らに詳しくは、可変長復号化部21は可変長符号化部1
3による信号処理の逆過程を行う。逆量子化部22は可
変長復号化部21から供給されるデータを量子化ステッ
プサイズにより逆量子化する。
【0008】逆変換部23は入力される周波数領域のデ
ータを空間領域のデータに変換する。加算器35はスイ
ッチ36を通じて動き補償部24から供給されるデータ
と逆変換部23の出力データを加算する。フレームメモ
リ25は加算器35から出力されるデータを1フレーム
分ほど貯蔵する。動き補償部24は図1の装置により発
生された動きベクトルに対応するデータをフレームメモ
リ24から読み出してスイッチ36に供給する。かかる
方式で動作する図2の装置は図1の装置により符号化さ
れたデータを復号化する。加算器35から出力されるビ
デオデータはディスプレイを通じて表示される。
【0009】しかし、前述した量子化部11は損失(lo
ss)符号器の一種なので、量子化される前のデータと、
量子化された後逆量子化されたデータは同一でない。従
って、ビデオデータをマクロブロックのような所定の大
きさのブロック単位に与えられる量子化ステップサイズ
により量子化する場合、ユーザーは画面上でブロック間
の境界線を視覚的に認識するようになる。かかるブロッ
キング現象は複雑な場面の場合、ユーザーにより気がつ
かない。しかし、単純な場面や映像の明るさが急激に変
わって視覚的には輪郭線と認識されるエッジのある場面
で現れるブロッキング現象はユーザーにより容易に気が
つくので画質に悪影響を及ぼす。
【0010】良質の画質を提供するために量子化ステッ
プサイズを決める技術としては、1991年8月6日付
けにて特許された“Hang”のアメリカ特許第5,03
8,209号がある。この先行技術によるバッファ/量
子化器制御器は以前フレームの平均量子化ステップサイ
ズと出力バッファの充満度表示に応答して目標量子化ス
テップサイズを発生する。量子化ステップサイズを定め
る他の先行技術としては、前方解析部から供給される映
像複雑度と出力バッファから供給されるバッファ状態を
用いて量子化ステップサイズを定める比率制御技術など
がある。
【0011】
【発明が解決しようとする課題】本発明の目的は神経網
を用いて映像複雑度、バッファ状態などのような量子化
ステップサイズの決定に使われる媒介変数から所定の量
子化ステップサイズを定めることにより、場面の変化に
従って変わる多様な媒介変数に拘らずユーザーがブロッ
キング現象を認識できないほどの画質を提供することで
ある。
【0012】
【課題を解決するための手段】前述した本発明の目的を
達成するために、1映像フレームを既に設定された大き
さを有する第1ブロックに分割して符号化し、符号化さ
れたデータを一定した伝送率で伝送する符号器のために
量子化ステップサイズを制御する装置は、量子化しよう
とする第1ブロックのそれぞれに対する映像複雑度を検
出する前方解析部と、前記第1ブロックのそれぞれを代
表する輝度値を出力する輝度解析部と、量子化されたデ
ータをそれに応ずる量子化ステップサイズを用いて復元
し、既に設定された個数の第1ブロックとからなる第2
ブロック毎の復元されたデータに基づきブロッキング現
象を視覚的に最も少なく感じるようにする判断基準値を
発生する画質評価部と、前記量子化されたデータを貯蔵
し、貯蔵されたデータのバッファ占有度を出力するバッ
ファと、神経網のための加重値と前記加重値を更新する
ための改正規則を貯蔵し、量子化された以前の第2ブロ
ックに対する前記画質評価部の判断基準値と、前記貯蔵
された改正規則により前記貯蔵された加重値を更新し、
量子化しようとする現在の第2ブロックに対する映像複
雑度及び輝度値のうち少なくとも一種の情報と前記バッ
ファからのバッファ占有度及び前記更新された加重値に
基づき前記現在の第2ブロックのための量子化ステップ
サイズを発生し、発生された量子化ステップサイズを前
記画質評価部に供給する神経網と、前記符号器により符
号化された第2ブロックのそれぞれのデータを前記神経
網から供給される対応量子化ステップサイズにより量子
化する量子化部とを含む。
【0013】また本発明の目的を達成するために、1映
像フレームを既に設定された大きさを有する第1ブロッ
クに分割して符号化し、符号化されたデータを一定した
伝送率で伝送するために量子化ステップサイズを制御す
る符号化装置は、予め貯蔵された基準フレームのデータ
と符号化しようとする現在フレームのデータに基づき現
在フレームの第1ブロックのそれぞれに対応する動きベ
クトルと動き補償されたデータを発生する動き補償部
と、前記現在フレームの第1ブロックのそれぞれのデー
タと前記動き補償部からの対応する動き補償されたデー
タ間の差分データを発生し、前記第1ブロックのそれぞ
れに対応して発生された差分データを変換符号化する符
号化手段と、前記現在フレームの第1ブロックのそれぞ
れに対する映像複雑度を検出する前方解析部と、前記現
在フレームの第1ブロックのそれぞれを代表する輝度値
を出力する輝度解析部と、前記符号化手段により符号化
され、前記現在フレームの既に設定された個数の第1ブ
ロックからなる第2ブロックをそれぞれのデータを対応
量子化ステップサイズにより量子化する量子化部と、動
き補償部からの動きベクトルと前記量子化部により量子
化されたデータを可変長符号化して出力する手段と、前
記量子化部により量子化されたデータを復元し、前記第
2ブロック毎の復元されたデータに基づきブロッキング
現象を視覚的に最も少なく感じるようにする判断基準値
を発生する画質評価部と、前記可変長符号化手段から出
力するデータを貯蔵し、貯蔵されたデータのバッファ占
有度を出力するバッファと、神経網のための加重値と前
記加重値を更新するための改正規則を貯蔵し、量子化さ
れた以前の第2ブロックに対する前記画質評価部の判断
基準値と前記貯蔵された改正規則により前記貯蔵された
加重値を更新し、量子化しようとする現在の第2ブロッ
クに対する動きベクトルと映像複雑度及び輝度値のうち
少なくとも一種の情報と、前記バッファからのバッファ
占有度及び前記更新された加重値に基づき前記現在の第
2ブロックのための量子化ステップサイズを発生する神
経網とを含む。
【0014】
【発明の実施の形態】以下、添付した図3に基づき本発
明の望ましい一実施例を詳細に説明する。図3は本発明
による神経網を用いた符号化装置を示すブロック図であ
る。図3の装置は図1の装置に前方解析部41、輝度解
析部42、神経網43及び画質評価部44をさらに含め
た構成を有する。
【0015】図3において、図1に示したブロックと同
一な機能を有するブロックについては同一な部材番号を
付し、その具体的な動作説明は省くこととする。入力端
10を通じて外部から図3の装置に印加されるビデオデ
ータは前方解析部41、輝度解析部42、動き推定部1
8及び減算器31に供給される。前方解析部41は入力
端10を通じて印加されるビデオデータにより形成され
るブロック毎の映像複雑度FAを定める。ここで、ブロ
ックはN(水平)×N(垂直)画素からなる。映像複雑
度FAは空間領域、周波数領域またはこの二つの領域を
全部用いて得られたデータの分析に基づき決定される。
輝度解析部22もやはり前述したブロック毎を代表する
輝度値BRを検出して神経網43に出力する。動き推定
部18は図1の装置に関連して説明された方式により動
き推定を行ってブロック毎の動きベクトルMVを発生す
る。発生された動きベクトルMVは神経網43と可変長
符号化部45に供給される。可変長符号化部45は動き
ベクトルを可変長符号化してバッファ14に出力する。
神経網43は後述する方式によりブロック毎にまたは複
数個のブロックからなるマクロブロック毎のための量子
化ステップサイズMQUANTを発生する。量子化部1
2は変換部11から印加されるデータを量子化して可変
長符号化部13に出力する。バッファ14は可変長符号
化部13,45から供給されるデータを貯蔵し、貯蔵さ
れたデータによるバッファ充満度BFを神経網43に出
力する。ここで、バッファ充満度BFとはバッファ14
の有する全体データ貯蔵容量に対する実際バッファ14
に貯蔵されたデータの比率を示す。
【0016】一方、画質評価部44は可変長符号化部1
3から出力されるデータを復元する。データの復元には
量子化部12から供給される該当量子化ステップサイズ
が使われる。画質評価部44は復元されたデータに基づ
きブロッキング現象を視覚的に最も少なく感じるように
する判断基準値を発生する。かかる判断基準値はブロッ
ク毎にまたはマクロブロック毎に発生する。
【0017】量子化しようとするブロックまたはマクロ
ブロックに対する映像複雑度FA、輝度値BR及び動き
ベクトルMVと、直前に量子化されたブロックまたはマ
クロブロックによる判断基準値バッファ充満度BFが神
経網43に印加されれば、神経網43は判断基準値に基
づいて加重値を更新した後、現在のバッファ充満度BF
と各ブロック毎に発生される映像複雑度FA、輝度値B
R及び動きベクトルMVを用いて各ブロックの量子化の
ための量子化ステップサイズMQUANTを発生する。
かかる神経網43は映像複雑度FAと輝度値BRのうち
一つとバッファ14から供給される現在のバッファ占有
度BFを用いて量子化ステップサイズMQUANTを発
生させる変形された形態に設計することもできる。そし
て、四つのブロックからなるマクロブロックを規定する
“MPEG−2”規格に適合に図3の装置を設計する場
合、神経網43はマクロブロック毎に量子化ステップサ
イズMQUANTを発生する。
【0018】かかる神経網43は公知の神経網理論に基
づき具現できるもので、本発明の一実施例では3層神経
網を用いて具現した。3層神経網は入力端と出力層、そ
して入力端と出力層との間の第1及び第2中間層(hidd
en layer) を有し、各層は神経ノードとから構成され
る。第1中間層の各神経ノードは全ての入力端に連結さ
れ、第2中間層の各神経ノードは第1中間層の全ての神
経ノードに連結される。そして、出力層の各神経ノード
もやはり第2中間層の全ての神経ノードに連結される。
ノードを連結するシナプスにはそれぞれ加重値が付加さ
れ、加重値は最適値となるまで改正規則により可変され
る。
【0019】画質評価部44から以前ブロック(または
マクロブロック)による判断基準値が供給されれば、神
経網43はその判断基準値を改正規則に適応させ以前ブ
ロック(またはマクロブロック)の量子化ステップサイ
ズMQUANTの発生に使われる加重値を更新する。そ
して、神経網43は現在のバッファ占有度BFと量子化
しようとする現在のブロック(またはマクロブロック)
に対する量子化ステップサイズMQUANTを発生す
る。発生された量子化ステップサイズMQUANTは量
子化部12と伝送チャネルに供給される。量子化部12
は変換部11から供給される現在のブロック(またはマ
クロブロック)のデータをそれに対応する量子化ステッ
プサイズMQUANTにより量子化させる。すなわち、
量子化部12はブロック(またはマクロブロック)間の
境界線が視覚的に認識しやすくブロック(またはマクロ
ブロック)には相対的に多量のビットが割り当てられ、
ブロック(またはマクロブロック)間の境界線が視覚的
に少なく認識されるブロック(またはマクロブロック)
には相対的に少ないビットが割り当てられるように変換
部11から供給されるデータを量子化する。従って、図
3の装置により符号化されたデータはブロック間または
マクロブロック間の境界線が視覚的に良く認識されない
映像として再現される。量子化部12と可変長符号化部
13を経て出力されるデータは次のブロック(またはマ
クロブロック)のための判断基準値の発生に使われる。
バッファ14は供給されたデータを一定した伝送率で復
号化側に伝送するために伝送チャネルに供給し、次のブ
ロック(またはマクロブロック)のための新たなバッフ
ァ充満度BFを出力する。
【0020】
【発明の効果】以上述べたように、本発明による神経網
を用いた符号化装置は量子化ステップサイズを定めるた
めの条件を再調整する学習能力を備えた神経網を用いて
量子化ステップサイズを定めることにより量子化された
映像データの復元時復元画素のブロック間境界線が視覚
的に少なく認識するようにする。よって、安定した画質
を保たせうる。
【図面の簡単な説明】
【図1】一般の符号化装置を示すブロック図である。
【図2】一般の復号化装置を示すブロック図である。
【図3】本発明の望ましい一実施例による神経網を用い
た符号化装置を示すブロック図である。
【符号の説明】
12 量子化部 14 バッファ 41 前方解析部 42 輝度解析部 43 神経網 44 画質評価部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H03M 7/40 9382−5K

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 1映像フレームを既に設定された大きさ
    を有する第1ブロックに分割して符号化し、符号化され
    たデータを一定した伝送率で伝送する符号器のために量
    子化ステップサイズを制御する装置において、 量子化しようとする第1ブロックのそれぞれに対する映
    像複雑度を検出する前方解析部と、 前記第1ブロックのそれぞれを代表する輝度値を出力す
    る輝度解析部と、 量子化されたデータをそれに応ずる量子化ステップサイ
    ズを用いて復元し、既に設定された個数の第1ブロック
    とからなる第2ブロック毎の復元されたデータに基づき
    ブロッキング現象を視覚的に最も少なく感じるようにす
    る判断基準値を発生する画質評価部と、 前記量子化されたデータを貯蔵し、貯蔵されたデータの
    バッファ占有度を出力するバッファと、 神経網のための加重値と前記加重値を更新するための改
    正規則を貯蔵し、量子化された以前の第2ブロックに対
    する前記画質評価部の判断基準値と、前記貯蔵された改
    正規則により前記貯蔵された加重値を更新し、量子化し
    ようとする現在の第2ブロックに対する映像複雑度及び
    輝度値のうち少なくとも一種の情報と前記バッファから
    のバッファ占有度及び前記更新された加重値に基づき前
    記現在の第2ブロックのための量子化ステップサイズを
    発生し、発生された量子化ステップサイズを前記画質評
    価部に供給する神経網と、 前記符号化器により符号化された第2ブロックのそれぞ
    れのデータを前記神経網から供給される対応量子化ステ
    ップサイズにより量子化する量子化部とを含む装置。
  2. 【請求項2】 前記第2ブロックは一つの第1ブロック
    からなることを特徴とする請求項1に記載の装置。
  3. 【請求項3】 前記第2ブロックは複数個の前記第1ブ
    ロックからなるマクロブロックであることを特徴とする
    請求項1に記載の装置。
  4. 【請求項4】 前記画質評価部は前記以前の第2ブロッ
    クのデータに基づき前記現在の第2ブロックに対する判
    断基準値を出力することを特徴とする請求項1に記載の
    装置。
  5. 【請求項5】 前記神経網は前記現在の第2ブロックに
    対応する映像複雑度とバッファ占有度及び前記更新され
    た加重値に基づき前記現在の第2ブロックのための量子
    化ステップサイズを発生することを特徴とする請求項1
    に記載の装置。
  6. 【請求項6】 前記神経網は前記現在の第2ブロックに
    対応する輝度値とバッファ占有度及び前記更新された加
    重値に基づき前記現在の第2ブロックのための量子化ス
    テップサイズを発生することを特徴とする請求項1に記
    載の装置。
  7. 【請求項7】 前記神経網は前記現在の第2ブロックに
    対応する映像複雑度輝度値、バッファ占有度及び前記更
    新された加重値に基づき前記現在の第2ブロックのため
    の量子化ステップサイズを発生することを特徴とする請
    求項1に記載の装置。
  8. 【請求項8】 1映像フレームを既に設定された大きさ
    を有する第1ブロックに分割して符号化し、符号化され
    たデータを一定した伝送率で伝送する符号化装置におい
    て、 予め貯蔵された基準フレームのデータと符号化しようと
    する現在フレームのデータに基づき現在フレームの第1
    ブロックのそれぞれに対応する動きベクトルと動き補償
    されたデータを発生する動き補償部と、 前記現在フレームの第1ブロックのそれぞれのデータと
    前記動き補償部からの対応する動き補償されたデータ間
    の差分データを発生し、前記第1ブロックのそれぞれに
    対応して発生された差分データを変換符号化する符号化
    手段と、 前記現在フレームの第1ブロックのそれぞれに対する映
    像複雑度を検出する前方解析部と、 前記現在フレームの第1ブロックのそれぞれを代表する
    輝度値を出力する輝度解析部と、 前記符号化手段により符号化され、前記現在フレームの
    既に設定された個数の第1ブロックからなる第2ブロッ
    クのそれぞれのデータを対応量子化ステップサイズによ
    り量子化する量子化部と、 動き補償部からの動きベクトルと前記量子化部により量
    子化されたデータを可変長符号化して出力する手段と、 前記量子化部により量子化されたデータを復元し、前記
    第2ブロック毎の復元されたデータに基づきブロッキン
    グ現象を視覚的に最も少なく感じるようにする判断基準
    値を発生する画質評価部と、 前記可変長符号化手段から出力するデータを貯蔵し、貯
    蔵されたデータのバッファ占有度を出力するバッファ
    と、 神経網のための加重値と前記加重値を更新するための改
    正規則を貯蔵し、量子化された以前の第2ブロックに対
    する前記画質評価部の判断基準値と前記貯蔵された改正
    規則により前記貯蔵された加重値を更新し、量子化しよ
    うとする現在の第2ブロックに対する動きベクトルと映
    像複雑度及び輝度値のうち少なくとも一種の情報と、前
    記バッファからのバッファ占有度及び前記更新された加
    重値に基づき前記現在の第2ブロックのための量子化ス
    テップサイズを発生する神経網とを含む符号化装置。
  9. 【請求項9】 前記第2ブロックは一つの第1ブロック
    からなることを特徴とする請求項8に記載の符号化装
    置。
  10. 【請求項10】 前記第2ブロックは複数個の前記第1
    ブロックからなるマクロブロックであることを特徴とす
    る請求項8に記載の符号化装置。
  11. 【請求項11】 前記画質評価部は前記以前の第2ブロ
    ックのデータに基づき前記現在の第2ブロックに対する
    判断基準値を出力することを特徴とする請求項8に記載
    の符号化装置。
  12. 【請求項12】 前記神経網は前記現在の第2ブロック
    に対応する映像複雑度とバッファ占有度及び前記更新さ
    れた加重値に基づき前記現在の第2ブロックのための量
    子化ステップサイズを発生することを特徴とする請求項
    8に記載の符号化装置。
  13. 【請求項13】 前記神経網は前記現在の第2ブロック
    に対応する輝度値とバッファ占有度及び前記更新された
    加重値に基づき前記現在の第2ブロックのための量子化
    ステップサイズを発生することを特徴とする請求項8に
    記載の符号化装置。
  14. 【請求項14】 前記神経網は前記現在の第2ブロック
    に対応する映像複雑度、輝度値、バッファ占有度及び前
    記改善された加重値に基づき前記現在の第2ブロックの
    ための量子化ステップサイズを発生することを特徴とす
    る請求項8に記載の符号化装置。
  15. 【請求項15】 前記神経網は前記現在の第2ブロック
    に対応する動きベクトル、映像複雑度、輝度値、バッフ
    ァ占有度及び前記更新された加重値に基づき前記現在の
    第2ブロックのための量子化ステップサイズを発生する
    ことを特徴とする請求項8に記載の符号化装置。
JP17234995A 1994-07-08 1995-07-07 ニューラルネットワークを用いた量子化ステップサイズ制御装置 Expired - Fee Related JP3043599B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR16468/1994 1994-07-08
KR1019940016468A KR0139154B1 (ko) 1994-07-08 1994-07-08 신경망을 이용한 부호화방법 및 그 장치

Publications (2)

Publication Number Publication Date
JPH0879748A true JPH0879748A (ja) 1996-03-22
JP3043599B2 JP3043599B2 (ja) 2000-05-22

Family

ID=19387603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17234995A Expired - Fee Related JP3043599B2 (ja) 1994-07-08 1995-07-07 ニューラルネットワークを用いた量子化ステップサイズ制御装置

Country Status (4)

Country Link
US (1) US5638125A (ja)
JP (1) JP3043599B2 (ja)
KR (1) KR0139154B1 (ja)
CN (1) CN1083216C (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019512938A (ja) * 2016-03-09 2019-05-16 ソニー株式会社 量子化パラメータに基づくビデオ処理のためのシステム及び方法
JP2020053820A (ja) * 2018-09-26 2020-04-02 株式会社Preferred Networks 量子化及び符号化器作成方法、圧縮器作成方法、圧縮器作成装置及びプログラム
JP2020518191A (ja) * 2017-07-11 2020-06-18 ソニー株式会社 ディープニューラルネットワークを用いた、視覚的品質を維持した量子化パラメータ予測

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790196A (en) * 1997-02-14 1998-08-04 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US5969764A (en) * 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
JP3356004B2 (ja) * 1997-05-30 2002-12-09 日本ビクター株式会社 可変レート符号化装置及び方法
US6088392A (en) * 1997-05-30 2000-07-11 Lucent Technologies Inc. Bit rate coder for differential quantization
KR100246626B1 (ko) 1997-10-16 2000-03-15 정선종 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법
JP2000151974A (ja) * 1998-11-11 2000-05-30 Sony Corp 信号編集装置、信号編集方法
JP3403683B2 (ja) * 1999-11-26 2003-05-06 沖電気工業株式会社 画像符号化装置および方法
GB2357210A (en) * 1999-12-06 2001-06-13 Snell & Wilcox Ltd Inserting future bit rate information in a compressed data stream
EP1374595B1 (en) * 2001-03-29 2006-09-20 Koninklijke Philips Electronics N.V. Video coding method and device
JP2005333609A (ja) * 2004-04-22 2005-12-02 Sanyo Electric Co Ltd 符号化制御回路及び符号化回路
CN100477794C (zh) * 2004-09-10 2009-04-08 松下电器产业株式会社 运动图像编码装置及其编码方法以及运动图像的成像装置
US20060239344A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for rate control in a video encoder
JP4485996B2 (ja) * 2005-06-13 2010-06-23 株式会社日立製作所 画像符号化装置及び画像符号化プログラム
CN101783961A (zh) * 2010-03-05 2010-07-21 厦门大学 基于感知质量的水下视频图像传输控制方法
GB2499671B (en) * 2012-02-27 2014-04-09 Broadcom Corp Apparatus and method for communication
GB201308073D0 (en) * 2013-05-03 2013-06-12 Imagination Tech Ltd Encoding an image
WO2016132152A1 (en) 2015-02-19 2016-08-25 Magic Pony Technology Limited Interpolating visual data
WO2016156864A1 (en) 2015-03-31 2016-10-06 Magic Pony Technology Limited Training end-to-end video processes
GB201604672D0 (en) 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
CN107736027B (zh) * 2015-06-12 2021-06-01 松下知识产权经营株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
EP3298579B1 (en) 2016-04-12 2021-07-21 Magic Pony Technology Limited Visual data processing using energy networks
GB201607994D0 (en) 2016-05-06 2016-06-22 Magic Pony Technology Ltd Encoder pre-analyser
US11363302B2 (en) 2017-10-12 2022-06-14 Mediatek Inc. Method and apparatus of neural network for video coding
CN114786011B (zh) * 2022-06-22 2022-11-15 苏州浪潮智能科技有限公司 一种jpeg图像压缩的方法、系统、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2639739B1 (fr) * 1988-11-25 1991-03-15 Labo Electronique Physique Procede et dispositif de compression de donnees d'image utilisant un reseau de neurones
US5038209A (en) * 1990-09-27 1991-08-06 At&T Bell Laboratories Adaptive buffer/quantizer control for transform video coders
US5157399A (en) * 1991-08-15 1992-10-20 Sony Corporation Neural network quantizer
JPH06164902A (ja) * 1992-11-17 1994-06-10 Mamoru Tanaka ニューラルネットワークによる画像の圧縮再生

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019512938A (ja) * 2016-03-09 2019-05-16 ソニー株式会社 量子化パラメータに基づくビデオ処理のためのシステム及び方法
US10499056B2 (en) 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
JP2020518191A (ja) * 2017-07-11 2020-06-18 ソニー株式会社 ディープニューラルネットワークを用いた、視覚的品質を維持した量子化パラメータ予測
JP2020053820A (ja) * 2018-09-26 2020-04-02 株式会社Preferred Networks 量子化及び符号化器作成方法、圧縮器作成方法、圧縮器作成装置及びプログラム

Also Published As

Publication number Publication date
CN1083216C (zh) 2002-04-17
JP3043599B2 (ja) 2000-05-22
US5638125A (en) 1997-06-10
CN1124434A (zh) 1996-06-12
KR0139154B1 (ko) 1998-06-15

Similar Documents

Publication Publication Date Title
JPH0879748A (ja) 神経網を用いた量子化ステップサイズ制御装置
JP3590421B2 (ja) イントラ−ブロックdc変換係数量子化方法
US5686962A (en) Motion image coder using pre-filter to reduce quantization error
GB2341031A (en) Adaptively coding video signals
JP2003061090A (ja) 低レート映像符号化における量子化制御方法
KR0162203B1 (ko) 양자화스텝사이즈의 가변을 이용한 적응적 부호화방법 및 그 장치
US5432555A (en) Image signal encoding apparatus using adaptive 1D/2D DCT compression technique
EP0680217A2 (en) Video signal decoding apparatus capable of reducing blocking effects
US5561719A (en) Adaptive quantization apparatus
US5946421A (en) Method and apparatus for compensating quantization errors of a decoded video image by using an adaptive filter
US5508745A (en) Apparatus for controlling a quantization level to be modified by a motion vector
US7024052B2 (en) Motion image decoding apparatus and method reducing error accumulation and hence image degradation
JPH10210474A (ja) 動画像符号化方式
JP3382292B2 (ja) 画像符号化装置及びその方法
KR100213283B1 (ko) 동영상 부호화기
JP3779066B2 (ja) 動画像符号化装置
KR100207419B1 (ko) 부호화 비트발생율 제어방법 및 그 제어장치
KR100774455B1 (ko) 실시간 비디오 전송 응용을 위한 비트율 조절장치
Leone et al. Fuzzy-controlled perceptual coding of videophone sequences
JPH05227513A (ja) 映像信号伝送装置
KR0178225B1 (ko) 영상기기의 부호화장치
JPH0998433A (ja) 画像信号伝送装置および方法
JPH05219496A (ja) 画像符号化装置及び動画像符号化装置
KR100727787B1 (ko) 비디오신호압축시스템들을위한양자화회로
JPS63177672A (ja) 画像符号化伝送方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080310

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090310

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees