JPH10136381A - 動画像符号化復号化装置及びその方法 - Google Patents

動画像符号化復号化装置及びその方法

Info

Publication number
JPH10136381A
JPH10136381A JP30394396A JP30394396A JPH10136381A JP H10136381 A JPH10136381 A JP H10136381A JP 30394396 A JP30394396 A JP 30394396A JP 30394396 A JP30394396 A JP 30394396A JP H10136381 A JPH10136381 A JP H10136381A
Authority
JP
Japan
Prior art keywords
prediction
signal
image
pixel
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP30394396A
Other languages
English (en)
Other versions
JP3676525B2 (ja
Inventor
Kenji Sugiyama
賢二 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP30394396A priority Critical patent/JP3676525B2/ja
Priority to DE1997609293 priority patent/DE69709293T2/de
Priority to EP19970308544 priority patent/EP0840519B1/en
Priority to TW086116061A priority patent/TW361048B/zh
Priority to US08/960,366 priority patent/US6141379A/en
Priority to KR1019970058367A priority patent/KR100256859B1/ko
Priority to CNB971228779A priority patent/CN1143553C/zh
Publication of JPH10136381A publication Critical patent/JPH10136381A/ja
Application granted granted Critical
Publication of JP3676525B2 publication Critical patent/JP3676525B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

(57)【要約】 【課題】 動画像を効率的に伝送、蓄積、表示するため
に、より少ない符号量で画像をディジタル信号にする高
能率符号化において、特に双方向画像間予測など複数の
参照画像を画像間予測に用いる手法を提供する。 【解決手段】 複数の参照画像を用いて画像間予測を行
なう動画像符号化装置を、予測に用いる第1の参照画像
を画素動画像符号化装置単位で間引いて第1の予測信号
を出力する第1の画像間予測手段( 8,12) と、予測
に用いる第2の参照画像を画素単位で間引いて第2の予
測信号を出力する第2の画像間予測手段(9,13)
と、前記第1の予測信号と第2の予測信号を画素単位で
交互にして順次予測信号を形成し、前記順次予測信号を
符号化画像信号から減算して予測残差信号を得る予測減
算手段(3,10)と、前記予測残差信号を符号化し、
得られた符号を出力する符号化手段(5)とより構成し
た。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】動画像を効率的に伝送、蓄
積、表示するために、より少ない符号量で画像をディジ
タル信号にする高能率符号化において、特に双方向画像
間予測など複数の参照画像を画像間予測に用いる手法に
関する。
【0002】
【従来の技術】
<双方向予測>動画像の画像間予測符号化において、前
後の符号化済み画像を参照画像として予測に用いると、
より適切な予測信号の形成により符号化効率を上げるこ
とが出来る。この手法はBフレーム(Bピクチャ)とも
呼ばれ、本願と同一出願人による「フレーム間予測符号
化方式」(特開平2−192378号公報)に開示され
ている。また、ISO/IECで標準化された動画像符
号化方式であるMPEGでも用いられている符号化技術
である。
【0003】画像間予測でBフレームを用いる場合、必
ず独立フレームまたは片方向予測フレームと組合わせて
使う。これはBフレームは予測されるだけで予測には使
われないためである。ここで、独立フレームはフレーム
内に閉じて符号化されるフレームで、I(イントラ)フ
レームとも呼ばれる。片方向予測フレームはPフレーム
とも呼ばれ、古くから使われている過去からだけの予測
である。このような複数の画像タイプの構成方法とし
て、IフレームとBフレームだけのものと、Iフレー
ム、Pフレーム、Bフレームの3種類を使うものがあ
る。
【0004】それらの例を図4に示すが、I/Bの場
合、4から6フレーム程度毎に1フレームがIフレーム
となる。その間のBフレームは前後(過去と未来)のI
フレーム双方から予測される。I/P/Bの場合は、I
/BでのIフレームの大半がPフレームで置き換えられ
る形となり、10乃至30フレームに1フレームがIフ
レームで、2から4フレームに1フレームがPフレーム
となる。この場合、処理が複雑になり、フレーム拘束長
(ランダムアクセスできる単位)が長くなるが、画像間
予測のフレームが増えるので符号化効率は高くなる。全
体構成としては、これら2つの形態が存在するが、Bフ
レームに関してはどちらも同じである。これはBフレー
ムの予測に使われる参照画像が、IフレームでもPフレ
ームでも等価なためである。
【0005】<従来画像符号化装置>図9にI/Bの場
合の符号化装置の構成例を示す。画像入力(端子)1か
ら供給される動画像信号は、画像メモリ2に蓄えられる
と共に、スイッチ4と画像タイプ制御器7にも与えられ
る。画像タイプ制御器7は、フレームに同期して、供給
される各フレームの画像タイプを予め決められた周期で
設定する。すなわちNフレームに1つをIフレームと
し、他をBフレームとする。この画像タイプ情報は、ス
イッチ4、11、符号化器5に夫々与えられる。画像メ
モリ2は、入力された信号の内Bフレームの画像信号を
( N−1) フレーム分遅延させ、予測減算器3に与え
る。これは予測で必要なIフレームを、Bフレームに先
行させて符号化する必要があるためである。予測減算器
3では、加算器91から与えられる予測信号が、画像メ
モリ2から与えられるBフレームの画像信号から減算さ
れ、予測残差信号がスイッチ4に与えられる。
【0006】スイッチ4では、画像タイプ情報に従って
Iフレームでは、入力画像信号が選択され、Bフレーム
では予測残差信号が選択される。符号化器5で、両方の
信号は、離散コサイン変換(DCT)され、量子化され
た後に可変長符号化で圧縮された符号になり、符号出力
端子6から出力される。一方、Iフレームではスイッチ
11が接続され、量子化された信号がスイッチ11を介
して局部復号化器14に与えられる。局部復号化器14
では、逆量子化、逆DCTの処理が行なわれ、再生画像
を得て画像メモリ13に与える。
【0007】画像メモリ13は、Iフレームの再生画像
を1フレーム分保持し、次のIフレームの再生画像が与
えられた際に、今まで保持していた再生画像を次の画像
メモリ12に出力する。画像メモリ12は、同様に1フ
レーム分の画像を保持する。この様にして画像メモリ1
2及び画像メモリ13にBフレームの予測のための参照
画像が準備される。そして画像メモリ12及び画像メモ
リ13から、Bフレームの符号化時に共に参照画像信号
を加算器91に与える。加算器91は、2つの参照画像
信号の画素値を加算し、2で除算した信号を予測信号と
して、予測減算器3に与える。
【0008】ここで、加算は単純な均等加算でなく、フ
レームの距離関係に応じて重み付けした後に加算するこ
ともある。また、常時加算するのではなく、符号化フレ
ームと前後の参照フレームの類似度に応じて、ブロック
単位で片側からのみの予測や予測無しに切替えることも
ある。この場合、どのような予測を行なうかは画像に適
応して符号化器5で判断され、そのモード情報がブロッ
ク毎に伝送される。図9は、I/Bフレームの場合を示
したものであるが、I/B/Pの3種類の画像タイプを
有するものはMPEG方式として知られている。この場
合は、上記従来手法のIフレームの大半がPフレームに
変更され、それ同士で画像間予測が行なわれる。Pフレ
ームの処理は上記Iフレームの処理が変更され、再生画
像は上記と同様に画像メモリに保持される。従って、B
フレームの処理は上記と同様である。
【0009】<従来画像復号化装置>図9の動画像復号
化装置に対応する動画像復号化装置について、図と共に
以下に説明する。図10は、その動画像復号化装置の構
成を示したものである。符号入力端子21より供給され
る符号は、復号化器22で、可変長符号の復号、逆量子
化、逆DCTの処理が行なわれ、Iフレームでは画像信
号が、Bフレームでは予測残差信号が再生され復号され
る。再生された画像信号及び予測残差信号はスイッチ2
3に与えられる。一方、画像タイプ情報も再生され、ス
イッチ23、25に夫々供給される。スイッチ23は、
Iフレームでは再生画像を画像メモリ13に与える。画
像メモリ13は、Iフレームの再生画像を保持する。次
のIフレームの再生画像が与えられた際に、今まで保持
していた再生画像を次の画像メモリ12に出力すると同
時にスイッチ25に出力する。
【0010】画像メモリ12も1フレーム分の画像を保
持する。画像メモリ12及び画像メモリ13からは、B
フレームの復号化時に共に参照画像信号を加算器91に
与える。加算器91は2つの画像信号の画素値を加算
し、2で除算した信号を予測信号として、予測加算器2
4に与える。予測加算器24は、Bフレーム時にスイッ
チ23を介して復号化器22から与えられる再生された
予測残差信号と加算器91から与えられる予測信号とを
加算し、再生画像信号を得て次のスイッチ25に与え
る。スイッチ25は、Iフレームでは画像メモリ13の
出力を選択し、Bフレームでは予測加算器24の出力を
選択し、画像出力(端子)26から、元のフレーム順に
戻った再生画像が出力される。
【0011】<複数画像予測>双方向予測でなくとも複
数の画像を用いる予測方式がある。その例として本願と
同一出願人による「フレーム間予測符号化方式」(特開
平4−105487号公報)に示されているものがあ
る。これは過去方向の2つのフィールド、または2つの
フレームを加算して予測を行なうものである。この場
合、処理を遅らせる必要はなく、Bフレームを用いる場
合のように符号化順入替えによる遅延を生じない。ま
た、MPEG−2においてもDual’方式として、過
去の偶数フィールドと奇数フィールドを加算して予測に
用いる手法が用いられている。
【0012】<画像加算>以上のような複数画像を用い
る画像間予測では、複数画像の加算が行なわれる。これ
は双方向予測では、内挿型の処理で画像の時間変化に対
応することが可能なためである。また、双方向予測に限
らず複数画像の加算が行なわれることで、入力画像に含
まれる雑音成分や符号化による量子化雑音成分が抑圧さ
れ、さらに空間フィルタ効果もあり、予測効率を上げる
ことが出来るためである。
【0013】
【発明が解決しようとする課題】従来の複数の参照画像
を用いる画像間予測は、1つの画像を予測するのに2つ
の画像を加算して予測信号とする。そのためには、符号
化画像の1画素に対して、参照画像の2画素が必要にな
る。これは参照画像を格納しているメモリから取り出す
信号量が2倍になることを意味し、画像メモリと予測処
理の間の画素転送レートが2倍必要になる。そのため
に、装置実現のためには非常にビット数の多いのデータ
バスが必要になっていた。本発明は以上の点に着目して
なされたもので、両方の画像の画素値を加算せずに、画
素単位で交互に片方のみを予測信号とすることで、1画
像からの予測と同じ画素転送レートで複数画像からの予
測と同等の予測効率を得る動画像符号化復号化装置を提
供することを目的とする。
【0014】
【課題を解決するための手段】本発明は、複数の参照画
像を用いて画像間予測を行なう動画像符号化装置におい
て、参照画像を画素単位で間引いて予測信号を出力する
画像間予測信号を複数有し、それら複数の予測信号を画
素単位で交互にして順次予測信号を形成し、前記順次予
測信号を符号化画像信号から減算し得られた予測残差信
号を符号化する動画像符号化装置である。
【0015】前記各画像間予測が、夫々参照画像を画素
単位で間引いて、半分の画素を格納し、格納画素を予測
信号として出力する画像メモリと、残りの半分の画素を
格納し、出力する画像メモリとで構成される上記の動画
像符号化装置である。また、予測減算に用いる複数の予
測画像の画素が、走査線毎あるいはフレームまたはフィ
ールド毎に逆の位置関係になる上記の動画像符号化装置
である。さらに、順次予測信号に低域通過特性を有する
空間フィルタを作用させ、高い周波数成分が抑圧された
順次予測信号を符号化画像信号から減算する上記の動画
像符号化装置である。
【0016】一方、上記符号化装置に対応する動画像復
号化装置において、参照画像を画素単位で間引いて予測
信号を出力する画像間予測を複数有し、それら複数の予
測信号を画素単位で交互にして順次予測信号を形成し、
前記順次予測信号を復号化された符号化画像の再生予測
残差信号に加算し、再生画像信号を得る動画像復号化装
置である。
【0017】作 用 本発明では、双方向画像間予測において両方の画像の画
素値を加算せず、画素単位で交互に片方のみを予測信号
とすることで、符号化画像の画素と同じ数の参照画像の
画素のみが予測に使われることになる。これは従来例の
双方向予測の半分となる。ここで、低い周波数成分は従
来の加算を行なったのと同等の画像間予測特性となり、
高い周波数成分は多少の誤差を生じるが視覚的に検知さ
れ難い。
【0018】一方、画像メモリを画素毎に交互に別構成
としておくと、片方の画像メモリからのみ画素値を連続
して読み出せばよく、画像メモリを高速読み出しモード
で動作させることが出来る。また、画素をライン毎(フ
レーム毎)に交互にすると、誤差の生じる周波数成分は
斜め方向(時間方向)の高い周波数成分になるので、よ
り視覚的に検知され難くなる。さらに、順次予測信号の
高い周波数成分を抑圧すると、加算を行なった場合の誤
差が抑圧されることになる。
【0019】
【発明の実施の形態】
<第1の動画像符号化装置>本発明の動画像符号化装置
の第1の実施例について、図と共に以下に説明する。図
1は、そのブロック構成を示したもので、従来例と同一
構成要素には同一付号を記してある。画像入力(端子)
1、画像メモリ2、予測減算器3、スイッチ4、符号化
器5、画像タイプ制御器7、画像メモリ12,13、局
部復号化器14の動作は、基本的には図9の従来例と同
じである。従来例と異なるのは予測信号の形成方法であ
り、画素間引器8,9があり、加算器91の代わりに画
素スイッチ10がある。
【0020】画像入力端子1から供給される動画像信号
は画像メモリ2に蓄えられると共に、スイッチ4と画像
タイプ制御器7にも与えられる。画像タイプ制御器7は
フレームに同期して、供給される各フレームの画像タイ
プを予め決められた周期で設定し、Nフレームに1つを
Iフレームとし、他をBフレームとする。この画像タイ
プ情報はスイッチ4,11、符号化器5に出力される。
画像メモリ2は、入力された信号の内Bフレームの画像
信号を( N−1) フレーム分遅延させ、次の予測減算器
3に与える。これは予測に使うIフレームを、Bフレー
ムに先行させて符号化する必要があるためである。
【0021】予測減算器3では、画素スイッチ10から
与えられる予測信号が、画像メモリ2から与えられるB
フレーム信号から減算され、予測残差信号が次のスイッ
チ4に与えられる。スイッチ4では、画像タイプ情報に
従ってIフレームでは、入力画像信号が選択され、Bフ
レームでは予測残差信号が選択される。両方の信号は符
号化器5で、離散コサイン変換(DCT)され、量子化
された後に可変長符号化処理で符号になり、符号出力端
子6から出力される。この符号出力端子6からの出力信
号は、例えば、ディスク状の記録媒体(図示せず)に記
録される。
【0022】一方、Iフレームではスイッチ11が閉じ
られ、量子化された信号がスイッチ11を介して局部復
号化器14に与えられる。局部復号化器14では、逆量
子化、逆DCTの処理が行なわれ、再生画像を得て画像
メモリ13に与える。画像メモリ13は、Iフレームの
再生画像を保持する。次のIフレームの再生画像が与え
られた際に、今まで保持していた再生画像を次の画像メ
モリ12に出力する。画像メモリ12は、同様に1フレ
ーム分の画像を保持する。この様にして、画像メモリ1
2及び画像メモリ13にBフレームの画像間予測で必要
な参照画像が準備される。
【0023】そして、画像メモリ12から画素間引器8
に、画像メモリ13から画素間引器9に、Bフレームの
符号化時に参照画像信号が与えられる。画素間引器8
は、1画素毎に画素を間引き、半分の画素数になった画
像信号を予測信号として画素スイッチ10に与える。画
素間引器9は、画素間引器8で破棄された方の画素を選
択して間引き、半分の画素数になった画像信号を予測信
号として画素スイッチ10に与える。画素スイッチ10
は、画素単位で固定的に切替えられ、両方の画素を交互
に選択する。画素間引器8,9の出力は半分になってい
るので、交互に選択することで元の画像と同じ画素数の
順次予測信号が得られる。得られた順次予測信号は予測
減算器3に与えられる。
【0024】この処理の様子を図3に示す。過去からの
予測信号及び未来からの予測信号は、夫々逆の位置関係
で間引かれており、半分の画素になっている。最終的な
順次予測信号は両者が合成されて、すべての画素が揃っ
た信号となる。この様な処理で形成される予測信号は、
間引きにより従来例の加算の場合と多少異なる。間引か
れた予測信号を周波数領域で見ると、間引きにより半分
より上の周波数は折返し成分となるが、半分より下の成
分は従来例と変わらない。半分より上の成分は2つの参
照画像が同じなら従来例と同じ結果になるが、異なって
いるとその差の分は誤差となる。
【0025】画素間引きの具体的手法としては、図11
に示したように、水平方向や垂直方向の他、走査線毎に
間引く画素位置を逆にする方法(千鳥、碁の目などと呼
ばれる)がある。水平方向や垂直方向に間引いた場合の
周波数特性はそのまま、水平や垂直で半分になる。一
方、走査線毎に逆にした場合、誤差を生じる周波数成分
は斜めで高い周波数成分なり、視覚的に検知され難くな
る。なお、図でμは水平周波数、νは垂直周波数であ
る。
【0026】<第1の動画像復号化装置>本発明の動画
像復号化装置第1の実施例について、図と共に以下に説
明する。図2は、そのブロック構成を示したもので、従
来例と同一構成要素には同一付号を記してある。符号入
力端子21、復号化器22、スイッチ23,25、予測
加算器24、画像出力端子26、画像メモリ12,13
の動作は、基本的に図10の従来例と同じである。
【0027】従来例と異なるのは予測信号の形成方法で
あり、画素間引器8,9があり、加算器91の代わりに
画素スイッチ10がある。例えば、記録媒体を介して符
号入力端子21より供給される符号は、復号化器22
で、可変長符号の復号、逆量子化、逆DCTの処理が行
なわれ、Iフレームでは画像信号が、Bフレームでは予
測残差信号が再生される。再生された画像信号及び予測
残差信号はスイッチ23に与えられる。一方、画像タイ
プ情報も再生され、スイッチ23,25に供給される。
【0028】スイッチ23は、Iフレームでは再生画像
を画像メモリ13に与える。画像メモリ12、13、画
素間引器8,9、画素スイッチ10の動作は基本的に図
1の第1の実施例の符号化装置のものと同じである。た
だし、Iフレームの再生画像を出力する必要があるの
で、画像メモリ13の出力信号は画像メモリ12と同時
にスイッチ25にも与えられる。この様にして画素スイ
ッチ10で得られた予測信号は予測加算器24に与えら
れる。
【0029】予測加算器24は、Bフレーム時にスイッ
チ23を介して復号化器22から与えられる予測残差信
号と画素スイッチ10から与えられる予測信号を加算
し、再生画像信号を得る。スイッチ25は、Iフレーム
では画像メモリ13の出力を選択し、Bフレームでは予
測加算器24の出力を選択し、画像出力端子26から元
のフレーム順に戻った再生画像が出力される。
【0030】本発明の動画像復号化装置は基本的に図1
の符号化装置に対応するものであるが、図9の従来例の
動画像符号化装置で符号化された符号を復号化すること
も出来る。この場合、符号化と復号化で画像間予測手法
が異なることにより、若干の誤差が生じるが、その差は
高い周波数成分で僅かなので視覚的に問題とならない。
Bフレームの予測はPフレームと違い、予測されたフレ
ームが他のフレームの予測に使われない非巡回型予測な
ので、上記誤差が累積することもない。以上説明した第
1の動画像符号化装置と第1の動画像復号化装置とを一
体化して使用することも可能である。装置が小形化出来
れば、可搬型として使用することも可能となる。この場
合には、符号化して記録した、例えばディスク状の記録
媒体を即座に復号化して再生することが出来るし、出先
でも再生することが出来る。
【0031】<第2の動画像符号化装置>本発明の動画
像符号化装置の第2の実施例について、図と共に以下に
説明する。図5は、そのブロック構成を示したもので、
第1の実施例と同一構成要素には同一付号を記してあ
る。画像入力端子1、画像メモリ2、予測減算器3、ス
イッチ4、符号化器5、符号出力端子6、画像タイプ制
御器7、スイッチ11、局部復号化器14の動作は、基
本的に図1の第1の実施例と同じである。第1の実施例
と異なるのは予測信号の保持及び形成方法であり、画像
メモリ12,13と画素間引器8,9の代わりに、容量
が半分の画像メモリ52〜55があり、画素スイッチ1
0の代わりに、接点の多い画素スイッチ51がある。
【0032】局部復号化器14の出力であるIフレーム
の再生画像はスイッチ56に与えられる。スイッチ56
は、図1の画素スイッチ10と同様な動作で画素に同期
して切替えられ、画素単位で交互に再生画像を画像メモ
リ53と画像メモリ55に与える。画像メモリ53,5
5は、図1の画像メモリ13と同様に画像を保持する
が、与えられる画素が半分なので、そのサイズは半分と
なる。また、画像メモリ13と同様に新たなIフレーム
再生画像が入力された時に、保持していた画像を夫々画
像メモリ52,54に出力する。画像メモリ52,54
は、画像メモリ53、55と同様に夫々半部の画像を保
持する。この様にして2フレーム分の参照画像が、4個
の半フレーム分の画像メモリ52〜55に蓄えられる。
【0033】この4個の画像メモリからBフレーム符号
化時に画像信号が予測信号として画素スイッチ51に与
えられる。画素スイッチ51は、画素単位で交互に4種
類の画像から1つが選択され、元の画像と同じ画素数の
予測信号が得られる。ここで、1フレーム内では、前参
照フレームの画素、後参照フレームの画素はどちらかに
決められているので、画素スイッチ51の動作は、1フ
レーム内では画像メモリ52と55からの選択か、画像
メモリ53と55からの選択かのどちらかである。この
様にして得られた信号を予測信号として、予測減算器3
に与える。
【0034】ここで、画素スイッチ51での2種類の選
択方法はフレームによって反転させられる。図12にこ
のフレーム反転の様子を示す。図で間引きは、交互タイ
プ( a) と交互タイプ( b) がフレーム毎に入れ代わ
る。この反転のタイプも図のように2種類がある。この
場合、加算の場合に対して誤差を生じる周波数成分は時
間的にも高い周波数成分に限定されるので、誤差は極め
て検知され難くなる。
【0035】<第2の動画像復号化装置>本発明の動画
像復号化装置の第2の実施例について、図と共に以下に
説明する。図6は、そのブロック構成を示したもので、
第1の実施例と同一構成要素には同一付号を記してあ
る。符号入力端子21、復号化器22、スイッチ23,
25、予測加算器24、画像出力端子26の動作は、基
本的に図2の第1の実施例と同じである。第1の実施例
と異なるのは予測信号の保持及び形成方法であり、画像
メモリ12、13と画素間引器8,9の代わりに半分サ
イズの画像メモリ52〜55と画素切替スイッチ56,
61があり、画像切替スイッチ10の代わりに4接点の
画素切替スイッチ51がある。
【0036】スイッチ23からIフレームの再生画像が
スイッチ56に与えられる。スイッチ56、画像メモリ
52〜55は図5の第2の実施例の符号化装置と基本的
に同じである。但し、Iフレームの再生画像は最終的に
出力される必要があるのでスイッチ61を介してスイッ
チ25に送られる。スイッチ61は、スイッチ56で分
割された画素を元に戻すもので、対となって動作する。
スイッチ51の動作も図5と同じで、元の画像と同じ画
素数の画像信号となって予測信号として、予測加算器2
4に与える。
【0037】<第3の動画像符号化装置>本発明の動画
像符号化装置の第3の実施例について、図と共に以下に
説明する。図7は、そのブロック構成を示したもので、
第1の実施例と同一構成要素には同一付号を記してあ
る。画像入力端子1、画像メモリ2、予測減算器3、ス
イッチ4、符号出力端子6、画像タイプ制御器7、画素
間引器8,9、画素スイッチ10、スイッチ11、局部
復号化器14の動作は、基本的に第1図の第1の実施例
と同じである。
【0038】第1の実施例と異なるのは動き補償動作及
び予測信号に対する空間フィルタがあることである。構
成上では、画像メモリ12,13の代わりに読み出しア
ドレスが変更可能な画像メモリ74,75があり、他に
LPF72と動きベクトル検出器73がある。画像入力
端子1から供給される画像信号は動ベクトル検出器73
にも与えられる。
【0039】動ベクトル検出器73は、入力画像信号か
ら動き補償画像間予測で用いる動きベクトルを求める。
画像タイプ制御器7から与えられる画像タイプの情報か
ら画像関予測のフレーム関係を判断し、各Bフレームを
予測フレーム、前後のIフレームを参照フレームとす
る。求められた動ベクトルは、画像メモリ74,75に
与えられると共に符号化器71で画像タイプ情報と同様
に符号化され多重化される。
【0040】画像メモリ74,75は動きベクトルに従
って読み出しアドレスを修正し、動き補償された参照画
像を画素間引器8、9に出力する。画素間引器8,9、
画素スイッチ10の動作は図1の第1の実施例と同じで
ある。画素スイッチ10の出力である順次予測信号は直
ちに予測減算器3に与えられず、LPF(低域通過フィ
ルタ)72を通した後に与えられる。
【0041】LPF72は、画素間引きで誤差を生じる
折返し成分の空間周波数領域を抑圧するためのものであ
る。従って、予測信号はその周波数帯域の成分がない
が、その周波数帯域には元々信号成分が少ないので、結
果的に従来例の加算を行なった場合に近い予測信号が形
成される。
【0042】<第3の動画像復号化装置>本発明の動画
像符号化装置の第3の実施例に対応する復号化装置につ
いて、図と共に以下に説明する。図8は、その構成を示
したもので、第1の実施例と同一構成要素には同一付号
を記してある。符号入力端子21、スイッチ23,2
5、予測加算器24、画像出力端子26、画素間引器
8,9、画素スイッチ10の動作は、基本的に図2の第
1の実施例と同じである。
【0043】第1の実施例と異なるのは動き補償動作と
予測信号に対するLPFであり、画像メモリ12,13
は読み出しアドレスが変えられる画像メモリ74,75
になり、画素スイッチ10の次段にLPF72がある。
また、復号化器は動きベクトルも復号し出力する復号化
器81になっている。画像メモリ74,75は図7と同
様に動きベクトルによって読み出しアドレスが変えられ
る。また画素スイッチ10の出力は図7と同様にLPF
72が作用させられる。
【0044】
【発明の効果】本発明では、双方向画像間予測において
両方の画像の画素値を加算せず、画素単位で交互に片方
のみを予測信号とすることで、符号化画像の画素と同じ
数の参照画像の画素のみが予測に使われることになる。
これにより参照画像の画素データの転送レートが半分に
なり、低速度や低ビットのデータ転送バスで画像間予測
処理が可能になり、例えばディスク状の記録媒体コス
ト、装置コストを低減出来る。
【0045】また、画像メモリを1画素毎に交互に別構
成としておくと、片方の画像メモリからのみ画素値を連
続して読み出せばよく、画像メモリを高速読み出しモー
ドで動作させることが出来る。ここで、低い周波数成分
は、従来の加算を行なったのと同等の画像間予測特性と
なるので、従来例に近い予測効果が期待出来るが、高い
周波数成分は多少の誤差を生じる。この誤差は視覚的に
検知され難いが、画素をライン毎(フレーム毎)に交互
にすると、誤差の生じる周波数成分は斜め方向(時間方
向)の高い周波数成分になるのでより視覚的に検知され
難くなり、画質的にも遜色のないものとなる。
【0046】さらに、順次予測信号の高い周波数成分を
LPFで抑圧すると、誤差成分が抑圧されることになる
ので、画質は従来例と同等になる。
【0047】また、本発明の符号化復号化装置は、符号
化して記録した、例えばディスク状の記録媒体を即座に
復号化して再生することが出来る。
【図面の簡単な説明】
【図1】本発明の画像符号化装置の第1の実施例のブロ
ック構成を示す図である。
【図2】本発明の画像復号化装置の第1の実施例のブロ
ック構成を示す図である。
【図3】本発明の画像間予測処理の様子を示す図であ
る。
【図4】本発明の画像タイプの例を示す図である。
【図5】本発明の画像符号化装置の第2の実施例のブロ
ック構成を示す図である。
【図6】本発明の画像復号化装置の第2の実施例のブロ
ック構成を示す図である。
【図7】本発明の画像符号化装置の第3の実施例のブロ
ック構成を示す図である。
【図8】本発明の画像復号化装置の第3の実施例のブロ
ック構成を示す図である。
【図9】従来の画像符号化装置のブロック構成例を示す
図である。
【図10】従来の画像復号化装置のブロック構成例を示
す図である。
【図11】本発明の間引き方法の例とその周波数特性を
示す図である。
【図12】本発明の間引きフレーム反転の様子を示す図
である。
【符号の説明】
1 画像入力端子 2,12,13,52,53,54,55,74,75
画像メモリ 3 予測減算器 4,11,23,25 スイッチ 5,71 符号化器 6 符号出力端子 7 画像タイプ制御器 8,9 画素間引器, 10,51,56,61 画素(切替)スイッチ 14 局部復号化器 21 符号入力端子 22,81 復号化器 24 予測加算器 72 LPF 73 動ベクトル検出器 91 加算器

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】複数の参照画像を用いて画像間予測を行な
    う動画像符号化装置において、 予測に用いる第1の参照画像を画素単位で間引いて第1
    の予測信号を出力する第1の画像間予測手段と、 予測に用いる第2の参照画像を画素単位で間引いて第2
    の予測信号を出力する第2の画像間予測手段と、 前記第1の予測信号と第2の予測信号を画素単位で交互
    にして順次予測信号を形成し、前記順次予測信号を符号
    化画像信号から減算して予測残差信号を得る予測減算手
    段と、 前記予測残差信号を符号化し、得られた符号を出力する
    符号化手段とを有することを特徴とする動画像符号化装
    置。
  2. 【請求項2】請求項1に記載された動画像符号化装置に
    おいて、 第1の画像間予測手段及び第2の画像間予測手段は、夫
    々予測に用いる参照画像を画素単位で間引いて、半分の
    画素を格納し、格納画素を予測信号として出力する画像
    メモリと、前記半分の画素の残りの半分の画素を格納
    し、出力する画像メモリとで構成したことを特徴とする
    動画像符号化装置。
  3. 【請求項3】請求項1に記載された動画像符号化装置に
    おいて、 予測減算手段では、第1の予測信号を生成する為に予測
    減算に用いる画素と第2の予測信号を生成する為に予測
    減算に用いる画素とが、走査線毎あるいはフレームまた
    はフィールド毎に逆の位置関係になるようにしたことを
    特徴とする動画像符号化装置。
  4. 【請求項4】請求項1に記載された動画像符号化装置に
    おいて、 予測減算手段では、順次予測信号に低域通過特性を有す
    る空間フィルタを作用させ、間引きにより縮小された周
    波数帯域外の折返し成分となる周波数成分が抑圧された
    順次予測信号を符号化画像信号から減算するようにした
    ことを特徴とする動画像符号化装置。
  5. 【請求項5】複数の参照画像を用いて画像間予測を行な
    う動画像符号化復号化装置において、 予測に用いる第1の参照画像を画素単位で間引いて第1
    の予測信号を出力する第1の画像間予測手段と、予測に
    用いる第2の参照画像を画素単位で間引いて第2の予測
    信号を出力する第2の画像間予測手段と、前記第1の予
    測信号と第2の予測信号を画素単位で交互にして順次予
    測信号を形成し、前記順次予測信号を符号化画像信号か
    ら減算して予測残差信号を得る予測減算手段と、前記予
    測残差信号を符号化し、得られた符号を出力する符号化
    手段と有する動画像符号化部と、供給される符号を復号
    化し、再生予測残差信号を得る復号化手段と、予測に用
    いる第1の参照画像を画素毎に間引いて第1の予測信号
    を出力する第1の画像間予測手段と、予測に用いる第2
    の参照画像を画素毎に間引いて第2の予測信号を出力す
    る第2の画像間予測手段と、前記第1の予測信号と第2
    の予測信号を1画素毎に交互にして再生予測残差信号に
    加算し、再生画像信号を得て出力する予測加算手段とを
    有する動画像復号化部とより構成したことを特徴とする
    動画像符号化復号化装置。
  6. 【請求項6】複数の参照画像を用いて画像間予測を行な
    う動画像符号化信号が記録されている動画像符号化信号
    記録媒体において、 予測に用いる第1の参照画像を画素単位で間引いた第1
    の予測信号と予測に用いる第2の参照画像を画素単位で
    間引いた第2の予測信号とを夫々形成し、前記第1の予
    測信号と第2の予測信号を画素単位で交互にして順次予
    測信号を形成し、前記順次予測信号を符号化画像信号か
    ら減算して予測残差信号を形成し、前記予測残差信号を
    符号化した信号が記録されていることを特徴とする動画
    像符号化信号記録媒体。
  7. 【請求項7】複数の参照画像を用いて画像間予測を行な
    う動画像符号化方法において、 予測に用いる第1の参照画像を画素単位で間引いた第1
    の予測信号と予測に用いる第2の参照画像を画素単位で
    間引いた第2の予測信号とを夫々出力し、前記第1の予
    測信号と第2の予測信号を画素単位で交互にして順次予
    測信号を形成し、前記順次予測信号を符号化画像信号か
    ら減算して予測残差信号を形成し、前記予測残差信号を
    符号化して出力するようにしたことを特徴とする動画像
    符号化方法。
  8. 【請求項8】複数の参照画像を用いて画像間予測を行な
    う動画像符号化復号化方法において、 予測に用いる第1の参照画像を画素単位で間引いた第1
    の予測信号と予測に用いる第2の参照画像を画素単位で
    間引いた第2の予測信号とを夫々出力し、前記第1の予
    測信号と第2の予測信号を画素単位で交互にして順次予
    測信号を形成し、前記順次予測信号を符号化画像信号か
    ら減算して予測残差信号を形成し、前記予測残差信号を
    符号化して出力するようにして動画像符号化を行ない、 供給される符号を復号化し、再生予測残差信号を得、予
    測に用いる第1の参照画像を画素毎に間引いた第1の予
    測信号と予測に用いる第2の参照画像を画素毎に間引い
    た第2の予測信号とを夫々出力し、前記第1の予測信号
    と第2の予測信号を1画素毎に交互にして再生予測残差
    信号に加算し、再生画像信号を出力して動画像復号化を
    行なうようにしたことを特徴とする動画像符号化復号化
    方法。
JP30394396A 1996-10-30 1996-10-30 動画像符号化復号化装置及びその方法 Expired - Lifetime JP3676525B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP30394396A JP3676525B2 (ja) 1996-10-30 1996-10-30 動画像符号化復号化装置及びその方法
EP19970308544 EP0840519B1 (en) 1996-10-30 1997-10-27 Apparatus and method of coding/decoding moving pictures
DE1997609293 DE69709293T2 (de) 1996-10-30 1997-10-27 Verfahren und Vorrichtung zur Kodierung und Dekodierung von Bewegtbildern
US08/960,366 US6141379A (en) 1996-10-30 1997-10-29 Apparatus and method of coding/decoding moving picture and storage medium storing moving picture
TW086116061A TW361048B (en) 1996-10-30 1997-10-29 Apparatus and method of coding/decoding moving picture and storage medium storing moving picture
KR1019970058367A KR100256859B1 (ko) 1996-10-30 1997-10-30 동화상을 코딩/인코딩하는 장치와 방법 그리고동화상을 저장하는 저장매체
CNB971228779A CN1143553C (zh) 1996-10-30 1997-10-30 用于编码/译码运动图象的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30394396A JP3676525B2 (ja) 1996-10-30 1996-10-30 動画像符号化復号化装置及びその方法

Publications (2)

Publication Number Publication Date
JPH10136381A true JPH10136381A (ja) 1998-05-22
JP3676525B2 JP3676525B2 (ja) 2005-07-27

Family

ID=17927164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30394396A Expired - Lifetime JP3676525B2 (ja) 1996-10-30 1996-10-30 動画像符号化復号化装置及びその方法

Country Status (7)

Country Link
US (1) US6141379A (ja)
EP (1) EP0840519B1 (ja)
JP (1) JP3676525B2 (ja)
KR (1) KR100256859B1 (ja)
CN (1) CN1143553C (ja)
DE (1) DE69709293T2 (ja)
TW (1) TW361048B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO318973B1 (no) * 2003-07-01 2005-05-30 Tandberg Telecom As Fremgangsmate for stoyreduksjon
US20060008154A1 (en) * 2004-07-01 2006-01-12 Belle Ronny V Video compression and decompression to virtually quadruple image resolution
AU2006225467B2 (en) * 2005-03-25 2009-12-10 Samsung Electronics Co., Ltd. Video coding and decoding method using weighted prediction and apparatus for the same
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR100678911B1 (ko) * 2005-07-21 2007-02-05 삼성전자주식회사 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
KR101256548B1 (ko) * 2005-12-30 2013-04-19 삼성전자주식회사 영상 부호화 및 복호화 장치 및 그 방법
KR100761834B1 (ko) * 2006-01-13 2007-09-28 삼성전자주식회사 화면의 라인들을 복수개의 메모리에 나누어 저장하는비디오 디코딩 장치, 비디오 디코딩 방법 및 기준화면 저장방법
KR100781525B1 (ko) * 2006-04-06 2007-12-03 삼성전자주식회사 가중 평균합을 이용하여 fgs 계층을 인코딩 및디코딩하는 방법 및 장치
JP2008109624A (ja) * 2006-09-25 2008-05-08 Victor Co Of Japan Ltd 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985768A (en) * 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
JP2530217B2 (ja) * 1989-01-20 1996-09-04 日本ビクター株式会社 フレ―ム間予測符号化装置及び復号装置
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JPH0832047B2 (ja) * 1989-04-28 1996-03-27 日本ビクター株式会社 予測符号化装置
JP2808860B2 (ja) * 1990-08-24 1998-10-08 日本ビクター株式会社 予測符号化装置及び復号化装置
JP2514111B2 (ja) * 1990-12-28 1996-07-10 日本ビクター株式会社 フレ―ム間符号化出力デ―タ量制御方式及び画像符号化出力デ―タ量制御方法
US6005627A (en) * 1991-05-31 1999-12-21 Kabushiki Kaisha Toshiba Video coding apparatus
US5475446A (en) * 1992-03-09 1995-12-12 Matsushita Electric Industrial Co., Ltd. Picture signal motion detector employing partial decimation of pixel blocks
JPH0795526A (ja) * 1993-08-20 1995-04-07 Texas Instr Inc <Ti> 画像処理装置及びその処理方法
US5684538A (en) * 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
EP1271957B1 (en) * 1994-12-20 2006-05-24 Matsushita Electric Industrial Co., Ltd. Object-based digital image predictive coding and transfer method and apparatus, and decoding apparatus
JP3169783B2 (ja) * 1995-02-15 2001-05-28 日本電気株式会社 動画像の符号化・復号システム
US6005626A (en) * 1997-01-09 1999-12-21 Sun Microsystems, Inc. Digital video signal encoder and encoding method
US6011870A (en) * 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding

Also Published As

Publication number Publication date
EP0840519A3 (en) 2000-09-13
US6141379A (en) 2000-10-31
EP0840519B1 (en) 2001-12-19
TW361048B (en) 1999-06-11
EP0840519A2 (en) 1998-05-06
CN1186396A (zh) 1998-07-01
KR19980033415A (ko) 1998-07-25
KR100256859B1 (ko) 2000-05-15
CN1143553C (zh) 2004-03-24
JP3676525B2 (ja) 2005-07-27
DE69709293D1 (de) 2002-01-31
DE69709293T2 (de) 2002-06-13

Similar Documents

Publication Publication Date Title
JP2570384B2 (ja) 動画像信号の符号化・復号化方式
JPH04177992A (ja) 階層性を有する画像符号化装置
JPH1175180A (ja) 画像処理装置および画像処理方法、並びに伝送媒体および伝送方法
JPH03276988A (ja) フィールド間予測符号化装置及び復号化装置
JP3676525B2 (ja) 動画像符号化復号化装置及びその方法
JPH1070704A (ja) デジタル画像情報の記録再生装置
JP2898413B2 (ja) 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法
JP2003333540A (ja) フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置
JPH0730903A (ja) 画像処理用メモリ集積回路
JPH10136371A (ja) 動画像復号化装置及びその方法
JP3784086B2 (ja) 映像信号符号化・復号化装置及び符号化・復号化方法
JPH11275591A (ja) 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体
JPH0374986A (ja) 画像データの受信装置及び方法
JPH1023415A (ja) 画像符号化復号方法および装置
JPH08130741A (ja) 画像復号化装置
JPH11308620A (ja) 画像復号装置
JP3552045B2 (ja) 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置
JP3907623B2 (ja) 映像信号符号化・復号化装置及び符号化・復号化方法
JPH08163570A (ja) 低遅延モード画像復号方法および装置
JPH10178643A (ja) 信号圧縮装置
JPH09331528A (ja) 画像符号化機能付復号装置
JPH0799647A (ja) 画像信号再生装置
JP2001238167A (ja) 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機
JPH11164303A (ja) 動画像の可逆圧縮符号化装置および可逆伸長復号化装置
JPH08107482A (ja) 画像復号装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050428

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

EXPY Cancellation because of completion of term