JPH1023423A - 画像符号化装置および画像復号化装置 - Google Patents

画像符号化装置および画像復号化装置

Info

Publication number
JPH1023423A
JPH1023423A JP16948996A JP16948996A JPH1023423A JP H1023423 A JPH1023423 A JP H1023423A JP 16948996 A JP16948996 A JP 16948996A JP 16948996 A JP16948996 A JP 16948996A JP H1023423 A JPH1023423 A JP H1023423A
Authority
JP
Japan
Prior art keywords
image
prediction
frame memory
motion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP16948996A
Other languages
English (en)
Other versions
JP3628810B2 (ja
Inventor
Takahiro Fukuhara
隆浩 福原
Shunichi Sekiguchi
俊一 関口
Kotaro Asai
光太郎 浅井
Atsumichi Murakami
篤道 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP16948996A priority Critical patent/JP3628810B2/ja
Priority to NO965100A priority patent/NO310009B1/no
Priority to EP20010102242 priority patent/EP1096800B1/en
Priority to EP19960119376 priority patent/EP0817491B1/en
Priority to EP20090012778 priority patent/EP2164264A1/en
Priority to EP20100000835 priority patent/EP2178302A3/en
Priority to DE1996620160 priority patent/DE69620160T2/de
Priority to DE1996629137 priority patent/DE69629137T2/de
Priority to EP20030010483 priority patent/EP1345448A3/en
Priority to US08/759,834 priority patent/US6381275B1/en
Priority to SG1997000032A priority patent/SG67967A1/en
Priority to KR1019970003608A priority patent/KR100254070B1/ko
Publication of JPH1023423A publication Critical patent/JPH1023423A/ja
Priority to US10/835,582 priority patent/USRE44663E1/en
Application granted granted Critical
Publication of JP3628810B2 publication Critical patent/JP3628810B2/ja
Priority to US11/826,820 priority patent/USRE44692E1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

(57)【要約】 【課題】 従来の符号化装置、復号化装置では、符号化
処理が進むに従ってフレームメモリに書き込まれていた
復号化画像を順次更新していってしまうため、過去の復
号化画像で現在の符号化フレームに似た画像があった場
合でも、既にフレームメモリから消去されてしまってい
るので参照できず、これを用いた効率な予測ができな
い。 【解決手段】 復号化画像のうちフレームメモリに継続
的に記憶する画像を背景画像として選択して記憶させる
背景画像記憶制御手段と、この背景画像に基づき入力画
像に対応する動き補償予測を行い動き補償予測に基づく
予測画像を生成する背景動き補償手段とを備えた。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、動画像の高能率
符号化あるいは復号化を行い、画像の効率的伝送もしく
は蓄積を行うシステムに供することのできる画像符号化
装置および復号化装置に関するものである。具体的な応
用例としては、衛星や地上波、有線通信網を介して行う
ディジタル放送システム、ディジタルビデオディスク、
移動体ビデオフォン、ＰＨＳビデオフォン、あるいは画
像のデータベースなどがある。
【０００２】
【従来の技術】従来の代表的な高能率符号化方式とし
て、ISO/IEC JTC1/SC29/WG11において検討された国際標
準方式であるMPEG2がある。例えば「テレビジョン学会
誌 画像情報工学と放送技術」の1995年4月号では、MPE
Gを特集テーマとして解説している。同誌p.29-60に渡
り、「3-2 ビデオ圧縮」としてMPEG2の符号化方式が紹
介されている。以下、MPEG2の符号化方式について説明
する。
【０００３】図３１は一般的なMPEG2の符号化器の基本
構成を示す構成図であり、図３２はMPEG2復号化器の基
本構成を示す構成図である。図中、１はフレーム並び換
え部、２は減算部、３ａ、３ｂはインタ（フレーム内）
／イントラ（フレーム間）切り替えセレクタ、４は変換
部、５は量子化部、６は逆量子化部、７は逆変換部、８
は加算器、９は第１のフレームメモリ、１０は第２のフ
レームメモリ、１１は順方向動き補償部、１２は両方向
動き補償部、１３は逆方向動き補償部、１５は動き推定
部、１６は符号化制御部、１７は可変長符号化部、１８
はバッファである。
【０００４】また、１００はディジタル化された入力画
像データ、１０１は並び替えされた入力画像データ、１
０２は予測誤差画像、１０３は原入力画像または予測誤
差画像、１０４は変換係数、１０５は量子化係数、１０
６は逆量子化された変換係数、１０７は逆変換された画
像データ、１０８は局部復号化画像、１０９は第１のフ
レームメモリからの参照画像、１１０は第２のフレーム
メモリからの参照画像、１１１は順方向動き予測画像、
１１２は両方向動き予測画像、１１３は逆方向動き予測
画像、１１５は決定された予測画像、１１７はセレクタ
への制御信号、１１８は変換部４への制御信号、１１９
は適応量子化値、１２０は可変長符号化語、１２１はビ
ットストリーム、１２３は動きベクトル、１２４は参照
画像、１２５はイントラ・インター切り替え信号であ
る。
【０００５】図３１によって符号化器の動作を説明す
る。ディジタル化され入力画像信号１００は、フレーム
並び換え部１において符号化される画像フレームの並べ
替えを行う。図３３は、この並べ替えを図示したもので
ある。図３３において、Ｉはイントラ（フレーム内）符
号化画像、Ｐはフレーム間符号化画像、Ｂは両方向予測
符号化画像を意味している。尚、番号は表示される時間
的な順番を示す。
【０００６】まず、第１フレームがＩピクチャとして符
号化され、次に第４フレームがＰピクチャとして符号化
され、この時、既に符号化済みのＩピクチャを予測のた
めの参照フレームとして用いることになる。続いて、第
２フレームがＢピクチャとして符号化され、この時に予
測のための参照フレームとして用いられるのが、既に符
号化済みの第１フレームのＩピクチャと第４フレームの
Ｐピクチャである。同図中の矢印は予測される方向を示
す。
【０００７】以下、同様の処理によりＩＢＢＰＢＢＰ…
の構成で符号化が行われる。従って、時間順に並んでい
た入力画像信号１００を上記処理のために、符号化順に
並べ替えるのが、フレーム並べ替え部１の働きである。
続いて、前記Ｉピクチャの場合には予測符号化を行わな
いので、並び替えされた画像１０１はそのままセレクタ
３ａに入力して、セレクタ出力１０３につながる。他
方、前記ＰピクチャまたはＢピクチャの場合の予測符号
化には、減算部２において予測画像１１５との差分が取
られ、予測誤差画像１０２がセレクタ出力１０３とな
る。
【０００８】さらに、セレクタ出力１０３は変換部４を
通り変換係数１０４が出力され、これは量子化部を通
り、量子化係数１０５が得られる。量子化係数１０５は
可変長符号化部１７において可変長符号化され、可変長
符号化語１２０が出力される。また量子化係数１０５は
一方で逆量子化部６の入力ともなり、量子化係数１０６
が得られる。さらに量子化係数１０６は逆変換部７にお
いて再度画像レベルにまで逆変換されて画像データ１０
７が出力される。画像データ１０７は前記Ｉピクチャの
場合には加算部８で選択された予測画像１１６と加算さ
れ、局部復号化画像１０８が供される。
【０００９】なお、局部復号化画像１０８は、Ｉピクチ
ャの場合にはそのまま第１のフレームメモリ９に書き込
まれるが、Ｐピクチャの場合には第２のフレームメモリ
１０に書き込まれる。一方、Ｂピクチャの場合は１０８
はどちらのフレームメモリにも書き込まれることはな
い。
【００１０】続いて、Ｐピクチャの場合は、順方向予測
のみ用いるので、第１のフレームメモリ９内の参照画像
１２４を読み出して、動き推定部１５においてマクロブ
ロック（１６画素ｘ１６ラインの処理の基本単位）毎に
動き予測を行い、最も現在のマクロブロックに値が近い
ものを予測画像として選択し、同時に動きベクトル１２
３を出力する。図３１の点線領域で示された動き補償部
に動きベクトル１２３が入力して動き予測画像が出力さ
れるが、この場合には順方向動き補償部１１において、
第１のフレームメモリ９からの参照画像１０９を用い
て、順方向動き予測画像１１１が供され、決定された予
測画像１１５となる。
【００１１】また、前述の様にＰピクチャ内のすべての
マクロブロックの局部復号化画像１０８は、第２のフレ
ームメモリに書き込まれる。但し、上記Ｐピクチャの場
合でも、該マクロブロックがフレーム内（イントラ）符
号化される時には、フレーム並び替えされた画像１０１
が直接セレクタ出力となる。
【００１２】次にＢピクチャの場合には、符号化処理の
手順は上記Ｐピクチャの場合と同様であるが、予測のた
めの参照フレームを２つ使う所が異なる。動き推定部１
５では、第１のフレームメモリ９からの参照画像１０９
を用いた順方向予測、第２のフレームメモリ１０からの
参照画像１１０を用いた逆方向予測、参照画像１０９、
１１０の両方を用いた両方向予測を行い、最も現在のマ
クロブロックに値が近い予測モードを選択し、その時の
動きベクトル１２３を出力する。決定された予測モード
に基いて動き補償部では、それらに相当する動き補償部
（１１、１２、１３）において予測画像が出力される。
例えば、両方向動き予測が選択された時は両方向予測画
像１１２が供され、決定された予測画像１１５となる。
【００１３】図３３の第２、３フレームのＢピクチャの
符号化が終了すると、第２のフレームメモリに書き込ま
れていた画像データは、第１のフレームメモリに転送さ
れる。その後、第７フレームのＰピクチャが符号化さ
れ、復号化画像が第２のフレームメモリに書き込まれ
る。以後、前記と同様にＢピクチャ（第５、６フレー
ム）が符号化される。また、該マクロブロックがフレー
ム内（イントラ）符号化される時には、フレーム並び替
えされた画像１０１が直接セレクタ出力となることは、
Ｐピクチャの場合と同様である。
【００１４】一方、図３２は復号化器の構成図である。
図３２において、２２は可変長復号化部、１０７(a)は
イントラ（フレーム内）符号化の画像、１０７（b）は
予測誤差画像である。次に動作を説明する。ビットスト
リーム１２１は受信バッファ８においてある時間、蓄積
され、可変長符号化語１２０は可変長復号化部２２にお
いて、可変長復号化されて量子化係数１０５が出力され
る。その後の処理手順は符号化器の局部復号化処理と全
く同様である。該マクロブロックがイントラ復号化の場
合には、逆変換された画像１０７は、１０７(a)となる
が、インター（フレーム内）復号化の場合には、１０７
（b）となる。１０７（b）は加算部８において、予測画
像１１５との加算により、復号化画像１０８が出力され
る。１０８は、表示用フレーム並び替え部３８におい
て、復号化画像を時間順に並び替える処理を行い、最終
的に出力画像１３７が供される。
【００１５】
【発明が解決しようとする課題】上記の例は順方向、両
方向、及び逆方向予測符号化を組み合わせた方式の代表
的なものである。この例において、Ｐピクチャの符号化
では、第１のフレームメモリを用いて順方向予測のみを
用い予測符号化を行っていた。他方Ｂピクチャの符号化
では、第１及び第２のフレームメモリを用いて順方向予
測、逆方向予測、両方向予測のいずれか１つの中から、
予測誤差の最小なモードを選択する手法を取っていた。
【００１６】従って、符号化処理が進むに従って、フレ
ームメモリに書き込まれていた復号化画像は消去されて
しまうため、例えば過去の復号化画像で現在の符号化フ
レームに似た画像があった場合には、既にフレームメモ
リから消去されてしまっているため、参照できないこと
になる。
【００１７】この発明は、このような過去の復号化画像
を参照画像として効率的に利用することを目的として、
全体の予測効率を向上させ、高能率な動画像符号化及び
復号化を行う装置を実現することにある。
【００１８】
【課題を解決するための手段】この発明に係わる画像符
号化装置は、複数の復号化画像を記憶する記憶手段と、
この記憶手段に記憶された復号化画像に基づき入力画像
に対応する動き補償予測を行い動きベクトルを生成する
とともに動き補償予測に基づく予測画像を生成する動き
補償予測手段と、この動き補償予測手段により生成され
た予測画像と入力画像との差分を取り予測誤差画像を算
出する予測誤差算出手段と、この予測誤差算出手段から
の予測誤差画像と上記予測画像とから上記復号化画像を
生成する復号化手段と、上記復号化画像のうち上記記憶
手段に継続的に記憶する画像を背景画像として選択して
上記記憶手段に記憶する背景画像記憶制御手段と、上記
背景画像に基づき入力画像に対応する動き補償予測を行
い動きベクトルを生成するとともに動き補償予測に基づ
く予測画像を生成する背景動き補償手段とを備えたもの
である。
【００１９】この発明に係わる画像復号化装置複数は、
復号化画像を記憶する記憶手段と、この記憶手段に記憶
された復号化画像に基づき動き補償予測を行い動き補償
画像を生成する動き補償手段と、この動き補償手段から
の動き補償画像と予測誤差画像とから上記復号化画像を
生成する復号化手段と、上記復号化画像のうち上記記憶
手段に継続的に記憶する背景画像を選択して上記記憶手
段に記憶する背景画像記憶制御手段と、上記背景画像に
基づき背景予測画像を生成する背景予測画像生成手段と
を備えたものである。
【００２０】また上記符号化装置において、復号化画像
を記憶するフレームメモリと、上記背景画像を記憶する
フレームメモリとにより上記記憶手段を構成する。
【００２１】また上記符号化装置において、復号化画像
を記憶するフレームメモリと、上記背景画像を記憶する
フレームメモリとにより、上記記憶手段を構成する。
【００２２】また上記符号化装置において、上記背景画
像記憶制御手段による記憶手段への画像内容の書き替え
を、所定の時間間隔または外部からの制御信号によって
ピクチャ単位で行う。
【００２３】また上記復号化装置において、上記背景画
像記憶制御手段による記憶手段への画像内容の書き替え
を、所定の時間間隔または外部からの制御信号によって
ピクチャ単位で行う。
【００２４】また上記符号化装置において、上記記憶制
御手段による記憶手段への画像内容の書き替えを、所定
の時間間隔または外部からの制御信号によってマクロブ
ロック単位で行う。
【００２５】また上記復号化装置において、上記背景画
像記憶制御手段による記憶手段への画像内容の書き替え
を、所定の時間間隔または外部からの制御信号によって
マクロブロック単位で行う。
【００２６】また上記符号化装置において、上記背景動
き補償手段の上記背景画像における動きベクトルの探索
範囲を可変とする。
【００２７】また上記符号化装置において、上記動き補
償予測手段あるいは上記背景動き補償予測手段により得
られる動きベクトルを保持し、生成された動きベクトル
と過去の動きベクトルとの差分ベクトルを算出する差分
ベクトル生成手段を備え、上記差分ベクトルを可変長符
号化する。
【００２８】また上記復号化装置において、過去の復号
化済み動きベクトルを保持し、差分ベクトルに上記過去
の復号化済み動きベクトルを加算して動きベクトルを再
生する動きベクトル加算部を備える。
【００２９】また、画像符号化装置を、画面を構成する
複数個の対象画像（オブジェクト）毎に過去の該オブジ
ェクトの復号化画像を記憶する複数のフレームメモリ群
と、復号化画像をいずれかのフレームメモリ群のフレー
ムメモリに書き込むかを制御信号によって選別するフレ
ームメモリ選択部と、上記該オブジェクト単位に設けた
フレームメモリ群のフレームメモリから読み出した参照
画像を用いて順方向予測、逆方向予測、両方向予測、背
景予測を、オブジェクト単位に切り替えて動き補償予測
を行う動き補償予測部と、予測画像と現画像との差分を
取り、予測誤差画像を算出する減算器と、参照画像から
の予測画像と現画像の予測誤差画像との加算を算出する
加算部と、符号化情報を可変長符号化する可変長符号化
部と、を備えた構成とする。
【００３０】また、画像復号化装置を、画面を構成する
複数個の対象画像（オブジェクト）毎に過去の該オブジ
ェクトの復号化画像を記憶する複数のフレームメモリ群
と、オブジェクト単位に復号化画像をいずれかのフレー
ムメモリに書き込むかを制御信号によって選別するフレ
ームメモリ選択部と、符号化ビットストリームを可変長
復号化する可変長復号化部と、上記フレームメモリ群の
フレームメモリから読み出した参照画像を用いて、オブ
ジェクト単位に順方向予測、逆方向予測、両方向予測、
背景予測を切り替えて動き補償画像を生成する動き補償
部とを備えた構成とする。
【００３１】そして、画像符号化装置あるいは画像復号
化装置において上記フレームメモリ群を３つとする。
【００３２】また、画像符号化装置において、符号化対
象とするオブジェクトの過去の復号化画像を記憶したフ
レームメモリ群内の、該オブジェクトが存在する領域の
画像内容の書き替えを、ある時間間隔または外部からの
制御信号によって行う。
【００３３】また、画像復号化装置において、復号化対
象とするオブジェクトの過去の復号化画像を記憶したフ
レームメモリ群内の、該オブジェクトが存在する領域の
画像内容の書き替えを、ある時間間隔または外部からの
制御信号によって行う。
【００３４】また、オブジェクト毎のフレームメモリ群
からの参照画像における動きベクトル探索の探索範囲を
各オブジェクト毎に可変にする。
【００３５】また画像符号化装置において、オブジェク
ト毎のフレームメモリ群内の画像を参照して得られた過
去の動きベクトルをある時間だけ保持して、オブジェク
ト毎に別個に差分ベクトルを算出する差分ベクトル生成
部を備え、該差分ベクトルを可変長符号化する。
【００３６】また画像復号化装置において、オブジェク
ト毎のフレームメモリ群内の画像を参照して得られた過
去の復号化済み動きベクトルをある時間だけ保持して、
復号化された差分ベクトルに上記過去の復号化済み動き
ベクトルを加算して、オブジェクト毎に動きベクトルを
再生する動きベクトル加算部を備える。
【００３７】
【発明の実施の形態】
実施の形態１．図１はこの発明の実施形態における動画
像の符号化装置の構成図である。図１において、２１は
動き補償予測手段としての動き補償予測部、３５は背景
画像記憶制御手段としてのフレームメモリ選択部、４５
は多重化部である。また、１２６は決定された動き予測
モード、１３４、１３５は選択された復号化画像、１３
９は多重化されたビットストリームである。また、上記
以外は既に説明された番号のものと同等である。
【００３８】次に動作について説明する。基本的な符号
化の動作は、従来例で述べた動き補償予測＋変換符号化
と同一である。従ってここでは差異部分について主に述
べる。局部復号化画像１０８は、フレームメモリ選択部
３５に入力し、ここで第１のフレームメモリ９、第２の
フレームメモリ１０のいずれかに書き込まれるかが選択
される。また、動き推定部１５では、上記フレームメモ
リ９、１０から参照画像１０９、１１０を読み出して、
並び替えされた入力画像データ１０１との予測誤差が最
小となる予測モード１２６と動きベクトル１２３を出力
する。
【００３９】動き補償予測部２１では、参照画像１０
９、１１０を読み出して、これら予測モード１２６及び
動きベクトル１２３を元に、動き予測画像１１５を出力
する。ビットストリーム１２１は、予測モード１２６と
共に多重化部４５において多重化され、送出される。以
上が符号化器の基本動作である。以下、各部の詳細につ
いて述べる。
【００４０】図２は、動き推定部１５の内部構成を示し
たものであり、同図において、２７は順方向予測画像生
成部、２８は両方向予測画像生成部、２９は逆方向予測
画像生成部、３０は背景動き補償手段としての背景予測
画像生成部、３１は予測モード決定部、１２７は順方向
予測画像、１２８は両方向予測画像、１２９は逆方向予
測画像、１３０は背景予測画像である。
【００４１】次に動作について説明する。上記各予測画
像生成部２７、２８、２９、３０では、所定の予測モー
ドに従って予測画像を生成する。例えば、順方向予測画
像生成部２７では、第１のフレームメモリ９から参照画
像１０９を読み出して、入力画像データ１０１と値が近
い画像を参照画像１０９の中から探索する。
【００４２】これは例えば、従来例でも用いられている
ブロックマッチング法をそのまま用いればよい。即ち、
前述のマクロブロック内のすべての画素についてマッチ
ングを取り、その誤差値の総和が最小になる画像を探索
することになる。その結果順方向予測画像生成部２７で
は順方向予測画像１２７が出力される。逆方向予測画像
生成部２９では、第２のフレームメモリ１０の中から参
照画像１１０の中を探索して、同様にブロックマッチン
グを行い、逆方向予測画像１２９を出力する。
【００４３】両方向予測画像生成部２８では、前記２つ
のフレームメモリ９、１０を用いて、両方向予測画像１
２８を出力する。両方向予測画像生成部２８では、順方
向予測画像と逆方向予測画像を別個に作成し、これをも
とに両方向予測画像を求める。例えば、順方向予測画像
と逆方向予測画像の平均画像を求め、これを両方向予測
画像１２８とする手法が考えられる。一方、背景予測画
像生成部３０では、第２のフレームメモリから参照画像
１１０を読み出し、ブロックマッチングにより背景予測
画像１３０を出力する。
【００４４】予測モード決定部３１では、上記予測画像
１２７、１２８、１２９、１３０の中で選択された予測
画像を入力して、それらと入力画像１０１との差分（予
測誤差）が最小になる予測モードを選択する。この時、
予測モード１２６及び動きベクトル１２３が３１から出
力される。予測モード１２６は、例えば順方向予測モー
ドの時が０、逆方向予測モードの時が１、両方向予測モ
ードの時が２、背景予測モードの時が３という様に決め
ればよい。
【００４５】なお、動きベクトル１２３は、図２の予測
モード決定部３１において生成され出力されるが、動作
としては下記の通りである。即ち、予め決められた範囲
で参照画像を探索し、各予測画像生成部において最も予
測誤差が小さい予測画像が得られた時に、予測画像と共
に動きベクトル１２３（ａ）、１２３（ｂ）、１２３
（ｃ）、１２３（ｄ）が各予測画像生成部より出力され
る。これらは、いずれも予測モード決定部３１に入力
し、各予測画像１２７、１２８、１２９、１３０の中で
最も現画像１０１との誤差が小さいものを選択し、その
最小値を与える予測画像の動きベクトル（動きベクトル
１２３（ａ）、１２３（ｂ）、１２３（ｃ）、１２３
（ｄ）のいずれか）を最終的に動きベクトル１２３とし
て出力する。
【００４６】図３は、動き補償予測部２１の内部構成を
示した構成図であり、２４、２６は選択器（スイッ
チ）、１１４は背景予測画像である。次に動作について
説明する。スイッチ２５では、予測モード１２６に従っ
て、２つのスイッチＳＷ１、ＳＷ２が開閉する。
【００４７】例えば、予測モード１２６が両方向予測画
像モードを示していた場合には、選択器２４のＳＷ１が
ノードＢを選択し、ＳＷ２がノードＣを選択する。他
方、背景予測モードが選択された時には、ＳＷ１がＯＦ
Ｆ（選択なし）、ＳＷ２がノードＥを選択する。前者の
場合は、両方向動き補償部１２において、動きベクトル
１２３を用いて両方向動き予測画像１１２を生成する。
同時に、スイッチ２６で両方向動き補償部１２の出力ノ
ードが選択されて、両方向動き予測画像１１２が決定さ
れた予測画像１１５として、動き補償予測部２１の出力
となる。
【００４８】また、上記実施形態では、動き推定部と動
き補償予測部とを別個に備え、動き推定部で求めた予測
モードと動きベクトルとを動き補償予測部に送り、該動
き補償予測部において予測画像を生成する構成とした
が、図４に示すように、両部を動き推定・補償部３９で
代用させる構成にしても、同等の機能を実現できる。
【００４９】ところで、上記は従来例と同様に、画像の
処理単位であるマクロブロック単位に符号化が行われ
る。一方、従来例のＭＰＥＧ２では、Ｉピクチャ、Ｐピ
クチャ、Ｂピクチャの３タイプのピクチャが存在し、こ
れらピクチャによって予測モードが制限を受けていた。
即ち、Ｉピクチャではすべてのマクロブロックがイント
ラで符号化され、予測モードは存在しない。Ｐピクチャ
では順方向予測のみが存在し、Ｂピクチャでは順方向予
測、逆方向予測、両方向予測の３つの予測モードが存在
する。
【００５０】一方、この発明によれば、上記の他にＰＧ
ピクチャ、後述のＰＢＧピクチャの２つのピクチャタイ
プが加わる。ＰＧピクチャでは、順方向予測と背景予測
の２つが存在し、ＰＢＧピクチャでは順方向予測、逆方
向予測、両方向予測、背景予測の４つの予測モードが存
在する。
【００５１】図５（Ａ）、（Ｂ）、（Ｃ）は、符号化ピ
クチャのパターン例を図示したものである。例えば、
（Ａ）の場合、これは従来例と同様であり、従来技術と
同様の手段に従えばよい。（Ｂ）の場合、第２のフレー
ムメモリ１０に書き込まれていた背景画像（図５で“Ｂ
Ｇ”と表示）からの背景予測と１つ前の復号化済みピク
チャからの順方向予測の２つの予測モードを持ち、予測
誤差が小さい方を選択する。
【００５２】この動作が第６ピクチャまで行われる一
方、第７ピクチャからはＰＢＢＰ．．の構造に変更にな
る。この場合、第６ピクチャまでは第２のフレームメモ
リ１０に背景画像が記録されているが、その後はまず第
９ピクチャが、第６ピクチャを参照して順方向予測され
る。続いて、従来例と同様に第７ピクチャ、第８ピクチ
ャが第６ピクチャと第９ピクチャの復号化済みピクチャ
を参照して予測される。
【００５３】また、図５中、第２ピクチャから“ＢＧ”
へ伸びた点線は、例えば第２ピクチャの復号化画像の内
容が第２のフレームメモリに背景画像として書き込まれ
ることを意味している。書き込みのタイミングとして
は、ある時間間隔としてもよいし、また外部からの制御
信号から行ってもよい。但しこれは１つの例であり、他
にいくらでも多くのパターンが取れる。図５（Ｃ）で
は、第１ピクチャがＩピクチャの場合を示しており、こ
の符号化済みピクチャが背景画像として第２のフレーム
メモリに書き込まれることを示している。
【００５４】そして、第３ピクチャ以降のすべてのピク
チャのマクロブロックの予測モードは、背景画像予測と
順方向予測のいずれかに選択される。これは、背景画像
が静止している場合に有効であり、背景画像の前で人物
が会話するシーンでは、人物の動きで背景画像が見え隠
れするオクルージョンという現象が起こるので、極めて
有効である。また、背景画像が静止画で予め既知である
場合には、符号化処理を開始する前に、第２のフレーム
メモリに該背景画像を書き込んでおくこともできる。な
お、符号化ピクチャのパターンが上記（Ａ）、（Ｂ）、
（Ｃ）以外にも取れることは言うまでもない。
【００５５】次に、図１に示したフレームメモリ選択部
３５の動作について説明する。同部では、局部復号化画
像１０８を第１のフレームメモリ９、または第２のフレ
ームメモリ１０のどちらに書き込むかを決定する。決定
法としては例えば、図６で示した様にフレーム並び替え
部１からの制御信号１４０によって切り替える手法が考
えられる。
【００５６】この場合、現在の符号化ピクチャ及び次に
符号化されるピクチャのタイプがわかるため、例えば、
図５（Ｂ）に示した“ＢＧ”打ち切りまでは復号化済み
の画像は外部からの信号がない限り、第１のフレームメ
モリ９に書き込み、それ以降はＰＢＢＰ．．の構造とな
るため、従来例と同様に書き込み対象のフレームメモリ
を適応的に選択すればよい。また、図５（Ｂ）で図示し
た様に、ある位置での復号化済みピクチャからの第２フ
レームメモリ１０への背景画像としての書き込みは、例
えば、シーンチェンジを検出した時に、所定時間後に復
号化画像を書き込むような構成とすればよい。
【００５７】シーンチェンジの検出法は、従来より用い
られている手法、例えば１フレーム内のマクロブロック
の中で、予測誤差がしきい値以上のマクロブロックがあ
る個数以上出現した場合、これをシーンチェンジとみな
す方法等があり、これらに従えばよい。また、上記手法
以外にも多くの手法が存在することは言うまでもない。
また、この実施形態では、記憶手段として第１、第２の
フレームメモリを備えて、動き補償予測を切り替える構
成を実現したが、ハードウエアの実現に当たっては、複
数個のフレームメモリ分の記憶容量を持ったメモリをそ
の内部アドレスによって切り分けることで、複数個のフ
レームメモリを同時に持たせることが可能となる。
【００５８】以上のように、背景画像を記憶し、これに
基づく背景予測を用いて動き補償予測を行うので、符号
化シーケンスに影響されずに高い予測効率を維持しなが
ら符号化を行える。なお、以上の説明において、背景画
像のフレームメモリへの記憶制御を行うものを示した
が、ここでいう背景画像とは、継続的に記憶する画像の
ことを意味するものであり、画像の内容自体を示すもの
ではないことはいうまでもない。すなわち、従来のピク
チャ配列のように順次更新されていってしまう画像の中
に、後の予測の有効ば画像があるので、これを更新手順
による記憶とは独立して継続的に記憶しておくものであ
り、この画像をここでは背景画像としているものであ
る。
【００５９】実施の形態２．図７はこの発明の実施形態
における動画像の復号化装置の構成図である。図におい
て、２３は動き補償部、４６は多重化分離部である。上
記以外は既に説明された番号のものと同等である。
【００６０】次に動作について説明する。この復号化装
置は、実施形態１に示した符号化装置に対応する。基本
的な復号化の処理手順は、従来例で述べた復号化装置と
同様であるため、ここでは差異について主に説明する。
局部復号化画像１０８はフレームメモリ３５に入力し
て、書き込む対象のフレームメモリが選択されて、選択
された復号化画像１３４または１３５に局部復号化画像
１０８が転送される。
【００６１】続いて、第１のフレームメモリ９または第
２のフレームメモリ１０に該復号化画像が書き込まれ
る。一方、動き補償部２３では、符号化装置の局部復号
化と同様な手順で、両フレームメモリから参照画像１０
９または１１０を読み出し、予め決められた予測モード
１２６に従って、予測画像１１５を生成する。図８は、
動き補償部２３の内部構成を示した構成図であり、３２
はスイッチである。次に動作について説明する。選択さ
れた予測モード１２６に対応した予測画像生成部では、
参照画像１０９または１１０を読み出して予測画像を生
成する。さらにスイッチ３２が、選択された予測モード
に切り替わることにより、最終的に決定された予測画像
１１５が出力される。
【００６２】実施の形態３．図９は、この発明の実施形
態における動画像の符号化装置の構成図である。図にお
いて、３３は動き補償予測部、３４は第３のフレームメ
モリ、３７はフレームメモリ選択部、４１は動き推定
部、１３３は第３のフレームメモリの参照画像、１３６
は選択された局部復号化画像である。上記以外は既に説
明された番号のものと同等である。この実施形態は、図
１に示したものに、第３のフレームメモリを付加した箇
所が大きな相違点である。
【００６３】次に動作について説明する。過去の復号化
画像を記憶した３つのフレームメモリから参照画像１０
９、１１０、１３３を読み出し、動き推定部４１におい
て動き予測を行い、得られた動きベクトル１２３及び予
測モード１２６は動き補償予測部３３に入力する。動き
補償予測部３３では、決定された予測モード１２６に従
って、所定の動き予測画像を生成するために必要な参照
画像を参照画像１０９、１１０、１３３の中から選択
し、決定された予測画像１１５を出力する。
【００６４】一方、局部復号化画像１０８は、フレーム
メモリ選択部３７においてどのフレームメモリに書き込
むかが決定された後、所定のフレームメモリに参照画像
１３４または１３５または１３６として書き込まれる。
【００６５】図１０は動き推定部４１の内部構成を図示
したものであり、４２は予測モード決定部である。この
図１０に示した動き推定部４１は、図２に示した動き推
定部に、第３のフレームメモリからの参照画像１３３が
追加された構成である。順方向予測画像生成部２７は入
力画像１０１と第１のフレームメモリの参照画像１０９
を入力して順方向予測画像１２７を出力し、両方向予測
画像生成部２８は入力画像１０１と第１のフレームメモ
リの参照画像１０９、及び第２のフレームメモリの参照
画像１１０を入力して両方向予測画像１２８を出力し、
逆方向予測画像生成部２９は入力画像１０１と第２のフ
レームメモリの参照画像１１０を入力して逆方向予測画
像１２９を出力し、背景予測画像生成部３０は入力画像
１０１と第３のフレームメモリの参照画像１３３を入力
して背景予測画像１３０を出力する。
【００６６】予測モード決定部４２では、上記予測画像
２７、２８、２９、３０と入力画像１０１との絶対値差
分を取り、この値が最小になる予測モードを決定して、
これを予測モード１２６として出力する。また同時に動
きベクトル１２３を出力する。
【００６７】図１１は、動き補償予測部３３の内部構成
図であり、予測モード１２６に従ってスイッチ２５が開
閉し、参照画像１０９、１１０が所定の動き補償部に入
力する。例えば、順方向予測モードが選択されていた場
合には、ＳＷ１がノードＡに切り替わり、ＳＷ２はＯＦ
Ｆとなる。また両方向予測モードが選択されていた場合
には、ＳＷ１がノードＢに切り替わり、ＳＷ２がノード
Ｃに切り替わる。
【００６８】背景予測モードが選択されていた場合に
は、参照画像１３３が直接入力して参照される。続い
て、スイッチ２６では予測モード１２６に対応したノー
ドに切り替わり、最終的に決定された予測画像１１５が
出力される。また、この実施形態では、第１、第２、第
３のフレームメモリを備えて、動き補償予測を切り替え
る構成を実現したが、ハードウエアの実現に当たって
は、複数個のフレームメモリ分の記憶容量を持ったメモ
リをその内部アドレスによって切り分けることで、複数
個のフレームメモリを同時に持たせることが可能とな
る。
【００６９】図１２はこの実施形態におけフレームメモ
リの書き換えの動作を示す説明図であり、以下、図６の
フレームメモリ選択部３７の動作との関係を含めて説明
する。図１２には（Ａ），（Ｂ），（Ｃ）の３つのパタ
ーンが図示してあり、（Ａ）では第６ピクチャにおいて
背景予測と順方向予測とのＰＧピクチャに切り替わり、
以後第９ピクチャまでこの構成が継続する。その後、第
１０ピクチャからは、再ぴＩＢＢＰの構造に戻ってい
る。
【００７０】（Ｂ）では、第１、第２、第４、第５、第
７、第８、第１０、第１１ピクチャで、順方向予測、逆
方向予測、両方向予測、背景予測のすべての予測モード
が切り替え可能な構成となっており、予測効率は１番高
い。またこの場合でも背景画像として第３のフレームメ
モリへの書き込みは随時可能であるが、（Ｂ）の例で
は、第５、第１０ピクチャから背景画像用の第３のフレ
ームメモリヘの書き込みを行っている。（Ｃ）では、第
３、第６、第９、第１２ピクチャで、背景予測と順方向
予測とのＰＧピクチャとなっている。
【００７１】これらの動作時において、現在復号化され
たピクチャがどのピクチャタイプであるか既知であるの
で、フレームメモリ選択部３７では、そのピクチャタイ
プに従って、復号画像１０８を書き込むべきフレームメ
モリは自ずと決まる。即ち、ＩＢＢＰの構造を取ってい
る場合には、Ｉでは第１のフレームメモリに書き込ま
れ、Ｐで第２のフレームメモリに書き込まれる。Ｂはど
のフレームメモリにも書き込まれない。なお、ある復号
化画像がある時間間隔または外部の制御信号によって背
景画像として第３のフレームメモリにも書き込まれるの
は、既に述べた通りである。
【００７２】実施の形態４．図１３はこの発明の実施形
態における動画像の復号化装置の構成図であり、これは
図９に示した符号化装置に対応する復号化装置である。
図１３において、３６は動き補償部である。
【００７３】次に動作について説明する。動き補償部３
６では、第１のフレームメモリ９、第２のフレームメモ
リ１０、第３のフレームメモリ１９から読み出した参照
画像１０９、１１０、１３３を参照して動き補償を行
い、予測画像１１５を出力する。復号化画像は、再び表
示用フレーム並び替え部３８において、表示用の時間順
に並び替えされて出力画像１３７が得られる。図１４
は、該動き補償部３６の内部構成図を示す構成図であ
り、各予測画像生成部で生成された予測画像が、予測モ
ード１２６に従ってスイッチ３２において選択される。
そして選択された予測画像１１５が出力される。
【００７４】実施の形態５．上記実施形態では、図５
（Ｂ）、（Ｃ）で示した背景画像への書き換えをピクチ
ャ単位で行うものを示したが、これをマクロブロック単
位に行うことが、予測の効率化に有効な場合がある。
【００７５】この書き換えの手法としては、例えば、符
号化処理の中で、所定の時間間隔で更新する手法や、あ
る位置のマクロブロック内のすべての画素がある時間以
上予測のために参照されなかった場合には、制御信号を
発生させて、背景画像内の該マクロブロックのみを復号
化画像によって書き換える操作を行えばよい。
【００７６】図１５はこれを図示したもので、図５
（Ｂ）の第２ピクチャから背景画像“ＢＧ”への書き込
みタイミングに対し、図１５の斜線領域のマクロブロッ
クのみがそのまま第２のフレームメモリに書き込まれ、
第３ピクチャを予測する際の参照画像の一部になる。同
様に、上述の実施形態のうちフレームメモリを３つ備え
た符号化装置においても、図１２（Ｂ）、（Ｃ）で示し
た背景画像への書き換えをマクロブロック単位に行う。
この書き換えの手法としては、上記と同じ操作を行えば
よい。
【００７７】以上のように各々のフレームメモリ内の画
像内容の書き替えを、ある時間間隔または外部からの制
御信号によってマクロブロック単位に行うので、より細
かいレベルで、常にフレームメモリ内の画像内容を、背
景予測に対して高い予測効率が得られる内容に維持でき
る。
【００７８】実施の形態６．また上記のような符号化装
置に対応して復号化装置においても、背景画像への書き
換えをマクロブロック単位に行う。例えば、図７の復号
化装置において、復号化画像１０８は、フレームメモリ
選択部３５において選択された後、上記マクロブロック
と同位置にある背景画像のマクロブロックが選択された
復号化画像１３５に書き換えられる。尚、上記マクロブ
ロック単位の更新は、ある時間間隔または外部からの制
御信号に従って行えばよい。同様に、図１３に示した復
号化装置においても、図１２（Ｂ）、（Ｃ）で示した背
景画像への書き換えをマクロブロック単位に行う。この
書き換えの手法としては、上記と同じ操作を行えばよ
い。
【００７９】実施の形態７．以上示した符号化装置にお
いて、図１の動き推定部１５、または図３の動き推定部
３３での、背景予測を行う際の動き探索範囲を、順方向
予測または逆方向予測の探索範囲と可変にすることも有
効である。これは、例えば、背景予測が有効に作用する
のは背景からの動きベクトルが０の時であることを利用
して、他の予測を行う時よりも探索範囲を小さく設定す
ることが考えられる。それに付随する効果としては、探
索時間が短縮されること、動きベクトルの可変長符号化
コードを短く設定できるために、動きベクトルの符号化
情報量が低減できることが挙げられる。
【００８０】実施の形態８．図１６は、この発明の実施
形態における符号化装置の構成図であり、４７は差分ベ
クトル生成部、１４１は差分ベクトルである。差分ベク
トル生成部４７において現在の動きベクトル１２３と参
照ベクトルとの差分ベクトル１４１を算出して、これを
可変長符号化部１７において可変長符号化する。図１７
はこの動きベクトルの符号化法について図示したもので
ある。
【００８１】次に動作について説明する。図１７におい
て、１つの桝目は１個のマクロブロックを意味する。第
１のフレームメモリ内の参照画像を読み出して動き補償
予測を行って求められた現在のマクロブロックの動きベ
クトルＭＶ(1)は、既に符号化・復号化済みのマクロブ
ロックの動きベクトルＭＶ１(1)、 ＭＶ２(1)、 ＭＶ３
(1)の３つを候補ベクトルとして、これらとの差分値を
実際に可変長符号化するのが効率的であることが知られ
ている。
【００８２】例えば、ＭＶ１(1)、ＭＶ２(1)、ＭＶ３
(1)の３つの中間値を候補ベクトルとすることを考えれ
ば、差分ベクトルＰＭＶ(1)は、以下の式で表すことが
できる。但し、ｍｅｄｉａｎは中間値を算出する演算子
である。 ＰＭＶ(1)＝ＭＶ(1)−ｍｅｄｉａｎ（ＭＶ１(1)，ＭＶ
２(1)，ＭＶ３(1)） 同様に、第２のフレームメモリの場合には、 ＰＭＶ(2)＝ＭＶ(2)−ｍｅｄｉａｎ（ＭＶ１(2)，ＭＶ
２(2)，ＭＶ３(2)） となる。
【００８３】また、図１８は図９の符号化装置に差分ベ
クトル生成部４７を加えた符号化装置の構成図である。
差分ベクトルの算出では、上記の場合に加えて、第３の
フレームメモリ用の参照動きベクトルＰＭＶ（３）を算
出して、これを可変長符号化すればよい。以上のように
して動きベクトルの情報発生量を抑制することができ
る。
【００８４】実施の形態９．以上のような差分ベクトル
を用いる符号化装置に対応した復号化装置の構成図を図
１９、および図２０に示し、４８は動きベクトル加算部
である。可変長復号化部２２において可変長復号化され
た差分ベクトル１４１は、動きベクトル４８において参
照ベクトルとの加算を取り、動きベクトル１２３が算出
される。
【００８５】実施の形態１０．図１の符号化装置では、
ピクチャ内の画面全体を符号化対象としていたのに対
し、この実施形態では、画面を構成する複数個の対象物
画像（オブジェクト）単位に符号化のピクチャタイプを
可変な構造とする。図２１に示すように、例えば画面が
オブジェクト１（魚）、オブジェクト２（水中：背景
画）、オブジェクト３（ボール）から構成されており、
各々の境界線が既知であった場合、それらのオブジェク
トを別々の手法で符号化することが可能になる。
【００８６】この実施形態では、これらを別々のピクチ
ャタイプを用いることで実現する。例えば、オブジェク
ト１は動きが大きいので、両方向予測が背景予測よりも
予測効率が高いことを考慮して、図５（Ａ）のピクチャ
タイプの構成とする。一方、オブジェクト２はほとんど
動きがない画像であるため、背景予測がより有効であ
る。従って、図５（Ｃ）の構成を取ればよい。但し、急
激に途中でシーンが変化する等の変化が起こった場合に
は、図５（Ｂ）の様に、途中のピクチャからＢピクチャ
を含んだ構成とすればよい。
【００８７】図２２は、この実施形態で示される符号化
装置の具体例を示す構成図であり、４２はオブジェクト
識別部、４３は第１のフレームメモリ群、４４は第２の
フレームメモリ群、１３８はオブジェクト識別信号であ
る。
【００８８】次に動作について説明する。予め入力画像
１００には、オブジェクト毎に識別信号が付いており、
４２で識別されたオブジェクトの番号が識別信号１３８
として出力される。動き推定部１５ではオブジェクト識
別信号１３８に従って、第１のフレームメモリ群４３、
第２のフレームメモリ群４４の中から、符号化対象のオ
ブジェクトに対応したフレームメモリを選び、参照画像
を読み出して、動き予測を行う。
【００８９】また、動き補償予測部２１では、動き推定
部１５で決定された予測モード１２６に従って、所定の
ブジェクトに対応したフレームメモリを選び、予測画像
１１５を生成する。一方、フレームメモリ選択部３５で
は、復号化画像１０８をオブジェクト識別信号１３８に
従って、所定のフレームメモリ群の中の所定のオブジェ
クトに対応したフレームメモリに書き込む。またオブジ
ェクト識別信号１３８は、他の符号化情報と共に多重化
部４５において多重化されて、多重化されたビットスト
リーム１３９として送出される。
【００９０】また、この実施形態では、第１、第２のフ
レームメモリ群を備えて、動き補償予測を切り替える構
成を実現したが、ハードウエアの実現に当たっては、複
数個のフレームメモリ群分の記憶容量を持ったメモリを
その内部アドレスによって切り分けることで、複数個の
フレームメモリ群を同時に持たせることが可能となる。
以上のように、オブジェクトの動きに応じた予測構造を
取れるので全体の予測効率が向上する。
【００９１】実施の形態１１．図２２符号化装置に対応
する復号化装置の構成図を図２３に示し、４６は多重化
分離部である。次に動作について説明する。多重化分離
部４６で多重化分離されたオブジェクト識別信号１３８
に従って、動き補償部２３では所定のフレームメモリ群
の中の所定のオブジェクトに対応したフレームメモリか
ら参照画像を読み出し、予測モードに対応した動き補償
を行い、予測画像１１５を生成する。一方、フレームメ
モリ選択部３５では、復号化画像１０８をオブジェクト
識別信号１３８に従って、所定のフレームメモリ群の中
の所定のオブジェクトに対応したフレームメモリに書き
込む。
【００９２】実施の形態１２．図２４は図２２の符号化
装置に、さらに１つのフレームメモリ群を追加して、３
つのフレームメモリ群の構成とした符号化装置の構成図
であり、４９は第３のフレームメモリ群である。
【００９３】次に動作について説明する。予め入力画像
１００には、オブジェクト毎に識別信号が付いており、
４２で識別されたオブジェクトの番号が識別信号１３８
として出力される。動き推定部１５ではオブジェクト識
別信号１３８に従って、第１のフレームメモリ群４３、
第２のフレームメモリ群４４、第３のフレームメモリ群
４９の中から、符号化対象のオブジェクトに対応したフ
レームメモリを選び、参照画像を読み出して、動き予測
を行う。
【００９４】また、動き補償予測部２１では、動き推定
部１５で決定された予測モード１２６に従って、所定の
オブジェクトに対応したフレームメモリを選び、予測画
像１１５を生成する。一方、フレームメモリ選択部３５
では、復号化画像１０８をオブジェクト識別信号１３８
に従って、所定のフレームメモリ群の中の所定のオブジ
ェクトに対応したフレームメモリに書き込む。またオブ
ジェクト識別信号１３８は、他の符号化情報と共に多重
化部４５において多重化されて、多重化されたビットス
トリーム１３９として送出される。また、この実施形態
では、第１、第２、第３のフレームメモリ群を備えて、
動き補償予測を切り替える構成を実現したが、ハードウ
エアの実現に当たっては、複数個のフレームメモリ群分
の記憶容量を持ったメモリをその内部アドレスによって
切り分けることで、複数個のフレームメモリ群を同時に
持たせることが可能となる。
【００９５】実施の形態１３．図２４の符号化装置に対
応する復号化装置の構成図を図２５に示す。次に動作に
ついて説明する。多重化分離部４６で多重化分離された
オブジェクト識別信号１３８に従って、動き補償部２３
では所定のフレームメモリ群の中の所定のオブジェクト
に対応したフレームメモリから参照画像を読み出し、予
測モードに対応した動き補償を行い、予測画像１１５を
生成する。一方、フレームメモリ選択部３５では、復号
化画像１０８をオブジェクト識別信号１３８に従って、
所定のフレームメモリ群の中の所定のオブジェクトに対
応したフレームメモリに書き込む。
【００９６】実施の形態１４．符号化対象とするオブジ
ェクトの過去の復号化画像を記憶した第２のフレームメ
モリ群内の該オブジェクトに対応したフレームメモリ内
の、該オブジェクトが存在する領域の画像内容の書き替
えを、ある時間間隔または外部からの制御信号によって
行うことがある。
【００９７】図２６は、例えばあるオブジェクトが占め
る領域を含むすべてのマクロブロックの復号化画像によ
って、第２のフレームメモリ群内の該オブジェクトに対
応したフレームメモリの同位置のマクロブロック内の画
像内容が書き替えられることを図示している。従って、
同図の場合には、縦2個、横２個、計４個のマクロブロ
ックの内容が更新されることになる。
【００９８】また、符号化対象とするオブジェクトの過
去の復号化画像を記憶した第３のフレームメモリ群内の
該オブジェクトに対応したフレームメモリ内の、該オブ
ジェクトが存在する領域の画像内容の書き替えを、ある
時間間隔または外部からの制御信号によって行う場合、
上記説明における第２のフレームメモリ群内のフレーム
メモリに書き込む操作を、第３のフレームメモリ群内の
フレームメモリに書き込む操作で代用すればよい。
【００９９】以上のような符号化装置に対応して復号化
装置においても、オブジェクトの過去の復号化画像を記
憶した第２のフレームメモリ群内の該オブジェクトに対
応したフレームメモリ内の、該オブジェクトが存在する
領域の画像内容の書き替えを、ある時間間隔または外部
からの制御信号によって行うようにする。
【０１００】実施の形態１５．また、図２２に示した符
号化装置において、第１のフレームメモリ群の該オブジ
ェクトに対応したフレームメモリからの参照画像と、第
２のフレームメモリ群の該オブジェクトに対応したフレ
ームメモリからの参照画像とで、オブジェクト毎に動き
ベクトル探索の探索範囲を可変にする。例えば、図２２
の符号化装置において、該オブジェクトの、動きの少な
い背景画像を第２のフレームメモリ群の該オブジェクト
に対応したフレームメモリに記憶させておき、他方、動
きの大きい該オブジェクトの復号化画像を第１のフレー
ムメモリ群の該オブジェクトに対応したフレームメモリ
に随時書き込む操作を行えば、両者とも高い予測効率を
維持することができる。
【０１０１】また、図２４に示した符号化装置におい
て、第１のフレームメモリ群の該オブジェクトに対応し
たフレームメモリからの参照画像と、第２のフレームメ
モリ群の該オブジェクトに対応したフレームメモリから
の参照画像と、第３のフレームメモリ群の該オブジェク
トに対応したフレームメモリからの参照画像とで、オブ
ジェクト毎に動きベクトル探索の探索範囲を可変にす
る。
【０１０２】例えば、図２４の符号化装置において、該
オブジェクトの、動きの少ない背景画像を第３のフレー
ムメモリ群の該オブジェクトに対応したフレームメモリ
に記憶させておき、他方、動きの大きい該オブジェクト
の復号化画像を第１のフレームメモリ群または第２のフ
レームメモリ群の該オブジェクトに対応したフレームメ
モリに随時書き込む操作を行えば、３者とも高い予測効
率を維持することができる。以上のように、オブジェク
トが参照する複数個のフレームメモリ群に応じて、動き
ベクトルの探索範囲を別々に設定するので、例えば動き
が小さいオブジェクトの場合には、動きベクトルの探索
範囲を狭くすることで、動きベクトルの情報発生量を削
減することができる。
【０１０３】実施の形態１６．また、図２２に示した符
号化装置において、オブジェクト毎の第１のフレームメ
モリ群内の該オブジェクトに対応したフレームメモリか
らの画像を参照して得られた過去の動きベクトルと、オ
ブジェクト毎の第２のフレームメモリ群内の該オブジェ
クトに対応したフレームメモリからの画像を参照して得
られた過去の動きベクトルとを、別々にある時間だけ保
持して、オブジェクト毎に別個に差分ベクトルを算出す
る差分ベクトル生成部を備えたものを図２７に示す。
【０１０４】符号化対象とするオブジェクトは、動き推
定部１５において現画像１０１と、第１のフレームメモ
リ群もしくは第２のフレームメモリ群で、動き推定の結
果選択されたフレームメモリ群の該オブジェクトに対応
したフレームメモリ内の画像を参照画像としての動き推
定を行い、動きベクトル１２３を検出する。動きベクト
ル１２３は差分ベクトル生成部４７において、同部に記
憶された該オブジェクトの過去の動きベクトルの中から
候補ベクトルを選択して（前述のＭＶ１，ＭＶ２，ＭＶ
３）、差分ベクトル１４１を出力する。差分ベクトル１
４１は可変長符号化部１７において、可変長符号化語に
符号化される。従って、差分ベクトル生成部４７では各
フレームメモリ群毎に、過去の動きベクトルを別々にあ
る時間だけ保持しておくメモリ機能を有している。
【０１０５】実施の形態１７．また、図２７の符号化装
置に対応した復号化装置の構成図を図２８に示す。可変
長復号化部２２において可変長復号化された差分ベクト
ル１４１は、動きベクトル加算部４８において、同部に
記憶された該オブジェクトの過去の動きベクトルの中か
ら候補ベクトルを選択して、この候補ベクトルに上記差
分ベクトル１４１を加算することで、動きベクトル１２
３を再現する。１２３は動き補償部２３に送られ、同部
において、選択されたフレームメモリ群の該オブジェク
トに対応したフレームメモリ内の画像を参照画像を読み
出して、予測画像１１５が出力される。
【０１０６】実施の形態１８．図２７の符号化装置に第
３のフレームメモリ群を追加した構成の符号化装置の構
成図を図２９に示す。符号化対象とするオブジェクト
は、動き推定部１５において現画像１０１と、第１のフ
レームメモリ群もしくは第２のフレームメモリ群もしく
は第３のフレームメモリ群の中で、動き推定の結果選択
されたフレームメモリ群の該オブジェクトに対応したフ
レームメモリ内の画像を参照画像としての動き推定を行
い、動きベクトル１２３を検出する。動きベクトル１２
３は差分ベクトル生成部４７において、同部に記憶され
た該オブジェクトの過去の動きベクトルの中から候補ベ
クトルを選択して（前述のＭＶ１，ＭＶ２，ＭＶ３）、
差分ベクトル１４１を出力する。差分ベクトル１４１は
可変長符号化部１７において、可変長符号化語に符号化
される。この場合も、差分ベクトル生成部４７では各フ
レームメモリ群毎に、過去の動きベクトルを別々にある
時間だけ保持しておくメモリ機能を有している。
【０１０７】実施の形態１９．また、図２９の符号化装
置に対応した復号化装置の構成図を図３０に示す。可変
長復号化部２２において可変長復号化された差分ベクト
ル１４１は、動きベクトル加算部４８において、同部に
記憶された該オブジェクトの過去の動きベクトルの中か
ら候補ベクトルを選択して、この候補ベクトルに上記差
分ベクトル１４１を加算することで、動きベクトル１２
３を再現する。動きベクトル１２３は動き補償部２３に
送られ、同部において、選択されたフレームメモリ群の
該オブジェクトに対応したフレームメモリ内の画像を参
照画像を読み出して、予測画像１１５が出力される。以
上のように、複数個のフレームメモリ群の個数分だけ、
オブジェクト毎に過去の動きベクトルをある時間だけ記
憶させたメモリ機能を持ち、検出した動きベクトルと候
補ベクトルとの差分ベクトルを算出する差分ベクトル生
成部を備えれば、動きベクトルの情報発生量を抑制する
ことができる。
【０１０８】
【発明の効果】以上のように、この発明においては、背
景画像を記憶し、これに基づく背景予測を用いて動き補
償予測を行うので、符号化シーケンスに影響されずに高
い予測効率を維持しながら符号化を行えるという効果が
ある。
【０１０９】また、符号化、復号化装置において、各々
のフレームメモリ内の画像内容の書き替えを、ある時間
間隔または外部からの制御信号によってピクチャ単位に
行うので、常にフレームメモリ内の画像内容を、背景予
測に対して高い予測効率が得られる内容に維持できると
いう効果がある。
【０１１０】また、符号化、復号化装置において、各々
のフレームメモリ内の画像内容の書き替えを、ある時間
間隔または外部からの制御信号によってマクロブロック
単位に行うので、より細かいレベルで、常にフレームメ
モリ内の画像内容を、背景予測に対して高い予測効率が
得られる内容に維持できるという効果がある。
【０１１１】また、符号化装置が有する複数個のフレー
ムメモリ別に、動き推定を行う時の動きベクトルの探索
範囲を可変にするので、例えば動きが少ない画面が書き
込まれているフレームメモリの参照から動きを探索する
場合は、短いコードを与えることができるために、動き
ベクトルの符号化情報量を削減する効果がある。
【０１１２】また、複数個のフレームメモリの個数分だ
け、過去の動きベクトルをある時間だけ記憶させたメモ
リ機能を持ち、検出した動きベクトルと候補ベクトルと
の差分ベクトルを算出する差分ベクトル生成部を備えた
ので、動きベクトルの情報発生量を抑制する効果があ
る。
【０１１３】また、画面を構成する複数個のオブジェク
ト毎に複数個のフレームメモリを使って動き補償予測を
行う構成にしたので、オブジェクトの動きに応じた予測
構造を取れるので全体の予測効率が向上するという効果
がある。
【０１１４】また、それぞれフレームメモリ群内のフレ
ームメモリ内の符号化対象のオブジェクトが存在してい
る領域のみを復号化画像によって、ある時間間隔または
外部制御信号によって書き換えるので、背景予測の高い
効率を維持できるという効果がある。
【０１１５】また、オブジェクトが参照する複数個のフ
レームメモリ群に応じて、動きベクトルの探索範囲を別
々に設定するので、例えば動きが小さいオブジェクトの
場合には、動きベクトルの探索範囲を狭くすることで、
動きベクトルの情報発生量を削減するという効果があ
る。
【０１１６】また、複数個のフレームメモリ群の個数分
だけ、オブジェクト毎に過去の動きベクトルをある時間
だけ記憶させたメモリ機能を持ち、検出した動きベクト
ルと候補ベクトルとの差分ベクトルを算出する差分ベク
トル生成部を備えたので、動きベクトルの情報発生量を
抑制する効果がある。
【図面の簡単な説明】
【図１】 この発明の実施形態における動画像の符号化
装置の構成図である。
【図２】 この発明の実施形態の符号化装置における動
き推定部の内部構成を示した構成図である。
【図３】 この発明の実施形態の符号化装置における動
き補償予測部の内部構成を示した構成図である。
【図４】 この発明の実施形態における動画像の符号化
装置の構成図である。
【図５】 この発明の実施形態におけるピクチャのパタ
ーンと予測モードとの関係の例を示す説明図である。
【図６】 この発明の実施形態における動画像の符号化
装置の構成図である。
【図７】 この発明の実施形態における動画像の復号化
装置の構成図である。
【図８】 この発明の実施形態の復号化装置における動
き補償部２３の構成図である。
【図９】 この発明の実施形態における動画像の符号化
装置の構成図である。
【図１０】 この発明の実施形態の符号化装置における
動き推定部の構成図である。
【図１１】 この発明の実施形態の符号化装置における
動き補償部の構成図である。
【図１２】 この発明の実施形態におけるピクチャパタ
ーンと予測モードとの関係の例を示す説明図である。
【図１３】 この発明の実施形態における動画像の復号
化装置の構成図である。
【図１４】 この発明の実施形態の復号化装置における
動き補償部の構成図である。
【図１５】 マクロブロック単位のフレームメモリの画
像の書き替えを示した説明図である。
【図１６】 この発明の実施形態の符号化装置における
動き推定部の構成図である。
【図１７】 この発明の実施形態における動きベクトル
の符号化法を示す説明図である。
【図１８】 この発明の実施形態における符号化装置の
構成図である。
【図１９】 この発明の実施形態における復号化装置の
構成図である。
【図２０】 この発明の実施形態における復号化装置の
構成図である。
【図２１】 ピクチャとオブジェクトの関係を示す説明
図である。
【図２２】 この発明の実施形態における符号化装置の
構成図である。
【図２３】 この発明の実施形態における復号化装置の
構成図である。
【図２４】 この発明の実施形態における符号化装置の
構成図である。
【図２５】 この発明の実施形態における復号化装置の
構成図である。
【図２６】 オブジェクト領域の画像の書き替えを示し
た説明図である。
【図２７】 この発明の実施形態における符号化装置の
構成図である。
【図２８】 この発明の実施形態における復号化装置の
構成図である。
【図２９】 この発明の実施形態における符号化装置の
構成図である。
【図３０】 この発明の実施形態における復号化装置の
構成図である。
【図３１】 従来例の符号化器の構成図である。
【図３２】 従来例の復号化器の構成図である。
【図３３】 ピクチャの配列の例を示す説明図である。
【符号の説明】
２ 減算部 ３ インタ（フレーム内）／イントラ（フレーム間）切
り替えセレクタ ４ 変換部 ８ 加算部 ９ 第１のフレームメモリ １０ 第２のフレームメモリ １１ 順方向動き補償部 １２ 両方向動き補償部 １３ 逆方向動き補償部 １５ 動き推定部 １６ 符号化制御部 １７ 可変長符号化部 ２１ 動き補償予測部 ２５、２６ スイッチ ２７ 順方向予測画像生成部 ２８ 両方向予測画像生成部 ２９ 逆方向予測画像生成部 ３０ 背景予測画像生成部 ３１ 予測モード決定部 ３２ スイッチ ３３ 動き補償予測部 ３５ フレームメモリ選択部 ３６ 動き補償部 ３７ フレームメモリ選択部 ３９ 動き推定・補償部 ４０ 動き推定部 ４２ オブジェクト識別部 ４３ 第１のフレームメモリ群 ４４ 第２のフレームメモリ群 ４７ 差分ベクトル生成部 ４８ 動きベクトル加算部 ４９ 第３のフレームメモリ群 １０２ 予測誤差画像 １０３ セレクタ出力 １０８ 局部復号化画像 １０９、１１０ 参照画像 １１１ 順方向動き予測画像 １１２ 両方向動き予測画像 １１３ 逆方向動き予測画像 １１４ 背景動き予測画像 １１５ 決定された予測画像 １１６ 選択された予測画像 １１７ セレクタへの制御信号 １１８ 変換部４への制御信号 １２１ ビットストリーム １２３ 動きベクトル １２４ 参照画像 １２６ 決定された動き予測モード １２７ 順方向予測画像 １２８ 両方向予測画像 １２９ 逆方向予測画像 １３０ 背景予測画像 １３３ 第３のフレームメモリからの参照画像 １３４、１３５、１３６ 選択された局部復号化画像 １３８ オブジェクト識別信号 １４０ 制御信号 １４１ 差分ベクトル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 村上 篤道 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内

Claims (20)

    【特許請求の範囲】
  1. 【請求項１】 複数の復号化画像を記憶する記憶手段
    と、この記憶手段に記憶された復号化画像に基づき入力
    画像に対応する動き補償予測を行い動きベクトルを生成
    するとともに動き補償予測に基づく予測画像を生成する
    動き補償予測手段と、この動き補償予測手段により生成
    された予測画像と入力画像との差分を取り予測誤差画像
    を算出する予測誤差算出手段と、この予測誤差算出手段
    からの予測誤差画像と上記予測画像とから上記復号化画
    像を生成する復号化手段と、上記復号化画像のうち上記
    記憶手段に継続的に記憶する画像を背景画像として選択
    して上記記憶手段に記憶する背景画像記憶制御手段と、
    上記背景画像に基づき入力画像に対応する動き補償予測
    を行い動きベクトルを生成するとともに動き補償予測に
    基づく予測画像を生成する背景動き補償手段とを備えた
    ことを特徴とする画像符号化装置。
  2. 【請求項２】 複数の復号化画像を記憶する記憶手段
    と、この記憶手段に記憶された復号化画像に基づき動き
    補償予測を行い動き補償画像を生成する動き補償手段
    と、この動き補償手段からの動き補償画像と予測誤差画
    像とから上記復号化画像を生成する復号化手段と、上記
    復号化画像のうち上記記憶手段に継続的に記憶する背景
    画像を選択して上記記憶手段に記憶する背景画像記憶制
    御手段と、上記背景画像に基づき背景予測画像を生成す
    る背景予測画像生成手段とを備えたことを特徴とする画
    像復号化装置。
  3. 【請求項３】 復号化画像を記憶するフレームメモリ
    と、上記背景画像を記憶するフレームメモリとにより、
    上記記憶手段を構成したことを特徴とする請求項１記載
    の画像符号化装置。
  4. 【請求項４】 復号化画像を記憶するフレームメモリ
    と、上記背景画像を記憶するフレームメモリとにより、
    上記記憶手段を構成したことを特徴とする請求項２記載
    の画像復号化装置。
  5. 【請求項５】 上記背景画像記憶制御手段による記憶手
    段への画像内容の書き替えを、所定の時間間隔または外
    部からの制御信号によってピクチャ単位で行うことを特
    徴とする請求項１または３いずれかに記載の画像符号化
    装置。
  6. 【請求項６】 上記背景画像記憶制御手段による記憶手
    段への画像内容の書き替えを、所定の時間間隔または外
    部からの制御信号によってピクチャ単位で行うことを特
    徴とする請求項２または４いずれかに記載の画像復号化
    装置。
  7. 【請求項７】 上記背景画像記憶制御手段による記憶手
    段への画像内容の書き替えを、所定の時間間隔または外
    部からの制御信号によってマクロブロック単位で行うこ
    とを特徴とする請求項１または３いずれかに記載の画像
    符号化装置。
  8. 【請求項８】 上記背景画像記憶制御手段による記憶手
    段への画像内容の書き替えを、所定の時間間隔または外
    部からの制御信号によってマクロブロック単位で行うこ
    とを特徴とする請求項２または４いずれかに記載の画像
    復号化装置。
  9. 【請求項９】 上記背景動き補償手段の上記背景画像に
    おける動きベクトルの探索範囲を可変とすることを特徴
    とする請求項１または３いずれかに記載の画像符号化装
    置。
  10. 【請求項１０】 上記動き補償予測手段あるいは上記背
    景動き補償予測手段により得られる動きベクトルを保持
    し、生成された動きベクトルと過去の動きベクトルとの
    差分ベクトルを算出する差分ベクトル生成手段を備え、
    上記差分ベクトルを可変長符号化することを特徴とする
    請求項１または３いずれかに記載の画像符号化装置。
  11. 【請求項１１】 過去の復号化済み動きベクトルを保持
    し、差分ベクトルに上記過去の復号化済み動きベクトル
    を加算して動きベクトルを再生する動きベクトル加算部
    を備えたことを特徴とする請求項２または４いずれかに
    記載の画像復号化装置。
  12. 【請求項１２】 動画像の符号化を行って符号化ビット
    ストリームを出力する画像符号化装置において、画面を
    構成する複数個の対象画像（オブジェクト）毎に過去の
    該オブジェクトの復号化画像を記憶する複数のフレーム
    メモリ群と、復号化画像をいずれかのフレームメモリ群
    のフレームメモリに書き込むかを制御信号によって選別
    するフレームメモリ選択部と、上記該オブジェクト単位
    に設けたフレームメモリ群のフレームメモリから読み出
    した参照画像を用いて順方向予測、逆方向予測、両方向
    予測、背景予測を、オブジェクト単位に切り替えて動き
    補償予測を行う動き補償予測部と、予測画像と現画像と
    の差分を取り、予測誤差画像を算出する減算器と、参照
    画像からの予測画像と現画像の予測誤差画像との加算を
    算出する加算部と、符号化情報を可変長符号化する可変
    長符号化部と、を備えたことを特徴とする画像符号化装
    置。
  13. 【請求項１３】 動画像の符号化ビットストリームを復
    号化する画像復号化装置において、画面を構成する複数
    個の対象画像（オブジェクト）毎に過去の該オブジェク
    トの復号化画像を記憶する複数のフレームメモリ群と、
    オブジェクト単位に復号化画像をいずれかのフレームメ
    モリに書き込むかを制御信号によって選別するフレーム
    メモリ選択部と、符号化ビットストリームを可変長復号
    化する可変長復号化部と、上記フレームメモリ群のフレ
    ームメモリから読み出した参照画像を用いて、オブジェ
    クト単位に順方向予測、逆方向予測、両方向予測、背景
    予測を切り替えて動き補償画像を生成する動き補償部
    と、を備えたことを特徴とする画像復号化装置。
  14. 【請求項１４】 上記フレームメモリ群を３つとしたこ
    とを特徴とする請求項１２記載の画像符号化装置。
  15. 【請求項１５】 上記フレームメモリ群を３つとしたこ
    とを特徴とする請求項１３記載の画像復号化装置。
  16. 【請求項１６】 符号化対象とするオブジェクトの過去
    の復号化画像を記憶したフレームメモリ群内の、該オブ
    ジェクトが存在する領域の画像内容の書き替えを、ある
    時間間隔または外部からの制御信号によって行うことを
    特徴とする請求項１２または１４いずれかに記載の画像
    符号化装置。
  17. 【請求項１７】 復号化対象とするオブジェクトの過去
    の復号化画像を記憶したフレームメモリ群内の、該オブ
    ジェクトが存在する領域の画像内容の書き替えを、ある
    時間間隔または外部からの制御信号によって行うことを
    特徴とする請求項１２または１４いずれかに記載の画像
    復号化装置。
  18. 【請求項１８】 オブジェクト毎のフレームメモリ群か
    らの参照画像における動きベクトル探索の探索範囲を各
    オブジェクト毎に可変にすることを特徴とする請求項１
    ２または１４いずれかに記載の画像符号化装置。
  19. 【請求項１９】 オブジェクト毎のフレームメモリ群内
    の画像を参照して得られた過去の動きベクトルをある時
    間だけ保持して、オブジェクト毎に別個に差分ベクトル
    を算出する差分ベクトル生成部を備え、該差分ベクトル
    を可変長符号化することを特徴とする請求項１２または
    １４いずれかに記載の画像符号化装置。
  20. 【請求項２０】 オブジェクト毎のフレームメモリ群内
    の画像を参照して得られた過去の復号化済み動きベクト
    ルをある時間だけ保持して、復号化された差分ベクトル
    に上記過去の復号化済み動きベクトルを加算して、オブ
    ジェクト毎に動きベクトルを再生する動きベクトル加算
    部を備えたことを特徴とする請求項１３または１５いず
    れかに記載の画像復号化装置。
JP16948996A 1996-06-28 1996-06-28 画像符号化装置 Expired - Lifetime JP3628810B2 (ja)

Priority Applications (14)

Application Number Priority Date Filing Date Title
JP16948996A JP3628810B2 (ja) 1996-06-28 1996-06-28 画像符号化装置
NO965100A NO310009B1 (no) 1996-06-28 1996-11-29 Innretning for koding og dekoding av bilder
EP20030010483 EP1345448A3 (en) 1996-06-28 1996-12-03 Image coding apparatus and image decoding apparatus
EP19960119376 EP0817491B1 (en) 1996-06-28 1996-12-03 Image coding apparatus and image decoding apparatus
EP20090012778 EP2164264A1 (en) 1996-06-28 1996-12-03 Image coding apparatus and image decoding apparatus
EP20100000835 EP2178302A3 (en) 1996-06-28 1996-12-03 Image coding apparatus and image decoding apparatus
DE1996620160 DE69620160T2 (de) 1996-06-28 1996-12-03 Bildkodierungsgerät und Bilddekodierungsgerät
DE1996629137 DE69629137T2 (de) 1996-06-28 1996-12-03 Bildkodierungsgerät und Bilddekodierungsgerät
EP20010102242 EP1096800B1 (en) 1996-06-28 1996-12-03 Image coding apparatus and image decoding apparatus
US08/759,834 US6381275B1 (en) 1996-06-28 1996-12-04 Image coding apparatus and image decoding apparatus
SG1997000032A SG67967A1 (en) 1996-06-28 1997-01-09 Image coding apparatus and image decoding apparatus
KR1019970003608A KR100254070B1 (ko) 1996-06-28 1997-02-05 화상 부호화 장치 및 화상 복호화 장치
US10/835,582 USRE44663E1 (en) 1996-06-28 2004-04-30 Image decoding apparatus for persistently storing reference images
US11/826,820 USRE44692E1 (en) 1996-06-28 2007-07-18 Image coding and decoding apparatus based on the coding mode of the image to be predicted

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16948996A JP3628810B2 (ja) 1996-06-28 1996-06-28 画像符号化装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003004019A Division JP4441182B2 (ja) 2003-01-10 2003-01-10 画像符号化装置および画像復号化装置

Publications (2)

Publication Number Publication Date
JPH1023423A true JPH1023423A (ja) 1998-01-23
JP3628810B2 JP3628810B2 (ja) 2005-03-16

Family

ID=15887484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16948996A Expired - Lifetime JP3628810B2 (ja) 1996-06-28 1996-06-28 画像符号化装置

Country Status (7)

Country Link
US (3) US6381275B1 (ja)
EP (5) EP2164264A1 (ja)
JP (1) JP3628810B2 (ja)
KR (1) KR100254070B1 (ja)
DE (2) DE69629137T2 (ja)
NO (1) NO310009B1 (ja)
SG (1) SG67967A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002503926A (ja) * 1998-02-16 2002-02-05 カナル プラス ソシエテ アノニム 復号器におけるディジタル画像データの処理
WO2003065733A1 (en) * 2002-02-01 2003-08-07 Matsushita Electric Industrial Co., Ltd. Moving image coding method and moving image decoding method
WO2005004487A1 (ja) * 2003-06-30 2005-01-13 Mitsubishi Denki Kabushiki Kaisha 画像符号化装置及び画像符号化方法
JP2009071734A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置、画像処理方法、プログラム、および画像処理システム
AU2008200669B2 (en) * 2002-02-01 2010-05-13 Godo Kaisha Ip Bridge 1 Moving picture coding method and moving picture decoding method
JP2014504823A (ja) * 2011-01-03 2014-02-24 アップル インコーポレイテッド 暗黙基準フレームを用いる動画像符号化システム
JP2016096502A (ja) * 2014-11-17 2016-05-26 株式会社東芝 画像符号化装置、画像復号装置および画像伝送方法
US9807411B2 (en) 2014-03-18 2017-10-31 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method
US11197014B2 (en) 2016-09-06 2021-12-07 Kabushiki Kaisha Toshiba Encoding apparatus, decoding apparatus, and image processing system

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1217852A (zh) 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
WO1999022525A1 (en) * 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
KR100308016B1 (ko) 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
KR100282147B1 (ko) 1998-11-13 2001-02-15 구자홍 압축 영상 복원 방법
US7277483B1 (en) * 2000-04-18 2007-10-02 Ati International Srl Method and apparatus for rate control for constant-bit-rate finite-buffer-size video encoder
GB2381403B (en) * 2000-05-10 2004-12-01 Picturetel Corp Video coding using multiple buffers
US7058130B2 (en) * 2000-12-11 2006-06-06 Sony Corporation Scene change detection
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
US9894379B2 (en) * 2001-07-10 2018-02-13 The Directv Group, Inc. System and methodology for video compression
US20030058932A1 (en) * 2001-09-24 2003-03-27 Koninklijke Philips Electronics N.V. Viseme based video coding
WO2003041385A2 (en) 2001-11-06 2003-05-15 Matsushita Electric Industrial Co., Ltd. Moving image coding method, and moving image decoding method
AU2008203058B2 (en) * 2001-11-06 2009-07-02 Panasonic Intellectual Property Corporation Of America Moving picture coding method and moving picture decoding method
CN100562112C (zh) * 2001-11-06 2009-11-18 松下电器产业株式会社 运动图像编码方法
US7200275B2 (en) * 2001-12-17 2007-04-03 Microsoft Corporation Skip macroblock coding
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US7986733B2 (en) * 2004-07-30 2011-07-26 Broadcom Corporation Tertiary content addressable memory based motion estimator
US9578345B2 (en) * 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
JP4284265B2 (ja) * 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP4662171B2 (ja) * 2005-10-20 2011-03-30 ソニー株式会社 符号化装置および方法、復号化装置および方法、プログラム、並びに記録媒体
KR100834680B1 (ko) * 2006-09-18 2008-06-02 삼성전자주식회사 이동통신 단말기에서 출력되는 동영상 및 이미지의 화질을개선하기 위한 장치 및 방법
EP2083571A4 (en) 2006-10-30 2010-11-10 Nippon Telegraph & Telephone DYNAMIC PICTURE CODING METHOD, DECODING METHOD, DEVICE THEREFOR, PROGRAM THEREFOR AND THE PROGRAM CONTAINING STORAGE MEDIUM
US8249182B2 (en) * 2007-03-28 2012-08-21 Panasonic Corporation Decoding circuit, decoding method, encoding circuit, and encoding method
JP2009044537A (ja) * 2007-08-09 2009-02-26 Osaka Univ 映像ストリーム処理装置及びその制御方法、プログラム、記録媒体
CN101127912B (zh) * 2007-09-14 2010-11-17 浙江大学 利用动态背景帧的视频编码方法
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
AU2009251048B2 (en) * 2009-12-18 2013-12-19 Canon Kabushiki Kaisha Background image and mask estimation for accurate shift-estimation for video object detection in presence of misalignment
SG189114A1 (en) * 2010-09-30 2013-05-31 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
KR102030205B1 (ko) 2012-01-20 2019-10-08 선 페이턴트 트러스트 시간 움직임 벡터 예측을 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
ES2865101T3 (es) 2012-02-03 2021-10-15 Sun Patent Trust Procedimiento de codificación de imágenes, procedimiento de decodificación de imágenes, dispositivo de codificación de imágenes, dispositivo de decodificación de imágenes y dispositivo de codificación/decodificación de imágenes
WO2013132792A1 (ja) 2012-03-06 2013-09-12 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
SG11201510554RA (en) * 2013-07-24 2016-02-26 Qualcomm Inc Simplified advanced motion prediction for 3d-hevc
US9948915B2 (en) 2013-07-24 2018-04-17 Qualcomm Incorporated Sub-PU motion prediction for texture and depth coding
US9693077B2 (en) 2013-12-13 2017-06-27 Qualcomm Incorporated Controlling sub prediction unit (sub-PU) motion parameter inheritance (MPI) in three dimensional (3D) HEVC or other 3D coding
EP3114839A4 (en) 2014-03-07 2018-02-14 Qualcomm Incorporated Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi)
CA2942336A1 (en) 2014-03-10 2015-09-17 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CN105578180B (zh) * 2014-10-16 2019-01-15 联想(北京)有限公司 一种编码方法及装置
TWI748459B (zh) * 2020-05-18 2021-12-01 瑞昱半導體股份有限公司 影像處理方法
CN113726980A (zh) * 2020-05-25 2021-11-30 瑞昱半导体股份有限公司 图像处理方法
CN111711841B (zh) * 2020-07-27 2022-09-09 广州酷狗计算机科技有限公司 图像帧播放方法、装置、终端及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0123616B1 (en) * 1983-04-20 1987-03-04 Nippon Telegraph And Telephone Corporation Interframe coding method and apparatus therefor
US4689671A (en) * 1985-06-27 1987-08-25 Nec Corporation Coding apparatus for moving object image
US4833535A (en) 1987-02-04 1989-05-23 Kabushiki Kaisha Toshiba Image transmission apparatus
US5367629A (en) * 1992-12-18 1994-11-22 Sharevision Technology, Inc. Digital video compression system utilizing vector adaptive transform
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US5436666A (en) 1993-05-21 1995-07-25 Intel Corporation Limited-domain motion estimation/compensation for video encoding/decoding
EP0658053B1 (en) 1993-06-28 1999-08-18 Sony Corporation Apparatus for decoding time-varying image

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002503926A (ja) * 1998-02-16 2002-02-05 カナル プラス ソシエテ アノニム 復号器におけるディジタル画像データの処理
AU2008200669B2 (en) * 2002-02-01 2010-05-13 Godo Kaisha Ip Bridge 1 Moving picture coding method and moving picture decoding method
KR100944552B1 (ko) * 2002-02-01 2010-02-25 파나소닉 주식회사 동화상 부호화 방법, 동화상 부호화 장치 및 데이터 기억매체
AU2003208086B2 (en) * 2002-02-01 2007-11-15 Godo Kaisha Ip Bridge 1 Moving picture coding method and moving picture decoding method
US8396132B2 (en) 2002-02-01 2013-03-12 Panasonic Corporation Moving picture coding method and moving picture decoding method
KR100926845B1 (ko) 2002-02-01 2009-11-13 파나소닉 주식회사 동화상 복호화 방법, 동화상 복호화 장치 및 데이터 기억 매체
US7664178B2 (en) 2002-02-01 2010-02-16 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7664179B2 (en) 2002-02-01 2010-02-16 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7936825B2 (en) 2002-02-01 2011-05-03 Panasonic Corporation Moving image coding method and moving image decoding method
US7715478B2 (en) 2002-02-01 2010-05-11 Panasonic Corporation Moving picture coding method and moving picture decoding method
WO2003065733A1 (en) * 2002-02-01 2003-08-07 Matsushita Electric Industrial Co., Ltd. Moving image coding method and moving image decoding method
US8737473B2 (en) 2002-02-01 2014-05-27 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7751474B2 (en) 2003-06-30 2010-07-06 Mitsubishi Denki Kabushiki Kaisha Image encoding device and image encoding method
WO2005004487A1 (ja) * 2003-06-30 2005-01-13 Mitsubishi Denki Kabushiki Kaisha 画像符号化装置及び画像符号化方法
JP2009071734A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP2014504823A (ja) * 2011-01-03 2014-02-24 アップル インコーポレイテッド 暗黙基準フレームを用いる動画像符号化システム
US8842723B2 (en) 2011-01-03 2014-09-23 Apple Inc. Video coding system using implied reference frames
US9807411B2 (en) 2014-03-18 2017-10-31 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method
JP2016096502A (ja) * 2014-11-17 2016-05-26 株式会社東芝 画像符号化装置、画像復号装置および画像伝送方法
US10212436B2 (en) 2014-11-17 2019-02-19 Kabushiki Kaisha Toshiba Image encoding apparatus, image decoding apparatus and image transmission method
US11197014B2 (en) 2016-09-06 2021-12-07 Kabushiki Kaisha Toshiba Encoding apparatus, decoding apparatus, and image processing system

Also Published As

Publication number Publication date
DE69629137D1 (de) 2003-08-21
NO310009B1 (no) 2001-04-30
EP2178302A3 (en) 2010-08-04
EP1096800A3 (en) 2001-10-04
EP1345448A3 (en) 2005-10-19
JP3628810B2 (ja) 2005-03-16
EP1096800B1 (en) 2003-07-16
DE69620160D1 (de) 2002-05-02
EP2178302A8 (en) 2010-07-14
SG67967A1 (en) 1999-10-19
USRE44692E1 (en) 2014-01-07
US6381275B1 (en) 2002-04-30
EP0817491B1 (en) 2002-03-27
NO965100D0 (no) 1996-11-29
NO965100L (no) 1997-12-29
DE69629137T2 (de) 2004-04-29
EP0817491A3 (en) 1998-06-10
EP0817491A2 (en) 1998-01-07
KR100254070B1 (ko) 2000-04-15
EP1096800A2 (en) 2001-05-02
KR980007742A (ko) 1998-03-30
USRE44663E1 (en) 2013-12-24
EP1345448A2 (en) 2003-09-17
EP2178302A2 (en) 2010-04-21
DE69620160T2 (de) 2002-11-28
EP2164264A1 (en) 2010-03-17

Similar Documents

Publication Publication Date Title
JP3628810B2 (ja) 画像符号化装置
KR100592651B1 (ko) 트랜스코딩 방법 및 장치
KR100604392B1 (ko) 비디오 부호화 방법 및 장치
JP4724351B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR102036771B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
JP2004056823A (ja) 動きベクトル符号化／復号化方法及びその装置
JPH07193823A (ja) 映像データ・ブロック変換システム
JPH1175191A (ja) インターレースされたデジタルビデオ用の双方向予測ビデオオブジェクト平面の予測及び符号化
JPH05137131A (ja) フレーム間動き予測方法
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
JP2000270332A (ja) 動画像符号化方法および装置
JP2009027759A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JPH0541861A (ja) 動画像符号化装置
JP4441182B2 (ja) 画像符号化装置および画像復号化装置
JP2002335529A (ja) 動画像符号化方法および装置
JP2007243974A (ja) 画像符号化装置および画像復号化装置
JP4301495B2 (ja) 動画像圧縮符号化装置
JP2883585B2 (ja) 動画像符号化装置及び動画像符号化方法
JPH1023415A (ja) 画像符号化復号方法および装置
JP2007221202A (ja) 動画像符号化装置及び動画像符号化プログラム
JP2001251628A (ja) ディゾルブ画像の符号化装置
JP3415390B2 (ja) 動画像符号化装置及び動画像符号化方法
JPH0738899A (ja) 画像符号化装置
JPH1175200A (ja) 動画像符号化装置及びこれを用いた簡易復号化画像モニタ方法，制御方法
JPH089388A (ja) 動画像復号化装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040716

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081217

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101217

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111217

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111217

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121217

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121217

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term