JPH11346368A - 画像処理方法,画像処理装置,及びデ―タ記憶媒体 - Google Patents

画像処理方法,画像処理装置,及びデ―タ記憶媒体

Info

Publication number
JPH11346368A
JPH11346368A JP9699199A JP9699199A JPH11346368A JP H11346368 A JPH11346368 A JP H11346368A JP 9699199 A JP9699199 A JP 9699199A JP 9699199 A JP9699199 A JP 9699199A JP H11346368 A JPH11346368 A JP H11346368A
Authority
JP
Japan
Prior art keywords
data
image
prediction
target block
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9699199A
Other languages
English (en)
Inventor
Chun Sen Bun
チュン セン ブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP9699199A priority Critical patent/JPH11346368A/ja
Publication of JPH11346368A publication Critical patent/JPH11346368A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 画像符号化データをブロック単位で復号化す
る画像復号化方法において、フレームメモリに格納され
た参照フレームの画像データから得られる予測データの
精度を劣化させることなく、参照フレームにおける画素
値の補間のための演算処理量、あるいはフレームメモリ
に対するアクセスバンド幅を削減する。 【解決手段】 画像符号化データをブロック単位で復号
化する際、対象ブロックTbに対応する動きベクトルM
Vtに基づいて、参照フレームSFから対象ブロックT
bの予測データを算出する予測処理を行い、この予測処
理では、分数画素精度を有する動きベクトルにより指定
された予測ブロックYbの画素データを、上記参照フレ
ームSFにおける、上記対象ブロックと同一サイズの参
照領域Sr0に含まれるK×K個の画素のみの画素デー
タに基づいて生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理方法,画
像処理装置,及びデータ記憶媒体に関し、特に、画像信
号に対するフレーム間予測復号化処理あるいはフレーム
間予測符号化処理の際に、演算負荷に応じた動き補償を
行う方法及び装置、並びにこのような画像信号の復号化
処理あるいは符号化処理をソフトウェアにより実現する
ためのプログラムを格納したデータ記憶媒体に関するも
のである。
【0002】
【従来の技術】デジタル画像情報を効率よく蓄積もしく
は伝送するには、デジタル画像情報を圧縮符号化する必
要があり、現状では、デジタル画像情報を圧縮符号化す
るための方法として、JPEG(Joint Photographic Co
ding Experts Group)やMPEG(Moving Picture Expe
rts Group)に準拠した画像処理技術に代表される離散コ
サイン変換(DCT:Discrete Cosine transform )の
他に、サブバンド、ウェーブレット、フラクタル等の波
形符号化方法がある。
【0003】また、隣接するフレーム(画面)間におけ
る冗長な画像情報を取り除く方法としては、動き補償を
用いた画面間予測を行い、つまり現画面の画素の画素値
(画素データ)を、これと前画面の画素の画素値(画素
データ)との差分値を用いて表し、この差分値(差分デ
ータ)を波形符号化する方法がある。
【0004】以下、従来の画像処理方法として、動き補
償を伴うDCT処理が行われるMPEG1等に準拠した
画像符号化方法及び画像復号化方法について簡単に説明
する。この画像符号化方式では、まず、符号化しようと
する1フレーム(1画面に対応する画像空間)の入力画
像データを、複数のマクロブロック(大きさが16×1
6画素からなる画像空間)に対応するよう分割し、各マ
クロブロック毎に画像データを圧縮符号化する。具体的
には、1つのマクロブロックに対応する画像データを、
さらに4つのサブブロック(大きさが8×8画素からな
る画像空間)に対応するよう分割し、サブブロック毎に
画像データに対するDCT処理及び量子化処理を施して
量子化係数を生成する。このような符号化処理はフレー
ム内符号化と呼ばれる。また受信側では、上記各サブブ
ロックに対応する量子化係数に対して逆量子化処理及び
逆DCT処理を順次施して、各マクロブロックに対応す
る画像データを再生する。
【0005】これに対して、フレーム間符号化方法と呼
ばれる画像データの符号化方法がある。この符号化方法
では、ブロックマッチングをはじめとする動き検出方法
により、符号化処理の対象となる対象マクロブロックを
含む被処理フレームに対して時間的に隣接する別のフレ
ーム(参照フレーム)の中から、対象マクロブロックに
対する画像データの誤差が最も小さい16×16画素か
らなる領域を予測マクロブロックとして検出する。この
とき、対象マクロブロックに対する予測マクロブロック
の変位を示す変位データが動きベクトルとして検出され
る。そして、検出された動きベクトルに基づく動き補償
により、過去のフレーム,つまり符号化処理済の別のフ
レームの画像データから、予測マクロブロックの画像デ
ータを取得する。
【0006】次に、対象マクロブロックと予測マクロブ
ロックとの間で画像データの差分を差分データとして求
め、該差分データに対して8×8画素単位のDCT処理
を施してDCT係数を求め、さらに該DCT係数を量子
化して量子化係数を求める。そして、該量子化係数を動
きベクトルとともに、伝送もしくは蓄積する。このよう
な符号化処理をフレーム間符号化と呼ぶ。
【0007】また、このフレーム間符号化には、被処理
フレームに含まれる対象マクロブロックの画像データ
を、表示順序が被処理フレームの前である前フレームの
画像データのみから予測するモードと、対象マクロブロ
ックの画像データを、表示順序が被処理フレームの前後
の両フレームの画像データから予測するモードとがあ
る。ここで前者を前方予測モード、後者を双方向予測モ
ードと呼ぶ。
【0008】受信側では、量子化係数を逆量子化処理及
び逆DCT処理によりもとの空間領域の差分データに復
元した後、動きベクトルに基づく動き補償により予測マ
クロブロックの画像データを取得し、上記差分データと
予測マクロブロックの画像データとを加算して、対象マ
クロブロックに対する画像データを再生する。
【0009】ここで、予測効率を高める、言い換える
と、対象マクロブロックの画像データと予測マクロブロ
ックの画像データとの差分(予測誤差)を小さくするた
めに、動き補償処理,つまり動きベクトルに基づいて予
測マクロブロックの画像データを取得する処理は、1/
2画素の精度で行われる。
【0010】ところが、入力画像データは、1画素単位
の画素値(画素データ)から構成されているため、1/
2画素精度の予測データは、参照フレーム内の、隣接す
る画素間で画素値の補間を行って生成しなければならな
い。また、このような1/2画素精度の予測データを生
成する場合には、動きベクトルの値は0.5画素精度を
有することになる。.
【0011】なお、上記説明では、上記量子化処理及び
離散コサイン変換処理等は、8×8画素単位で行われる
こととしているが、これらの処理の単位は、8×8画素
に限らず、例えば、7×1画素単位で行うことも可能で
ある。従って、一般的には、上記量子化処理及び離散コ
サイン変換処理等は、g×h画素(g,hは正の整数)
単位で行うことができる。また、上記マクロブロックは
16×16画素からなる構成としているが、マクロブロ
ックは一般的には、M×N画素(M,Nは正の整数)か
らなる構成とすることができる。
【0012】ただし、本明細書における以下の説明で
は、説明の便宜上、マクロブロック及びサブブロックを
ともに、K×K画素(Kは正の整数)からなる画像空間
とする。つまり、符号化処理及び復号化処理、さらにこ
れらの処理における量子化処理,逆量子化処理,離散コ
サイン処理,及び逆離散コサイン処理は、K×K画素単
位で行われることとする。従って、以降マクロブロック
を単にブロックという。
【0013】図17は、従来の動き補償を伴う画像復号
化方法を説明するための図であり、該復号化方法におけ
る処理の流れを示している。まず、画像データを上述し
た符号化方法により圧縮符号化しさらに可変長符号化し
て得られる画像符号化データがブロック毎に入力される
(ステップS71)。次に、対象ブロックに対応する画
像符号化データが解析されて、量子化されたDCT係数
(量子化係数)、量子化幅、動きベクトルに分離され、
それぞれ可変長符号から対応する数値に変換されて出力
される(ステップS72)。その後、量子化係数は、K
×K画素単位で逆量子化処理及び逆離散コサイン変換処
理が順次施されて、K×K個の値(画素データ)からな
る、対象ブロックに対応する空間領域の差分データが出
力される(ステップS73)。
【0014】次に、参照フレームの画像データから動き
補償により、対象ブロックに対応する予測データが生成
される。この際、1/2画素精度の予測データを生成す
る場合には、参照フレームからK×K個より多い個数の
参照画素値を取得する。つまり、従来の復号化方法で
は、水平及び垂直方向の画素精度がともに1/2画素精
度である予測データを生成するには、まず、参照フレー
ムにて動きベクトルの値の整数部に基づいて指定した画
素の位置から、K' ×K' 個の画素を取得し(ステップ
S74)、続いて、このようにして取得したK' ×K'
個の画素値に対し、双一次補間等の補間処理を施して1
/2画素精度の予測データを生成する(ステップS7
5)。ここで、K' は、K' =K+1となっている。
【0015】そして、上記予測データが上記差分データ
に加算されて対象ブロックに対応する画像再生データが
生成される(ステップS76)。その後、ステップS7
7にて、対象ブロックが、画像を構成する最終フレーム
における最後のブロックであるか否かの判定が行われ、
上記対象ブロックが最後のブロックでなければ、上記ス
テップS71〜ステップS77の処理が再度行われ、一
方、上記対象ブロックが最後のブロックであれば、画像
符号化データに対する復号化処理が終了する。
【0016】次に、上記ステップS74及びS75での
画素値の補間処理を、図18(a) 〜図18(c) を用いて
詳細に説明する。この補間処理の説明では、説明の簡略
化のため、上記復号化処理の単位であるK×K画素を8
×8画素とする。また、対象ブロックの動きベクトルM
Vtは、サイズが等しい画像空間である被処理フレーム
と前フレーム(参照フレーム)の座標上で、その値とし
て位置ベクトル(a,b)を有するものとする。ここ
で、数値aは整数部xと小数部uとからなり、数値bは
整数部yと小数部vとからなる。さらに、対象ブロック
に対応する動きベクトルMVtの水平方向及び垂直方向
の成分は、1/2画素精度を有するため、上記小数部
u,vは0または5の値をとり得る。
【0017】この動きベクトルMVtが指定する予測デ
ータを生成するには、被処理フレームTF(図18(a)
参照)上での、対象ブロックTbの左上隅Pt0の座標
(a0,b0)に、動きベクトルの値(a,b)を加算
し、この加算により得られた基準位置Pt1の座標(a
0+a,b0+b)を、参照フレームSF(図18(b)
,(c) 参照)における予測ブロックYbの左上隅Py
の座標とする。
【0018】例えば、上記動きベクトルMVtの値の整
数部x,yが正の整数、その小数部u,vが5である場
合について具体的に説明する。まず、対象ブロックTb
の左上隅Pt0の座標(a0,b0)に、動きベクトル
の値の整数部(x,y)を加算して、被処理フレームT
F上にて基準位置Pt1の座標(a0+x,b0+y)
を生成する。次に、被処理フレームTF上の基準位置P
t1に対応する、参照フレームSF上の位置Psを基準
として、この位置を左上隅とする、(K+1)×(K+
1)画素からなる参照領域Srを取得する。ここでは、
KはK=8となっているため、上記参照領域Srは、図
18(c)に拡大して示すように、○印で表示で表示され
る9×9個の元画素(参照フレームに元々存在している
画素)を含むこととなる。また、この場合、上記動きベ
クトルMVtの値の小数部u,vがともに5であるた
め、上記参照領域Srには、水平方向及び垂直方向に沿
って元画素間に0.5画素間隔で配置された、×印で表
示される補間画素(分数画素)が必要となる。
【0019】そこで、たとえば、長方形の頂点に位置す
る画素806ないし809の四つの元画素の画素値を平
均化する2次元の補間処理により、該長方形の中心に位
置する補間画素810の画素値を生成する。このように
して上記参照領域Sr内にK×K(K=8)個の補間画
素が生成され、これらの補間画素の画素値が、上記対象
ブロックTbに対する予測データ(つまり、分数画素精
度の動きベクトルMVtにより指定される予測ブロック
Ybの画素データ)として求められる。この場合、上記
補間処理に用いるフィルタのタップ長は、水平方向及び
垂直方向とも2である。なお、一般的に、補間するため
に取得しないといけない参照領域における水平方向及び
垂直方向の画素の数は、K+(フィルタのタップ長)/
2になる。
【0020】また、動きベクトルMVtの値の小数部
u,vの一方のみが5である場合は、一次元の補間(双
一次補間)により補間画素の画素値が求められ、具体的
には、隣接する2つの元画素の画素値から1つの補間画
素の画素値が生成される。この場合は、参照領域Srの
水平方向及び垂直方向の一方の画素数のみ、K+(フィ
ルタのタップ長)/2となり、その他方の画素数はKと
なる。
【0021】
【発明が解決しようとする課題】ところが、このような
補間画素の画素値の生成処理を含む動き補償処理では、
高速な演算処理とメモリに対する高速なアクセスが要求
されている。つまり、復号化あるいは符号化処理の単位
となるブロックと同一サイズを有する、K×K個の画素
からなる予測ブロックの画素データを生成するため、
K' ×K' 画素(K' =K+フィルタのタップ長/2)
の画素値(画素データ)を取得しなければならず、この
ため、メモリに対するアクセス処理を高速化するか、メ
モリのアクセスバンド幅(つまり、メモリに対して複数
ビット同時にアクセスするパラレルアクセスにおけるビ
ット数)を増やす必要があるといった課題がある。
【0022】また、復号化または符号化処理の単位とな
る画素数(K×K個)より多いK'×K' 個の画素値を
用いて補間処理するため、これらの処理における演算量
が増加するといった問題もある。
【0023】ところで、画像処理技術としては、上記の
ようなMPEG1等に準拠したものの他に、MPEG4
に基づく画像処理技術として、最近、画像データの圧縮
効率を向上させると同時に、1画面(1フレーム)の画
像を構成する個々の物体を単位として画像データの再生
を行うことができるよう、該物体に対応する画像データ
を物体毎に別々に圧縮符号化して伝送する符号化方式が
考えられている。
【0024】この符号化方式により符号化された画像符
号化データは、再生側にて上記符号化方式に対応した復
号化処理が施される。つまり、この復号化処理では、そ
れぞれの物体に対応する画像符号化データが復号化さ
れ、該復号化により得られた各物体に対応する画像復号
化データが合成されて画像再生データが生成される。そ
して、この画像再生データに基づいて、個々の物体から
なる1画面(1フレーム)に対応する画像が表示され
る。
【0025】上記のように物体単位で画像データの符号
化を行う符号化方式を用いることにより、再生側では、
個々の物体を自由に組み合わせて合成画像を生成するこ
とが可能となり、これにより動画像を簡単に再編集でき
る。また、通信路の混み具合や再生装置の性能、あるい
は視聴者の好みによって、比較的重要でない物体を再生
せずに、重要度の高い物体のみからなる動画像を表示す
ることもできる。ところが、このようなMPEG4に準
拠した画像処理技術においても、1フレームの画像を、
これを構成する物体毎に区分せずに一括して処理するM
PEG1等に準拠した画像処理技術と同様な問題があ
る。
【0026】本発明は、上記のような問題点を解決する
ためになされたもので、動き補償を伴う予測符号化ある
いは予測復号化を行う際、フレームメモリに格納された
参照フレームの画像データから得られる予測データの精
度を劣化させることなく、参照フレームにおける画素値
補間のための演算処理量、あるいはフレームメモリに対
するアクセスバンド幅を削減することができる画像処理
方法,及び画像処理装置を得ることを目的とする。ま
た、上記画像処理方法による予測符号化あるいは予測復
号化処理をソフトウェアにより実現するためのプログラ
ムを格納したデータ記憶媒体を得ることを目的とする。
【0027】
【課題を解決するための手段】この発明(請求項1)に
係る画像処理方法は、複数の画素の画素データからなる
画像データを所定の方法で圧縮符号化して得られた画像
符号化データを、M×N(M,Nは正の整数)画素から
なるブロック単位で復号化する復号化処理を、複数のブ
ロックからなるフレーム毎に行って、各フレームの画像
再生データを順次生成する画像処理方法であって、上記
画像符号化データの復元処理により復号化の対象となる
対象ブロックの復元データを生成する復元処理と、上記
対象ブロックが含まれる被処理フレームより以前に画像
再生データの生成が行われた前フレームのうちの少なく
とも1つを参照フレームとし、該参照フレームから、該
対象ブロックに対応する動きベクトルに基づいて、該対
象ブロックの画像再生データの予測値として予測ブロッ
クの画像再生データを算出する予測処理と、上記対象ブ
ロックの復元データと、対応する予測ブロックの画像再
生データとの加算処理により、該対象ブロックに対応す
る画像再生データを生成する再生処理とを含み、上記予
測処理では、分数画素精度を有する動きベクトルにより
指定された予測ブロックの画像再生データを、上記参照
フレームにおける、上記対象ブロックと同一サイズの参
照領域に含まれるM×N個の画素のみの画素データに基
づいて生成するものである。
【0028】この発明(請求項2)は、請求項1記載の
画像処理方法において、上記予測処理を、上記分数画素
精度を有する動きベクトルの値の整数部を用いて、上記
参照フレームにおける、上記対象ブロックと同一サイズ
の参照領域に含まれるM×N個の画素の画素データのみ
を取得するデータ取得処理と、上記分数画素精度を有す
る動きベクトルの値の分数部を用いて、上記取得したM
×N個の画素の画素データに補間処理を施して、上記分
数画素精度を有する動きベクトルにより指定された予測
ブロックの画像再生データを生成するデータ再生処理と
を含むものとしたものである。
【0029】この発明(請求項3)は、請求項1記載の
画像処理方法において、上記予測処理におけるデータ再
生処理では、上記参照フレームにおける、上記対象ブロ
ックと同一サイズの参照領域の境界に位置する補間画素
の画素データは、上記参照フレームから取得したM×N
個の画素の画素データのうちの、上記参照領域の境界に
隣接して位置する画素の画素データのみを用いた補間処
理により生成するものである。
【0030】この発明(請求項4)に係る画像処理装置
は、複数の画素の画素データからなる画像データを所定
の方法で圧縮符号化して得られた画像符号化データを、
M×N(M,Nは正の整数)画素からなるブロック単位
で復号化する復号化処理を、複数のブロックからなるフ
レーム毎に行って、各フレームの画像再生データを順次
生成する画像処理装置であって、所要のフレームの画像
再生データを格納するフレームメモリと、上記画像符号
化データを分析し、復号化の対象となる対象ブロックに
対応する圧縮画像データ及び動きベクトルを出力するデ
ータ解析器と、上記対象ブロックに対応する圧縮画像デ
ータに伸長処理を施して対象ブロックに対応する復元デ
ータを生成する復号化器と、上記対象ブロックの動きベ
クトルに基づいて、上記フレームメモリに格納された参
照フレームの画像再生データから、上記対象ブロックの
画像再生データの予測値として予測ブロックの画像再生
データを算出する予測処理部と、上記対象ブロックの復
元データと、対応する予測ブロックの画像再生データと
を加算して、該対象ブロックに対応する画像再生データ
を生成するとともに、該画像再生データを上記フレーム
メモリに出力する加算器とを備え、上記予測処理部を、
分数画素精度を有する動きベクトルにより指定された予
測ブロックの画像再生データを、上記参照フレームにお
ける、上記対象ブロックと同一サイズの参照領域に含ま
れるM×N個の画素のみの画素データに基づいて生成す
るよう構成したものである。
【0031】この発明(請求項5)に係る画像処理方法
は、複数の画素の画素データからなる画像データを所定
の方法で圧縮符号化して得られた画像符号化データを、
M×N(M,Nは正の整数)画素からなるブロック単位
で復号化する復号化処理を、複数のブロックからなるフ
レーム毎に行って、各フレームの画像再生データを順次
生成する画像処理方法であって、上記画像符号化データ
の復元処理により復号化の対象となる対象ブロックの復
元データを生成する復元処理と、上記対象ブロックが含
まれる被処理フレームより以前に画像再生データの生成
が行われた前フレームのうちの少なくとも1つを参照フ
レームとし、該参照フレームから、該対象ブロックに対
応する動きベクトルに基づいて、該対象ブロックの画像
再生データの予測値として予測ブロックの画像再生デー
タを算出する予測処理と、上記対象ブロックの復元デー
タと、対応する予測ブロックの画像再生データとの加算
処理により、該対象ブロックに対応する画像再生データ
を生成する再生処理とを含み、上記予測処理では、上記
復号化処理における演算負荷量を測定し、該演算負荷量
が所定の基準値を超えるとき、分数画素精度の動きベク
トルにより指定された予測ブロックの画像再生データ
を、上記参照フレームにおける、上記対象ブロックと同
一サイズの参照領域に含まれるM×N個の画素のみの画
素データに基づいて生成する第1のデータ生成処理を行
い、一方、該演算負荷量が所定の基準値を超えないと
き、該予測ブロックの画像再生データを、上記参照フレ
ームにおける参照領域及びその周辺領域からなる拡張参
照領域内に位置する、P×Q(PはMより大きい正の整
数,QはNより大きい正の整数)個の画素の画素データ
に基づいて生成する第2のデータ生成処理を行うもので
ある。
【0032】この発明(請求項6)は、請求項5記載の
画像処理方法において、上記第1のデータ生成処理を、
分数画素精度を有する動きベクトルの値の整数部を用い
て、上記参照フレームにおける、上記対象ブロックと同
一サイズの参照領域に含まれるM×N個の画素の画素デ
ータのみを取得するデータ取得処理と、上記分数画素精
度を有する動きベクトルの値の分数部を用いて、上記取
得したM×N個の画素の画素データに補間処理を施し
て、上記分数画素精度を有する動きベクトルにより指定
された予測ブロックの画像再生データを生成するデータ
再生処理とから構成し、上記拡張参照領域の縦横のサイ
ズを規定する画素数P,Qを、1つの補間画素の生成に
必要となる上記参照フレーム内に存在する画素の数の関
数とし、上記第2のデータ生成処理を、分数画素精度を
有する動きベクトルの値の整数部を用いて、上記参照フ
レーム内に存在する、上記拡張参照領域に含まれるP×
Q個の画素の画素データを取得するデータ取得処理と、
上記分数画素精度を有する動きベクトルの値の分数部を
用いて、上記取得したP×Q個の画素の画素データに補
間処理を施して、上記分数画素精度を有する動きベクト
ルにより指定された予測ブロックの画像再生データを生
成するデータ再生処理とから構成したものである。
【0033】この発明(請求項7)に係る画像処理方法
は、複数の画素の画素データからなる画像データを所定
の方法で圧縮符号化して得られた画像符号化データを、
M×N(M,Nは正の整数)画素からなるブロック単位
で復号化する復号化処理を、複数のブロックからなるフ
レーム毎に行って、各フレームの画像再生データを順次
生成する、上記復号化処理のモードを通常モードと低消
費電力モードとの間で切り換え可能な画像処理方法であ
って、上記画像符号化データの復元処理により復号化の
対象となる対象ブロックの復元データを生成する復元処
理と、上記対象ブロックが含まれる被処理フレームより
以前に画像再生データの生成が行われた前フレームのう
ちの少なくとも1つを参照フレームとし、該参照フレー
ムから、該対象ブロックに対応する動きベクトルに基づ
いて、該対象ブロックの画像再生データの予測値として
予測ブロックの画像再生データを算出する予測処理と、
上記対象ブロックの復元データと、対応する予測ブロッ
クの画像再生データとの加算処理により、該対象ブロッ
クに対応する画像再生データを生成する再生処理とを含
み、上記予測処理では、上記復号化処理のモードを検知
し、該復号化処理のモードが、通常モードに比べて消費
電力を低く抑える低電力消費モードであるとき、分数画
素精度の動きベクトルにより指定された予測ブロックの
画像再生データを、上記参照フレームにおける、上記対
象ブロックと同一サイズの参照領域に含まれるM×N個
の画素のみの画素データに基づいて生成する第1のデー
タ生成処理を行い、一方、上記復号化処理のモードが通
常モードであるとき、該予測ブロックの画像再生データ
を、上記参照フレームにおける参照領域及びその周辺領
域からなる拡張参照領域内に位置する、P×Q(PはM
より大きい正の整数,QはNより大きい正の整数)個の
画素の画素データに基づいて生成する第2のデータ生成
処理を行うものである。
【0034】この発明(請求項8)に係る画像処理方法
は、複数の画素の画素データからなる画像データを所定
の方法で圧縮符号化して得られた画像符号化データを、
M×N(M,Nは正の整数)画素からなるブロック単位
で復号化する復号化処理を、複数のブロックからなるフ
レーム毎に行って、各フレームの画像再生データを順次
生成する、バッテリー電源により駆動される端末装置の
ための画像処理方法であって、上記画像符号化データの
復元処理により復号化の対象となる対象ブロックの復元
データを生成する復元処理と、上記対象ブロックが含ま
れる被処理フレームより以前に画像再生データの生成が
行われた前フレームのうちの少なくとも1つを参照フレ
ームとし、該参照フレームから、該対象ブロックに対応
する動きベクトルに基づいて、該対象ブロックの画像再
生データの予測値として予測ブロックの画像再生データ
を算出する予測処理と、上記対象ブロックの復元データ
と、対応する予測ブロックの画像再生データとの加算処
理により、該対象ブロックに対応する画像再生データを
生成する再生処理とを含み、上記予測処理では、上記端
末装置を駆動するバッテリー電源の電圧を測定し、該バ
ッテリー電源の電圧が基準電圧より低下しているとき、
分数画素精度の動きベクトルにより指定された予測ブロ
ックの画像再生データを、上記参照フレームにおける、
上記対象ブロックと同一サイズの参照領域に含まれるM
×N個の画素のみの画素データに基づいて生成する第1
のデータ生成処理を行い、一方、上記バッテリー電源の
電圧が基準電圧以上に保持されているとき、該予測ブロ
ックの画像再生データを、上記参照フレームにおける参
照領域及びその周辺領域からなる拡張参照領域内に位置
する、P×Q(PはMより大きい正の整数,QはNより
大きい正の整数)個の画素の画素データに基づいて生成
する第2のデータ生成処理を行うものである。
【0035】この発明(請求項9)に係る画像処理方法
は、複数の画素の画素データからなる画像データを所定
の方法で圧縮符号化して得られた画像符号化データを、
M×N(M,Nは正の整数)画素からなるブロック単位
で復号化する復号化処理を、複数のブロックからなるフ
レーム毎に行って、各フレームの画像再生データを順次
生成する、バッテリー電源により駆動される端末装置の
ための画像処理方法であって、上記画像符号化データの
復元処理により復号化の対象となる対象ブロックの復元
データを生成する復元処理と、上記対象ブロックが含ま
れる被処理フレームより以前に画像再生データの生成が
行われた前フレームのうちの少なくとも1つを参照フレ
ームとし、該参照フレームから、該対象ブロックに対応
する動きベクトルに基づいて、該対象ブロックの画像再
生データの予測値として予測ブロックの画像再生データ
を算出する予測処理と、上記対象ブロックの復元データ
と、対応する予測ブロックの画像再生データとの加算処
理により、該対象ブロックに対応する画像再生データを
生成する再生処理とを含み、上記予測処理では、上記端
末装置を駆動するバッテリー電源の電圧を測定するとと
もに、上記復号化処理における負荷演算量を測定し、該
バッテリー電源の電圧が第1の基準電圧より低下してい
るとき、分数画素精度の動きベクトルにより指定された
予測ブロックの画像再生データを、上記参照フレームに
おける、上記対象ブロックと同一サイズの参照領域に含
まれるM×N個の画素のみの画素データに基づいて生成
する第1のデータ生成処理を行い、上記バッテリー電源
の電圧が、上記第1の基準電圧より高い第2の基準電圧
以上に保持されているとき、該予測ブロックの画像再生
データを、上記参照フレームにおける参照領域及びその
周辺領域からなる拡張参照領域内に位置する、P×Q
(PはMより大きい正の整数,QはNより大きい正の整
数)個の画素の画素データに基づいて生成する第2のデ
ータ生成処理を行い、上記バッテリー電源の電圧が第1
の基準電圧以上かつ第2の基準電圧未満であるとき、上
記演算負荷量が所定の基準値を超える場合には、上記第
1のデータ生成処理を行い、該演算負荷量が所定の基準
値を超えない場合には、上記第2のデータ生成処理を行
うものである。
【0036】この発明(請求項10)に係る画像処理装
置は、複数の画素の画素データからなる画像データを所
定の方法で圧縮符号化して得られた画像符号化データ
を、M×N(M,Nは正の整数)画素からなるブロック
単位で復号化する復号化処理を、複数のブロックからな
るフレーム毎に行って、各フレームの画像再生データを
順次生成する画像処理装置であって、所要のフレームの
画像再生データを格納するフレームメモリと、上記画像
符号化データを分析し、復号化の対象となる対象ブロッ
クに対応する圧縮画像データ及び動きベクトルを出力す
るデータ解析器と、上記対象ブロックに対応する圧縮画
像データに伸長処理を施して対象ブロックに対応する復
元データを生成する復号化器と、上記対象ブロックの動
きベクトルに基づいて、上記フレームメモリに格納され
た参照フレームの画像再生データから、上記対象ブロッ
クの画像再生データの予測値として予測ブロックの画像
再生データを算出する予測処理部と、上記対象ブロック
の復元データと、対応する予測ブロックの画像再生デー
タとを加算して、該対象ブロックに対応する画像再生デ
ータを生成するとともに、該画像再生データを上記フレ
ームメモリに出力する加算器と、上記復号化処理におけ
る演算負荷量を測定して、該演算負荷量が所定の基準値
を超えているか否かを判定する負荷判定手段とを備え、
上記予測処理部を、該演算負荷量が所定の基準値を超え
るとき、分数画素精度の動きベクトルにより指定された
予測ブロックの画像再生データを、上記参照フレームに
おける、上記対象ブロックと同一サイズの参照領域に含
まれるM×N個の画素のみの画素データに基づいて生成
する第1のデータ生成処理を行い、一方、該演算負荷量
が所定の基準値を超えないとき、上記予測ブロックの画
像再生データを、上記参照フレームにおける参照領域及
びその周辺領域からなる拡張参照領域内に位置するP×
Q(PはMより大きい正の整数,QはNより大きい正の
整数)個の画素の画素データに基づいて生成する第2の
データ生成処理を行うよう構成したものである。
【0037】この発明(請求項11)に係る画像復号化
装置は、複数の画素の画素データからなる画像データを
所定の方法で圧縮符号化して得られた画像符号化データ
を、M×N(M,Nは正の整数)画素からなるブロック
単位で復号化する復号化処理を、複数のブロックからな
るフレーム毎に行って、各フレームの画像再生データを
順次生成する、上記復号化処理における動作モードを通
常動作モードと低電力動作モードとの間で切り換え可能
な画像処理装置であって、所要のフレームの画像再生デ
ータを格納するフレームメモリと、上記画像符号化デー
タを分析し、復号化の対象となる対象ブロックに対応す
る圧縮画像データ及び動きベクトルを出力するデータ解
析器と、上記対象ブロックに対応する圧縮画像データに
伸長処理を施して対象ブロックに対応する復元データを
生成する復号化器と、上記対象ブロックの動きベクトル
に基づいて、上記フレームメモリに格納された参照フレ
ームの画像再生データから、上記対象ブロックの画像再
生データの予測値として予測ブロックの画像再生データ
を算出する予測処理部と、上記対象ブロックの復元デー
タと、対応する予測ブロックの画像再生データとを加算
して、該対象ブロックに対応する画像再生データを生成
するとともに、該画像再生データを上記フレームメモリ
に出力する加算器と、上記復号化処理における動作モー
ドを判定する動作モード判定手段とを備え、上記予測処
理部を、該復号化処理における動作モードが、通常動作
モードに比べて消費電力を低く抑える低電力動作モード
であるとき、分数画素精度の動きベクトルにより指定さ
れた予測ブロックの画像再生データを、上記参照フレー
ムにおける、上記対象ブロックと同一サイズの参照領域
に含まれるM×N個の画素のみの画素データに基づいて
生成する第1のデータ生成処理を行い、一方、上記復号
化処理における動作モードが通常動作モードであると
き、上記予測ブロックの画像再生データを、上記参照フ
レームにおける参照領域及びその周辺領域からなる拡張
参照領域内に位置するP×Q(PはMより大きい正の整
数,QはNより大きい正の整数)個の画素の画素データ
に基づいて生成する第2のデータ生成処理を行うよう構
成したものである。
【0038】この発明(請求項12)に係る画像復号化
装置は、複数の画素の画素データからなる画像データを
所定の方法で圧縮符号化して得られた画像符号化データ
を、M×N(M,Nは正の整数)画素からなるブロック
単位で復号化する復号化処理を、複数のブロックからな
るフレーム毎に行って、各フレームの画像再生データを
順次生成する、バッテリー電源により駆動される画像処
理装置であって、所要のフレームの画像再生データを格
納するフレームメモリと、上記画像符号化データを分析
し、復号化の対象となる対象ブロックに対応する圧縮画
像データ及び動きベクトルを出力するデータ解析器と、
上記対象ブロックに対応する圧縮画像データに伸長処理
を施して対象ブロックに対応する復元データを生成する
復号化器と、上記対象ブロックの動きベクトルに基づい
て、上記フレームメモリに格納された参照フレームの画
像再生データから、上記対象ブロックの画像再生データ
の予測値として予測ブロックの画像再生データを算出す
る予測処理部と、上記対象ブロックの復元データと、対
応する予測ブロックの画像再生データとを加算して、該
対象ブロックに対応する画像再生データを生成するとと
もに、該画像再生データを上記フレームメモリに出力す
る加算器と、上記バッテリー電源の電圧を測定して、該
バッテリー電源の電圧が所定の基準電圧を超えているか
否かを判定するする電圧測定手段とを備え、上記予測処
理部を、該バッテリー電源の電圧が上記所定の基準電圧
より低下しているとき、分数画素精度の動きベクトルに
より指定された予測ブロックの画像再生データを、上記
参照フレームにおける、上記対象ブロックと同一サイズ
の参照領域に含まれるM×N個の画素のみの画素データ
に基づいて生成する第1のデータ生成処理を行い、一
方、上記バッテリー電源の電圧が上記所定の基準電圧以
上に保持されているとき、上記予測ブロックの画像再生
データを、上記参照フレームにおける参照領域及びその
周辺領域からなる拡張参照領域内に位置するP×Q(P
はMより大きい正の整数,QはNより大きい正の整数)
個の画素の画素データに基づいて生成する第2のデータ
生成処理を行うよう構成したものである。
【0039】この発明(請求項13)に係る画像復号化
装置は、複数の画素の画素データからなる画像データを
所定の方法で圧縮符号化して得られた画像符号化データ
を、M×N(M,Nは正の整数)画素からなるブロック
単位で復号化する復号化処理を、複数のブロックからな
るフレーム毎に行って、各フレームの画像再生データを
順次生成する、バッテリー電源により駆動される画像処
理装置であって、所要のフレームの画像再生データを格
納するフレームメモリと、上記画像符号化データを分析
し、復号化の対象となる対象ブロックに対応する圧縮画
像データ及び動きベクトルを出力するデータ解析器と、
上記対象ブロックに対応する圧縮画像データに伸長処理
を施して対象ブロックに対応する復元データを生成する
復号化器と、上記対象ブロックの動きベクトルに基づい
て、上記フレームメモリに格納された参照フレームの画
像再生データから、上記対象ブロックの画像再生データ
の予測値として予測ブロックの画像再生データを算出す
る予測処理部と、上記対象ブロックの復元データと、対
応する予測ブロックの画像再生データとを加算して、該
対象ブロックに対応する画像再生データを生成するとと
もに、該画像再生データを上記フレームメモリに出力す
る加算器と、上記復号化処理における演算負荷量を測定
して、該演算負荷量が所定の基準値を超えているか否か
を判定する負荷判定手段と、上記バッテリー電源の電圧
を測定して、該バッテリー電圧と第1及び第2の基準電
圧との大小関係を判定する電圧判定手段とを備え、上記
予測処理部を、該バッテリー電源の電圧が第1の基準電
圧より低下しているとき、分数画素精度の動きベクトル
により指定された予測ブロックの画像再生データを、上
記参照フレームにおける、上記対象ブロックと同一サイ
ズの参照領域に含まれるM×N個の画素のみの画素デー
タに基づいて生成する第1のデータ生成処理を行い、上
記バッテリー電源の電圧が、上記第1の基準電圧より高
い第2の基準電圧以上に保持されているとき、該予測ブ
ロックの画像再生データを、上記参照フレームにおける
参照領域及びその周辺領域からなる拡張参照領域内に位
置する、P×Q(PはMより大きい正の整数,QはNよ
り大きい正の整数)個の画素の画素データに基づいて生
成する第2のデータ生成処理を行い、上記バッテリー電
源の電圧が第1の基準電圧以上かつ第2の基準電圧未満
であるとき、上記演算負荷量が所定の基準値を超える場
合には、上記第1のデータ生成処理を行い、該演算負荷
量が所定の基準値を超えない場合には、上記第2のデー
タ生成処理を行うよう構成したものである。
【0040】この発明(請求項14)に係る画像処理方
法は、複数の画素の画素データからなる画像データを、
M×N(M,Nは正の整数)画素からなるブロック単位
で圧縮し符号化する符号化処理を、複数のブロックから
なるフレーム毎に行って、各フレームに対応する画像符
号化データを順次生成する画像処理方法であって、符号
化の対象となる対象ブロックの画像データからその予測
値である予測ブロックの画像データを減算して、該対象
ブロックに対応する差分データを生成する減算処理と、
上記差分データの圧縮により得られる圧縮データの復元
処理により符号化の対象となる対象ブロックの復元デー
タを生成する復元処理と、上記対象ブロックの復元デー
タと、対応する予測ブロックの画像データとの加算処理
により、該対象ブロックに対応する局所再生データを生
成する局所再生処理と、上記対象ブロックが含まれる被
処理フレームより以前に局所再生データの生成が行われ
た前フレームのうちの少なくとも1つを参照フレームと
し、該参照フレームから、該対象ブロックに対応する動
きベクトルに基づいて、該対象ブロックの画像データの
予測値として予測ブロックの画像データを算出する予測
処理とを含み、上記予測処理では、分数画素精度を有す
る動きベクトルにより指定された予測ブロックの画像デ
ータを、上記参照フレームにおける、上記対象ブロック
と同一サイズの参照領域に含まれるM×N個の画素のみ
の画素データに基づいて生成するものである。
【0041】この発明(請求項15)に係る画像処理装
置は、複数の画素の画素データからなる画像データを、
M×N(M,Nは整数)画素からなるブロック単位で圧
縮し符号化する符号化処理を、複数のブロックからなる
フレーム毎に行って、各フレームに対応する画像符号化
データを順次生成する画像処理装置であって、符号化の
対象となる対象ブロックの画像データからその予測値で
ある予測ブロックの画像データを減算して、該対象ブロ
ックに対応する差分データを生成する減算器と、上記対
象ブロックの差分データを圧縮して対象ブロックの圧縮
データを生成する情報圧縮器と、上記対象ブロックの圧
縮データを伸長して対象ブロックの復元データを生成す
る情報伸長器と、上記対象ブロックの復元データと、対
応する予測ブロックの画像データとの加算処理により、
該対象ブロックに対応する局所再生データを生成する加
算器と、所要のフレームに対応する局所再生データを格
納するフレームメモリと、上記対象ブロックの動きベク
トルに基づいて、上記フレームメモリに格納された参照
フレームの局所再生データから、上記対象ブロックの画
像データの予測値として予測ブロックの画像データを算
出する予測処理部とを備え、上記予測処理部を、分数画
素精度を有する動きベクトルにより指定された予測ブロ
ックの画像データを、上記参照フレームにおける、上記
対象ブロックと同一サイズの参照領域に含まれるM×N
個の画素のみの画素データに基づいて生成するよう構成
したものである。
【0042】この発明(請求項16)に係る画像処理方
法は、複数の画素の画素データからなる画像データを、
M×N(M,Nは正の整数)画素からなるブロック単位
で圧縮し符号化する符号化処理を、複数のブロックから
なるフレーム毎に行って、各フレームに対応する画像符
号化データを順次生成する画像処理方法であって、符号
化の対象となる対象ブロックの画像データからその予測
値である予測ブロックの画像データを減算して、該対象
ブロックに対応する差分データを生成する減算処理と、
上記差分データの圧縮により得られる圧縮データの復元
処理により符号化の対象となる対象ブロックの復元デー
タを生成する復元処理と、上記対象ブロックの復元デー
タと、対応する予測ブロックの画像再生データとの加算
処理により、該対象ブロックに対応する局所再生データ
を生成する局所再生処理と、上記対象ブロックが含まれ
る被処理フレームより以前に局所再生データの生成が行
われた前フレームのうちの少なくとも1つを参照フレー
ムとし、該参照フレームから、該対象ブロックに対応す
る動きベクトルに基づいて、該対象ブロックの画像デー
タの予測値として予測ブロックの画像データを算出する
予測処理とを含み、上記予測処理では、上記符号化処理
における演算負荷量を測定し、該演算負荷量が所定の基
準値を超えるとき、分数画素精度の動きベクトルにより
指定された予測ブロックの画像データを、上記参照フレ
ームにおける、上記対象ブロックと同一サイズの参照領
域に含まれるM×N個の画素のみの画素データに基づい
て生成する第1のデータ生成処理を行い、一方、該負荷
量が所定の基準値を超えないとき、該予測ブロックの画
像データを、上記参照フレームにおける参照領域及びそ
の周辺領域からなる拡張参照領域内に位置するP×Q
(PはMより大きい正の整数,QはNより大きい正の整
数)個の画素の画素データに基づいて生成する第2のデ
ータ生成処理を行うものである。
【0043】この発明(請求項17)に係る画像処理装
置は、複数の画素の画素データからなる画像データを、
M×N(M,Nは正の整数)画素からなるブロック単位
で圧縮し符号化する符号化処理を、複数のブロックから
なるフレーム毎に行って、各フレームに対応する画像符
号化データを順次生成する画像処理装置であって、符号
化の対象となる対象ブロックの画像データからその予測
値である予測ブロックの画像データを減算して、該対象
ブロックに対応する差分データを生成する減算器と、上
記対象ブロックの差分データを圧縮して対象ブロックの
圧縮データを生成する情報圧縮器と、上記対象ブロック
の圧縮データを伸長して対象ブロックの復元データを生
成する情報伸長器と、上記対象ブロックの復元データ
と、対応する予測ブロックの画像データとの加算処理に
より、該対象ブロックに対応する局所再生データを生成
する加算器と、所要のフレームに対応する局所再生デー
タを格納するフレームメモリと、上記対象ブロックの動
きベクトルに基づいて、上記フレームメモリに格納され
た参照フレームの局所再生データから、上記対象ブロッ
クの画像データの予測値として予測ブロックの画像再生
データを算出する予測処理部と、上記符号化処理におけ
る演算負荷量を測定して、該演算負荷量が所定の基準値
を超えているか否かを判定する負荷判定手段とを備え、
上記予測処理部を、該演算負荷量が所定の基準値を超え
るとき、分数画素精度の動きベクトルにより指定された
予測ブロックの画像データを、上記参照フレームにおけ
る、上記対象ブロックと同一サイズの参照領域に含まれ
るM×N個の画素のみの画素データに基づいて生成する
第1のデータ生成処理を行い、一方、該演算負荷量が所
定の基準値を超えないとき、該予測ブロックの画像デー
タを、上記参照フレームにおける参照領域及びその周辺
領域からなる拡張参照領域内に位置するP×Q(PはM
より大きい正の整数,QはNより大きい正の整数)個の
画素の画素データに基づいて生成する第2のデータ生成
処理を行うよう構成したものである。
【0044】この発明(請求項18)に係るデータ記憶
媒体は、コンピュータにより画像処理を行うためのプロ
グラムを格納したデータ記憶媒体であって、上記プログ
ラムを、コンピュータに、請求項1,2,3,5,6,
7,8,9,14,16のいずれかに記載の画像処理方
法による画像処理を行わせるよう構成したものである。
【0045】
【発明の実態の形態】以下、本発明の実施の形態につい
て図1から図16を用いて説明する。 (実施の形態1)図1は本発明の実施の形態1による画
像処理装置としての画像復号化装置を説明するためのブ
ロック図である。本実施の形態1の画像復号化装置10
0は、画像データを所定の方法で圧縮符号化して得られ
る画像符号化データを、復号化処理の単位となる所定サ
イズの画像空間(マクロブロック)毎に受け、該マクロ
ブロック単位で画像符号化データに対する予測復号化処
理を順次行う構成となっている。ここで、上記画像デー
タは、各フレーム(1画面に相当する画像空間)を構成
する個々の画素に対応する画素値(画素データ)から構
成されており、また、マクロブロックは上述したように
K×K画素からなる画像空間であり、以下の実施の形態
の説明では、単にブロックという。なお、マクロブロッ
クは従来技術にて説明したように、例えば16×16画
素からなる。
【0046】すなわち、この画像復号化装置100は、
復号化処理の対象となる対象ブロックの画像符号化デー
タを解析して、量子化幅や量子化係数(DCT係数を量
子化したもの)を対象ブロックの解析データAgとして
出力するとともに、対象ブロックの動きベクトルMVを
出力するデータ解析器102と、上記解析データAgを
受け、量子化係数(圧縮データ)を伸長して、対象ブロ
ックに対応する伸長データ(伸長ブロックの画素デー
タ)Dgを出力する復号化器103とを有している。
【0047】ここで、上記復号化器103は、上記量子
化係数を上記量子化幅でもって逆量子化してDCT係数
IQgを復元する逆量子化器(IQ)103aと、該逆
量子化器103aからのDCT係数IQgに対して、周
波数領域のデータを空間領域のデータに変換する逆離散
コサイン変換を施して上記伸長データDgを生成する逆
離散コサイン変換器(IDCT)103bとから構成さ
れている。
【0048】また、上記画像復号化装置100は、伸長
ブロックと予測ブロックとの間で画素データを加算し
て、対象ブロックに対応する再生データ(つまり再生ブ
ロックの画素データ)Rgを生成する加算器105と、
上記再生ブロックの画素データを所定のフレーム分だけ
格納するフレームメモリ111と、対象ブロックに対応
する再生データRg及び動きベクトルMVに基づいて、
対象ブロックに対応する予測データ(つまり、予測ブロ
ックの画素データ)Pgを生成する予測処理部110と
を有している。
【0049】ここで、上記予測処理部110は、対象ブ
ロックの動きベクトルMVに基づいて、上記フレームメ
モリ111から格納データMgを参照データとして読み
出すためのアクセスアドレスAdを生成するアドレス生
成器112と、上記フレームメモリ111から読み出さ
れた参照データMgを受け、上記動きベクトルMVに基
づいて対象ブロックに対応する予測データ(予測ブロッ
クの画素データ)を生成する予測信号生成器113とか
ら構成されている。
【0050】次に図2(a) 〜図2(c) を用いて、上記予
測信号生成器113における予測データの生成処理につ
いて詳しく説明する。上記フレームメモリ111には、
再生データが例えば所定数のフレーム分格納されてお
り、予測データの生成に際しては、フレームメモリ11
1の格納されている画素データのうち、対象ブロックT
bが含まれる被処理フレームTF(図2(a) 参照)の1
つ前の前フレームが、参照画面(参照フレーム)SF
(図2(b)参照)として用いられる。ただし、予測デー
タの生成の際に画素データが参照される参照フレーム
は、被処理フレームの1つ前の前フレームに限らない。
例えば、双方向予測モードでは、被処理フレームの前後
のフレームが参照フレームとして用いられる。
【0051】なお、図2(a) ,(b) に示すフレームT
F,SFは図12(a) ,(b) に示すフレームTF,SF
と全く同一である。従って、対象ブロックTbの動きベ
クトルMVtの値は、同一サイズの画像空間である上記
被処理フレームTFと参照フレームSF上の座標(a,
b)により表され、この数値aは整数部xと小数部uと
からなり、数値bは整数部yと小数部vとからなる。こ
こで整数部x,yは正または負の整数値である。また、
対象ブロックTbの動きベクトルMVtの、上記被処理
フレームTF及び参照フレームSF上での水平成分及び
垂直成分は、1/2画素精度を有している。言い換える
と、上記小数部u,vは0または5の値をとる。
【0052】このような1/2画素精度の動きベクトル
により指定される予測ブロックの画素データを生成する
には、被処理フレームTF(図2(a) 参照)上での対象
ブロックTbの左上隅Pt0の座標(a0,b0)に動
きベクトルの値(a,b)を加算し、この加算により得
られた基準位置Pt1の座標(a0+a,b0+b)
を、参照フレームSF(図2(b) ,(c) 参照)上での予
測ブロックYbの左上隅Pyの座標とする。
【0053】以下、対象ブロックTbの動きベクトルM
Vtの値の整数部x,yを正の整数とし、動きベクトル
MVtの値の小数部u,vを5として、上記予測信号生
成器113にて、この分数画素精度の動きベクトルMV
tにより指定される予測ブロックYbの画素データを取
得する処理を具体的に説明する。
【0054】まず、被処理フレームTF上で対象ブロッ
クTbの左上隅Pt0の座標(a0,b0)に、動きベ
クトルMVtの整数部の値(x,y)を加算し、この加
算により得られる座標(a0+x,b0+y)を有する
被処理フレームTF上の基準位置Pt11に対応する、
参照フレームSF上の位置Psを求める。
【0055】そして、この参照フレームSF上の対応位
置Psを基準として、この位置を左上隅とする、K×K
画素からなる参照領域Sr0内の各画素の画素データを
取得する。ここでは、KはK=8となっているため、上
記参照領域Sr0は、図2(c) に拡大して示すように、
○印で表示される8×8個の元画素(参照フレームに元
々存在している画素)を含むこととなる。
【0056】また、この場合、上記動きベクトルMVt
の値の小数部u,vがともに5であるため、上記参照領
域Sr0内並びにその下側及び右側周辺には、水平方向
及び垂直方向に沿って元画素間に0.5画素間隔で配置
された、×印で表示される補間画素(分数画素)が必要
となる。
【0057】そこで、たとえば、長方形の頂点に位置す
る画素306ないし309の四つの元画素の画素値を平
均化する2次元の補間処理により、該長方形の中心に位
置する補間画素310の画素値を生成する。このように
して上記参照領域Sr0内に(K−1)×(K−1)個
の補間画素(×印で表示)が予測ブロックYb内の画素
として生成される。
【0058】また、参照領域Sr0の外側に補間画素
(例えば画素305や画素311)を生成するには、参
照領域Sr0内にその境界に隣接して位置する元画素
(○印で表示)(例えば画素303等)の画素値をその
まま利用して補間画素の画素値を生成する。すなわち、
参照領域Sr0の外側に補間画素を生成するのに必要な
画素304の画素データは、参照フレームSF内の画素
データから上記参照領域Sr0の画素データとは別に取
得するのではなく、画素304の画素値として上記参照
領域Sr0内の元画素303の画素データを用いる。
【0059】図2(c) には、参照領域Sr0の外側に補
間画素を生成する処理が示されており、参照領域Sr0
内にその境界に隣接して位置する境界画素(例えば○印
で表示の画素303)の複製として、参照領域Sr0の
外側に、上記境界画素から1画素間隔離れた位置に複製
画素(●印で表示の画素304)を形成する。そして、
該複製画素とこれに隣接する境界画素(○印で表示)と
を用いて、参照領域Sr0の外側に予測ブロックYbを
構成する補間画素(×印で表示)を生成する。
【0060】なお、この場合、上記補間処理に用いるフ
ィルタのタップ長は、水平方向及び垂直方向とも2であ
るので、参照領域Sr0の外側に位置する複製画素(●
印で表示)は、参照領域Sr0の一行及び一列に相当す
る画素数に1を加えた数だけ生成すればよい。
【0061】また、動きベクトルMVtの値の小数部
u,vの一方のみが5である場合は、一次元の補間(双
一次補間)により補間画素の画素値を求められ、具体的
には、隣接する2つの元画素の画素値から1つの補間画
素の画素値が生成される。この場合は、参照領域Sr0
の外側に位置する複製画素は、参照領域Sr0の一行あ
るいは一列に相当する画素数となる。
【0062】一般的に、補間するために用いるフィルタ
のタップ数をTとすると、複製画素の数はほぼ、(T/
2)行及び(T/2)列に相当する数となる。その場
合、複製画素の生成方法としては、単純に参照領域Sr
0内にその境界に隣接して位置する境界画素を、そのま
ま参照領域Sr0の外側の画素として用いるホールド
(hold)方法や、参照領域Sr0の外側の複製画素
として、これらの複製画素の位置と参照領域境界を対称
軸とする線対称な位置に位置する参照領域Sr0内の元
画素を用いるミラーリング方法がある。
【0063】なお、上記説明では、動きベクトルの値の
整数部x,yを正の整数としたが、一般的にはこの整数
部x,yは負の値も取り得る。その場合、参照フレーム
SFにおける参照領域Sr0の基準座標を生成するため
に用いる、動きベクトルMVtの整数部x,yに基づく
座標(x' ,y' )は、それぞれ座標(x.u,y.
v)より小さいこれに最も近い整数になる。例えば、座
標(x.u,y.v)=(1.5,2.5)の場合、座
標(x' ,y' )=(1,2)となり、座標(x.u,
y.v)=(−1.5,−2.5)のときは、座標
(x' ,y' )=(−2,−3)となる。また、上記動
きベクトルMVtの値の小数部u,vが0であるとき
は、画素の補間を行う必要がないために、参照領域Sr
0の境界にて画素を複製する必要はない。
【0064】なお、上記説明では、1/2画素精度の動
き補償について説明したが、1/4精度など分数精度の
動き補償の場合についても、同様に補間画素を生成する
ことが可能である。この場合動きベクトルMVtの値の
小数部u,vは、数値として0,25,5をとる。
【0065】また、参照領域Sr0外側にその境界に隣
接して位置する境界外補間画素としては、参照領域Sr
0内側に位置するすでに画素値を算出した、該境界外補
間画素にもっとも近い補間画素の複製を用いてもよい。
例えば、境界外補間画素305の画素値として補間画素
312の画素値を用いてもよい。
【0066】次に動作について説明する。図3はこの実
施の形態1の画像復号化装置による予測復号化処理の流
れを示す図である。上述したMPEG1方式などの所定
の方法で画像データを圧縮符号化して得られた画像符号
化データが、入力端子101aに入力される(ステップ
S21)。本実施の形態1では、MPEG1と同様に、
動き補償を伴うDCT処理により圧縮符号化を行ってお
り、上記画像符号化データEgには、上述したように、
動きベクトル、量子化幅、量子化されたDCT係数が含
まれている。
【0067】次に、解析器102にて、上記画像符号化
データEgが解析され、量子化されたDCT係数、量子
化幅、動きベクトルに分離され、対応する数値に変換し
て出力される。このとき復号化の対象となる対象ブロッ
クに対する解析データAgとして、量子化幅や量子化さ
れたDCT係数が復号化器103に出力され、動きベク
トルMVが予測処理部110のアドレス生成器112に
出力される(ステップS22)。
【0068】上記復号化器103では、対象ブロックに
対応する量子化係数に、K×K個単位で逆量子化処理及
び逆離散コサイン変換処理が順次施され、これによって
対象ブロックに対応する量子化係数は、K×K個の画素
データからなる差分データに復元される(ステップS2
3)。つまり、逆量子化器103aでは、上記量子化係
数が逆量子化によりDCT係数に変換され、上記逆DC
T器103bにて該DCT係数IQgは、周波数領域デ
ータを空間領域データに変換する逆DCT処理により伸
長データDgに変換される。
【0069】このとき、上記予測処理部110のアドレ
ス生成器112では、動きベクトルMVに基づいて、フ
レームメモリ111をアクセスするためのアクセスアド
レスAdが生成され、このアクセスアドレスAdに基づ
いて、フレームメモリ111に格納された再生データの
中から、予測ブロックを生成するための参照データMg
が取得され、予測信号生成器113に出力される。
【0070】そして、予測信号生成器113では、取得
した参照データMgと動きベクトルMVに基づいて、対
象ブロックに対応する予測データ(予測ブロックの画素
データ)Pgが生成される(ステップS24,S2
5)。
【0071】つまり、1/2画素精度の予測データを生
成する場合は、まず、参照フレームSF上にて、動きベ
クトルMVの値の整数部で指定した参照領域Sr0にお
ける元画素の位置から、K×K個の画素データが取得さ
れる(ステップS24)。そして、取得したK×K個の
画素データに、図2にて説明した補間処理が施されて、
1/2画素精度の予測データが生成される(ステップS
25)。
【0072】その後、上記加算器105にて、該予測ブ
ロックの画素データPgと、上記伸長ブロックの画素デ
ータDgとが加算されて、この加算値が再生ブロックの
画素データRgとして出力される(ステップS26)。
この再生ブロックの画素データRgは出力端子101b
から画像復号化装置100の外部に出力されると同時に
上記フレームメモリ111内に格納される。
【0073】最後に、上記対象ブロックが画像を構成す
る最終フレームにおける最後のブロックであるか否かの
判定が行われ(ステップS27)、該対象ブロックが最
後のブロックでなければ、上記ステップS21〜S27
の処理が再度行われ、該対象ブロックが最後のブロック
であれば、上記復号化処理は終了する。なお、ここで、
フレーム内符号化を行う場合には、予測データ,つまり
予測ブロックを構成する画素の画素値(画素データ)
は、すべてゼロになるものである。
【0074】このように本実施の形態1では、分数精度
でもって予測データ(予測ブロックの画素データ)を生
成する際には、参照画素として、復号化の対象となる対
象ブロックと同一サイズを有する、参照フレーム上の参
照領域Sr0内の画素のみを用いて、これらの画素間に
位置する補間画素の画素データを生成するので、参照フ
レームから取得する画素データの数は、対象ブロックを
構成する画素の数と同一となり、言い換えると、参照領
域Sr0の外側に位置する画素の画素データを取得する
必要がなくなり、このため、フレームメモリに格納され
た参照フレームの画像データから得られる予測データの
精度を劣化させることなく、フレームメモリに対するア
クセスバンド幅を削減することができる。
【0075】特に、参照領域Sr0の画素データに対す
る補間処理を行うためのフィルタ(すなわちタップ長)
が変更されても、参照画素として参照フレームから取得
する画素の個数は常に同じであるため、メモリアクセス
のバンド幅を変更する必要がなくなる。
【0076】また、参照領域Sr0の外側では、補間画
素として、参照領域Sr0内の補間画素を繰り返し用い
ることにより、補間画素の画素値を求めるための演算量
を削減することができる。例えば、参照領域Sr0外の
補間画素305の値として参照領域Sr0内の補間画素
312を用いると、補間画素305の画素値の生成に必
要な演算処理を削減できる。
【0077】また、画像データの送信側で、従来の動き
補償方法を用いて画像データを予測符号化して得られる
画像符号化データを、受信側で、本実施の形態1の動き
補償方法を用いて予測復号化した場合でも、予測データ
は、予測ブロックの境界における画素データが送信側と
異なるだけであるので、送信側と受信側との間での予測
データの不一致による再生画像の画質劣化は無視でき
る。
【0078】(実施の形態2)図4は本発明の実施の形
態2による画像処理装置である画像復号化装置を説明す
るためのブロック図である。この実施の形態2の画像復
号化装置200は、上記実施の形態1の画像復号化装置
100と同様、復号化処理の対象となるマクロブロック
(対象ブロック)の画像符号化データを解析する解析器
102と、該解析器120の出力Agとしての圧縮デー
タを伸長する復号化器103と、伸長ブロックと予測ブ
ロックとの間で画素データを加算して、対象ブロックに
対応する再生データ(つまり再生ブロックの画素デー
タ)Dgを生成する加算器105とを有している。ここ
で、上記解析器102,復号化器103,及び加算器1
05は上記実施の形態1の画像復号化装置100におけ
るものと全く同一の構成となっている。
【0079】また、この実施の形態の画像復号化装置2
00は、上記実施の形態1の画像復号化装置100と同
様、対象ブロックに対応する再生データRg及び動きベ
クトルMVに基づいて、対象ブロックに対応する予測デ
ータ(つまり、予測ブロックの画素データ)Pgを生成
する予測処理部210と、上記再生ブロックの画素デー
タを所定のフレーム分だけ格納するフレームメモリ11
1とを有している。ここで上記予測処理部210は、対
象ブロックの動きベクトルMVに基づいて、上記フレー
ムメモリ111から画素データを読み出すためのアクセ
スアドレスAdを生成するアドレス生成器212と、上
記フレームメモリ111から読み出された画素データM
gを受け、上記動きベクトルMVに基づいて対象ブロッ
クに対応する予測データ(予測ブロックの画素データ)
Pgを生成する予測信号生成器213とから構成されて
いる。
【0080】そして本実施の形態2では、画像復号化装
置200における復号化処理に伴う演算処理及び各部の
制御を行う制御装置(CPU)220は、加算器105
の出力である再生データRgに基づいて、1フレームの
画像の復号処理に要する時間を測定して、復号化処理に
おける演算負荷量が、基準負荷量を超えているか否かを
判定する負荷判定器221を含み、該負荷判定器221
からの負荷判定結果に応じた制御信号C1が上記アドレ
ス生成器212及び予測信号生成器213に出力される
ようになっている。
【0081】また、本実施の形態2では、上記アドレス
生成器212は、上記動きベクトルMVだけでなく、上
記負荷判定器221からの制御信号C1にも基づいて、
フレームメモリ111にアクセスするためのアクセスア
ドレスAdを生成する構成となっており、上記予測信号
生成器213は、上記動きベクトルMV及び制御信号C
1に基づいて、分数画素精度を有する動きベクトルによ
り指定された予測ブロックの画素データPgを生成する
構成となっている。
【0082】すなわち、上記予測処理部210では、上
記負荷判定の結果、演算負荷量が所定の基準値を超える
とき、分数画素精度の動きベクトルにより指定された予
測ブロックの画素データを、上記参照フレームにおけ
る、上記対象ブロックと同一サイズの参照領域Sr0
(図2参照)に含まれるK×K個の画素のみの画素デー
タに基づいて生成する第1のデータ生成処理が行われ、
一方、上記演算負荷量が所定の基準値を超えていないと
き、該予測ブロックの画素データを、上記参照フレーム
SFにおける、対象ブロックよりサイズの大きい参照領
域Sr(図12(c)参照)内に位置するK' ×K' 個の
画素の画素データに基づいて生成する第2のデータ生成
処理が行われる。ここで、上記参照領域Srは、図2
(c) では、参照領域Sr0とその周辺の領域(●表示の
複製画素が配置されている領域)とからなる領域(拡張
参照領域)に相当する。
【0083】具体的には、上記復号化処理における演算
負荷量が所定の基準値を超えるときには、上記予測処理
部210では第1のデータ生成処理が行われる。つま
り、上記アドレス生成器212では、負荷判定器221
からの制御信号C1に基づいて、分数画素精度を有する
動きベクトルの値の整数部を用いて、上記参照フレーム
SFにおける、上記対象ブロックと同一サイズの参照領
域Sr0に含まれるK×K個の画素の画素データのみを
取得するためのアクセスアドレスAdが生成される。こ
れにより上記予測信号生成器213では、参照領域Sr
0に含まれるK×K個の画素の画素データのみが取得さ
れる。また、このとき、上記予測信号生成器213で
は、上記分数画素精度を有する動きベクトルの値の小数
部を用いて、上記取得したK×K個の画素データに補間
処理を施して、上記分数画素精度を有する動きベクトル
により指定された予測ブロックの画素データが生成され
る。一方、演算負荷量が所定の基準値を超えないときに
は、上記予測処理部210では第2のデータ生成処理が
行われる。つまり、上記アドレス生成器212では、分
数画素精度を有する動きベクトルの値の整数部を用い
て、上記参照フレームに存在する拡張参照領域(図12
(c) に示す参照領域Sr)に含まれるK' ×K'個の画
素の画素データを取得するためのアクセスアドレスAd
が生成される。これにより上記予測信号生成器213で
は、参照領域Srに含まれるK' ×K' 個の画素の画素
データのみが取得される。このとき、上記予測信号生成
器213では、上記分数画素精度を有する動きベクトル
の値の分数部を用いて、上記取得したK'×K' 個の画
素データに補間処理を施して、上記分数画素精度を有す
る動きベクトルにより指定された予測ブロックの画素デ
ータが生成される。
【0084】ここで、上記拡張参照領域の縦横のサイズ
を規定する画素数K' は、1つの補間画素の生成に必要
となる画素の数(つまり、補間処理に用いるフィルタの
タップ数)の関数となっており、K=8で、かつタップ
数が2である場合には、K'=9となる。
【0085】次に動作について説明する。図5はこの実
施の形態2の画像復号化装置による予測復号化処理の流
れを示す図である。本実施の形態2の画像復号化装置2
00の動作は、実施の形態1の画像復号化装置100と
基本的に同じであるが、復号化処理における演算負荷量
に応じて、予測処理部210での処理が、第1のデータ
生成処理(実施の形態1の動き補償処理)と第2のデー
タ生成処理(従来の動き補償処理)の間で切替えられる
点で、実施の形態1の画像復号化装置とは異なってい
る。
【0086】つまり、0.5画素精度の動きベクトルに
基づいて、K×K個の参照画素のみを用いる場合には、
上記第1のデータ生成処理を行い、0.5画素精度の動
きベクトルに基づいて、K' ×K'個 (K' >K)の参
照画素を取得する場合には、第2のデータ生成処理を行
う。また、上記負荷判定手段(負荷測定器)221で
は、演算負荷量の検出の際には、一枚の画像を復号化す
るのに要する時間を測定し、測定した復号化時間が所定
の閾値を超える場合は、第1のデータ生成処理が、測定
時間が閾値を超えない場合は、第2のデータ生成処理が
行われる。
【0087】言い換えると、演算処理の負荷が高いとき
はより簡単な第1のデータ生成処理(実施の形態1の動
き補償処理)を、演算負荷が低いときは、第2のデータ
生成処理(従来の動き補償処理)を行う。また上記閾値
は、画像を表示するための時間によって決まる。例え
ば、一秒間に30枚の画像を表示する場合、1フレーム
の画像符号化データの復号化時間は1/30秒以内に処
理を終えないといけない。従って、この場合の閾値は1
/30×0.8秒を用いる。
【0088】なお、上記演算負荷量の判定は、復号化時
間に基づいて行うのではなく、フレームメモリに対する
アクセス頻度を用いて行うようにしてもよい。さらに、
演算負荷量の大小判定を、フレームメモリに対するアク
セスバンド幅(フレームメモリに対して複数ビット同時
にアクセスするパラレルアクセスの際のビット数)に基
づいて行うようにしてもよい。この場合、上記バンド幅
が設定幅を超えるか否かに応じて、第1,第2のデータ
生成処理の切替を行う。またさらに、上記演算負荷の大
小判定は、画像符号化データの種類に基づいて行うこと
もできる。例えば、一例として、画像符号化データが、
オーバーラップ動き補償を行うか否かの識別子を有する
場合には、この識別子からオーバーラップ動き補償を行
うべきと認識されるときには、処理が簡単な第1のデー
タ生成処理を行い、この識別子からオーバーラップ動き
補償を行う必要がないと認識される場合には、高画質保
持のために望ましい第2のデータ生成処理を行うように
してもよい。また他の例として、入力される画像符号化
データが形状データを含むか否かによって、上記第1,
第2のデータ生成処理を切り替えるようにしてもよい。
具体的には、入力される画像符号化データが、形状信号
とテクスチャー信号を含む任意形状画像信号を符号化し
て得られるものである場合には、演算処理量が少ない第
1のデータ生成処理を行い、一方、入力される画像符号
化データが、形状信号を含まない画像信号を符号化して
得られるものである場合には、高画質保持のために望ま
しい第2のデータ生成処理を行うようにしてもよい。
【0089】以下、図5に示す復号化処理のフローに従
って、実施の形態2の画像復号化装置200の動作を詳
しく説明する。まず、上記画像復号化装置200に、M
PEG1などの方法で画像データを圧縮して得られる画
像符号化データが入力されると(ステップS41)、上
記解析器102では、画像符号化データが解析処理によ
り、量子化されたDCT係数(量子化係数),量子化
幅,及び動きベクトルに分離されるとともに、これらの
画像情報の値が、対応する符号データから対応する数値
データに変換して出力される(ステップS42)。
【0090】次に、上記復号化器103では、まず逆量
子化器103aにより、対象ブロックに対応する量子化
係数に、K×K個の画素単位で逆量子化処理が施され、
さらに、逆離散コサイン変換器103bにより、該逆量
子化により得られた復元DCT係数IQgが逆離散コサ
イン変換されて、K×K個の画素データからなる復元デ
ータ(差分データ)Dgが生成される(ステップS4
3)。
【0091】次に、上記画像復号化装置200における
CPU220の負荷判定器221にて、復号化処理にお
ける演算負荷が所定の閾値を超えているか否かの判定が
行われる(ステップS44)。なお、この負荷の判定方
法については上述した方法を用いる。そして、この負荷
判定の結果に基づいて、参照フレームにおける画素デー
タから動き補償により予測データを生成する方法が決定
される。
【0092】つまり、演算負荷が閾値を超えるときは、
実施の形態1におけるステップS24及びステップS2
5の処理と同一の処理がそれぞれステップS45及びS
46にて行われて、対象ブロックに対応する予測データ
が生成される。一方、演算負荷が閾値を超えないとき
は、図11に示す従来の動き補償を行うステップS7
4,S75の処理と同様の処理がそれぞれステップS4
7及びS48で行われて対象ブロックに対応する予測デ
ータが生成される。そして、加算器105にて、上記生
成された予測データが、上記復元データ(差分データ)
と加算されて対象ブロックに対する再生データRgが生
成される(ステップS49)。
【0093】その後、上記対象ブロックが画像を構成す
る最終フレームにおける最後のブロックであるか否かの
判定が行われ(ステップS50)、該対象ブロックが最
後のブロックでなければ、上記ステップS41〜S50
の処理が再度行われ、該対象ブロックが最後のブロック
であれば、上記復号化処理は終了する。
【0094】このように本実施の形態2では、復号化処
理の際に演算負荷を測定し、該演算負荷の高いときは、
予測ブロックに対応する0.5画素精度の画素データ
を、対象ブロックと同一サイズの参照領域Sr0内に位
置するK×K個の画素の画素データのみを用いた補間処
理により求め、演算負荷が低いときは、予測ブロックに
対応する0.5画素精度の画素データを、対象ブロック
と同一サイズの参照領域内及びその周辺に位置するK'
×K' (K' =K+フィルタのタップ長/2)個の画素
の画素データを用いた補間処理により求めるようにした
ので、演算負荷の低いときは最高の画質を保証しつつ画
像を再生することができ、しかも、演算負荷の高いとき
は、実質的な画質の劣化を招くことなく復号化処理の中
断を避けることができ、動きの滑らかな画像が再生でき
る。
【0095】(実施の形態3)図6は、本発明の実施の
形態3による画像処理装置である画像符号化装置を説明
するためのブロック図である。この画像符号化装置30
0は、個々の画素の画素データからなる画像データを、
K×K画素からなるブロック単位で圧縮し符号化する符
号化処理を、複数のブロックからなるフレーム毎に行っ
て、各フレームに対応する画像符号化データを順次生成
するものである。
【0096】この画像符号化装置300は、符号化の対
象となる対象ブロックの画像データSgからその予測値
である予測データ(予測ブロックの画素データ)Pgを
減算して、対象ブロックに対応する差分データDSgを
生成する減算器302と、上記対象ブロックの差分デー
タDSgを圧縮して対象ブロックの圧縮データCSgを
生成する情報圧縮器303と、圧縮データCSgを可変
長符号化する可変長符号化器(VLC)305とを有し
ている。ここで、この情報圧縮器303は、上記差分デ
ータDSgに、空間領域のデータを周波数領域のデータ
に変換する離散コサイン変換(DCT)処理を施してD
CT係数TSgを生成する離散コサイン変換器303a
と、該DCT係数TSgを量子化して量子化係数(圧縮
データ)CSgを生成する量子化器303bとから構成
されている。
【0097】また、上記画像符号化装置300は、上記
対象ブロックの圧縮データCSgを伸長して対象ブロッ
クの復元差分データICgを生成する情報伸長器304
と、上記対象ブロックの復元差分データICgとその予
測データPgとの加算処理により、対象ブロックに対応
する局所再生データLRgを生成する加算器315とを
有している。ここで、上記情報伸長器304は、上記量
子化係数(圧縮データ)CSgを逆量子化して復元DC
T係数ITgを生成する逆量子化器(IQ)304a
と、該復元DCT係数ITgに、周波数領域のデータを
空間領域のデータに変換する逆離散コサイン変換処理を
施して復元差分データICgを生成する逆離散コサイン
変換器(IDCT)304bとから構成されている。
【0098】また、上記画像符号化装置300は、上記
所要のフレームに対応する局所再生データLRgを格納
するフレームメモリ311と、上記対象ブロックの動き
ベクトルMVに基づいて、上記フレームメモリ311に
格納された参照フレームの局所再生データから、上記対
象ブロックの画素データの予測値として予測ブロックの
画素データPgを算出する予測処理部310とを備えて
いる。
【0099】この予測処理部310は、入力端子301
aから入力される画像データに基づいて、対象ブロック
に対する動きベクトルMVを検出する動き検出器312
と、対象ブロックの動きベクトルMVに基づいて、上記
フレームメモリ311から参照データMgを読み出すた
めのアクセスアドレスAd2を生成するアドレス生成器
313と、上記フレームメモリ311から読み出された
参照データMgを受け、上記動きベクトルMVに基づい
て対象ブロックに対応する予測データ(予測ブロックの
画素データ)Pgを生成する予測信号生成器314とを
有し、分数画素精度を有する動きベクトルにより指定さ
れた予測ブロックの画素データを、上記参照フレームに
おける、上記対象ブロックと同一サイズの参照領域に含
まれるK×K個の画素のみの画素データに基づいて生成
するよう構成されている。
【0100】次に動作について説明する。図7はこの実
施の形態3の画像符号化装置による予測符号化処理の流
れを示す図である。本画像符号化装置300に画像デー
タSgが入力されると(ステップS61)、減算器30
2では、符号化処理の対象となるマクロブロック(対象
ブロック)と、該対象ブロックに対応する画像データの
予測値である予測データ(予測ブロックの画素データ)
との差分が差分データDSgとして算出され(ステップ
S62)、この差分データDSgは情報圧縮器303に
て圧縮データCSgに変換される(ステップS63)。
具体的には、上記差分データDSgは、離散コサイン変
換器303aにて離散コサイン変換(DCT)によりD
CT係数TSgに変換され、このDCT係数TSgはさ
らに量子化器303bにて量子化されて量子化係数(圧
縮データ)CSgに変換される。そしてこの圧縮データ
CSgは、可変長符号化器305により可変長符号化さ
れて画像符号化データEgとして出力され、伝送あるい
は記録される。
【0101】また、このとき、上記圧縮データCSgは
情報伸長器304での伸長処理により復元差分データI
Cgに変換される。つまり、上記量子化係数(圧縮デー
タ)CSgは、逆量子化器304aにて逆量子化処理に
より復元DCT係数ITgに変換され、さらにこの復元
DCT係数ITgは、逆離散コサイン変換器304bに
て、周波数領域のデータを空間領域のデータに変換する
処理が施されて、復元差分データICgに変換される。
【0102】上記のように対象ブロックに対する画像デ
ータの符号化処理が行われている状態にて、上記予測処
理部310では、対象ブロックに対する予測データ,つ
まり予測ブロックの画素データの生成が行われる(ステ
ップS64,S65)。
【0103】つまり、動き検出器312では、入力端子
301aからの対象ブロックに対応する画像データSg
と、フレームメモリ内に格納されている、参照フレーム
(被処理フレームの前に符号化処理が施された前フレー
ム)に対応する局所再生データLRgとに基づいて、対
象ブロックに対する動きベクトルMVが検出される。す
ると、アドレス生成器313では、この動きベクトルM
Vに基づいて、フレームメモリ311をアクセスするた
めのアクセスアドレスAd2が生成され、このアクセス
アドレスAd2に基づいてフレームメモリ311から、
参照フレームにおける、上記動きベクトルにより指定さ
れる参照領域(対象ブロックと同一サイズの領域)の画
素データが予測データ生成器314に読み出される。予
測データ生成器314では、フレームメモリ311から
読み出された画素データMg2に基づいて、分数画素精
度を有する動きベクトルMVにより指定された予測ブロ
ックの画素データPgが生成される。
【0104】本実施の形態3では、水平方向及び垂直方
向の画素精度が1/2画素精度(分数画素精度)である
予測データを生成する場合、動きベクトルの値の整数部
で指定した参照フレーム上の位置を基準として、対象ブ
ロックと同一サイズの参照領域Sr0(図2(b) ,(c)
参照)におけるK×K個の参照データが予測信号生成器
314にて取得される(ステップS64)。上記予測信
号生成器314では、取得したK×K個の画素データ
に、実施の形態1で説明した所定の補間処理を施して1
/2画素精度(分数画素精度)の予測データを生成する
(ステップS65)。
【0105】さらに、加算器315では、対象ブロック
の復元差分データICgと予測データPgとが加算され
て、対象ブロックの局所再生データLRgが生成される
(ステップS66)。なお、この局所再生データLRg
は、フレームメモリ311に格納される。
【0106】そして、最後に、上記入力された対象ブロ
ックの画像データが、画像を構成する最終フレームにお
ける最後のブロックに対応するものであるか否かの判定
が行われ(ステップS67)、上記画像データが最後の
ブロックに対応するものでなければ、上記ステップS6
1〜S67が再度行われ、上記画像データが最後のブロ
ックに対応するものであれば、符号化処理が終了する。
【0107】このように本実施の形態3では、画像デー
タの予測符号化処理の際に、分数画素精度でもって予測
データ(予測ブロックの画素データ)を生成する場合、
参照画素として、符号化の対象となる対象ブロックと同
一サイズを有する、参照フレーム上の参照領域内の画素
のみを用いて、これらの画素間に位置する補間画素の画
素データを生成するので、参照フレームから取得する画
素データの数は、対象ブロックを構成する画素の数と同
一となり、言い換えると、参照領域の外側に位置する画
素の画素データを取得する必要がなくなる。このため、
符号化処理の際には予測データの精度を劣化させること
なく、フレームメモリに対するアクセスバンド幅を削減
することができるといった効果が得られる。
【0108】また、この実施の形態3の画像符号化装置
により符号化された画像符号化データは、上記実施の形
態1の画像復号化装置を用いることにより正しく復号化
することが可能である。
【0109】(実施の形態4)図8は本発明の実施の形
態4による画像処理装置である画像符号化装置を説明す
るためのブロック図である。この実施の形態4の画像符
号化装置400は、上記実施の形態3の画像復号化装置
300と同様、符号化処理の対象となるマクロブロック
(対象ブロック)の画像データとその予測データとの差
分データDSgを求める減算器302と、該減算器30
2の出力Agとしての差分データDSgを圧縮して圧縮
データCSgを生成する情報圧縮器303と、該圧縮デ
ータCSgを可変長符号化する可変長符号化器305
と、上記対象ブロックの圧縮データCSgを伸長して対
象ブロックに対応する伸長データ(復元差分データ)I
Cgを生成する情報伸長器304と、上記対象ブロック
の復元差分データICgと、対象ブロックに対応する予
測データPgとの加算処理により、対象ブロックに対応
する局所再生データLRgを生成する加算器315とを
有している。
【0110】また、上記画像符号化装置400は、上記
所要のフレームに対応する局所再生データLRgを格納
するフレームメモリ311と、上記対象ブロックの動き
ベクトルMVに基づいて、上記フレームメモリ311に
格納された参照フレームの局所再生データから、上記対
象ブロックの画像データの予測値として予測ブロックの
画素データを算出する予測処理部410とを備えてい
る。
【0111】そして本実施の形態4では、画像符号化装
置400における符号化処理に伴う演算処理及び各部の
制御を行う制御装置(CPU)420は、加算器315
の出力である局所再生データLRgに基づいて、1フレ
ームの画像の局所復号処理に要する時間を測定して、符
号化処理における演算負荷量が、基準負荷量を超えてい
るか否かを判定する負荷判定器421を含み、該負荷判
定器421からの負荷判定結果に応じた制御信号C2
が、上記予測処理部410を構成するアドレス生成器4
13及び予測信号生成器414に出力されるようになっ
ている。
【0112】また、本実施の形態4では、上記アドレス
生成器413は、上記動きベクトルMVだけでなく、上
記負荷判定器421からの制御信号C2にも基づいて、
フレームメモリ311にアクセスするためのアクセスア
ドレスAd2を生成する構成となっており、上記予測信
号生成器414は、上記動きベクトルMV及び制御信号
C2に基づいて、分数画素精度を有する動きベクトルに
より指定された予測データ(予測ブロックの画素デー
タ)Pgを生成する構成となっている。
【0113】すなわち、上記予測処理部410では、上
記負荷判定器421での負荷判定の結果、演算負荷量が
所定の基準値を超えるとき、分数画素精度の動きベクト
ルにより指定された予測ブロックの画素データPgを、
上記参照フレームにおける、上記対象ブロックと同一サ
イズの参照領域に含まれるK×K個の画素のみの画素デ
ータに基づいて生成する第1のデータ生成処理が行わ
れ、一方、該演算負荷量が所定の基準値を超えないと
き、上記参照フレームSFにおける、対象ブロックより
サイズの大きい参照領域Sr(図12(c) 参照)内に位
置するK' ×K' 個の画素の画素データに基づいて生成
する第2のデータ生成処理が行われる。ここで、上記参
照領域Srは、図2(c) では、参照領域Sr0とその周
辺の領域(●表示の複製画素が配置されている領域)と
からなる領域(拡張参照領域)に相当する。
【0114】具体的には、上記符号化処理における演算
負荷量が所定の基準値を超えるときには、上記予測処理
部410では第1のデータ生成処理が行われる。つま
り、上記アドレス生成器413では、負荷判定器421
からの制御信号C2に基づいて、分数画素精度を有する
動きベクトルの値の整数部を用いて、上記参照フレーム
SFにおける、上記対象ブロックと同一サイズの参照領
域Sr0(図2(b) ,(c) 参照)に含まれるK×K個の
画素の画素データのみを取得するためのアクセスアドレ
スAd2が生成される。これにより上記予測信号生成器
414では、上記参照領域Sr0に含まれるK×K個の
画素の画素データのみが取得される。また、このとき、
上記予測信号生成器414では、上記分数画素精度を有
する動きベクトルの値の小数部を用いて、上記取得した
K×K個の画素データに補間処理が施されて、上記分数
画素精度を有する動きベクトルにより指定された予測ブ
ロックの画素データがされる。
【0115】一方、演算負荷量が所定の基準値を超えな
いときには、上記予測処理部410では第2のデータ生
成処理が行われる。つまり、上記アドレス生成器413
では、分数画素精度を有する動きベクトルの値の整数部
を用いて、上記参照フレームに存在する拡張参照領域
(図12(b) ,(c) に示す参照領域Srに相当)に含ま
れるK' ×K' 個の画素の画素データを取得するための
アクセスアドレスAd2が生成される。これにより上記
予測信号生成器414では、上記参照領域Srに含まれ
るK' ×K' 個の画素の画素データのみが取得される。
このとき、上記予測信号生成器414では、上記分数画
素精度を有する動きベクトルの値の分数部を用いて、上
記取得したK' ×K' 個の画素データに補間処理を施し
て、上記分数画素精度を有する動きベクトルにより指定
された予測ブロックの画素データが生成される。
【0116】ここで、上記拡張参照領域の縦横のサイズ
を規定する画素数K' は、1つの補間画素の生成に必要
となる画素の数(つまり、補間処理に用いるフィルタの
タップ数)の関数となっており、K=8で、かつタップ
数が2である場合には、K'=9となる。
【0117】次に動作について説明する。図9はこの実
施の形態4の画像符号化装置による予測符号化処理の流
れを示す図である。本画像符号化装置400に画像デー
タSgが入力されると(ステップS81)、減算器30
2では、符号化処理の対象となるマクロブロック(対象
ブロック)の画像データとその予測データの差分が差分
データDSgとして算出され(ステップS82)、この
差分データDSgは情報圧縮器303にて圧縮データC
Sgに変換される(ステップS83)。そしてこの圧縮
データCSgは、可変長符号化器305により可変長符
号化されて画像符号化データEgとして出力され、伝送
あるいは記録される。
【0118】次に、上記画像符号化装置400における
CPU420の負荷判定器421にて、符号化処理にお
ける演算負荷量が所定の閾値を超えているか否かの判定
が行われる。なお、この演算負荷量の判定方法について
は、上記実施の形態2で示したいくつかの方法のうちの
適当なものを用いる。そして、この負荷判定の結果に基
づいて、参照フレームにおける画素データから動き補償
により予測データを生成する方法が決定される(ステッ
プS84)。
【0119】つまり、負荷が閾値を超えるときは、実施
の形態3におけるステップS64及びステップS65の
処理と同一の処理がそれぞれステップS85及びS86
にて行われて対象ブロックに対応する予測データが生成
される。一方、負荷が閾値を超えないときは、図12に
示す従来の動き補償を行うステップS74,S75の処
理と同様の処理がそれぞれステップS87及びS88で
行われて対象ブロックに対応する予測データが生成され
る。
【0120】そして、加算器315にて、上記生成され
た予測データPgが、上記復元差分データICgと加算
されて、対象ブロックに対応する局所再生データLRg
が生成される(ステップS89)。
【0121】その後、入力された対象ブロックの画像デ
ータが、画像を構成する最終フレームにおける最後のブ
ロックに対応するものであるか否かの判定が行われ(ス
テップS90)、上記対象ブロックの画像データが最後
のブロックに対応するものでなければ、上記ステップS
81〜ステップS90の処理が再度行われ、対象ブロッ
クの画像データが最後のブロックに対応するのもであれ
ば、この予測符号化処理が終了する。
【0122】このように本実施の形態4では、符号化処
理の際に演算負荷を測定し、該演算負荷の高いときは、
予測ブロックに対応する0.5画素精度の画素データ
を、対象ブロックと同一サイズの参照領域Sr0(図2
参照)内に位置するK×K個の画素の画素データのみを
用いた補間処理により求め、演算負荷が低いときは、予
測ブロックに対応する0.5画素精度の画素データを、
対象ブロックと同一サイズの参照領域内及びその周辺に
位置するK' ×K' (K' =K+フィルタのタップ長/
2)個の画素の画素データを用いた補間処理により求め
るようにしたので、演算負荷の低いときは最高の画質を
保証しつつ、画像データの符号化を行うことができ、し
かも、演算負荷の高いときは、復号化側での実質的な画
質の劣化を招くことなく符号化処理を良好に行うことが
できる。
【0123】(実施の形態5)図10は本発明の実施の
形態5による画像処理装置としての画像復号化装置を説
明するためのブロック図である。この実施の形態5の画
像復号化装置500は、手動操作により発生される動作
モード切り換え信号Pmoにより、復号化処理における
動作モードを通常動作モードと低電力動作モードとの間
で切り換え可能な構成となっている。
【0124】この画像復号化装置500は、上記実施の
形態2の画像復号化装置200における負荷判定器22
1を有するCPU220に代えて、上記モード切り換え
信号Pmoに基づいて低電力モードの判定を行って、判
定結果に対応する制御信号C5を出力する低電力モード
判定器521を有する制御装置(CPU)520を備え
ている。この制御装置520は、上記低電力モード判定
器521以外の構成は実施の形態2の制御装置(CP
U)220と全く同一の構成となっている。
【0125】また、この画像復号化装置500は、上記
実施の形態2の画像復号化装置200における予測処理
部210に代えて、上記制御信号C5に基づいて、予測
ブロックの画像データPgの生成処理を、上記第1のデ
ータ生成処理と第2のデータ生成処理との間で切り換え
て行う予測処理部510を備えている。
【0126】この予測処理部510では、上記モード判
定の結果、動作モードが低電力動作モードであるとき、
分数画素精度の動きベクトルにより指定された予測ブロ
ックの画素データを、上記参照フレームにおける、上記
対象ブロックと同一サイズの参照領域Sr0(図2参
照)に含まれるK×K個の画素のみの画素データに基づ
いて生成する第1のデータ生成処理が行われ、一方、上
記動作モードが通常動作モードであるとき、該予測ブロ
ックの画素データを、上記参照フレームSFにおける、
対象ブロックよりサイズの大きい参照領域Sr(図12
(c) 参照)内に位置するK' ×K' 個の画素の画素デー
タに基づいて生成する第2のデータ生成処理が行われ
る。ここで、上記参照領域Srは、図2(c) では、参照
領域Sr0とその周辺の領域(●表示の複製画素が配置
されている領域)とからなる領域(拡張参照領域)に相
当する。
【0127】従って、上記予測処理部510を構成する
アドレス生成器512及び予測信号生成器513は、入
力される制御信号が低電力モード判定器521の出力C
5である点以外は、実施の形態2の予測処理部210に
おける、入力される制御信号が負荷判定器221の出力
C2であるアドレス生成器212及び予測信号生成器2
13と全く同一の構成となっている。
【0128】そして、本実施の形態5の画像復号化装置
500は、上記予測処理部510及び制御装置520以
外の構成は、実施の形態2の画像復号化装置200と全
く同一となっている。
【0129】次に動作について説明する。図11は上記
実施の形態5の画像復号化装置による予測復号化処理の
流れを示す図である。本実施の形態5の画像復号化装置
500では、上記実施の形態2の画像復号化装置200
のように、演算負荷量が閾値より大きいか否かによって
予測データの生成処理が切り換えられるのではなく、手
動操作により発生されるモード切り換え信号Pmoに対
応した装置の動作モードに応じて、予測処理部510で
の処理が、上記第1のデータ生成処理と上記第2のデー
タ生成処理の間で切替えられる。この画像復号化装置5
00のその他の動作は、上記実施の形態2の画像復号化
装置200におけるものと同一である。
【0130】つまり、この画像復号化装置500では、
モード切り換え信号Pmoにより示される動作モードが
低消費電力モードであるときは、予測処理部510にて
上記第1のデータ生成処理が行われ、モード切り換え信
号Pmoにより示される動作モードが通常動作モードで
あるときは、予測処理部510にて上記第2のデータ生
成処理が行われる。
【0131】以下、図11に示す復号化処理のフローに
従って、実施の形態5の画像復号化装置500の動作を
簡単に説明する。まず、上記画像復号化装置500への
画像符号化データの入力(ステップS41)、上記解析
器102における、DCT係数(量子化係数),量子化
幅,及び動きベクトル等の画像情報の、対応する符号デ
ータから対応する数値データへの変換(ステップS4
2)、及び上記復号化器103での逆量子化処理及び逆
離散コサイン変換(ステップS43)は、上記実施の形
態2の画像復号化装置200と全く同様に行われる。
【0132】そして、この実施の形態5の画像復号化装
置500では、CPU520の低電力モード判定器52
1にて、外部からのモード切り換え信号Pmoに基づい
て動作モードの判定が行われる(ステップS54)。こ
のモード判定の結果に基づいて、参照フレームにおける
画素データから動き補償により予測データを生成する方
法が決定される。
【0133】つまり、上記動作モードが低電力動作モー
ドであるときは、実施の形態1におけるステップS24
及びステップS25の処理と同一の処理がそれぞれステ
ップS45及びS46にて行われて、対象ブロックに対
応する予測データが生成される。一方、上記動作モード
が通常動作モードであるときは、図17に示す従来の動
き補償を行うステップS74,S75の処理と同様の処
理がそれぞれステップS47及びS48で行われて対象
ブロックに対応する予測データが生成される。
【0134】その後は、加算器105での上記生成され
た予測データと、上記復元データ(差分データ)との加
算処理により対象ブロックに対する再生データRgが生
成され(ステップS49)、上記対象ブロックが画像を
構成する最終フレームにおける最後のブロックであるか
否かの判定が行われる(ステップS50)。
【0135】この判定の結果、該対象ブロックが最後の
ブロックでなければ、上記ステップS41〜S43,S
54,S45〜S50の処理が再度行われ、該対象ブロ
ックが最後のブロックであれば、上記復号化処理は終了
する。
【0136】このように本実施の形態5では、画像符号
化データを所定のブロック単位で復号化する際、対象ブ
ロックに対応する動きベクトルに基づいて、参照フレー
ムの画素データから対象ブロックに対する予測データを
算出する予測処理を行い、上記予測処理では、上記モー
ド切り換え信号Pmoにより示される動作モードが通常
動作モードであるか低消費電力モードであるかに応じ
て、分数画素精度の動きベクトルに基づいて予測データ
を求める処理を、対象ブロックと同一サイズの参照領域
に含まれるM×N個の画素のみを用いる第1の処理と、
上記参照領域及びその周辺領域を含む拡張参照領域に含
まれるP×Q(PはMより大きい整数,QはNより大き
い整数)個の画素を用いる第2の処理の間で切り替える
ようにしたので、上記動作モードが通常モードであると
きは、予測データを求める処理として上記第2の処理を
行うことにより、最高の画質を保証しつつ画像を再生す
ることができ、しかも、上記動作モードが低消費電力モ
ードであるときは、予測データを求める処理として上記
第1の処理を行うことにより、実質的な画質の劣化を招
くことなく復号化処理の中断を避けることができ、動き
の滑らかな画像が再生できるという効果がある。
【0137】なお、上記実施の形態5では、手動操作に
より発生されるモード切り換え信号Pmoにより、復号
化処理における動作モードを、2つのモード,つまり通
常動作モードと低電力動作モードとの間で切り換えるも
のを示したが、手動操作により発生されるモード切り換
え信号Pmoにより、復号化処理における動作モードを
3つのモードの間で切り換えるようにしてもよい。
【0138】例えば、第1の動作モードでは、上記予測
処理部にて上記第2のデータ生成処理を行い、第2の動
作モードでは、上記予測処理部にて第1のデータ生成処
理を行い、さらに第3の動作モードでは、上記予測処理
部にて実施の形態2の画像復号化装置と同様、演算負荷
量が所定の基準値を超えるか否かに応じて、第1のデー
タ生成処理と第2のデータ生成処理とを切り換えて行う
ようにしてもよい。
【0139】また、上記実施の形態5では、手動操作に
より発生されるモード切り換え信号Pmoを受けて、低
電力モードの判定を行う判定器521を有する制御装置
(CPU)を備え、該モード判定の結果に応じて、復号
化処理における動作モードを通常動作モードと低電力動
作モードとの間で切り換え可能な構成とした画像復号化
装置を示したが、動作モードの切り換えは、電源の種類
に応じて自動的に行うようにしてもよい。
【0140】例えば、バッテリー電源とACアダプタに
より一般的な100V商用電源のいずれの電源によって
も駆動可能な構成の携帯用画像処理装置では、バッテリ
ー電源から電力を供給されているときには、予測処理部
にて上記第1のデータ生成処理を行い、100V商用電
源から電力を供給されているときには、予測処理部にて
上記第2のデータ生成処理を行うようにしてもよい。
【0141】このような画像処理装置は、バッテリー電
源と一般的な100V商用電源のいずれの電源から電力
が供給されているかを検出し、該電源の種類の検出結果
に応じて、上記低消費電力モードに相当する第1のモー
ド判定信号と、上記通常動作モードに相当する第2のモ
ード判定信号の一方を制御信号C5として予測処理部5
10に供給する電源検出手段を有するCPUを備えるこ
とにより実現できる。
【0142】また、上記実施の形態5では、手動操作に
より発生されるモード切り換え信号Pmoにより、復号
化処理における動作モードを、2つのモード,つまり通
常動作モードと低電力動作モードとの間で切り換え、予
測処理部では各動作モードに対応する第1あるいは第2
のデータ生成処理を行うものを示したが、このような予
測処理部でのデータ生成処理の切り換えは、符号化処理
においても行うことができる。
【0143】例えば、図8に示す実施の形態4の画像符
号化装置400におけるCPU400に代えて、手動操
作により生成されるモード切り換え信号Pmoに基づい
て低電力モードの判定を行って、判定結果に対応する制
御信号を出力する低電力モード判定器を有する制御装置
(CPU)を備え、さらに、上記実施の形態4の画像復
号化装置400における予測処理部304に代えて、上
記制御信号に基づいて、予測ブロックの画像データの生
成処理を、上記第1のデータ生成処理と第2のデータ生
成処理との間で切り換えて行う予測処理部を備えてもよ
い。
【0144】(実施の形態6)図12は本発明の実施の
形態6による画像処理装置としての画像復号化装置を説
明するためのブロック図である。この実施の形態6の画
像復号化装置600は、バッテリー電源10からの電力
により駆動される構成となっている。また、この画像復
号化装置600は、上記実施の形態2の画像復号化装置
200における負荷判定器221を有するCPU220
に代えて、上記バッテリー電源10の電圧Vdを測定
し、所定の基準電圧と測定した電圧との比較結果に対応
する制御信号C6を出力する電源電圧モニタ621を有
する制御装置(CPU)620を備えている。この制御
装置620は、上記電源電圧モニタ621以外の構成は
実施の形態2の画像復号化装置200における制御装置
(CPU)220と全く同一の構成となっている。
【0145】また、この画像復号化装置600は、上記
実施の形態2の画像復号化装置200における予測処理
部210に代えて、上記制御信号C6に基づいて、予測
ブロックの画像データPgの生成処理を、上記第1のデ
ータ生成処理と第2のデータ生成処理との間で切り換え
て行う予測処理部610を備えている。
【0146】この予測処理部610では、上記測定した
電源電圧Vdと基準電圧との比較の結果、上記電源電圧
Vdが基準電圧より低いとき、分数画素精度の動きベク
トルにより指定された予測ブロックの画素データを、上
記参照フレームにおける、上記対象ブロックと同一サイ
ズの参照領域Sr0(図2参照)に含まれるK×K個の
画素のみの画素データに基づいて生成する第1のデータ
生成処理が行われ、一方、上記電源電圧Vdが基準電圧
以上であるとき、該予測ブロックの画素データを、上記
参照フレームSFにおける、対象ブロックよりサイズの
大きい参照領域Sr(図12(c) 参照)内に位置する
K' ×K' 個の画素の画素データに基づいて生成する第
2のデータ生成処理が行われる。ここで、上記参照領域
Srは、図2(c) では、参照領域Sr0とその周辺の領
域(●表示の複製画素が配置されている領域)とからな
る領域(拡張参照領域)に相当する。
【0147】従って、上記予測処理部610を構成する
アドレス生成器612及び予測信号生成器613は、入
力される制御信号が電源電圧モニタ621の出力C6で
ある以外は、実施の形態2の予測処理部210におけ
る、入力される制御信号が負荷判定器221の出力C2
であるアドレス生成器212及び予測信号生成器213
と全く同一の構成となっている。
【0148】そして、本実施の形態6の画像復号化装置
600は、上記予測処理部610及び制御装置620以
外の構成は、実施の形態2の画像復号化装置200と全
く同一となっている。
【0149】次に動作について説明する。図13は上記
実施の形態6の画像復号化装置による予測復号化処理の
流れを示す図である。本実施の形態6の画像復号化装置
600では、上記実施の形態2の画像復号化装置200
のように、演算負荷量が閾値より大きいか否かによって
予測データの生成処理が切り換えられるのではなく、バ
ッテリー電源10の電圧Vdと基準電圧との比較結果に
応じて、予測処理部610での処理が、上記第1のデー
タ生成処理と上記第2のデータ生成処理の間で切替えら
れる。この画像復号化装置600のその他の動作は、上
記実施の形態2の画像復号化装置200におけるものと
同一である。
【0150】つまり、この画像復号化装置600では、
バッテリー電源10の電圧Vdが基準電圧以上であると
きは、予測処理部610にて上記第1のデータ生成処理
が行われ、バッテリー電源10の電圧Vdが基準電圧よ
り低下したときは、上記予測処理部610にて上記第2
のデータ生成処理が行われる。
【0151】以下、図13に示す復号化処理のフローに
従って、実施の形態6の画像復号化装置600の動作を
簡単に説明する。まず、上記画像復号化装置600への
画像符号化データの入力(ステップS41)、上記解析
器102における、DCT係数(量子化係数),量子化
幅,及び動きベクトル等の画像情報の、対応する符号デ
ータから対応する数値データへの変換(ステップS4
2)、及び上記復号化器103での、逆量子化処理及び
逆離散コサイン変換(ステップS43)は、上記実施の
形態2の画像復号化装置200と全く同様に行われる。
【0152】そして、この実施の形態6の画像復号化装
置600では、CPU620の電源電圧モニタ621に
て、上記バッテリー電源10の電圧Vdと基準電圧との
比較が行われる(ステップS64)。この比較結果に基
づいて、参照フレームにおける画素データから動き補償
により予測データを生成する方法が決定される。
【0153】つまり、上記バッテリー電源10の電圧V
dが基準電圧より低いときは、実施の形態1におけるス
テップS24及びステップS25の処理と同一の処理が
それぞれステップS45及びS46にて行われて、対象
ブロックに対応する予測データが生成される。一方、上
記バッテリー電源10の電圧Vdが基準電圧以上である
ときは、図17に示す従来の動き補償を行うステップS
74,S75の処理と同様の処理がそれぞれステップS
47及びS48で行われて対象ブロックに対応する予測
データが生成される。
【0154】その後は、加算器105での上記生成され
た予測データと、上記復元データ(差分データ)との加
算処理により対象ブロックに対する再生データRgが生
成され(ステップS49)、上記対象ブロックが画像を
構成する最終フレームにおける最後のブロックであるか
否かの判定が行われる(ステップS50)。この判定の
結果、該対象ブロックが最後のブロックでなければ、上
記ステップS41〜S43,S64,S45〜S50の
処理が再度行われ、該対象ブロックが最後のブロックで
あれば、上記復号化処理は終了する。
【0155】このように本実施の形態6では、バッテリ
ー電源により駆動される画像復号化装置にて画像符号化
データを所定のブロック単位で復号化する際、対象ブロ
ックに対応する動きベクトルに基づいて、参照フレーム
の画素データから対象ブロックに対する予測データを算
出する予測処理を行い、上記予測処理では、上記バッテ
リー電源の電圧に応じて、分数画素精度の動きベクトル
に基づいて予測データを求める処理を、対象ブロックと
同一サイズの参照領域に含まれるM×N個の画素のみを
用いる第1の処理と、上記参照領域及びその周辺領域を
含む拡張参照領域に含まれるP×Q(PはMより大きい
整数,QはNより大きい整数)個の画素を用いる第2の
処理の間で切り替えるようにしたので、バッテリー電源
の電圧が十分高いときは、予測データを求める処理とし
て上記第1の処理を行うことにより、最高の画質を保証
しつつ画像を再生することができる。しかも、バッテリ
ー電源の電圧が低下したときでも、予測データを求める
処理として上記第2の処理を行うことにより、実質的な
画質の劣化や復号化処理の中断を招くことなく、動きの
滑らかな画像を再生できるという効果がある。
【0156】なお、上記実施の形態6では、バッテリー
電源により駆動される画像復号化装置において、バッテ
リー電源の電圧が基準電圧より低いか否かに応じて、復
号化処理における動作モードを通常動作モードと低電力
動作モードとの間で切り換え、予測処理部では各動作モ
ードに対応する第1あるいは第2のデータ生成処理を行
うものを示したが、このような予測処理部でのデータ生
成処理の切り換えは、符号化処理においても行うことが
できる。
【0157】例えば、図8に示す実施の形態4の画像符
号化装置400におけるCPU400に代えて、該画像
符号化装置のバッテリー電源の電圧を測定して、該測定
した電圧が基準電圧より低いか否かに応じて制御信号を
出力する電源電圧モニタを有する制御装置(CPU)を
備え、さらに、上記実施の形態4の画像復号化装置40
0における予測処理部304に代えて、上記制御信号に
基づいて、予測ブロックの画像データの生成処理を、上
記第1のデータ生成処理と第2のデータ生成処理との間
で切り換えて行う予測処理部を備えてもよい。
【0158】このようなバッテリー電源の電圧が基準電
圧より大きいか否かによって、予測データの生成処理を
切り換えるようにした画像符号化装置を、ビデオカメラ
等の撮影装置に搭載することにより、バッテリー電力を
節約して長時間にわたって撮影が可能な撮影装置を実現
することができる。
【0159】(実施の形態7)図14は本発明の実施の
形態7による画像処理装置としての画像復号化装置を説
明するためのブロック図である。この実施の形態7の画
像復号化装置700は、実施の形態6の画像復号化装置
600と同様、該バッテリー電源10からの電力により
駆動される構成となっている。また、この画像復号化装
置700は、上記実施の形態2の画像復号化装置200
における、負荷判定器221を有するCPU220に代
えて、上記バッテリー電源10の電圧Vdを測定し、測
定した電圧(モニタ電圧)を、第1の基準電圧とこれよ
り高い第2の基準電圧と比較して、これらの基準電圧と
測定電圧との大小関係に応じた比較出力Vmoを出力す
る電源電圧モニタ722と、1フレームの画像の復号化
処理に要する時間を測定して、復号化処理における演算
負荷量が基準負荷量を超えているか否かを判定する負荷
判定器721と、上記比較出力Vmo及び負荷判定器7
21での判定結果に対応する判定信号Lmoに基づいて
制御信号C7を出力する予測処理制御手段723とを有
する制御装置(CPU)720を備えている。この制御
装置720は、上記負荷判定器721,電源電圧モニタ
722,及び予測処理制御手段723以外の構成は実施
の形態2の制御装置(CPU)220と全く同一の構成
となっている。
【0160】ここで、上記予測処理制御手段723は、
上記モニタ電圧が第1の基準電圧より低いときは、低消
費電力処理を示す制御信号C7を出力し、上記モニタ電
圧が第2の基準電圧以上であるときは、通常処理を示す
制御信号C7を出力し、上記モニタ電圧が第1の基準電
圧以上かつ第2の基準電圧未満であるときは、負荷判定
器721の出力Lmoを上記制御信号C7として出力す
る構成となっている。
【0161】また、この画像復号化装置700は、上記
実施の形態2の画像復号化装置200における予測処理
部210に代えて、上記制御信号C7に基づいて、予測
ブロックの画像データPgの生成処理を、上記第1のデ
ータ生成処理と第2のデータ生成処理との間で切り換え
て行う予測処理部710を備えている。
【0162】この予測処理部710では、上記測定した
電源電圧Vdと基準電圧との比較の結果、上記電源電圧
Vdが第1の基準電圧より小さいとき、分数画素精度の
動きベクトルにより指定された予測ブロックの画素デー
タを、上記参照フレームにおける、上記対象ブロックと
同一サイズの参照領域Sr0(図2参照)に含まれるK
×K個の画素のみの画素データに基づいて生成する第1
のデータ生成処理が行われ、一方、上記電源電圧Vdが
第2の基準電圧以上であるとき、該予測ブロックの画素
データを、上記参照フレームSFにおける、対象ブロッ
クよりサイズの大きい参照領域Sr(図12(c) 参照)
内に位置するK' ×K' 個の画素の画素データに基づい
て生成する第2のデータ生成処理が行われる。
【0163】また、上記電源電圧Vdが第1の基準電圧
以上でかつ第2の基準電圧未満であるとき、上記負荷測
定器721の出力Lmoに基づいて上記第1及び第2の
データ生成処理が行われる。つまり、演算負荷量が所定
の基準値を超えるとき上記第1のデータ生成処理が行わ
れ、一方、演算負荷量が所定の基準値を超えていないと
き上記第2のデータ生成処理が行われる。
【0164】ここで、上記参照領域Srは、図2(c) で
は、参照領域Sr0とその周辺の領域(●表示の複製画
素が配置されている領域)とからなる領域(拡張参照領
域)に相当する。
【0165】従って、上記予測処理部710を構成する
アドレス生成器712及び予測信号生成器713は、入
力される制御信号が予測制御手段723の出力C7であ
る以外は、実施の形態2の予測処理部210における、
入力される制御信号が負荷判定器221の出力C2であ
るアドレス生成器212及び予測信号生成器213と全
く同一の構成となっている。
【0166】そして、本実施の形態7の画像復号化装置
700は、上記予測処理部710及び制御装置720以
外の構成は、実施の形態2の画像復号化装置200と全
く同一となっている。
【0167】次に動作について説明する。図15は上記
実施の形態7の画像復号化装置による予測復号化処理の
流れを示す図である。本実施の形態7の画像復号化装置
700では、上記実施の形態2の画像復号化装置200
のように、演算負荷量が閾値より大きいか否かによって
予測データの生成処理が切り換えられるのではなく、バ
ッテリー電源10の電圧Vdと第1,第2の基準電圧と
の比較結果、及び演算負荷量と基準負荷量との比較結果
に応じて、予測処理部710での処理が、上記第1のデ
ータ生成処理と上記第2のデータ生成処理の間で切替え
られる。この画像復号化装置700のその他の動作は、
上記実施の形態2の画像復号化装置200におけるもの
と異なっている。
【0168】つまり、この画像復号化装置700では、
バッテリー電源10の電圧Vdが第2の基準電圧以上で
あるときは、予測処理部710では、上記第1のデータ
生成処理が行われ、バッテリー電源10の電圧Vdが第
1の基準電圧より低下したときは、上記第2のデータ生
成処理が行われる。さらにバッテリー電源10の電圧V
dが第1の基準電圧以上でかつ第2の基準電圧未満ある
ときは、上記演算負荷量が基準値を超えている場合に
は、上記第1のデータ生成処理が行われ、上記演算負荷
量が基準値を超えていない場合には、上記第2のデータ
生成処理が行われる。
【0169】以下、図15に示す復号化処理のフローに
従って、実施の形態7の画像復号化装置700の動作を
簡単に説明する。まず、上記画像復号化装置700への
画像符号化データの入力(ステップS41)、上記解析
器102における、DCT係数(量子化係数),量子化
幅,及び動きベクトル等の画像情報の、対応する符号デ
ータから対応する数値データへの変換(ステップS4
2)、及び上記復号化器103での、逆量子化処理及び
逆離散コサイン変換(ステップS43)は、上記実施の
形態2の画像復号化装置200と全く同様に行われる。
【0170】そして、この実施の形態7の画像復号化装
置700では、CPU720の電源電圧モニタ721に
て、上記バッテリー電源10の電圧Vdと第1,第2の
基準電圧との比較が行われる(ステップS71,S7
2)。この比較結果に基づいて、参照フレームにおける
画素データから動き補償により予測データを生成する方
法が決定される。
【0171】つまり、上記バッテリー電源10の電圧V
dと第1の基準電圧との比較が行われ(ステップS7
1)、上記バッテリー電源10の電圧Vdが第1の基準
電圧より低いときは、実施の形態1におけるステップS
24及びステップS25の処理と同一の処理がそれぞれ
ステップS45及びS46にて行われて、対象ブロック
に対応する予測データが生成される。一方、上記バッテ
リー電源10の電圧Vdが第1の基準電圧以上であると
きは、上記バッテリー電源10の電圧Vdと第2の基準
電圧との比較が行われる(ステップS72)。
【0172】この結果、上記バッテリー電源10の電圧
Vdが第2の基準電圧以上であるときは、図17に示す
従来の動き補償を行うステップS74,S75の処理と
同様の処理がそれぞれステップS47及びS48で行わ
れて対象ブロックに対応する予測データが生成される。
一方、上記バッテリー電源10の電圧Vdが第2の基準
電圧より低いときは、上記演算負荷測定器721にて、
復号化処理における演算負荷が所定の閾値を超えている
か否かの判定が行われる(ステップS44)。
【0173】この判定の結果、復号化処理における演算
負荷が所定の閾値を超えている場合は、実施の形態1に
おけるステップS24及びステップS25の処理と同一
の処理がそれぞれステップS45及びS46にて行わ
れ、対象ブロックに対応する予測データが生成される。
一方、復号化処理における演算負荷が所定の閾値を超え
ていない場合は、図17に示す従来の動き補償を行うス
テップS74,S75の処理と同様の処理がそれぞれス
テップS47及びS48で行われて対象ブロックに対応
する予測データが生成される。
【0174】その後は、加算器105での上記生成され
た予測データと、上記復元データ(差分データ)との加
算処理により対象ブロックに対する再生データRgが生
成され(ステップS49)、上記対象ブロックが画像を
構成する最終フレームにおける最後のブロックであるか
否かの判定が行われる(ステップS50)。この判定の
結果、該対象ブロックが最後のブロックでなければ、上
記ステップS41〜S43,S71,S72,S44〜
S50の処理が再度行われ、該対象ブロックが最後のブ
ロックであれば、上記復号化処理は終了する。
【0175】このように本実施の形態7では、バッテリ
ー電源により駆動される画像符号化装置にて画像符号化
データを所定のブロック単位で復号化する際、対象ブロ
ックに対応する動きベクトルに基づいて、参照フレーム
の画素データから対象ブロックに対する予測データを算
出する予測処理を行い、上記予測処理では、上記バッテ
リー電源の電圧及び上記復号化処理における演算負荷量
に応じて、分数画素精度の動きベクトルに基づいて予測
データを求める処理を、対象ブロックと同一サイズの参
照領域に含まれるM×N個の画素のみを用いる第1の処
理と、上記参照領域及びその周辺領域を含む拡張参照領
域に含まれるP×Q(PはMより大きい整数,QはNよ
り大きい整数)個の画素を用いる第2の処理の間で切り
替えるようにしたので、バッテリー電源の電圧が十分高
いときは、予測データを求める処理として上記第2の処
理を行うことにより、最高の画質を保証しつつ画像を再
生できる。
【0176】また、バッテリー電源の電圧が若干低下し
たときには、予測データを求める処理を、上記復号化処
理における演算負荷量に応じて上記第1の処理と第2の
処理の間で切り換えることにより、画像再生処理を行う
ことが可能となる。
【0177】さらに、バッテリー電源の電圧がかなり低
下したときでも、予測データを求める処理として上記第
1の処理を行うことにより、実質的な画質の劣化や復号
化処理の中断を招くことなく、動きの滑らかな画像を再
生することが可能となる。
【0178】これにより、バッテリー駆動の画像復号化
装置にてバッテリー電源の電圧と演算負荷量の大きさに
応じたきめ細かな制御を行って、実質的な画質の劣化や
復号化処理の中断を招くことなく、動きの滑らかな画像
の再生をより長時間にわたって行うことができるという
効果がある。
【0179】なお、上記実施の形態7では、バッテリー
電源により駆動される画像復号化装置において、バッテ
リー電源の電圧が基準電圧より低いか、及び演算負荷量
が所定の閾値より大きいか否か応じて、予測処理部にお
ける予測データの生成処理を、演算負荷の軽い第1のデ
ータ生成処理と演算負荷の重い第2のデータ生成処理と
の間で切り換えるものを示したが、このような予測処理
部でのデータ生成処理の切り換えは、符号化処理におい
ても行うことができる。
【0180】例えば、図8に示す実施の形態4の画像符
号化装置400におけるCPU400に代えて、該画像
符号化装置のバッテリー電源の電圧を測定して、該測定
した電圧と第1及び第2の基準電圧の大小関係を判定す
る電源電圧モニタ、演算負荷量が所定の閾値より大きい
か否かを判定する負荷測定器、及びバッテリー電圧の判
定結果及び演算負荷量の判定結果に応じて制御信号を出
力する予測処理制御手段を有する制御装置(CPU)を
備える。また、上記実施の形態4の画像復号化装置40
0における予測処理部を、上記バッテリー電源の電圧が
第2の基準電圧(高い基準電圧)以上である場合には、
第1のデータ生成処理を行い、上記バッテリー電源の電
圧が第1の基準電圧(低い基準電圧)より低い場合に
は、第2のデータ生成処理を行い、上記バッテリー電源
の電圧が第1の基準電圧以上でかつ第2の基準電圧未満
である場合には、演算負荷量が所定の閾値を超えている
とき第1のデータ生成処理を行い、演算負荷量が所定の
閾値を超えていないとき第2のデータ生成処理を行う構
成とする。
【0181】さらに、上記各実施の形態では、予測処理
部における第2のデータ生成処理を行う際、フレームメ
モリ111あるいは311からは1つのブロックを構成
する9×9個の画素に対応する画素データを読みだすも
のについて説明したが、この第2のデータ生成処理で
は、動きベクトルMVの精度に応じて、上記フレームメ
モリから8×8個の画素,8×9個の画素,9×8個の
画素に対応する画素データを読みだすようにしてもよ
い。
【0182】例えば、上記予測処理部に入力される動き
ベクトルの値(水平成分及び垂直成分)が0.5画素精
度で表されている場合には、第2のデータ生成処理で
は、上記フレームメモリから9×9個の画素に対応する
画素データを読みだす。また、動きベクトルの水平成分
が1画素精度で、その垂直成分が0.5画素精度で表さ
れている場合には、第2のデータ生成処理では、上記フ
レームメモリから8×9個の画素に対応する画素データ
を読みだす。また、動きベクトルの水平成分が0.5画
素精度で、その垂直成分が1画素精度でされている場合
には、第2のデータ生成処理では、上記フレームメモリ
から9×8個の画素に対応する画素データを読みだす。
さらに、動きベクトルの水平成分及び垂直成分がともに
1画素精度で表されている場合には、第2のデータ生成
処理では、上記フレームメモリから8×8個の画素に対
応する画素データを読みだす。
【0183】また、上記各実施の形態では、復号化方式
あるいは符号化方式として、MPEG1等に準拠した、
1フレームの画像を、これを構成する物体毎に区分せず
に一括して処理するものを対象として説明を行ったが、
本発明の対象となる符号化方式としては、MPEG4に
準拠した、1画面(1フレーム)を構成する個々の物体
に対応する画像データを、物体毎に別々に圧縮符号化す
る符号化方式も挙げられ、また、本発明の対象となる復
号化方式としても、このようなMPEG4に準拠した符
号化方式に対応したものが挙げられる。
【0184】さらに、上記各実施の形態で示した符号化
装置あるいは復号化装置の構成を実現するための符号化
あるいは復号化プログラムを、フロッピーディスク等の
データ記憶媒体に記録するようにすることにより、上記
各実施の形態で示した処理を、独立したコンピュータシ
ステムにおいて簡単に実施することが可能となる。
【0185】図16は、上記実施の形態1あるいは2の
復号化処理、または実施の形態3あるいは4の符号化処
理を、上記復号化プログラムまたは符号化プログラムを
格納したフロッピーディスクを用いて、コンピュータシ
ステムにより実施する場合を説明するための図である。
【0186】図16(a) は、フロッピーディスクの正面
からみた外観、断面構造、及びフロッピーディスク本体
を示し、図16(b) は、フロッピーディスク本体の物理
フォーマットの例を示している。フロッピーディスク本
体DはケースF内に内蔵され、該ディスク本体Dの表面
には、同心円状に外周からは内周に向かって複数のトラ
ックTrが形成され、各トラックは角度方向に16のセ
クタSeに分割されている。従って、上記プログラムを
格納したフロッピーディスクFDでは、上記フロッピー
ディスク本体D上に割り当てられた領域に、上記プログ
ラムとしてのデータが記録されている。
【0187】また、図16(c) は、フロッピーディスク
FDに上記プログラムの記録再生を行うための構成を示
す。上記プログラムをフロッピーディスクFDに記録す
る場合は、コンピュータシステムCsから上記プログラ
ムとしてのデータを、フロッピーディスクドライブFDD
を介して書き込む。また、フロッピーディスクFD内の
プログラムにより上記画像符号化装置あるいは画像復号
化装置をコンピュータシステムCs中に構築する場合
は、フロッピーディスクドライブFDDによりプログラム
をフロッピーディスクFDから読み出し、コンピュータ
システムCsに転送する。
【0188】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いてもソフトウェアによる上記画像復号化処理
及び画像符号化処理を上記と同様に行うことができる。
また、記録媒体はこれらに限らず、ICカード、ROM
カセット等、プログラムを記録できるものであれば、ソ
フトウェアによる上記画像復号化処理及び画像符号化処
理を、同様に実施することができる。
【0189】
【発明の効果】以上のようにこの発明(請求項1)に係
る画像処理方法によれば、画像符号化データをブロック
単位で復号化する際、対象ブロックに対応する動きベク
トルに基づいて、参照フレームから対象ブロックの予測
データを算出する予測処理を行い、上記予測処理では、
分数画素精度を有する動きベクトルにより指定された予
測データを、上記参照フレームにおける、上記対象ブロ
ックと同一サイズの参照領域に含まれるM×N個の画素
のみの画素データに基づいて生成するので、予測データ
の生成の際に参照フレームから取得する画素データの数
が、常に対象ブロックを構成する画素の数と同一とな
る。このため、フレームメモリに格納された参照フレー
ムの画像データから得られる予測データの精度を劣化さ
せることなく、フレームメモリに対するアクセスバンド
幅を削減することができる。
【0190】また、参照領域の画素データに対する補間
処理を行うためのフィルタ(すなわちタップ長)が変更
されても、参照画素として参照フレームから取得する画
素の個数は常に同じであるため、メモリアクセスのバン
ド幅を変更する必要がなくなる。また、参照領域の外側
では、補間画素として、参照領域内の補間画素を繰り返
し用いることにより、補間画素の画素値を求めるための
演算量を削減することができる。
【0191】さらに、画像データの送信側で、従来の動
き補償における予測処理を用いて画像データを予測符号
化して得られる画像符号化データを、受信側で、本発明
の動き補償における予測処理を用いて予測復号化した場
合でも、予測データは、予測ブロックの境界における画
素データが送信側と異なるだけであるので、送信側と受
信側との間での予測データの不一致による再生画像の画
質劣化は無視できるという効果もある。
【0192】この発明(請求項2)によれば、請求項1
記載の画像処理方法において、上記予測処理を、上記分
数画素精度を有する動きベクトルの値の整数部を用い
て、上記参照フレームにおける、上記対象ブロックと同
一サイズの参照領域に含まれるM×N個の画素の画素デ
ータのみを取得するデータ取得処理と、上記分数画素精
度を有する動きベクトルの値の分数部を用いて、上記取
得したM×N個の画素の画素データに補間処理を施し
て、上記分数画素精度を有する動きベクトルにより指定
された予測ブロックの画像再生データを生成するデータ
再生処理に分けているので、動きベクトルの値の小数部
が0である場合には、データ取得処理のみ行うことによ
り、簡単に対象ブロックに対応する予測データを生成す
ることができる。
【0193】この発明(請求項3)によれば、請求項1
記載の画像処理方法において、上記予測処理におけるデ
ータ再生処理では、上記参照フレームにおける、上記対
象ブロックと同一サイズの参照領域の境界に位置する補
間画素の画素データを、上記参照領域の境界に隣接して
位置する画素の画素データのみを用いた補間処理により
生成するので、補間処理が簡単なものとなる。
【0194】この発明(請求項4)に係る画像処理装置
によれば、画像符号化データをブロック単位で復号化す
る画像復号化装置において、対象ブロックの動きベクト
ルに基づいて、フレームメモリに格納された参照フレー
ムの画素データから、対象ブロックの予測データを算出
する予測処理部を備え、予測処理部を、分数画素精度を
有する動きベクトルにより指定された予測ブロックの画
像再生データを、上記参照フレームにおける、上記対象
ブロックと同一サイズの参照領域に含まれるM×N個の
画素のみの画素データに基づいて生成するよう構成した
ので、予測データの生成の際に参照フレームから取得す
る画素データの数が、常に対象ブロックを構成する画素
の数と同一となり、このため、フレームメモリ内に格納
されている画素データから得られる予測データの精度を
劣化させることなく、フレームメモリに対するアクセス
バンド幅を削減することができる。また、1つの補間画
素の生成に用いる参照領域の画素の数が変更されても、
参照画素として参照フレームから取得する画素の個数は
常に同じであるため、メモリアクセスのバンド幅を変更
する必要がなくなる。さらに、従来の動き補償における
予測処理を用いて画像データを予測符号化して得られる
画像符号化データを、本発明の動き補償における予測処
理を用いて予測復号化した場合でも、予測データは、予
測ブロックの境界における画素データが送信側と異なる
だけであるので、送信側と受信側との間での予測データ
の不一致による再生画像の画質劣化は無視できるという
効果もある。
【0195】この発明(請求項5)に係る画像処理方法
によれば、画像符号化データを所定のブロック単位で復
号化する際、対象ブロックに対応する動きベクトルに基
づいて、参照フレームの画素データから対象ブロックに
対する予測データを算出する予測処理を行い、上記予測
処理では、上記復号化処理における演算負荷量に応じ
て、分数画素精度の動きベクトルに基づいて予測データ
を求める処理を、対象ブロックと同一サイズの参照領域
に含まれるM×N個の画素のみを用いる第1の処理と、
上記参照領域及びその周辺領域を含む拡張参照領域に含
まれるP×Q(PはMより大きい整数,QはNより大き
い整数)個の画素を用いる第2の処理の間で切り替える
ようにしたので、演算負荷の低いときは最高の画質を保
証しつつ画像を再生することができ、しかも、演算負荷
の高いときは、実質的な画質の劣化を招くことなく復号
化処理の中断を避けることができ、動きの滑らかな画像
が再生できる効果がある。
【0196】この発明(請求項6)によれば、請求項5
記載の画像処理方法において、上記予測処理を、上記分
数画素精度を有する動きベクトルの値の整数部を用い
て、上記対象ブロックと同一サイズの参照領域に含まれ
るM×N個の画素の画素データのみを取得するデータ取
得処理と、上記分数画素精度を有する動きベクトルの値
の分数部を用いて、上記取得したM×N個の画素の画素
データに補間処理を施して、上記分数画素精度を有する
動きベクトルにより指定された予測ブロックの画像再生
データを生成するデータ再生処理に分けているので、動
きベクトルの値の小数部が0である場合には、データ取
得処理のみ行うことにより、簡単に対象ブロックに対応
する予測データを生成することができる。
【0197】この発明(請求項7)に係る画像処理方法
によれば、画像符号化データを所定のブロック単位で復
号化する際、対象ブロックに対応する動きベクトルに基
づいて、参照フレームの画素データから対象ブロックに
対する予測データを算出する予測処理を行い、上記予測
処理では、上記復号化処理のモードが通常モードである
か低消費電力モードであるかに応じて、分数画素精度の
動きベクトルに基づいて予測データを求める処理を、対
象ブロックと同一サイズの参照領域に含まれるM×N個
の画素のみを用いる第1の処理と、上記参照領域及びそ
の周辺領域を含む拡張参照領域に含まれるP×Q(Pは
Mより大きい整数,QはNより大きい整数)個の画素を
用いる第2の処理の間で切り替えるようにしたので、復
号化処理のモードが通常モードであるときは、予測デー
タを求める処理として上記第2の処理を行うことによ
り、最高の画質を保証しつつ画像を再生することがで
き、しかも、復号化処理のモードが低消費電力モードで
あるときは、予測データを求める処理として上記第1の
処理を行うことにより、実質的な画質の劣化を招くこと
なく復号化処理の中断を避けることができ、動きの滑ら
かな画像が再生できるという効果がある。
【0198】この発明(請求項8)に係る画像処理方法
によれば、バッテリー電源により駆動される端末装置に
て画像符号化データを所定のブロック単位で復号化する
際、対象ブロックに対応する動きベクトルに基づいて、
参照フレームの画素データから対象ブロックに対する予
測データを算出する予測処理を行い、上記予測処理で
は、上記バッテリー電源の電圧に応じて、分数画素精度
の動きベクトルに基づいて予測データを求める処理を、
対象ブロックと同一サイズの参照領域に含まれるM×N
個の画素のみを用いる第1の処理と、上記参照領域及び
その周辺領域を含む拡張参照領域に含まれるP×Q(P
はMより大きい整数,QはNより大きい整数)個の画素
を用いる第2の処理の間で切り替えるようにしたので、
バッテリー電源の電圧が十分高いときは、予測データを
求める処理として上記第1の処理を行うことにより、最
高の画質を保証しつつ画像を再生することができる。し
かも、バッテリー電源の電圧が低下したときでも、予測
データを求める処理として上記第2の処理を行うことに
より、実質的な画質の劣化や復号化処理の中断を招くこ
となく、動きの滑らかな画像を再生できるという効果が
ある。
【0199】この発明(請求項9)に係る画像処理方法
によれば、バッテリー電源により駆動される端末装置に
て画像符号化データを所定のブロック単位で復号化する
際、対象ブロックに対応する動きベクトルに基づいて、
参照フレームの画素データから対象ブロックに対する予
測データを算出する予測処理を行い、上記予測処理で
は、上記バッテリー電源の電圧及び上記復号化処理にお
ける演算負荷量に応じて、分数画素精度の動きベクトル
に基づいて予測データを求める処理を、対象ブロックと
同一サイズの参照領域に含まれるM×N個の画素のみを
用いる第1の処理と、上記参照領域及びその周辺領域を
含む拡張参照領域に含まれるP×Q(PはMより大きい
整数,QはNより大きい整数)個の画素を用いる第2の
処理の間で切り替えるようにしたので、バッテリー電源
の電圧が十分高いときは、予測データを求める処理とし
て上記第2の処理を行うことにより、最高の画質を保証
しつつ画像を再生できる。
【0200】また、バッテリー電源の電圧が若干低下し
たときには、予測データを求める処理を、上記復号化処
理における演算負荷量に応じて上記第1の処理と第2の
処理の間で切り換えることにより、画像再生処理を行う
ことが可能となる。
【0201】さらに、バッテリー電源の電圧がかなり低
下したときでも、予測データを求める処理として上記第
1の処理を行うことにより、実質的な画質の劣化や復号
化処理の中断を招くことなく、動きの滑らかな画像を再
生することが可能となる。
【0202】これにより、バッテリー駆動の端末装置に
てバッテリー電源の電圧と演算負荷量の大きさに応じた
きめ細かな制御を行って、実質的な画質の劣化や復号化
処理の中断を招くことなく、動きの滑らかな画像の再生
をより長時間にわたって行うことができるという効果が
ある。
【0203】この発明(請求項10)に係る画像処理装
置によれば、画像符号化データをブロック単位で復号化
する画像復号化装置において、対象ブロックの動きベク
トルに基づいて、フレームメモリに格納された参照フレ
ームの画素データから、対象ブロックの予測データを算
出する予測処理部を備え、該予測処理部を、上記復号化
処理における演算負荷量に応じて、分数画素精度の動き
ベクトルに基づいて予測データを求める処理を、対象ブ
ロックと同一サイズの参照領域に含まれるM×N個の画
素のみを用いる第1の処理と、上記参照領域及びその周
辺領域を含む拡張参照領域に含まれるP×Q(PはMよ
り大きい整数,QはNより大きい整数)個の画素を用い
る第2の処理の間で切り替えるよう構成したので、演算
負荷の低いときは最高の画質を保証しつつ画像を再生す
ることができ、しかも、演算負荷の高いときは、実質的
な画質の劣化を招くことなく復号化処理の中断を避ける
ことができ、動きの滑らかな画像が再生できる効果があ
る。
【0204】この発明(請求項11)に係る画像復号化
装置によれば、画像符号化データをブロック単位で復号
化する画像復号化装置において、対象ブロックの動きベ
クトルに基づいて、フレームメモリに格納された参照フ
レームの画素データから、対象ブロックの予測データを
算出する予測処理部を備え、該予測処理部を、上記復号
化処理のモードが通常モードであるか低消費電力モード
であるかに応じて、分数画素精度の動きベクトルに基づ
いて予測データを求める処理を、対象ブロックと同一サ
イズの参照領域に含まれるM×N個の画素のみを用いる
第1の処理と、上記参照領域及びその周辺領域を含む拡
張参照領域に含まれるP×Q(PはMより大きい整数,
QはNより大きい整数)個の画素を用いる第2の処理の
間で切り替える構成としたので、復号化処理のモードが
通常モードであるときは、予測データを求める処理とし
て上記第1の処理を行って、最高の画質を保証しつつ画
像を再生することができ、しかも、復号化処理のモード
が低消費電力モードであるときは、予測データを求める
処理として上記第2の処理を行って、実質的な画質の劣
化を招くことなく復号化処理の中断を避けることがで
き、動きの滑らかな画像が再生できるという効果があ
る。
【0205】この発明(請求項12)に係る画像復号化
装置によれば、バッテリー電源により駆動され、画像符
号化データをブロック単位で復号化する画像復号化装置
において、対象ブロックの動きベクトルに基づいて、フ
レームメモリに格納された参照フレームの画素データか
ら、対象ブロックの予測データを算出する予測処理部を
備え、該予測処理部を、上記バッテリー電源の電圧に応
じて、分数画素精度の動きベクトルに基づいて予測デー
タを求める処理を、対象ブロックと同一サイズの参照領
域に含まれるM×N個の画素のみを用いる第1の処理
と、上記参照領域及びその周辺領域を含む拡張参照領域
に含まれるP×Q(PはMより大きい整数,QはNより
大きい整数)個の画素を用いる第2の処理の間で切り替
える構成としたので、バッテリー電源の電圧が十分高い
ときには、予測データを求める処理として上記第1の処
理を行って、最高の画質を保証しつつ画像を再生するこ
とができ、しかも、バッテリー電源の電圧が低下したと
きでも、予測データを求める処理として上記第2の処理
を行って、実質的な画質の劣化や復号化処理の中断を招
くことなく、動きの滑らかな画像を再生できるという効
果がある。
【0206】この発明(請求項13)に係る画像復号化
装置によれば、バッテリー電源により駆動され、画像符
号化データをブロック単位で復号化する画像復号化装置
において、対象ブロックの動きベクトルに基づいて、フ
レームメモリに格納された参照フレームの画素データか
ら、対象ブロックの予測データを算出する予測処理部を
備え、該予測処理部を、上記バッテリー電源の電圧及び
上記復号化処理における演算負荷量に応じて、分数画素
精度の動きベクトルに基づいて予測データを求める処理
を、対象ブロックと同一サイズの参照領域に含まれるM
×N個の画素のみを用いる第1の処理と、上記参照領域
及びその周辺領域を含む拡張参照領域に含まれるP×Q
(PはMより大きい整数,QはNより大きい整数)個の
画素を用いる第2の処理の間で切り替えるようにしたの
で、バッテリー電源の電圧が十分高いときは、予測デー
タを求める処理として上記第2の処理を行って、最高の
画質を保証しつつ画像を再生できる。
【0207】また、バッテリー電源の電圧が若干低下し
たときには、予測データを求める処理を、上記復号化処
理における演算負荷量に応じて上記第1の処理と第2の
処理の間で切り換えて、画像再生処理を行うことが可能
となる。
【0208】さらに、バッテリー電源の電圧がかなり低
下したときでも、予測データを求める処理として第1の
処理を行って、実質的な画質の劣化や復号化処理の中断
を招くことなく、動きの滑らかな画像を再生することが
可能となる。
【0209】これによりバッテリー駆動の画像処理装置
にてバッテリー電源の電圧と演算負荷量の大きさに応じ
たきめ細かな制御を行って、実質的な画質の劣化や復号
化処理の中断を招くことなく、動きの滑らかな画像の再
生をより長時間にわたって行うことができるという効果
がある。
【0210】この発明(請求項14)に係る画像処理方
法によれば、画像データをブロック単位で符号化する
際、対象ブロックに対応する動きベクトルに基づいて、
参照フレームから対象ブロックの予測データを算出する
予測処理を行い、上記予測処理では、分数画素精度を有
する動きベクトルにより指定された予測データを、上記
参照フレームにおける、上記対象ブロックと同一サイズ
の参照領域に含まれるM×N個の画素のみの画素データ
に基づいて生成するので、予測データの生成の際に参照
フレームから取得する画素データの数が、常に対象ブロ
ックを構成する画素の数と同一となる。このため、フレ
ームメモリに格納された参照フレームの画像データから
得られる予測データの精度を劣化させることなく、フレ
ームメモリに対するアクセスバンド幅を削減することが
できる等の請求項1の画像処理方法と同様な効果が得ら
れる。
【0211】この発明(請求項15)に係る画像処理装
置によれば、画像データをブロック単位で符号化する画
像符号化装置において、対象ブロックの動きベクトルに
基づいて、フレームメモリに格納された参照フレームの
画素データから、対象ブロックの予測データを算出する
予測処理部を備え、予測処理部を、分数画素精度を有す
る動きベクトルにより指定された予測ブロックの画像再
生データを、上記参照フレームにおける、上記対象ブロ
ックと同一サイズの参照領域に含まれるM×N個の画素
のみの画素データに基づいて生成するよう構成したの
で、予測データの生成の際に参照フレームから取得する
画素データの数が、常に対象ブロックを構成する画素の
数と同一となり、このため、フレームメモリ内に格納さ
れている画素データから得られる予測データの精度を劣
化させることなく、フレームメモリに対するアクセスバ
ンド幅を削減することができる等の上記請求項4の画像
処理装置と同様な効果が得られる。
【0212】この発明(請求項16)に係る画像処理方
法によれば、画像データをブロック単位で符号化する
際、対象ブロックに対応する動きベクトルに基づいて、
参照フレームの画素データから対象ブロックに対する予
測データを算出する予測処理を行い、上記予測処理で
は、上記符号化処理における演算負荷量に応じて、分数
画素精度の動きベクトルに基づいて予測データを求める
処理を、対象ブロックと同一サイズの参照領域に含まれ
るM×N個の画素のみを用いる第1の処理と、上記参照
領域及びその周辺領域を含む拡張参照領域に含まれるP
×Q(PはMより大きい整数,QはNより大きい整数)
個の画素を用いる第2の処理の間で切り替えるようにし
たので、演算負荷の低いときは最高の画質を保証しつつ
画像データの符号化処理を行うことができ、しかも、演
算負荷の高いときは、実質的な画質の劣化を招くことな
く符号化処理の中断を避けることができるといった効果
がある。
【0213】この発明(請求項17)に係る画像処理装
置によれば、画像データをブロック単位で符号化する画
像符号化装置において、対象ブロックの動きベクトルに
基づいて、フレームメモリに格納された参照フレームの
画素データから、対象ブロックの予測データを算出する
予測処理部を備え、該予測処理部を、上記符号化処理に
おける演算負荷量に応じて、分数画素精度の動きベクト
ルに基づいて予測データを求める処理を、対象ブロック
と同一サイズの参照領域に含まれるM×N個の画素のみ
を用いる第1の処理と、上記参照領域及びその周辺領域
を含む拡張参照領域に含まれるP×Q(PはMより大き
い整数,QはNより大きい整数)個の画素を用いる第2
の処理の間で切り替えるよう構成したので、演算負荷の
低いときは最高の画質を保証しつつ画像データの符号化
処理を行うことができ、しかも、演算負荷の高いとき
は、実質的な画質の劣化を招くことなく復号化処理の中
断を避けることができる効果がある。
【0214】この発明(請求項18)に係るデータ記憶
媒体によれば、コンピュータにより画像処理を行うため
のプログラムを格納したデータ記憶媒体であって、上記
プログラムを、コンピュータに、請求項1,2,3,
5,6,7,8,9,14,16のいずれかに記載の画
像処理方法による画像処理を行わせるよう構成したの
で、このデータ記憶媒体を用いることにより、動き補償
を伴う予測符号化あるいは予測復号化を行う際、フレー
ムメモリに格納された参照フレームの画像データから得
られる予測データの精度を劣化させることなく、参照フ
レームにおける画素値補間のための演算処理量、あるい
はフレームメモリに対するアクセスバンド幅を削減する
ことができる画像処理をソフトウェアにより実現でき
る。
【図面の簡単な説明】
【図1】本発明の実施の形態1による画像処理装置であ
る画像復号化装置を説明するためのブロック図である。
【図2】上記実施の形態1の画像復号化装置による予測
復号化処理における動き補償を説明するための模式図で
あり、被処理フレーム(図(a)),参照フレーム(図
(b)),及び参照領域(図(c))を示している。
【図3】上記実施の形態1の画像復号化装置による予測
復号化処理の流れを示す図である。
【図4】本発明の実施の形態2による画像処理装置であ
る画像復号化装置を説明するためのブロック図である。
【図5】上記実施の形態2の画像復号化装置による予測
復号化処理の流れを示す図である。
【図6】本発明の実施の形態3による画像処理装置であ
る画像符号化装置を説明するためのブロック図である。
【図7】上記実施の形態3の画像符号化装置による予測
符号化処理の流れを示す図である。
【図8】本発明の実施の形態4による画像処理装置であ
る画像符号化装置を説明するためのブロック図である。
【図9】上記実施の形態4の画像符号化装置による予測
符号化処理の流れを示す図である。
【図10】本発明の実施の形態5による画像処理装置で
ある画像復号化装置を説明するためのブロック図であ
る。
【図11】上記実施の形態5の画像復号化装置による予
測復号化処理の流れを示す図である。
【図12】本発明の実施の形態6による画像処理装置で
ある画像復号化装置を説明するためのブロック図であ
る。
【図13】上記実施の形態6の画像復号化装置による予
測復号化処理の流れを示す図である。
【図14】本発明の実施の形態7による画像処理装置で
ある画像復号化装置を説明するためのブロック図であ
る。
【図15】上記実施の形態7の画像復号化装置による予
測復号化処理の流れを示す図である。
【図16】上記各実施の形態の画像処理装置による画像
処理をコンピュータシステムにより実現するためのプロ
グラムを格納したデータ記憶媒体を説明するための図で
あり、フロッピーディスクの概略構成(図(a) ),ディ
スク本体(図(b) ), コンピュータシテスム(図(c)
)を示している。
【図17】従来の画像復号化方法における処理の流れを
示す図である。
【図18】従来の画像復号化方法における動き補償を説
明するための模式図であり、被処理フレーム(図
(a)),参照フレーム(図(b)),及び参照領域(図
(c))を示している。
【符号の説明】
10 電源バッテリー 100,200,500,600,700 画像復号化
装置 101a,301a 入力端子 101b,301b 出力端子 102 解析器 103 復号化器 103a,304a 逆量子化器(IQ) 103b,304b 逆離散コサイン変換器(IDC
T) 105,315 加算器 110,210,310,410,510,610,7
10 予測処理部 111,311 フレームメモリ(FM) 112,212,313,413,512,612,7
12 アドレス生成器 113,213,314,414,513,613,7
13 予測信号生成器 220,420,520,620,720 CPU 221,422,721 負荷測定器 300,400 画像符号化装置 302 減算器 303 情報圧縮器 303a 量子化器(Q) 303b 離散コサイン変換器(DCT) 304 情報伸長器 305 可変長符号化器(VLC) 312 動き検出器 521 低電力モード判定器 621,721 電源電圧モニタ 723 予測処理制御手段 Ad,Ad2 アクセスアドレス Ag 解析データ C1,C2,C5,C6,C7 制御信号 Cs コンピュータシステム CSg 圧縮データ Dg 伸長データ DSg 差分データ Eg 画像符号化データ FD フロッピディスク FDD フロッピディスクドライブ ICg 復元差分データ IQg 復元DCT係数 LRg 局所再生データ Mg,Mg2 参照データ MV,MVt 動きベクトル Pmo モード切り換え信号 Tb 対象ブロック TF 被処理フレーム SF 参照フレーム Sg 画像データ Sr0 参照領域 Vd 電源電圧 Pg 予測データ Rg 再生データ Yb 予測ブロック

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 複数の画素の画素データからなる画像デ
    ータを所定の方法で圧縮符号化して得られた画像符号化
    データを、M×N(M,Nは正の整数)画素からなるブ
    ロック単位で復号化する復号化処理を、複数のブロック
    からなるフレーム毎に行って、各フレームの画像再生デ
    ータを順次生成する画像処理方法であって、 上記画像符号化データの復元処理により復号化の対象と
    なる対象ブロックの復元データを生成する復元処理と、 上記対象ブロックが含まれる被処理フレームより以前に
    画像再生データの生成が行われた前フレームのうちの少
    なくとも1つを参照フレームとし、該参照フレームか
    ら、該対象ブロックに対応する動きベクトルに基づい
    て、該対象ブロックの画像再生データの予測値として予
    測ブロックの画像再生データを算出する予測処理と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとの加算処理により、該対象ブロッ
    クに対応する画像再生データを生成する再生処理とを含
    み、 上記予測処理では、分数画素精度を有する動きベクトル
    により指定された予測ブロックの画像再生データを、上
    記参照フレームにおける、上記対象ブロックと同一サイ
    ズの参照領域に含まれるM×N個の画素のみの画素デー
    タに基づいて生成することを特徴とする画像処理方法。
  2. 【請求項2】 請求項1記載の画像処理方法において、 上記予測処理は、 上記分数画素精度を有する動きベクトルの値の整数部を
    用いて、上記参照フレームにおける、上記対象ブロック
    と同一サイズの参照領域に含まれるM×N個の画素の画
    素データのみを取得するデータ取得処理と、 上記分数画素精度を有する動きベクトルの値の分数部を
    用いて、上記取得したM×N個の画素の画素データに補
    間処理を施して、上記分数画素精度を有する動きベクト
    ルにより指定された予測ブロックの画像再生データを生
    成するデータ再生処理とを含むことを特徴とする画像処
    理方法。
  3. 【請求項3】 請求項1記載の画像処理方法において、 上記予測処理におけるデータ再生処理では、 上記参照フレームにおける、上記対象ブロックと同一サ
    イズの参照領域の境界に位置する補間画素の画素データ
    は、上記参照フレームから取得したM×N個の画素の画
    素データのうちの、上記参照領域の境界に隣接して位置
    する画素の画素データのみを用いた補間処理により生成
    することを特徴とする画像処理方法。
  4. 【請求項4】 複数の画素の画素データからなる画像デ
    ータを所定の方法で圧縮符号化して得られた画像符号化
    データを、M×N(M,Nは正の整数)画素からなるブ
    ロック単位で復号化する復号化処理を、複数のブロック
    からなるフレーム毎に行って、各フレームの画像再生デ
    ータを順次生成する画像処理装置であって、 所要のフレームの画像再生データを格納するフレームメ
    モリと、 上記画像符号化データを分析し、復号化の対象となる対
    象ブロックに対応する圧縮画像データ及び動きベクトル
    を出力するデータ解析器と、 上記対象ブロックに対応する圧縮画像データに伸長処理
    を施して対象ブロックに対応する復元データを生成する
    復号化器と上記対象ブロックの動きベクトルに基づい
    て、上記フレームメモリに格納された参照フレームの画
    像再生データから、上記対象ブロックの画像再生データ
    の予測値として予測ブロックの画像再生データを算出す
    る予測処理部と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとを加算して、該対象ブロックに対
    応する画像再生データを生成するとともに、該画像再生
    データを上記フレームメモリに出力する加算器とを備
    え、 上記予測処理部は、分数画素精度を有する動きベクトル
    により指定された予測ブロックの画像再生データを、上
    記参照フレームにおける、上記対象ブロックと同一サイ
    ズの参照領域に含まれるM×N個の画素のみの画素デー
    タに基づいて生成するよう構成されていることを特徴と
    する画像処理装置。
  5. 【請求項5】 複数の画素の画素データからなる画像デ
    ータを所定の方法で圧縮符号化して得られた画像符号化
    データを、M×N(M,Nは正の整数)画素からなるブ
    ロック単位で復号化する復号化処理を、複数のブロック
    からなるフレーム毎に行って、各フレームの画像再生デ
    ータを順次生成する画像処理方法であって、 上記画像符号化データの復元処理により復号化の対象と
    なる対象ブロックの復元データを生成する復元処理と、 上記対象ブロックが含まれる被処理フレームより以前に
    画像再生データの生成が行われた前フレームのうちの少
    なくとも1つを参照フレームとし、該参照フレームか
    ら、該対象ブロックに対応する動きベクトルに基づい
    て、該対象ブロックの画像再生データの予測値として予
    測ブロックの画像再生データを算出する予測処理と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとの加算処理により、該対象ブロッ
    クに対応する画像再生データを生成する再生処理とを含
    み、 上記予測処理では、 上記復号化処理における演算負荷量を測定し、 該演算負荷量が所定の基準値を超えるとき、分数画素精
    度の動きベクトルにより指定された予測ブロックの画像
    再生データを、上記参照フレームにおける、上記対象ブ
    ロックと同一サイズの参照領域に含まれるM×N個の画
    素のみの画素データに基づいて生成する第1のデータ生
    成処理を行い、 一方、該演算負荷量が所定の基準値を超えないとき、該
    予測ブロックの画像再生データを、上記参照フレームに
    おける参照領域及びその周辺領域からなる拡張参照領域
    内に位置する、P×Q(PはMより大きい正の整数,Q
    はNより大きい正の整数)個の画素の画素データに基づ
    いて生成する第2のデータ生成処理を行うことを特徴と
    する画像処理方法。
  6. 【請求項6】 請求項5記載の画像処理方法において、 上記第1のデータ生成処理は、 分数画素精度を有する動きベクトルの値の整数部を用い
    て、上記参照フレームにおける、上記対象ブロックと同
    一サイズの参照領域に含まれるM×N個の画素の画素デ
    ータのみを取得するデータ取得処理と、 上記分数画素精度を有する動きベクトルの値の分数部を
    用いて、上記取得したM×N個の画素の画素データに補
    間処理を施して、上記分数画素精度を有する動きベクト
    ルにより指定された予測ブロックの画像再生データを生
    成するデータ再生処理とからなるものであり、 上記拡張参照領域の縦横のサイズを規定する画素数P,
    Qは、1つの補間画素の生成に必要となる上記参照フレ
    ーム内に存在する画素の数の関数となっており、 上記第2のデータ生成処理は、 分数画素精度を有する動きベクトルの値の整数部を用い
    て、上記参照フレーム内に存在する、上記拡張参照領域
    に含まれるP×Q個の画素の画素データを取得するデー
    タ取得処理と、 上記分数画素精度を有する動きベクトルの値の分数部を
    用いて、上記取得したP×Q個の画素の画素データに補
    間処理を施して、上記分数画素精度を有する動きベクト
    ルにより指定された予測ブロックの画像再生データを生
    成するデータ再生処理とからなるものであることを特徴
    とする画像処理方法。
  7. 【請求項7】 複数の画素の画素データからなる画像デ
    ータを所定の方法で圧縮符号化して得られた画像符号化
    データを、M×N(M,Nは正の整数)画素からなるブ
    ロック単位で復号化する復号化処理を、複数のブロック
    からなるフレーム毎に行って、各フレームの画像再生デ
    ータを順次生成する、上記復号化処理のモードを通常モ
    ードと低消費電力モードとの間で切り換え可能な画像処
    理方法であって、 上記画像符号化データの復元処理により復号化の対象と
    なる対象ブロックの復元データを生成する復元処理と、 上記対象ブロックが含まれる被処理フレームより以前に
    画像再生データの生成が行われた前フレームのうちの少
    なくとも1つを参照フレームとし、該参照フレームか
    ら、該対象ブロックに対応する動きベクトルに基づい
    て、該対象ブロックの画像再生データの予測値として予
    測ブロックの画像再生データを算出する予測処理と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとの加算処理により、該対象ブロッ
    クに対応する画像再生データを生成する再生処理とを含
    み、 上記予測処理では、 上記復号化処理のモードを検知し、 該復号化処理のモードが、通常モードに比べて消費電力
    を低く抑える低電力消費モードであるとき、分数画素精
    度の動きベクトルにより指定された予測ブロックの画像
    再生データを、上記参照フレームにおける、上記対象ブ
    ロックと同一サイズの参照領域に含まれるM×N個の画
    素のみの画素データに基づいて生成する第1のデータ生
    成処理を行い、 一方、上記復号化処理のモードが通常モードであると
    き、該予測ブロックの画像再生データを、上記参照フレ
    ームにおける参照領域及びその周辺領域からなる拡張参
    照領域内に位置する、P×Q(PはMより大きい正の整
    数,QはNより大きい正の整数)個の画素の画素データ
    に基づいて生成する第2のデータ生成処理を行うことを
    特徴とする画像処理方法。
  8. 【請求項8】 複数の画素の画素データからなる画像デ
    ータを所定の方法で圧縮符号化して得られた画像符号化
    データを、M×N(M,Nは正の整数)画素からなるブ
    ロック単位で復号化する復号化処理を、複数のブロック
    からなるフレーム毎に行って、各フレームの画像再生デ
    ータを順次生成する、バッテリー電源により駆動される
    端末装置のための画像処理方法であって、 上記画像符号化データの復元処理により復号化の対象と
    なる対象ブロックの復元データを生成する復元処理と、 上記対象ブロックが含まれる被処理フレームより以前に
    画像再生データの生成が行われた前フレームのうちの少
    なくとも1つを参照フレームとし、該参照フレームか
    ら、該対象ブロックに対応する動きベクトルに基づい
    て、該対象ブロックの画像再生データの予測値として予
    測ブロックの画像再生データを算出する予測処理と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとの加算処理により、該対象ブロッ
    クに対応する画像再生データを生成する再生処理とを含
    み、 上記予測処理では、 上記端末装置を駆動するバッテリー電源の電圧を測定
    し、 該バッテリー電源の電圧が基準電圧より低下していると
    き、分数画素精度の動きベクトルにより指定された予測
    ブロックの画像再生データを、上記参照フレームにおけ
    る、上記対象ブロックと同一サイズの参照領域に含まれ
    るM×N個の画素のみの画素データに基づいて生成する
    第1のデータ生成処理を行い、 一方、上記バッテリー電源の電圧が基準電圧以上に保持
    されているとき、該予測ブロックの画像再生データを、
    上記参照フレームにおける参照領域及びその周辺領域か
    らなる拡張参照領域内に位置する、P×Q(PはMより
    大きい正の整数,QはNより大きい正の整数)個の画素
    の画素データに基づいて生成する第2のデータ生成処理
    を行うことを特徴とする画像処理方法。
  9. 【請求項9】 複数の画素の画素データからなる画像デ
    ータを所定の方法で圧縮符号化して得られた画像符号化
    データを、M×N(M,Nは正の整数)画素からなるブ
    ロック単位で復号化する復号化処理を、複数のブロック
    からなるフレーム毎に行って、各フレームの画像再生デ
    ータを順次生成する、バッテリー電源により駆動される
    端末装置のための画像処理方法であって、 上記画像符号化データの復元処理により復号化の対象と
    なる対象ブロックの復元データを生成する復元処理と、 上記対象ブロックが含まれる被処理フレームより以前に
    画像再生データの生成が行われた前フレームのうちの少
    なくとも1つを参照フレームとし、該参照フレームか
    ら、該対象ブロックに対応する動きベクトルに基づい
    て、該対象ブロックの画像再生データの予測値として予
    測ブロックの画像再生データを算出する予測処理と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとの加算処理により、該対象ブロッ
    クに対応する画像再生データを生成する再生処理とを含
    み、 上記予測処理では、 上記端末装置を駆動するバッテリー電源の電圧を測定す
    るとともに、上記復号化処理における負荷演算量を測定
    し、 該バッテリー電源の電圧が第1の基準電圧より低下して
    いるとき、分数画素精度の動きベクトルにより指定され
    た予測ブロックの画像再生データを、上記参照フレーム
    における、上記対象ブロックと同一サイズの参照領域に
    含まれるM×N個の画素のみの画素データに基づいて生
    成する第1のデータ生成処理を行い、 上記バッテリー電源の電圧が、上記第1の基準電圧より
    高い第2の基準電圧以上に保持されているとき、該予測
    ブロックの画像再生データを、上記参照フレームにおけ
    る参照領域及びその周辺領域からなる拡張参照領域内に
    位置する、P×Q(PはMより大きい正の整数,QはN
    より大きい正の整数)個の画素の画素データに基づいて
    生成する第2のデータ生成処理を行い、 上記バッテリー電源の電圧が第1の基準電圧以上かつ第
    2の基準電圧未満であるとき、上記演算負荷量が所定の
    基準値を超える場合には、上記第1のデータ生成処理を
    行い、該演算負荷量が所定の基準値を超えない場合に
    は、上記第2のデータ生成処理を行うことを特徴とする
    画像処理方法。
  10. 【請求項10】 複数の画素の画素データからなる画像
    データを所定の方法で圧縮符号化して得られた画像符号
    化データを、M×N(M,Nは正の整数)画素からなる
    ブロック単位で復号化する復号化処理を、複数のブロッ
    クからなるフレーム毎に行って、各フレームの画像再生
    データを順次生成する画像処理装置であって、 所要のフレームの画像再生データを格納するフレームメ
    モリと、 上記画像符号化データを分析し、復号化の対象となる対
    象ブロックに対応する圧縮画像データ及び動きベクトル
    を出力するデータ解析器と、 上記対象ブロックに対応する圧縮画像データに伸長処理
    を施して対象ブロックに対応する復元データを生成する
    復号化器と、 上記対象ブロックの動きベクトルに基づいて、上記フレ
    ームメモリに格納された参照フレームの画像再生データ
    から、上記対象ブロックの画像再生データの予測値とし
    て予測ブロックの画像再生データを算出する予測処理部
    と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとを加算して、該対象ブロックに対
    応する画像再生データを生成するとともに、該画像再生
    データを上記フレームメモリに出力する加算器と、 上記復号化処理における演算負荷量を測定して、該演算
    負荷量が所定の基準値を超えているか否かを判定する負
    荷判定手段とを備え、 上記予測処理部は、 該演算負荷量が所定の基準値を超えるとき、分数画素精
    度の動きベクトルにより指定された予測ブロックの画像
    再生データを、上記参照フレームにおける、上記対象ブ
    ロックと同一サイズの参照領域に含まれるM×N個の画
    素のみの画素データに基づいて生成する第1のデータ生
    成処理を行い、 一方、該演算負荷量が所定の基準値を超えないとき、上
    記予測ブロックの画像再生データを、上記参照フレーム
    における参照領域及びその周辺領域からなる拡張参照領
    域内に位置するP×Q(PはMより大きい正の整数,Q
    はNより大きい正の整数)個の画素の画素データに基づ
    いて生成する第2のデータ生成処理を行うよう構成され
    ていることを特徴とする画像処理装置。
  11. 【請求項11】 複数の画素の画素データからなる画像
    データを所定の方法で圧縮符号化して得られた画像符号
    化データを、M×N(M,Nは正の整数)画素からなる
    ブロック単位で復号化する復号化処理を、複数のブロッ
    クからなるフレーム毎に行って、各フレームの画像再生
    データを順次生成する、上記復号化処理における動作モ
    ードを通常動作モードと低電力動作モードとの間で切り
    換え可能な画像処理装置であって、 所要のフレームの画像再生データを格納するフレームメ
    モリと、 上記画像符号化データを分析し、復号化の対象となる対
    象ブロックに対応する圧縮画像データ及び動きベクトル
    を出力するデータ解析器と、 上記対象ブロックに対応する圧縮画像データに伸長処理
    を施して対象ブロックに対応する復元データを生成する
    復号化器と、 上記対象ブロックの動きベクトルに基づいて、上記フレ
    ームメモリに格納された参照フレームの画像再生データ
    から、上記対象ブロックの画像再生データの予測値とし
    て予測ブロックの画像再生データを算出する予測処理部
    と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとを加算して、該対象ブロックに対
    応する画像再生データを生成するとともに、該画像再生
    データを上記フレームメモリに出力する加算器と、 上記復号化処理における動作モードを判定する動作モー
    ド判定手段とを備え、 上記予測処理部は、 該復号化処理における動作モードが、通常動作モードに
    比べて消費電力を低く抑える低電力動作モードであると
    き、分数画素精度の動きベクトルにより指定された予測
    ブロックの画像再生データを、上記参照フレームにおけ
    る、上記対象ブロックと同一サイズの参照領域に含まれ
    るM×N個の画素のみの画素データに基づいて生成する
    第1のデータ生成処理を行い、 一方、上記復号化処理における動作モードが通常動作モ
    ードであるとき、上記予測ブロックの画像再生データ
    を、上記参照フレームにおける参照領域及びその周辺領
    域からなる拡張参照領域内に位置するP×Q(PはMよ
    り大きい正の整数,QはNより大きい正の整数)個の画
    素の画素データに基づいて生成する第2のデータ生成処
    理を行うよう構成されていることを特徴とする画像処理
    装置。
  12. 【請求項12】 複数の画素の画素データからなる画像
    データを所定の方法で圧縮符号化して得られた画像符号
    化データを、M×N(M,Nは正の整数)画素からなる
    ブロック単位で復号化する復号化処理を、複数のブロッ
    クからなるフレーム毎に行って、各フレームの画像再生
    データを順次生成する、バッテリー電源により駆動され
    る画像処理装置であって、 所要のフレームの画像再生データを格納するフレームメ
    モリと、 上記画像符号化データを分析し、復号化の対象となる対
    象ブロックに対応する圧縮画像データ及び動きベクトル
    を出力するデータ解析器と、 上記対象ブロックに対応する圧縮画像データに伸長処理
    を施して対象ブロックに対応する復元データを生成する
    復号化器と、 上記対象ブロックの動きベクトルに基づいて、上記フレ
    ームメモリに格納された参照フレームの画像再生データ
    から、上記対象ブロックの画像再生データの予測値とし
    て予測ブロックの画像再生データを算出する予測処理部
    と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとを加算して、該対象ブロックに対
    応する画像再生データを生成するとともに、該画像再生
    データを上記フレームメモリに出力する加算器と、 上記バッテリー電源の電圧を測定して、該バッテリー電
    源の電圧が所定の基準電圧を超えているか否かを判定す
    るする電圧測定手段とを備え、 上記予測処理部は、 該バッテリー電源の電圧が上記所定の基準電圧より低下
    しているとき、分数画素精度の動きベクトルにより指定
    された予測ブロックの画像再生データを、上記参照フレ
    ームにおける、上記対象ブロックと同一サイズの参照領
    域に含まれるM×N個の画素のみの画素データに基づい
    て生成する第1のデータ生成処理を行い、 一方、上記バッテリー電源の電圧が上記所定の基準電圧
    以上に保持されているとき、上記予測ブロックの画像再
    生データを、上記参照フレームにおける参照領域及びそ
    の周辺領域からなる拡張参照領域内に位置するP×Q
    (PはMより大きい正の整数,QはNより大きい正の整
    数)個の画素の画素データに基づいて生成する第2のデ
    ータ生成処理を行うよう構成されていることを特徴とす
    る画像処理装置。
  13. 【請求項13】 複数の画素の画素データからなる画像
    データを所定の方法で圧縮符号化して得られた画像符号
    化データを、M×N(M,Nは正の整数)画素からなる
    ブロック単位で復号化する復号化処理を、複数のブロッ
    クからなるフレーム毎に行って、各フレームの画像再生
    データを順次生成する、バッテリー電源により駆動され
    る画像処理装置であって、 所要のフレームの画像再生データを格納するフレームメ
    モリと、 上記画像符号化データを分析し、復号化の対象となる対
    象ブロックに対応する圧縮画像データ及び動きベクトル
    を出力するデータ解析器と、 上記対象ブロックに対応する圧縮画像データに伸長処理
    を施して対象ブロックに対応する復元データを生成する
    復号化器と、 上記対象ブロックの動きベクトルに基づいて、上記フレ
    ームメモリに格納された参照フレームの画像再生データ
    から、上記対象ブロックの画像再生データの予測値とし
    て予測ブロックの画像再生データを算出する予測処理部
    と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとを加算して、該対象ブロックに対
    応する画像再生データを生成するとともに、該画像再生
    データを上記フレームメモリに出力する加算器と、 上記復号化処理における演算負荷量を測定して、該演算
    負荷量が所定の基準値を超えているか否かを判定する負
    荷判定手段と、 上記バッテリー電源の電圧を測定して、該バッテリー電
    圧と第1及び第2の基準電圧との大小関係を判定する電
    圧判定手段とを備え、 上記予測処理部は、 該バッテリー電源の電圧が第1の基準電圧より低下して
    いるとき、分数画素精度の動きベクトルにより指定され
    た予測ブロックの画像再生データを、上記参照フレーム
    における、上記対象ブロックと同一サイズの参照領域に
    含まれるM×N個の画素のみの画素データに基づいて生
    成する第1のデータ生成処理を行い、 上記バッテリー電源の電圧が、上記第1の基準電圧より
    高い第2の基準電圧以上に保持されているとき、該予測
    ブロックの画像再生データを、上記参照フレームにおけ
    る参照領域及びその周辺領域からなる拡張参照領域内に
    位置する、P×Q(PはMより大きい正の整数,QはN
    より大きい正の整数)個の画素の画素データに基づいて
    生成する第2のデータ生成処理を行い、 上記バッテリー電源の電圧が第1の基準電圧以上かつ第
    2の基準電圧未満であるとき、上記演算負荷量が所定の
    基準値を超える場合には、上記第1のデータ生成処理を
    行い、該演算負荷量が所定の基準値を超えない場合に
    は、上記第2のデータ生成処理を行うよう構成されてい
    ることを特徴とする画像処理装置。
  14. 【請求項14】 複数の画素の画素データからなる画像
    データを、M×N(M,Nは正の整数)画素からなるブ
    ロック単位で圧縮し符号化する符号化処理を、複数のブ
    ロックからなるフレーム毎に行って、各フレームに対応
    する画像符号化データを順次生成する画像処理方法であ
    って、 符号化の対象となる対象ブロックの画像データからその
    予測値である予測ブロックの画像データを減算して、該
    対象ブロックに対応する差分データを生成する減算処理
    と、 上記差分データの圧縮により得られる圧縮データの復元
    処理により符号化の対象となる対象ブロックの復元デー
    タを生成する復元処理と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像データとの加算処理により、該対象ブロックに
    対応する局所再生データを生成する局所再生処理と、 上記対象ブロックが含まれる被処理フレームより以前に
    局所再生データの生成が行われた前フレームのうちの少
    なくとも1つを参照フレームとし、該参照フレームか
    ら、該対象ブロックに対応する動きベクトルに基づい
    て、該対象ブロックの画像データの予測値として予測ブ
    ロックの画像データを算出する予測処理とを含み、 上記予測処理では、分数画素精度を有する動きベクトル
    により指定された予測ブロックの画像データを、上記参
    照フレームにおける、上記対象ブロックと同一サイズの
    参照領域に含まれるM×N個の画素のみの画素データに
    基づいて生成することを特徴とする画像処理方法。
  15. 【請求項15】 複数の画素の画素データからなる画像
    データを、M×N(M,Nは整数)画素からなるブロッ
    ク単位で圧縮し符号化する符号化処理を、複数のブロッ
    クからなるフレーム毎に行って、各フレームに対応する
    画像符号化データを順次生成する画像処理装置であっ
    て、 符号化の対象となる対象ブロックの画像データからその
    予測値である予測ブロックの画像データを減算して、該
    対象ブロックに対応する差分データを生成する減算器
    と、 上記対象ブロックの差分データを圧縮して対象ブロック
    の圧縮データを生成する情報圧縮器と、 上記対象ブロックの圧縮データを伸長して対象ブロック
    の復元データを生成する情報伸長器と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像データとの加算処理により、該対象ブロックに
    対応する局所再生データを生成する加算器と、 所要のフレームに対応する局所再生データを格納するフ
    レームメモリと、 上記対象ブロックの動きベクトルに基づいて、上記フレ
    ームメモリに格納された参照フレームの局所再生データ
    から、上記対象ブロックの画像データの予測値として予
    測ブロックの画像データを算出する予測処理部とを備
    え、 上記予測処理部は、 分数画素精度を有する動きベクトルにより指定された予
    測ブロックの画像データを、上記参照フレームにおけ
    る、上記対象ブロックと同一サイズの参照領域に含まれ
    るM×N個の画素のみの画素データに基づいて生成する
    よう構成されていることを特徴とする画像処理装置。
  16. 【請求項16】 複数の画素の画素データからなる画像
    データを、M×N(M,Nは正の整数)画素からなるブ
    ロック単位で圧縮し符号化する符号化処理を、複数のブ
    ロックからなるフレーム毎に行って、各フレームに対応
    する画像符号化データを順次生成する画像処理方法であ
    って、 符号化の対象となる対象ブロックの画像データからその
    予測値である予測ブロックの画像データを減算して、該
    対象ブロックに対応する差分データを生成する減算処理
    と、 上記差分データの圧縮により得られる圧縮データの復元
    処理により符号化の対象となる対象ブロックの復元デー
    タを生成する復元処理と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像再生データとの加算処理により、該対象ブロッ
    クに対応する局所再生データを生成する局所再生処理
    と、 上記対象ブロックが含まれる被処理フレームより以前に
    局所再生データの生成が行われた前フレームのうちの少
    なくとも1つを参照フレームとし、該参照フレームか
    ら、該対象ブロックに対応する動きベクトルに基づい
    て、該対象ブロックの画像データの予測値として予測ブ
    ロックの画像データを算出する予測処理とを含み、 上記予測処理では、 上記符号化処理における演算負荷量を測定し、 該演算負荷量が所定の基準値を超えるとき、分数画素精
    度の動きベクトルにより指定された予測ブロックの画像
    データを、上記参照フレームにおける、上記対象ブロッ
    クと同一サイズの参照領域に含まれるM×N個の画素の
    みの画素データに基づいて生成する第1のデータ生成処
    理を行い、 一方、該負荷量が所定の基準値を超えないとき、該予測
    ブロックの画像データを、上記参照フレームにおける参
    照領域及びその周辺領域からなる拡張参照領域内に位置
    するP×Q(PはMより大きい正の整数,QはNより大
    きい正の整数)個の画素の画素データに基づいて生成す
    る第2のデータ生成処理を行うことを特徴とする画像処
    理方法。
  17. 【請求項17】 複数の画素の画素データからなる画像
    データを、M×N(M,Nは正の整数)画素からなるブ
    ロック単位で圧縮し符号化する符号化処理を、複数のブ
    ロックからなるフレーム毎に行って、各フレームに対応
    する画像符号化データを順次生成する画像処理装置であ
    って、 符号化の対象となる対象ブロックの画像データからその
    予測値である予測ブロックの画像データを減算して、該
    対象ブロックに対応する差分データを生成する減算器
    と、 上記対象ブロックの差分データを圧縮して対象ブロック
    の圧縮データを生成する情報圧縮器と、 上記対象ブロックの圧縮データを伸長して対象ブロック
    の復元データを生成する情報伸長器と、 上記対象ブロックの復元データと、対応する予測ブロッ
    クの画像データとの加算処理により、該対象ブロックに
    対応する局所再生データを生成する加算器と、 所要のフレームに対応する局所再生データを格納するフ
    レームメモリと、 上記対象ブロックの動きベクトルに基づいて、上記フレ
    ームメモリに格納された参照フレームの局所再生データ
    から、上記対象ブロックの画像データの予測値として予
    測ブロックの画像再生データを算出する予測処理部と、 上記符号化処理における演算負荷量を測定して、該演算
    負荷量が所定の基準値を超えているか否かを判定する負
    荷判定手段とを備え、 上記予測処理部は、該演算負荷量が所定の基準値を超え
    るとき、分数画素精度の動きベクトルにより指定された
    予測ブロックの画像データを、上記参照フレームにおけ
    る、上記対象ブロックと同一サイズの参照領域に含まれ
    るM×N個の画素のみの画素データに基づいて生成する
    第1のデータ生成処理を行い、 一方、該演算負荷量が所定の基準値を超えないとき、該
    予測ブロックの画像データを、上記参照フレームにおけ
    る参照領域及びその周辺領域からなる拡張参照領域内に
    位置するP×Q(PはMより大きい正の整数,QはNよ
    り大きい正の整数)個の画素の画素データに基づいて生
    成する第2のデータ生成処理を行うよう構成されている
    ことを特徴とする画像処理装置。
  18. 【請求項18】 コンピュータにより画像処理を行うた
    めのプログラムを格納したデータ記憶媒体であって、 上記プログラムは、コンピュータに、請求項1,2,
    3,5,6,7,8,9,14,16のいずれかに記載
    の画像処理方法による画像処理を行わせるものであるこ
    とを特徴とするデータ記憶媒体。
JP9699199A 1998-04-03 1999-04-02 画像処理方法,画像処理装置,及びデ―タ記憶媒体 Pending JPH11346368A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9699199A JPH11346368A (ja) 1998-04-03 1999-04-02 画像処理方法,画像処理装置,及びデ―タ記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9198398 1998-04-03
JP10-91983 1998-04-03
JP9699199A JPH11346368A (ja) 1998-04-03 1999-04-02 画像処理方法,画像処理装置,及びデ―タ記憶媒体

Publications (1)

Publication Number Publication Date
JPH11346368A true JPH11346368A (ja) 1999-12-14

Family

ID=26433408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9699199A Pending JPH11346368A (ja) 1998-04-03 1999-04-02 画像処理方法,画像処理装置,及びデ―タ記憶媒体

Country Status (1)

Country Link
JP (1) JPH11346368A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087823A (ja) * 2001-09-07 2003-03-20 Kddi Corp 伝送画質監視装置
JP2007124605A (ja) * 2005-10-25 2007-05-17 Renei Kagi Kofun Yugenkoshi コスト関数演算方法、コスト関数演算装置及びその補間方法
JP2007129370A (ja) * 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 動きベクトル検出装置及び方法
JP2007235447A (ja) * 2006-02-28 2007-09-13 Toshiba Corp 情報処理装置及び情報処理装置の動画像復号方法
WO2009122659A1 (ja) 2008-03-31 2009-10-08 パナソニック株式会社 画像復号装置、画像復号方法、集積回路および受信装置
WO2012077695A1 (ja) * 2010-12-08 2012-06-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2014078891A (ja) * 2012-10-11 2014-05-01 Canon Inc 画像処理装置、画像処理方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087823A (ja) * 2001-09-07 2003-03-20 Kddi Corp 伝送画質監視装置
JP2007124605A (ja) * 2005-10-25 2007-05-17 Renei Kagi Kofun Yugenkoshi コスト関数演算方法、コスト関数演算装置及びその補間方法
JP2007129370A (ja) * 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 動きベクトル検出装置及び方法
JP2007235447A (ja) * 2006-02-28 2007-09-13 Toshiba Corp 情報処理装置及び情報処理装置の動画像復号方法
JP4649347B2 (ja) * 2006-02-28 2011-03-09 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
US8611433B2 (en) 2006-02-28 2013-12-17 Kabushiki Kaisha Toshiba Information processing apparatus and video decoding method of information processing apparatus
WO2009122659A1 (ja) 2008-03-31 2009-10-08 パナソニック株式会社 画像復号装置、画像復号方法、集積回路および受信装置
EP2252064A1 (en) * 2008-03-31 2010-11-17 Panasonic Corporation Image decoding device, image decoding method, integrated circuit, and reception device
EP2252064A4 (en) * 2008-03-31 2011-04-20 Panasonic Corp Image Decoding Device, Image Decoding Process, Integrated Circuit and Receiving Device
JP5367696B2 (ja) * 2008-03-31 2013-12-11 パナソニック株式会社 画像復号装置、画像復号方法、集積回路および受信装置
WO2012077695A1 (ja) * 2010-12-08 2012-06-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2014078891A (ja) * 2012-10-11 2014-05-01 Canon Inc 画像処理装置、画像処理方法

Similar Documents

Publication Publication Date Title
US6766061B2 (en) Method and apparatus for digital image coding and decoding, and data recording media
US6259734B1 (en) Image processing method, image processing apparatus, and data storage media
JP4536325B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US7298911B2 (en) Video coding and video decoding apparatus
JP3936335B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体
JP3895431B2 (ja) 物体境界ブロック合併/分割を利用した映像情報符号化方法
KR100714698B1 (ko) 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치
US6078694A (en) Image signal padding method, image signal coding apparatus, image signal decoding apparatus
JPH1155667A (ja) 画像符号化装置および画像復号化装置および画像符号化データを記録した記録媒体
JPH04177992A (ja) 階層性を有する画像符号化装置
JP2008541653A (ja) スムージング予測を用いた多階層基盤のビデオエンコーディング方法、デコーディング方法、ビデオエンコーダ及びビデオデコーダ
JPH1155672A (ja) 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法
US6330364B1 (en) Video coding and video decoding apparatus
JP3348612B2 (ja) ブロック間予測符号化装置、ブロック間予測復号化装置、ブロック間予測符号化方法、ブロック間予測復号化方法、及びブロック間予測符号化復号化装置
JPH11346368A (ja) 画像処理方法,画像処理装置,及びデ―タ記憶媒体
JP2000036963A (ja) 画像符号化装置、画像符号化方法および画像復号化装置
JP3128393B2 (ja) 圧縮動画像再生装置
JP3776735B2 (ja) 画像予測復号化方法,画像予測復号化装置,画像予測符号化方法,画像予測符号化装置,及びデータ記憶媒体
JPH06113291A (ja) 画像符号化及び復号化装置
KR20060059770A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100466592B1 (ko) 물체경계블록영상정보부호화방법
JP4526529B2 (ja) 階層画像を用いる映像信号変換装置
JP2001160971A (ja) デジタル画像符号化方法及びデジタル画像符号化装置,デジタル画像復号化方法及びデジタル画像復号化装置,並びにデータ記憶媒体
JP3304870B2 (ja) 画像符号化方法及び装置並びに画像復号方法及び装置
JP3214849B2 (ja) 画像予測復号化方法および装置