JPH0349373A

JPH0349373A - 画像符号化方式

Info

Publication number: JPH0349373A
Application number: JP1184215A
Authority: JP
Inventors: Takeshi Tono; 豪東野; Yutaka Watanabe; 裕渡辺
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1989-07-17
Filing date: 1989-07-17
Publication date: 1991-03-04

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は画像符号化方式に係り、特に動画像等のフレー
ム間符号化において、画像系列中にズーム等により拡大
・縮小された画像が存在する場合に好適な画像符号化方
式に関する。

〔従来の技術〕

従来から、高能率な動画像符号化方式として動き補償フ
レーム間差分符号化方式が用いられている。

動画像にはフレーム間に相関が存在する事から。

各フレームを独立に符号化するよりもフレーム間の差分
情報を符号化する方が一般に符号化効率が良い事が知ら
れている。従来、動き補償フレーム間差分符号化方式で
は１画像を複数個のブロックに分割し、該ブロック毎に
過去のフレームから現在のフレームへの動きベクトルを
検出し、該動きベクトルに従って前記ブロック毎に過去
のフレームと現在のフレームとの差分を求めることによ
り、差分情報の分散を小さくし、符号化効率を向上させ
ている。

Ｃ発明が解決しようとする課題〕カメラのズーミングやバンニングによって画像全体が一
定の変化をする場合、動きベクトルはランダムではなく
一フレーム内でズーミングの中心から放射状に伸び、あ
るいは、全てのベクトルがバンニングの方向に向く現象
が起きる。従来の動き補償フレーム間差分符号化方式で
は、ズーミングやバンニングの際の動きベクトルの符号
化が冗長となる問題があった。

本発明は、動画像等のフレーム間符号化において、特に
ズーミングによる画像の拡大・縮小が存在する場合、従
来の動き補償フレーム間符号化に比べて、現符号化対象
画像の予測画像を作成するためのフレーム間の動きに関
する情報の冗長性を削減し、符号化効率を向上させるこ
とを目的とするものである。

〔課題を解決するための手段〕

上記目的を達成するため、請求項（１）では、画像系列
中にズーミングにより拡大・縮小された画像が存在する
場合、拡大・縮小率を検出し、該検出した拡大・縮小率
に従って過去のフレームの復号化画像の拡大・縮小画像
を作成し、該作成した拡大・縮小画像を現符号化対象画
像の予測画像とし、該予測画像と現符号化対象画像との
差分画像を符号化することを特徴とする。

また、請求項（２）では、拡大・縮小率の検出法及び予
測画像の作成法として、第ｎフレームの復号化画像から
拡大・縮小の中心を含む１ライン（Ｍ画素）を取り出し
、一次元フーリエ変換を施して変換係数を得、該変換係
数の最高周波数に相当する係数からｍ個削除するか９ｍ
個のＯ係数を付加して１Ｍ±ｍ個の変換係数を作成し、
該個数の増減した変換係数を逆フーリエ変換して１ライ
ン拡大・縮小データを得、第ｎ＋１フレームから拡大・
縮小の中心を含む１ラインを取り出し、前記１ライン拡
大・縮小データとの差分を求め、ｍを変化させて、前記
フーリエ変換係数の増減、逆変換、差分計算を緑り返し
、該差分が最小となるｍを求めてｍｏとし、（Ｍ±ｍｅ
）／Ｍより拡大・縮小率にを検出し、第ｎフレームの画
像を２次元フーリエ変換し、該フーリエ変換係数の個数
が水平垂直方向それぞれｒ倍になるように、最高周波数
に相当する係数から削除あるいはＯ係数を付加して変換
係数の個数を増減させ、該変換係数を逆フーリエ変換し
て拡大・縮小画像を得、該拡大・縮小画像を現符号化対
象フレームの予測画像とすることを特徴とする。

また５請求項（３）では、拡大・縮小率の検出法及び予
測画像の作成法として、第ｎフレームの復号化画像から
拡大・縮小の中心を含む１ライン（Ｍ画素）を取り出し
、該１ライン上の画素間隔を１としてＭ画素分の長さを
Ｍｔｈｍで表したときの新たな画像間隔を算出し、該画
像間隔に従って画素を再配置し、元の画素位置に相当す
る画素値を再配置された画素のうち近接する２画素から
線形補間によって求めて１ライン拡大・縮小データを得
、第ｎ＋１フレームからの差分を求め、ｍを変化させて
、前記画素間隔算出１画素再配置、線形補間、差分計算
を繰り返し、該差分が最小となるｍを求めてｍｏとし、
（Ｍ±ｍ　＠　）　／　Ｍより拡大・縮小率にを検出し
、第ｎフレームの画素間隔を水平垂直方向ともｒ倍にな
るように再配置し、元の画素位置に相当する画素値を近
接する４画素から線形補間によって求めて、拡大・縮小
画像を得、該拡大・縮小画像を現符号化対象フレームの
予測画像とすることを特徴とする。

〔作　用〕

請求項（１）では、画像フレーム間符号化において１画
像系列中にズーム等により拡大・縮小された画像が存在
する場合、拡大・縮小率を検出し、該拡大・縮小率に応
じた過去の画像の拡大・縮小画像を現在の符号化対象画
像の予測画像とすることで、フレーム間の補償に要する
情報量を減少させ、符号化効率を向上させることができ
る。

請求項（２）では、拡大・縮小率の検出及び予測画像の
作成にフーリエ変換・逆フーリエ変換を用いることによ
って正確性が保証され、また、請求項（３）では線間補
間を用いることによって演算時間の短縮が図られる。

〔実施例〕

以下、本発明の一実施例を図面を用いて具体的に説明す
る。尚、図中同一の機能を有するものは、同一の番号を
付け１重複を避ける。

第１図は１本発明の一実施例の全体構成図である。動画
像はフレーム毎に入力される。現符号化対象フレームが
、動画像系列中最初のフレームであるか、または、エラ
ー伝播防止−等のためにリッツシュされた直後のフレー
ムである場合、差分演算部１には影響されず、該フレー
ムはそのまま符号化部２に入力され、ＯＣＴ等のある定
められた手法で変換係数に変換される。該変換係数は量
子化部３で量子化され、可変長符号化部４で符号化され
て出力される。また、量子化された変換係数は、可変長
符号化とは別の逆量子化部５で逆量子化され、復号化部
６で復号化される。該復号化情報は加算演算部７には影
響されず、復号化画像となり、フレームメモリ８に蓄え
られる。

現符号化対象フレームが、動画像系列中２番目以降、あ
るいは、直前のフレームとの間でリフレッシュされてい
ない場合、現フレームの符号化に動き補償（ＨＣ）を用
いるか、あるいは現在ズーム中で、拡大・縮小になる補
償（ＺＣ）を用いるかを切り替えスイッチ１１に指示し
、フレームメモリ８に蓄えらでいる前フレームの復号化
画像と入力された現フレームを用いて、動き補償演算部
９で動き補償を行うか、拡大・縮小による補償演算部１
０で拡大・縮小による補償を行い、現フレームとの差分
を求めるための参照画像（予測画像）を作成し、フレー
ムメモリ８に蓄える。この時、参照画像を作成するため
の動きベクトル、あるいは拡大・縮小率等は、可変長符
号化部１２で符号化されて出力される。

現符号化対象フレームとフレームメモリ８に蓄えられた
参照画像とのフレーム間差分画像は差分演算部１で求め
られ、該差分画像が符号化部２で変換符号化され、該変
換係数は、量子化部３で量子化され、可変長符号化部４
で可変長符号化されて出力される。また、量子化部３で
量子化された変換係数は、可変長符号化とは別に逆量子
化部５で逆量子化され、復号化部６で復号化され、フレ
ームメモリ８の参照画像との和が加算演算部７で求めら
れ、復号化画像となって再びフレームメモリ８に蓄えら
れる。該復号化画像は次のフレームの符号化に用いられ
る。

尚、符号化方式は、ＤＣＴ等の直交変換符号化の他に、
ベクトル量子化やプロツクトランケーション符号化等を
用いることも可能である。また、動き補償と拡大・縮小
による補償の切り替え法としては、通常は従来の動きを
補償を行い、カメラのズームボタンを押すと同時に制御
信号を発生して拡大・縮小による補償に切り替わり、ボ
タンを放すと再び従来の動き補償に戻る動作をする方式
％式％第２図は、請求項（２）に対応する第１図中の拡大・縮
小による補償演算部１０の詳細説明図である。

第１図のフレームメモリ８に蓄えられている前フレーム
の復号化画像と入力された現フレームから、拡大・縮小
の中心検出部１３で拡大・縮小の中心を検出し、１ライ
ン抽出部１４で、該中心を含むＭ画素１ラインデータを
前フレームの復号化画像と現フレームについて抽出する
。このうち、前フレームの復号化画像から抽出された１
ラインデータを１次元フーリエ変換部１５で変換し、Ｍ
個の変換係数を得る。変換係数操作部１７において、拡
大・縮小率検索範囲指定・監視部１６で予め指定された
範囲内で、前記変換係数からｍ個の係数を削除するか、
ｍ個の０係数を付加し、変換係数の個数を増減する。該
個数の増減した変換係数を１次元逆フーリエ変換部１８
で逆変換し、データ数がＭ　ｆ　ｍ個に拡大・縮小され
た１ラインデータを得る。該前フレームの１ラインデー
タと現フレームの１ラインデータとの差分を差分演算部
１９で求める。該差分値はメモリ２０に蓄えられる。再
び変換係数操作部１７において、拡大・縮小率検索範囲
指定・監視部１６で指定された範囲内で前記増減データ
数ｍを変化させて、１次元データの拡大・縮小、及び差
分を求める操作を繰り返す、該検索範囲内での操作が終
了した後、前記メモリ２０に蓄えられている差分値の最
小値ｍ０を用いて、拡大・縮小率検出部２１で拡大・縮
小率にを、ｒ　＝　（Ｍ　ｔｈｍ　ｏ　）　／　Ｍによ
り検出する。該拡大・縮小率ｒは第１図中の可変長符号
化部１２に送られ可変長符号化される。

一方、フレームメモリ８に蓄えられている前フレームの
復号化画像を、２次元フーリエ変換部２２で２次元フー
リエ変換し、前記検出された拡大・縮小率ｒに従って、
該２次元変換係数の個数が水平垂直方向それぞれｒ倍に
なるように、変換係数操作部２３で変換係数の個数を増
減する。該個数の増減した変換係数を、２次元逆フーリ
エ変換部２４で逆フーリエ変換して、現フレームとの差
分を求めるための参照画像となる拡大・縮小画像を作成
し、再び第１図中のツーレムメモリ８へ蓄積する。

第４図に、変換係数操作部１７における１次元フーリエ
変換係数の操作法を示す、第４図では。

フーリエ変換係数をパワースペクトルの形で示しており
、両端が低周波成分、中心が高周波成分を示す。実際は
離散系であるが、便宜上連続系で表している。ａｌ、ｂ
ｌがＭ個１次元のフーリエ変換係数である（但しａ　１
＝ｂ　ｌである）。ａ２は拡大の場合で、最高周波数か
ら更にｍ個の０係数を付加して、Ｍ＋ｍ個の変換係数を
作成することを示している。ｂ２は縮小の場合で、最高
周波数からｍ個の係数を削除して、Ｍ　−ｍ個の変換係
数を作成することを示している。

第５図に、変換係数操作部２３における２次元フーリエ
変換係数の操作法を示す。第５図では、変換係数の２次
元的位置を示しており、四隅が低周波成分、中心が高周
波成分を示す。ａｌ、ｂｌが操作前を示しており、ｂｌ
中、斜線部が検出された縮小率に従い削除される係数で
ある。ａ２が拡大された係数を示し、ａ２中、斜線部が
検出された拡大率に従い新たに付加する０係数である。

ｂ２が縮小された係数である。

第３図は、請求項（３）に対応する第１図中の拡大・縮
小による補償演算部１ｏの詳細構成図である。

第１図のフレームメモリ８に蓄えられている前フレーム
の復号化画像と入力された現フレームから、拡大・縮小
の中心検出部１３で拡大・縮小の中心を検出し、１ライ
ン抽出部１４で、該中心を含むＭ画素１ラインデータを
前フレームの復号化画像と現フレームについて抽出する
。このうち、前フレームから抽出された１ラインデータ
を、１次元内挿補間による拡大・縮小操作部２５におい
てＭ　＋　ｍデータに拡大・縮小する。該前フレームの
１ライン拡大・縮小データと現フレームから抽出された
１ラインデータとの差分を差分演算部１９で求め、該差
分値をメモリ２０に蓄える。拡大・縮小率検索範囲指定
・監視部１６で指定された範囲内で拡大・縮小データ数
ｍを変化させて、拡大・縮小、及び差分を求めるための
操作を繰り返す。該検索範囲内で操作が終了した後、前
記メモリ２０に蓄えられている差分値の最小値ｍ０を用
いて、拡大・縮小率検出部２１で拡大・縮小率にを、ｒ
＝（Ｍｔｈｍ、）７Ｍにより検出する。該拡大・縮小率
ｒは第１図中の可変長符号化部１２に送られ可変長符号
化される。一方、フレームメモリ８に蓄えられている前
フレームの復号化画像は、２次元内挿補間による拡大・
縮小操作部２６で、前記拡大・縮小率ｒに従って拡大・
縮小され、現フレームとの差分を求めるための参照画像
として。

再び第１図中のフレームメモリ８へ蓄積される。

第６図に、１次元内挿補間による拡大・縮小操作部２５
における内挿補間法を示す。第６図で、抽出された１ラ
インデータを８に示す。各矢印が画素を示し、その高さ
で画素値を示す。拡大によって画素間隔が広がったデー
タをｂに示す。−点鎖線の矢印が画素間隔を広げて再配
置された元の画素であり、実線の矢印が新たに内挿補間
によって求められた画素である。内挿補間法は、簡単な
線形補間法を用いている。例えば、図中ｉの位置での画
素値ｆ　（ｉ）を求めるには、再配置された画素のうち
、近接する２画素であるｇ　（ｉ）とｇ（ｊ＋１）から
、次式によって求める。

ｆ（ｉ）＝ｗ（ｉ、　ｊ）　Ｘｇ（ｊ）　十ｗ（ｉ、　
ｊ＋１）　Ｘｇ（ｊ＋１）ここで、Ｗ（スｖ　ｙ）は元
の画素間隔を１としたときに、ｆ（ｘｔ）とｇ（Ｘｓ）
の画素間隔Ｉ　Ｘ、　−１２で決まる重み関数である。

但し、１ｘｔｘｚｌ≧１のときＷ（Ｘｌｌ　Ｘ２）　＝
Ｏであり、ｌｘ、−ｘ、ｌ＝０のときｗ（ｘ□、ｘ、）
＝１である。

第７図に、２次元内挿補間による拡大・縮小操作部２６
における内挿補間法を示す。図中・が元の画素位置すな
わち画素間隔１の位置を示し、０が検出された拡大率に
従って画素間隔が広がった画素位置を示す。内挿補間に
は、線形補間を用いている。例えば、図中ｆ　（ｘ＋　
ｙ）で示した位置の画素値を求めるには、近接する４画
素ｇ（ｘ＋ｊＬｇ　（＋＋１．　ｊＬ　ｇ　（１＋　Ｊ
”ｌＬ　ｇ　（１”ｌ、ｊ＋１）から次式によって求め
る。

ｆ　（ｘｅｙ）＝ｗ　（ｘ、ｉ　；　ｙ、ｊ）Ｘ　ｇ　
（ｉＪ　＋　ｗ（ｘ、ｉ＋１　：　ｙＪ　ｘ　ｇ　（ｉ
＋１．ｊ）＋　ｗ　（ｘ、ｉ　：　ｙ　＋ｊ”ｌ）　Ｘ
　ｇ　（ｘ、ｊ＋１）＋ｗ　（ｘ、ｉ＋ｌ　；　ｙ＋ｊ
”ｌ）　Ｘ　ｇ　（ｘ＋ｔ、ｊ＋Ｄここで、ｗ（ｋ、　
ｍａｌ、　ｎ）はｆ（ｋ、ｌ）とｇ（ｍｔｎ）の画素間
隔ｄ　＝　ｖ’　（ｋ−ｍ）２＋　（１−ｎ）”で決ま
る重み関数である。但し、ｄ≧Ｖ２　のときＷ＝Ｏであ
り、ｄ＝ｏのときｗ＝１である。

なお、第６図及び第７図は拡大の場合を示したが、縮小
の場合も基本的に同様である。

以上、実施例では、動画像の符号化について説明したが
、本発明は、例えば同じ場所の異なる縮尺から成る地図
の組等、倍率の異なる複数の画像を蓄積する場合等にも
適用可能である。

【発明の効果〕

本発明の画像符号化方式によれば、動画像等のフレーム
間符号化において、画像系列中にズーム等による画像の
拡大・縮小が存在する場合、請求項（１，）では、フレ
ーム間差分を求めるための参照画像を作成する際に必要
な情報が、従来の動き補償よりも少なくなり、画像の動
きに適応した補償法で効率良いフレーム間符号化が可能
となり、また、請求項（２）では、フーリエ変換・逆フ
ーリエ変換を適用することにより、原理的に正確な拡大
・縮小予測面、像が得られ、請求項（３）では、線間補
間を適用することにより、演算時間の短縮が可能になる
。

【図面の簡単な説明】

第１図は本発明の一実施例の全体構成図、第２図は第１
図における拡大・縮小による補機演算部の第１の詳細構
成図、第３図は第１図における拡大・縮小による補償演
算部の第２の詳細構成図、第４図は第２図における１次
元フーリエ変換係数の操作法を示す図、第５図は第２図
における２次元フーリエ変換係数の操作法を示す図、第
６図は第３図における１次元内挿補間法を示す図、第７
図は第３図における２次元内挿補間法を示す図である。１・・・差分演算部、　２・・・符号化部、３・・・量
子化部、　４・・・可変長符号化部。５・・・逆量子化部、　６・・・復号化部、８・・・加
算演算部、　８・・・フレームメモリ、９・・・動き補
償演算部。１０・・・拡大・縮小による補償演算部。１１・・・スイッチ、　　１２・・・可変長符号化部。 ←ｍ→ Ｈ＋＋ｙ＋１′拭人ご―；才広太一一一一一−Ｍ　−ｑ　−一十ｂ：柿、１＼鵠・Ｉ、

Claims

【特許請求の範囲】

（１）画像のフレーム間符号化方式において、画像系列
中にズーミングにより拡大・縮小された画像が存在する
場合、拡大・縮小率を検出し、該検出した拡大・縮小率
に従って過去のフレームの復号化画像の拡大・縮小画像
を作成し、該作成した拡大・縮小画像を現符号化対象画
像の予測画像とし、該予測画像と現符号化対象画像との
差分画像を符号化することを特徴とする画像符号化方式
。
（２）請求項（１）記載の画像符号化方式において、第
ｎフレームの復号化画像から拡大・縮小の中心を含む１
ライン（Ｍ画素）を取り出し、一次元フーリエ変換を施
して変換係数を得、該変換係数の最高周波数に相当する
係数からｍ個削除するか、ｍ個の０係数を付加して、Ｍ
±ｍ個の変換係数を作成し、該個数の増減した変換係数
を逆フーリエ変換して１ライン拡大・縮小データを得、
第ｎ＋１フレームから拡大・縮小の中心を含む１ライン
を取り出し、前記１ライン拡大・縮小データとの差分を
求め、ｍを変化させて、前記フーリエ変換係数の増減、
逆変換、差分計算を繰り返し、該差分が最小となるｍを
求めてｍ＿０とし、（Ｍ±ｍ＿０）／Ｍより拡大・縮小
率にを検出し、第ｎフレームの画像を２次元フーリエ変換し、該フーリ
エ変換係数の個数が水平垂直方向それぞれｒ倍になるよ
うに、最高周波数に相当する係数から削除あるいは０係
数を付加して変換係数の個数を増減させ、該変換係数を
逆フーリエ変換して拡大・縮小画像を得、該拡大・縮小
両像を現符号化対象フレームの予測画像とすることを特
徴とする画像符号化方式。
（３）請求項（１）記載の画像符号化方式において、第
ｎフレームの復号化画像から拡大・縮小の中心を含む１
ライン（Ｍ画素）を取り出し、該１ライン上の画素間隔
を１としてＭ画素分の長さをＭ±ｍで表したときの新た
な画像間隔を算出し、該画像間隔に従って画素を再配置
し、元の画素位置に相当する画素値を再配置された画素
のうち近接する２画素から線形補間によって求めて１ラ
イン拡大・縮小データを得、第ｎ＋１フレームから拡大
・縮小の中心を含む１ラインを取り出し、前記１ライン
拡大・縮小データとの差分を求め、ｍを変化させて、前
記画素間隔算出、画素再配置、線形補間、差分計算を繰
り返し、該差分が最小となるｍを求めてｍ＿０とし、（
Ｍ±ｍ＿０）／Ｍより拡大・縮小率ｒを検出し、第ｎフレームの画素間隔を水平垂直方向ともｒ倍になる
ように再配置し、元の画素位置に相当する画素値を近接
する４画素から線形補間によって求めて、拡大・縮小画
像を得、該拡大・縮小画像を現符号化対象フレームの予
測画像とすることを特徴とする画像符号化方式。