JPH0787493A - フレーム内挿方法 - Google Patents

Abstract

(57)【要約】 【目的】 内挿画像中にぼけ、エッジずれ、濃淡の不連
続性等の画質劣化が発生するという欠点を除去し、画質
の向上を図る。 【構成】 フレーム内挿回路２０において、受信側に伝
送された２つの連続する伝送フレームの一方又は両方が
多角形パッチに分割される。さらに、伝送フレームの各
ブロックの動きベクトルに基づき、アフィン変換決定回
路２２により、多角形パッチ毎の内挿フレームに対する
アフィン変換が決定される。内挿フレーム走査回路２
３、アフィン変換回路２４、及び内挿フレームメモリ２
５により、アフィン変換を用いて伝送フレームデータか
ら内挿フレームデータが作成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビジョン（以下、
ＴＶという）電話、ＴＶ会議等の動画像を圧縮して符号
化する際の圧縮符号化方法におけるフレーム内挿方法に
関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されるものがあった。 文献；特開平４−７２９８５号公報 一般に、ＴＶ電話やＴＶ会議等の画像通信システムにお
いては、通信路の伝送速度に制限があるため、ある時刻
における画像（これを「フレーム」と呼ぶ）を送信側で
コマ落としすることにより、送信データ量を減らすこと
がある。この場合、受信側では、コマ落としされたフレ
ームを再生するためにフレーム内挿を行う。フレーム内
挿方法としては、前記文献に記載される方法がある。こ
のフレーム内挿方法は、フレームをブロックに分割し、
その分割されたブロック毎に動き補償（以下、ＭＣとい
う）を行い、動きベクトルと動き誤差とを符号化して受
信側に伝送する圧縮符号化方法の受信の処理において、
次のような処理を行う。即ち、注目ブロックとその周辺
ブロックに関する動きベクトルと、動き補償誤差とに基
づいて、該注目ブロックの動きベクトルを修正し、この
動きベクトルを用いて、送信側でコマ落としされたフレ
ームを再生するようになっている。

【０００３】図２は、前記文献に記載された、修正され
た動きベクトルを用いた内挿フレーム作成の様子を説明
する図である。図２の１，３は受信側に伝送された連続
する２つのフレーム、２は内挿フレーム、４，５は内挿
処理に用いるフレーム１，３内のブロック、６は現在の
内挿処理をしている内挿フレーム２内のブロック、及び
７はフレーム１内のブロック４が次のフレーム３におい
てブロック５の位置まで移動したときの動きベクトルを
それぞれ示す。図２において、動きベクトル７に基づい
て、フレーム１内のブロック４に対応する次フレーム３
及び内挿フレーム２内のブロック５，６の位置が明らか
になるので、次式（１）に基づいてブロック６の画像デ
ータＢが計算され、内挿フレーム２が再生される。 Ｂ＝（１−ａ）・Ｂ₁ ＋ａ・Ｂ₂ ・・・（１） 但し、Ｂ₁ ；ブロック４の画像データ Ｂ₂ ；ブロック５の画像データ ａ；（内挿フレーム２の時刻−フレーム１の時刻）／
（フレーム３の時刻−フレーム１の時刻） 従って、この種のフレーム内挿方法では、送信側での動
きベクトルの検出精度がある程度悪い場合においても、
該動きベクトルが信頼性の高い周辺ブロックの動きベク
トルによって修正され、このベクトル値に基づいて内挿
画像を生成するので、画像中の対象物が大局的及び局所
的に平行移動する場合に対し、有効である。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
フレーム内挿方法では、次のような問題があり、それを
解決することが困難であった。 （ａ） 従来のフレーム内挿方法では、画像中の対象物
に回転や変形を伴う変化が存在する場合、動きベクトル
だけではブロックの動きを正確に表現できないため、
（１）式により内挿を行うと、内挿画像中にぼけやエッ
ジずれ等の画質劣化が発生する。 （ｂ） 画像中の対象物に回転や変形を伴う変化が存在
する場合や、動きベクトルに誤差がある場合、（１）式
により内挿処理されたブロックのデータは、本来あるべ
きデータに対して位置のずれたデータとなる。そのた
め、結果的に内挿画像上に濃淡の不連続性が現れる画質
劣化（例えば、ブロック歪みやデータの欠落・重複等）
が発生しやすくなる。 本発明は、前記従来技術が持っていた課題として、内挿
画像中にぼけ、エッジずれ、濃淡の不連続性等の画質劣
化が発生するという点について解決し、画質の優れたフ
レーム内挿方法を提供することを目的とする。

【０００５】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、伝送フレームをブロックに分割し、
分割されたブロック毎に動き補償を行い、動きベクトル
と動き誤差とを符号化して受信側に伝送する圧縮符号化
の受信の処理で、送信側でコマ落としされたフレームを
再生し、フレームレートを増加する処理を行うフレーム
内挿方法において、次のような手段を講じている。即
ち、受信側に伝送された２つの連続する伝送フレームの
一方又は両方を多角形のパッチ（領域）に分割し、さら
に、該伝送フレームの各ブロックの動きベクトルに基づ
いて多角形パッチ毎の内挿フレームに対する幾何学的変
換を決定する。そして、決定された幾何学的変換を用い
て伝送フレームデータから内挿フレームデータを作成す
る。第２の発明では、第１の発明の多角形パッチの分割
の際には、前記伝送フレームの各ブロックの中心位置を
頂点とした多角形パッチを用いる。第３の発明では、第
１の発明の幾何学的変換の決定の際には、前記伝送フレ
ーム内の多角形パッチ毎に内挿フレーム内の対応する領
域との関係をアフィン変換として表現し決定する。第４
の発明では、第１の発明の幾何学的変換の決定の際に
は、伝送された動きベクトルを、注目ブロック及び近傍
ブロックの動きベクトルと動き補償誤差とを考慮して修
正し、その修正されたベクトルに基づいて、前記多角形
パッチ毎の内挿フレームに対する幾何学的変換を決定す
る。

【０００６】第５の発明では、第１の発明のフレーム内
挿方法において、前記ブロックのうちの動きベクトルが
伝送されないブロック（即ち、動き補償が行われずに伝
送されるブロック）については、近傍ブロックの動きベ
クトルと動き補償誤差とに基づいて動きベクトルを計算
し、あるいは、伝送されたフレームデータ間のパタンマ
ッチングによって動きベクトルを計算する。この計算さ
れた動きベクトルに基づいて前記多角形パッチ毎の内挿
フレームに対する幾何学的変換を決定する。第６の発明
では、第１の発明のフレーム内挿方法において、受信側
に伝送された２つの連続する伝送フレームの両方に基づ
いて各々内挿フレームデータを作成し、この２つの内挿
フレームデータの重み付き加算結果を最終的な内挿フレ
ームデータとする。第７の発明では、第２の発明の多角
形パッチの分割の際には、前記伝送フレームの隣接する
３つのブロックの中心位置を頂点とした三角形パッチを
用いる。第８の発明では、第２の発明の多角形パッチの
分割の際には、前記伝送フレームの隣接する４つのブロ
ックの中心位置を頂点とした正方形パッチを用いる。

【０００７】第９の発明では、第１の発明と同様のフレ
ーム内挿方法において、受信側に伝送された２つの連続
する伝送フレームの一方を多角形パッチに分割し、さら
に、該伝送フレームの各ブロックの動きベクトルに基づ
いて多角形パッチ毎に前記２つの伝送フレーム各々の内
挿フレームに対する幾何学的変換を決定する。この決定
された２つの幾何学的変換を用いて前記２つの伝送フレ
ームデータから内挿フレームデータを作成する。第１０
の発明では、第１の発明と同様のフレーム内挿方法にお
いて、内挿フレームを多角形パッチに分割し、受信され
た各ブロックの動きブロックの動きベクトルに基づいて
多角形パッチの頂点毎の動きを推定する。この推定値に
基づいて多角形パッチ毎の伝送フレームに対する幾何学
的変換を決定し、その決定された幾何学的変換を用いて
伝送フレームデータから内挿フレームデータを作成す
る。第１１の発明では、第１０の発明の多角形パッチの
頂点毎の動きの推定の際には、ブロック毎の動きベクト
ルに基づいて該ブロックに対応する内挿フレーム内のブ
ロック領域の位置を計算する。その後、多角形パッチの
頂点毎に、該頂点を中心とする所定の領域中に含まれる
前記ブロックの領域の、大きさ、対応する動きベクト
ル、及び対応する動き補償誤差の少なくとも一つ以上を
考慮して前記頂点の動きを推定する。第１２の発明で
は、第１０の発明の多角形パッチの頂点毎の動きの推定
の際には、ブロック毎の動きベクトルに基づいて該ブロ
ックの代表点に対応する内挿フレーム内の代表点の位置
を計算する。その後、多角形パッチの頂点毎に、該頂点
を中心とする所定の領域中に含まれる前記内挿フレーム
内の代表点の、位置、対応する動きベクトル、及び対応
する動き補償誤差の少なくとも一つ以上を考慮して前記
頂点の動きを推定する。

【０００８】第１３の発明では、第１０の発明の多角形
パッチの頂点毎の動きの推定の際には、注目する頂点の
動きを、近傍の頂点の動き及び（又は）動き誤差を考慮
して修正する。第１４の発明では、第１０の発明の幾何
学的変換の決定の際には、内挿フレーム内の多角形パッ
チ毎に伝送フレーム内の対応する領域との関係をアフィ
ン変換として表現し決定する。第１５の発明では、第１
０の発明の内挿フレームデータ作成に用いる伝送フレー
ムデータを、内挿フレームの前後に隣接する２つの伝送
フレームのうちいずれか一方のデータとする。第１６の
発明では、第１０の発明の内挿フレームデータ作成に用
いる伝送フレームデータを、内挿フレームの前後に隣接
する２つの伝送フレームの両方とし、さらに、２つの伝
送フレームデータの各々から計算される内挿データの重
み付き加算を行うことによって前記内挿フレームデータ
を作成する。第１７の発明では、第１３の発明の頂点の
動き誤差を、頂点を中心とした内挿フレーム内の局所領
域に対応する、該内挿フレームの前後に隣接する２つの
伝送フレームの領域データに基づいて計算する。

【０００９】

【作用】第１の発明によれば、以上のようにフレーム内
挿方法を構成したので、受信側に伝送された２つの連続
する伝送フレームが多角形パッチに分割され、その多角
形パッチが伝送フレーム上に設定され、隣接する多角形
パッチ間で濃淡の連続性が保たれる。さらに、決定され
る幾何学的変換には、平行移動だけでなく、回転や拡大
・縮小等を含むので、画像中の対象物が複雑な動きをし
ても、その動きに対する内挿が行える。第２の発明によ
れば、パッチ頂点とブロック中心とを一致させることに
より、ブロックの動きベクトルをパッチ頂点動き量と見
なせる。第３の発明によれば、パッチ毎のアフィン変換
により、画像の変形の表現が行える。第４の発明によれ
ば、伝送された動きベクトルを修正することにより、送
信時の動きベクトル検出誤差や、パッチ頂点の動き推定
誤差の吸収が行える。第５の発明によれば、動きベクト
ルが伝送されないブロック（即ち、動き補償が行われず
に伝送されるブロック）に対し、動きベクトルが計算さ
れる。第６の発明によれば、受信側に伝送された２つの
連続する伝送フレームの両方に基づいて各々内挿フレー
ムデータが作成されるので、前後フレームとの相関の高
い内挿フレームデータの作成が行える。第７の発明によ
れば、幾何学的変換としてアフィン変換を適用した場
合、三角形パッチに対する方程式の数が例えば６個得ら
れ、その６個のアフィン係数の決定が行える。第８の発
明によれば、正方形パッチを用いることにより、パッチ
総数の減少と、処理時間の短縮化が図れる。

【００１０】第９の発明によれば、２つの前後フレーム
との相関の高い内挿フレームデータの作成が行える。第
１０の発明によれば、多角形パッチが内挿フレーム上に
設定され、隣接する多角形パッチ間で濃淡の連続性が保
たれる。さらに、幾何学的変換には、平行移動だけでな
く、回転や拡大・縮小等を含むので、画像中の対象物の
複雑な動きに対しても内挿が行える。第１１の発明によ
れば、多角形パッチ頂点の動きは、周辺領域の動きとの
相関が強いので、そのパッチ頂点の動きの推定が行え
る。第１２の発明によれば、周辺領域の動きに対して相
関が強い多角形パッチ頂点の動きが推定される。第１３
の発明によれば、注目する頂点の動きが修正されるの
で、送信時の動きベクトル検出誤差や、パッチ頂点の動
き推定誤差が吸収される。第１４の発明によれば、一般
の画像が画素間相関が強いことから、パッチ毎のアフィ
ン変換によって画像の変形に対する表現が行える。第１
５の発明によれば、内挿フレームの前後に隣接する２つ
の伝送フレームのうちのいずれか一方の伝送フレームを
用いて内挿フレームデータの作成が行われるので、装置
構成の簡略化が図れる。第１６の発明によれば、内挿フ
レームの前後に隣接する２つの伝送フレームの両方を用
いて内挿フレームデータが作成されるので、動きの激し
い画像に対してもフレーム間相関の高い内挿フレームデ
ータの作成が行える。第１７の発明によれば、内挿フレ
ームの前後に隣接する２つの伝送フレーム間の相関が強
い程、内挿フレーム中の各パッチ頂点の動き推定誤差が
小さくなるので、この関係に基づいた動き誤差の計算が
行われる。従って、前記課題を解決できるのである。

【００１１】

【実施例】第１の実施例 図１は、本発明の第１の実施例であるフレーム内挿方法
を実施するための送信側及び受信側の構成図である。送
信側はカメラ１１、ＭＣ付き符号化回路１２、及び多重
化回路１３で構成され、それには伝送路１４を介して受
信側が接続されている。受信側は、分離回路１５、復号
化回路１６、フレーム内挿回路２０、時間軸多重回路３
１、及びモニタ３２で構成されている。送信側におい
て、カメラ１１は入力された画像データのディジタルデ
ータを出力するもので、その出力側にＭＣ付き符号化回
路１２を介して多重化回路１３が接続されている。ＭＣ
付き符号化回路１２は、カメラ１１の出力ディジタルデ
ータを入力し、各フレームをブロックに分割してブロッ
ク毎に動きベクトルＳ１２ａと動き誤差信号Ｓ１２ｂと
を多重化回路１３へ出力する回路である。多重化回路１
３は、動きベクトルＳ１２ａと動き誤差信号Ｓ１２ｂと
を多重化して伝送路１４へ出力する回路である。受信側
において、分離回路１５は多重化回路１３で多重化され
た信号を伝送路１４より入力して動きベクトルＳ１５ａ
と動き誤差信号Ｓ１５ｂとを出力する回路であり、その
出力側に復号化回路１６を介してフレーム内挿回路２０
が接続されている。復号化回路１６は、分離回路１５か
ら出力された動きベクトルＳ１５ａと動き誤差信号Ｓ１
５ｂとに基づきブロック毎の画像データを計算して伝送
フレームデータＳ１６ａを出力し、パッチ番号Ｓ２１を
入力して動きベクトルＳ１６ｂを出力し、又伝送フレー
ムアドレスＳ２４を入力して伝送フレームデータＳ１６
ｃを出力する回路である。フレーム内挿回路２０は、パ
ッチ番号Ｓ２１を出力して動きベクトルＳ１６ｂを入力
し、伝送フレームアドレスＳ２４を出力して伝送フレー
ムデータＳ１６ｃを入力し、さらに内挿フレームデータ
Ｓ２５を出力する回路である。

【００１２】復号化回路１６及びフレーム内挿回路２０
の出力側には、時間軸多重回路３１を介してモニタ３２
が接続されている。時間軸多重回路３１は、伝送フレー
ムデータＳ１６ａと内挿フレームデータＳ２５とを入力
し、時間軸に沿ってそれらを多重化してモニタ３２へ出
力する回路である。モニタ３２は、時間軸多重回路３１
で多重化された画像データを表示する機能を有してい
る。フレーム内挿回路２０は、パッチ番号カウンタ２
１、アフィン変換決定回路２２、内挿フレーム走査回路
２３、アフィン変換回路２４、及び内挿フレームメモリ
２５を有している。パッチ番号カウンタ２１は、パッチ
番号Ｓ２１を出力する回路であり、その出力側に復号化
回路１６及びアフィン変換決定回路２２が接続されてい
る。アフィン変換決定回路２２は、パッチ番号Ｓ２１、
内挿時刻パラメータａ、及び動きベクトルＳ１６ｂを入
力し、アフィン係数データＳ２２ａ及び内挿フレーム内
位置データＳ２２ｂを出力する回路であり、その出力側
に内挿フレーム走査回路２３及びアフィン変換回路２４
が接続されている。内挿フレーム走査回路２３は、内挿
フレーム内位置データＳ２２ｂを入力して内挿フレーム
アドレスＳ２３を出力する回路であり、その出力側にア
フィン変換回路２４及び内挿フレームメモリ２５が接続
されている。アフィン変換回路２４は、内挿フレームア
ドレスＳ２３とアフィン係数データＳ２２ａとを入力
し、アフィン変換された伝送フレームアドレスＳ２４を
計算して復号化回路１６へ出力する回路である。内挿フ
レームメモリ２５は、内挿フレームアドレスＳ２３と伝
送フレームデータＳ１６ｃとを入力し、内挿フレームデ
ータＳ２５を時間軸多重回路３１へ出力する回路であ
る。

【００１３】次に、図１を参照しつつ、（１）送信側の
動作、（２）受信側の動作、及び（３）受信側における
フレーム内挿回路２０の動作を説明する。 （１） 送信側の動作 カメラ１１は、光学像を入力すると、それを光電変換し
て電気信号に変換し、さらにアナログ／ディジタル（以
下、Ａ／Ｄという）変換を行い、ディジタル化された動
画像データをＭＣ付き符号化回路１２へ出力する。ＭＣ
付き符号化回路１２は、ディジタル化された動画像デー
タを入力すると、その動画像を構成する各フレームをブ
ロックに分割し、その分割されたブロック毎に動き補償
を行い、動き補償による誤差信号と動きベクトルとを計
算する。さらに、このＭＣ付き符号化回路１２では、計
算された誤差信号に含まれる冗長成分を除去するため、
直交変換、例えば離散コサイン変換（以下、ＤＣＴとい
う）を行い、その結果得られる動きベクトルＳ１２ａ及
び動き誤差信号Ｓ１２ｂを多重化回路１３へ出力する。
多重化回路１３は、動きベクトルＳ１２ａと動き誤差信
号Ｓ１２ｂとを入力して多重化し、可変長符号化（例え
ば、ハフマン符号化）を行って符号長を短くした後、伝
送路１４へ出力する。

【００１４】（２） 受信側の動作 多重化回路１３で多重化された信号が伝送路１４より受
信されると、分離回路１５は可変長符号化に対する復号
化の処理を行い、ブロック毎に動きベクトルＳ１５ａ及
び動き誤差信号Ｓ１５ｂを復号化回路１６へ出力する。
復号化回路１６は、ＭＣ付き符号化回路１２における直
交変換の逆変換を行って動き誤差信号Ｓ１５ｂを変換
し、動き補償による誤差信号を求める。さらに、この復
号化回路１６では、求められた動き補償による誤差信号
と、動きベクトルＳ１５ａと、予め記憶された前フレー
ムについての伝送フレームデータとに基づき、ブロック
毎の再生データを計算して１フレームの画像データを作
成し、これを伝送フレームデータＳ１６ａ，Ｓ１６ｃと
して記憶し、フレーム内挿回路２０内の内挿フレームメ
モリ２５と時間軸多重回路３１へ出力する。フレーム内
挿回路２０は、後述する動作に基づいて連続する伝送フ
レーム間に内挿すべきフレーム（内挿フレーム）のデー
タＳ２５を計算し、時間軸多重回路３１へ出力する。時
間軸多重回路３１は、内挿フレームデータＳ２５を連続
する伝送フレームデータＳ１６ａ間へ内挿してモニタ３
２へ出力する。モニタ３２は、時間軸多重回路３１より
入力される伝送フレームデータＳ１６ａと内挿フレーム
データＳ２５とからなるフレームデータ列を光学像に変
換して表示する。

【００１５】（３） 受信側におけるフレーム内挿回路
２０の動作（図３〜図５参照） 本実施例においては、伝送フレームを三角形の領域（こ
れを「パッチ」と呼ぶ）に分割し、パッチ毎に内挿処理
を行う。この内挿処理では、まず、パッチ番号カウンタ
２１が各パッチを識別するためのパッチ番号Ｓ２１を復
号化回路１６へ出力し、パッチの内挿処理が終了する度
に、該パッチ番号Ｓ２１をインクリメント（増分）して
復号化回路１６へ出力する。図３は、図１のブロックと
パッチの位置関係を説明する図である。本実施例では、
ブロックの中心を頂点とする三角形の領域を１つのパッ
チとして定義する。図３の説明図では、フレーム４１を
正方形ブロック（例えば、図中４２）に分割し、その中
心位置（例えば、図中４３）を頂点とした２種類の形状
のパッチ（例えば、図中４４，４５）が示されている。
フレーム内挿回路２０内のパッチ番号カウンタ２１よ
り、パッチ番号Ｓ２１が出力されると、復号化回路１６
は該パッチ番号Ｓ２１に基づき、パッチの３つの頂点が
含まれる３つのブロックの位置を計算し、該当する３つ
の動きベクトルＳ１６ｂをアフィン変換決定回路２２へ
出力する。アフィン変換決定回路２２は、パッチの３つ
の頂点の各々に対し、動きベクトルＳ１６ｂに基づき内
挿フレーム内の対応点の位置を計算する。本実施例で
は、内挿フレームを作成するために、例えば、該内挿フ
レームの前後に隣接する２つの伝送フレームＦ１（前フ
レーム）及びＦ２（後フレーム）のうち、伝送フレーム
Ｆ１を利用する。

【００１６】図４は、図１の伝送フレームＦ１と内挿フ
レームとの位置関係を説明する図である。図４におい
て、５１は伝送フレームＦ１、５２は内挿フレーム、５
３は伝送フレームＦ２、５４は伝送フレームＦ１内のあ
るパッチの頂点位置ｒ_i 、５５は伝送フレームＦ２内に
あってパッチの頂点位置ｒ_i に対応する位置、５６は内
挿フレーム内にあってパッチの頂点位置ｒ_i に対応する
位置Ｒ_i 、及び５７はパッチの頂点位置ｒ_i を含むブロ
ックの動きベクトルｖ_i をそれぞれ表す。図４に示すよ
うに、アフィン変換決定回路２２は、伝送フレームＦ１
内の点ｒ_i が動きベクトルｖ_i で表現される等速度運動
によって伝送フレームＦ２内の点５５へ移動すると仮定
することにより、内挿フレーム内での対応点の位置Ｒ_i
を次式（２）のように計算する。 Ｒ_i ＝ｒ_i ＋ａｖ_i ・・・（２） 但し、ａは内挿時刻パラメータで、（内挿フレームの時
刻−伝送フレームＦ１の時刻）／（伝送フレームＦ２の
時刻−伝送フレームＦ１の時刻）を表す。このアフィン
変換決定回路２２では、（２）式に従い、伝送フレーム
Ｆ１内のパッチの３つの頂点の各々に対して内挿フレー
ム内の対応する位置を計算し、その計算結果を内挿フレ
ーム走査回路２３へ出力すると、次に、伝送フレームＦ
１と内挿フレームとの幾何学的関係を計算する。

【００１７】図５は、図１の伝送フレームＦ１内の三角
形のパッチの内挿フレームに対する幾何学的変換を説明
する図である。図５において、６１，６２，６３は伝送
フレームＦ１内のパッチの頂点位置ｒ₁ ，ｒ₂ ，ｒ₃ を
表し、６４，６５，６６は頂点位置ｒ₁ ，ｒ₂ ，ｒ₃ に
対応する内挿フレーム内の位置Ｒ₁ ，Ｒ₂ ，Ｒ₃ を表し
ており、ｉ＝１，２，３の各々について（２）式が成立
する。アフィン変換決定回路２２では、前記の幾何学的
関係を計算するために、該幾何学的変換としてアフィン
変換を適用し、そのパラメータ（これを「アフィン係
数」と呼ぶ）を計算し、出力する。即ち、伝送フレーム
Ｆ１内の位置をｒ＝（ｘ，ｙ）、及び内挿フレーム内の
位置をＲ＝（Ｘ，Ｙ）とし、アフィン変換を、

【数１】 と定義して、（ｒ，Ｒ）＝（ｒ_i ，Ｒ_i ）（ｉ＝１，
２，３）の各々について（３）式を適用し、この連立方
程式を解いてアフィン係数（β_0X，β_1X，β_2X，β_0Y，
β_1Y，β_2Y）を決定する。これらの決定結果は、内挿フ
レーム走査回路２３及びアフィン変換回路２４へ送られ
る。内挿フレーム走査回路２３は、アフィン変換決定回
路２２よりパッチの３つの頂点に対応する内挿フレーム
内の位置データＳ２２ｂ（図５におけるＲ₁ ，Ｒ₂，Ｒ
₃ の位置）を入力すると、これら３点を頂点とする三角
形（図５における三角形Ｒ₁ Ｒ₂ Ｒ₃ ）の内部を走査
し、その位置Ｒ＝（Ｘ，Ｙ）を内挿フレームアドレスＳ
２３として順次出力し、アフィン変換回路２４及び内挿
フレームメモリ２５へ送る。アフィン変換回路２４で
は、内挿フレームアドレスＲ＝（Ｘ，Ｙ）とアフィン係
数（β_0X，β_1X，β_2X，β_0Y，β_1Y，β_2Y）とに基づ
き、（３）式に従って伝送フレームアドレスｒ＝（ｘ，
ｙ）を計算し、復号化回路１６へ出力する。復号化回路
１６が伝送フレームアドレスｒ＝（ｘ，ｙ）に基づき、
記憶された伝送フレームＦ１のデータ中から該当する画
素ｒ＝（ｘ，ｙ）のデータを読出して出力すると、内挿
フレームメモリ２５は内挿フレームアドレスＲ＝（Ｘ，
Ｙ）の格納場所に前記の伝送フレームＦ１内の画素ｒ＝
（ｘ，ｙ）のデータを書込み記憶する。次に、パッチ番
号カウンタ２１がインクリメントされてパッチ番号Ｓ２
１が更新されると、前述と同様の動作により、次のパッ
チに対する内挿データの作成が実行される。このような
動作を繰り返して内挿フレームメモリ２５に１フレーム
分のデータが書込まれると、該内挿フレームメモリ２５
より内挿フレームデータＳ２５が読出されて時間軸多重
回路３１へ出力される。

【００１８】以上のように、本実施例では次のような利
点等がある。 （ｉ） 本実施例のフレーム内挿回路２０では、伝送フ
レームＦ１を三角形パッチに分割し、各パッチ毎に動き
ベクトルを考慮して内挿フレームとの幾何学的関係を計
算し、これに基づいて内挿データを作成する。そのた
め、パッチ間の境界における内挿データは濃淡の連続性
が保障され、しかも、画像のぼけやエッジずれも発生し
ない。従って、本実施例によるフレーム内挿方法は、従
来方法よりも高い画質を実現できる。 （ii） 本実施例では、伝送フレームＦ１を用いて内挿
フレームデータＳ２５を作成する場合について説明した
が、その伝送フレームＦ１の代わりに伝送フレームＦ２
を用いても、本実施例と同様の作用、効果が得られる。 (iii） 前記（ii）において、伝送フレームＦ１及びＦ
２の両方を用いて内挿フレームデータＳ２５を作成する
ことも可能である。この場合には、本実施例のように一
方の伝送フレームのみを用いる場合に比べ、内挿フレー
ムにおける濃淡値の精度が向上することが期待できる。
例えば、時間的に明るさの変化する対象物の画像を符号
化し、復号化する場合においては、内挿フレームでの明
るさを伝送フレームＦ１での明るさと、伝送フレームＦ
２での明るさとの中間値に設定できるので、視覚的に不
快感を伴わないフレーム内挿が実現可能である。このよ
うな伝送フレームＦ１及びＦ２の両方を用いて内挿フレ
ームデータを作成する場合の本発明の第２の実施例を図
６に示す。

【００１９】第２の実施例 図６は、本発明の第２の実施例を示す受信側の構成図で
あり、第１の実施例を示す図１中の要素と共通の要素に
は共通の符号が付されている。本実施例では、第１の実
施例と同様の分離回路１５、時間軸多重回路３１、及び
モニタ３２を有しているが、復号化回路１６Ａ及びフレ
ーム内挿回路２０Ａの構成が第１の実施例と異なってい
る。復号化回路１６Ａは、フレーム内挿回路２０Ａ内の
第１及び第２のフレーム内挿回路２０−１，２０−２の
両方に対して独立にデータの受取りを行う構成になって
いる。このフレーム内挿回路２０Ａは、図１のフレーム
内挿回路２０と同様な動作を行う第１と第２のフレーム
内挿回路２０−１，２０−２と、この第１，第２のフレ
ーム内挿回路２０−１，２０−２より出力される内挿フ
レームデータＳ２５−１，Ｓ２５−２の重み付き加算を
行う重み付き加算器２６とで、構成されている。第１の
フレーム内挿回路２０−１は、伝送フレームＦ１内のパ
ッチ毎に該パッチ番号Ｓ２１−１を復号化回路１６Ａへ
出力し、該復号化回路１６Ａより該当する３つの動きベ
クトルＳ１６ｂ−１を入力してアフィン変換係数を計算
し、該アフィン変換係数に基づいて伝送フレームＦ１内
のアドレスＳ２４−１を復号化回路１６Ａへ出力し、該
当する伝送フレームＦ１内のデータＳ１６ｃ−１を復号
化回路１６Ａより入力して内挿フレームデータＳ２５−
１を作成し記憶する。

【００２０】第２のフレーム内挿回路２０−１は、伝送
フレームＦ２内のパッチ毎に該パッチ番号Ｓ２１−２を
復号化回路１６Ａへ出力し、該復号化回路１６Ａより該
当する３つの動きベクトルＳ１６ｂ−２を入力してアフ
ィン変換係数を計算し、該アフィン変換係数に基づいて
伝送フレームＦ２内のアドレスＳ２４−２を復号化回路
１６Ａへ出力し、該当する伝送フレームＦ２内のデータ
Ｓ１６ｃ−２を復号化回路１６Ａより入力して内挿フレ
ームデータＳ２５−２を作成し記憶する。この第２のフ
レーム内挿回路２０−２では、アフィン変換を決定する
ために、伝送フレームＦ２上のパッチの頂点ｒ_i'と内挿
フレーム内の対応点Ｒ_i との関係を次式（４）により計
算する。 Ｒ_i ＝ｒ_i'−（１−ａ）ｖ_i ・・・（４） 但し、ａは（２）式で用いた場合と同様の内挿時刻パラ
メータ、ｖ_i はパッチ頂点ｒ_i'に対する伝送フレームＦ
１から伝送フレームＦ２への動きベクトルである。

【００２１】図７は、図６において（４）式の関係を示
す伝送フレームＦ２と内挿フレームとの位置関係を説明
する図である。図７において、７１は伝送フレームＦ
１、７２は内挿フレーム、７３は伝送フレームＦ２、７
５は伝送フレームＦ２内のあるパッチの頂点位置ｒ_i'、
７４は伝送フレームＦ１内にあって頂点位置ｒ_i'に対応
する位置、７６は内挿フレーム内にあって頂点位置ｒ_i'
に対応する位置Ｒ_i 、及び７７は頂点位置ｒ_i'を含むブ
ロックの動きベクトルｖ_i をそれぞれ表す。図７に示す
ように、伝送フレームＦ１内の点７４が動きベクトルｖ
_i で表現される等速度運動によって伝送フレームＦ２内
の点ｒ_i'へ移動すると仮定することにより、内挿フレー
ム内での対応点の位置Ｒ_i が前式（４）のごとく計算さ
れる。重み付き加算器２６では、第１のフレーム内挿回
路２０−１に記憶された内挿フレームデータＩＰ₁ と、
第２のフレーム内挿回路２０−２に記憶された内挿フレ
ームデータＩＰ₂ の両方を読出して、次式（５）に基づ
き最終的な内挿フレームデータＩＰを計算し、時間軸多
重回路３１へ出力する。 ＩＰ＝（１−ａ）・ＩＰ₁ ＋ａ・ＩＰ₂ ・・・（５） 但し、ａは（２）式で用いた場合と同様の内挿時刻パラ
メータである。この第２の実施例では、伝送フレームＦ
１に基づく内挿フレームデータＳ２５−１と伝送フレー
ムＦ２に基づく内挿フレームデータＳ２５−２との両方
に基づき、重み付き加算器２６で最終的な内挿フレーム
データＳ２６が決定される。そのため、第１の実施例に
比べ、内挿フレームにおける濃淡値の精度を向上するこ
とが可能となる。この第２の実施例のように、伝送フレ
ームＦ１及びＦ２の両方に基づいて内挿フレームデータ
Ｓ２６を作成する方法は、必ずしも図６の構成例に限定
されるものではなく、本発明の主旨に基づくものであれ
ば、任意好適に構成することができる。その一例を次の
第３の実施例で説明する。

【００２２】第３の実施例 図８は、本発明の第３の実施例を示すもので、図６に示
す第２の実施例のフレーム内挿と同等の効果を有する他
の受信側の構成図であり、第１の実施例を示す図１中の
要素と共通の要素には共通の符号が付されている。この
受信側では、第１の実施例と同様に分離回路１５、時間
軸多重回路３１、及びモニタ３２を備え、さらに第１の
実施例と構成の異なる復号化回路１６Ｂ及びフレーム内
挿回路２０Ｂを有している。復号化回路１６Ｂは、分離
回路１５から出力される動きベクトルＳ１５ａ及び動き
誤差信号Ｓ１５ｂに基づきブロック毎の画像データを計
算して伝送フレームデータＳ１６ａを時間軸多重回路３
１へ出力し、フレーム内挿回路２０Ｂから出力されるパ
ッチ番号Ｓ２１を入力して該フレーム内挿回路２０Ｂへ
動きベクトルＳ１６ｂを出力して、該フレーム内挿回路
２０Ｂから出力される伝送フレームアドレスＳ２４−
１，Ｓ２４−２を入力して画像データＳ１６ｄ−１，Ｓ
１６ｄ−２を該フレーム内挿回路２０Ｂへ出力する回路
である。フレーム内挿回路２０Ｂは、第１の実施例と同
様のパッチ番号カウンタ２１、内挿フレーム走査回路２
３、及び内挿フレームメモリ２５を備え、さらに第１の
実施例と構成の異なるアフィン変換決定回路２２Ａ、及
びアフィン変換回路２４Ａと新たな重み付き加算器２７
とを有している。

【００２３】次に、第１の実施例と構成の異なる復号化
回路１６Ｂ、アフィン変換決定回路２２Ａ、アフィン変
換回路２４Ａ、及び重み付き加算器２７等の機能を説明
する。図８のアフィン変換決定回路２２Ａは、パッチ番
号カウンタ２１から出力されるパッチ番号Ｓ２１に対応
する伝送フレームＦ２上のパッチの頂点に対する３つの
動きベクトルＳ１６ｂを復号化回路１６Ｂより入力し、
伝送フレームＦ１と内挿フレームとの幾何学的関係、及
び伝送フレームＦ２と内挿フレームとの幾何学的関係
を、各々アフィン変換係数として計算する。図９は、図
８のフレーム内挿の動作説明図であり、この図を参照し
つつ図８のアフィン変換決定回路２２Ａの動作を説明す
る。図９において、８１，８２，８３は伝送フレームＦ
２におけるパッチの頂点位置ｒ₁'，ｒ₂'，ｒ₃'、８４，
８５，８６は頂点位置ｒ₁'，ｒ₂'，ｒ₃'に対応する内挿
フレーム内の位置Ｒ₁ ，Ｒ₂ ，Ｒ₃ 、８７，８８，８９
は頂点位置ｒ₁'，ｒ₂'，ｒ₃'に対応する伝送フレームＦ
１内の位置ｒ₁ ，ｒ₂ ，ｒ₃ をそれぞれ表す。アフィン
変換決定回路２２Ａでは、先ず、頂点位置ｒ₁'，ｒ₂'，
ｒ₃'及び対応する３つの動きベクトルｖ₁ ，ｖ₂ ，ｖ₃
に基づき、次式（６）のごとく位置Ｒ_i ，ｒ_i （ｉ＝
１，２，３）を計算する。 Ｒ_i ＝ｒ_i'−（１−ａ）ｖ_i ｒ_i ＝ｒ_i'−ｖ_i ・・・（６） 次に、アフィン変換決定回路２２Ａは、伝送フレームＦ
１内の位置をｒ＝（ｘ，ｙ）、内挿フレーム内の位置を
Ｒ＝（Ｘ，Ｙ）、伝送フレームＦ２内の位置をｒ' ＝
（ｘ'，ｙ'）、及びアフィン変換を、

【数２】 と定義して、（ｒ，Ｒ，ｒ' ）＝（ｒ_i ，Ｒ_i ，ｒ_i'）
（ｉ＝１，２，３）の各々について（７）式を適用す
る。そして、この連立方程式を解いて２組のアフィン係
数（β_0X，β_1X，β_2X，β_0Y，β_1Y，β_2Y）及び
（γ_0X，γ_1X，γ_2X，γ_0Y，γ_1Y，γ_2Y）を決定し、そ
の決定結果を内挿フレーム走査回路２３及びアフィン変
換回路２４Ａへ送る。アフィン変換回路２４Ａは、アフ
ィン変換決定回路２２Ａより２組のアフィン係数データ
Ｓ２２ａ−１，Ｓ２２ａ−２を入力し、さらに内挿フレ
ーム走査回路２３より内挿フレームアドレスＲ＝（Ｘ，
Ｙ）を入力して、（７）式に基づき２組の伝送フレーム
アドレスｒ＝（ｘ，ｙ）及びｒ' ＝（ｘ'，ｙ'）を計算
し、復号化回路１６Ｂへ出力する。復号化回路１６Ｂか
ら、２組の伝送フレームアドレスｒ，ｒ' に対応した伝
送フレーム内の２組の画素データＳ１６ｄ−１，Ｓ１６
ｄ−２が出力されると、重み付き加算器２７は該画素デ
ータＳ１６ｄ−１，Ｓ１６ｄ−２の重み付き加算値を計
算し、内挿フレームメモリ２５内の内挿フレームアドレ
スＲ＝（Ｘ，Ｙ）に対応した格納場所にデータを記憶す
る。前記重み付き加算は、伝送フレームアドレスｒ＝
（ｘ，ｙ）に対応した伝送フレームＦ１の画素データを
ｐ₁ 、及び伝送フレームアドレスｒ' ＝（ｘ'，ｙ'）に
対応した伝送フレームＦ２の画素データをｐ₂ として、
次式（８）により計算される。 ｐ＝（１−ａ）ｐ₁ ＋ａｐ₂ ・・・（８） 内挿フレームメモリ２５に、パッチを構成する全画素の
データが書込まれ、さらにフレームを構成する全パッチ
のデータが書込まれることにより、内挿フレームデータ
Ｓ２５の作成が終了する。以上のように、この第３の実
施例でも、第２の実施例と同様に、伝送フレームＦ１及
びＦ２の両方に基づいて内挿フレームデータＳ２５が決
定されるので、第１の実施例に比べ、内挿フレームにお
ける濃淡値の精度を向上させることが可能となる。

【００２４】第４の実施例 第１〜第３の実施例では、パッチをブロックの中心を頂
点とする三角形として説明したが、該パッチの形状を三
角形以外の多角形としてもよい。例えば、パッチをブロ
ックの中心を頂点とする正方形としてもよく、この場合
にはフレームを構成するパッチの総数を三角形パッチの
場合に比べ減少させることができるので、フレーム内挿
の処理時間を短縮することができる。この場合、例えば
図１のアフィン変換決定回路２２において、アフィン係
数を計算するために（３）式で表現されるアフィン変換
式をパッチの４つの頂点に適用して連立方程式を立てる
と、求めるべきアフィン係数の数（＝６）と方程式の数
（＝８）とが一致しない。そのため、一般的には解が一
意に定まらないが、従来公知のデータ解析手法を用いて
アフィン係数を計算できる。図１０は、本発明の第４の
実施例を示すもので、正方形パッチによる幾何学的変換
を説明する図である。図１０において、９１，９２，９
３，９４は伝送フレーム内のパッチの頂点位置ｒ₁ ，ｒ
₂ ，ｒ₃ ，ｒ₄ を表し、９５，９６，９７，９８は４つ
の頂点位置ｒ₁ ，ｒ₂ ，ｒ₃ ，ｒ₄ の各々に対応する内
挿フレーム内の位置Ｒ₁ ，Ｒ₂ ，Ｒ₃，Ｒ₄ を表す。こ
こでは、回帰分析により、（３）式で表現されるアフィ
ン係数（β_0X，β_1X，β_2X，β_0Y，β_1Y，β_2Y）を計算
するものとすると、ｒ_i ＝（ｘ_i，ｙ_i），Ｒ_i ＝
（Ｘ_i，Ｙ_i）（ｉ＝１，２，３，４）として、次式
（９）のごとくアフィン係数が得られる。

【００２５】

【数３】 第５の実施例 第１〜第３の実施例では、受信側に伝送された動きベク
トルに基づき、パッチ毎の内挿フレームに対する幾何学
的変換を決定するよう構成する場合について説明した
が、該幾何学的変換の決定のために前記動きベクトルを
修正してもよい。図１１は、本発明の第５の実施例を示
すもので、動きベクトルの修正方法についての説明図で
ある。図１１中の１０１は注目ブロックを、１０２は近
傍ブロックのうちの一つを示している。動きベクトルの
修正方法としては、例えば、注目ブロックの動きベクト
ルをｖ₀ 、動き補償誤差をｅ₀ とし、近傍ブロックの動
きベクトルをｖ_i 、動き補償誤差をｅ_i （ｉ＝１，２，
…，８）として、例えば次式（１０）に基づき注目ブロ
ックの動きベクトル修正値ｖ₀'を計算すればよい。

【００２６】

【数４】 但し、ｗ_i （０，１，…，８）は各ブロックの重み係数
であって、注目ブロックに近いブロック程大きい値を持
つ定数とする。このように、動きベクトルを修正するこ
とにより、送信側での動きベクトル検出誤差を吸収して
内挿フレームの画質を高めることができる。又、他の実
施例として、送信側から動きベクトルが伝送されないブ
ロック（即ち、動き補償を行わないブロック）に関する
動きベクトルを、近傍ブロックの動きベクトルを考慮す
ることによって推定できる。前記動き補償を行わないブ
ロックの動きベクトル検出の他の方法としては、受信側
で再生された連続する２つの伝送フレームデータ間のパ
タンマッチングにより、動きベクトルを計算してもよ
い。

【００２７】第６の実施例 図１２は、本発明の第６の実施例であるフレーム内挿方
法を実施するための送信側及び受信側の構成図であり、
第１の実施例を示す図１中の要素と共通の要素には共通
の符号が付されている。本実施例では、第１の実施例と
同様にカメラ１１、ＭＣ付き符号化回路１２、多重化回
路１３、伝送路１４、分離回路１５、復号化回路１６、
時間軸多重回路３１、及びモニタ３２を備えているが、
該復号化回路１６及び時間軸多重回路３１に接続される
フレーム内挿回路２０Ｃの構成が第１の実施例と異なっ
ている。フレーム内挿回路２０Ｃは、第１の実施例と同
様のパッチ番号カウンタ２１、アフィン変換回路２４及
び内挿フレームメモリ２５と、第１の実施例と構成の異
なるアフィン変換決定回路２２Ｂ及び内挿フレーム走査
回路２３Ａと、新たな重み付き加算器２７Ａ及び動き推
定回路２８とを、備えている。パッチ番号カウンタ２１
は、パッチ番号Ｓ２１を出力する回路であり、その出力
側に復号化回路１６、動き推定回路２８及び内挿フレー
ム走査回路２３Ａが接続されている。動き推定回路２８
は、パッチ番号Ｓ２１、内挿時刻パラメータａ、及び復
号化回路１６から出力される動きベクトルＳ１６ｂを入
力し、パッチ頂点の動き量をアフィン変換決定回路２２
Ｂへ出力する回路である。アフィン変換決定回路２２Ｂ
は、動き推定回路２８から出力されるパッチ頂点の動き
量、及び内挿時刻パラメータａを入力し、アフィン係数
データＳ２２ａを出力する回路であり、その出力側にア
フィン変換回路２４が接続されている。

【００２８】内挿フレーム走査回路２３Ａは、パッチ番
号Ｓ２１を入力して内挿フレームアドレスＳ２３Ａを出
力する回路であり、その出力側にアフィン変換回路２４
及び内挿フレームメモリ２５が接続されている。アフィ
ン変換回路２４は、アフィン係数データＳ２２ａ及び内
挿フレームアドレスＳ２３Ａを入力し、アフィン変換さ
れた伝送フレームアドレスＳ２４を計算してそれを復号
化回路１６へ出力する回路である。重み付き加算器２７
Ａは、復号化回路１６から出力される伝送フレームデー
タＳ１６ｃを入力して重み付き加算を行う回路であり、
その出力側に内挿フレームメモリ２５が接続されてい
る。内挿フレームメモリ２５は、内挿フレームアドレス
Ｓ２３Ａ、及び重み付き加算の結果を入力し、内挿フレ
ームデータＳ２５を時間軸多重回路３１へ出力する回路
である。以上のように構成される図１２の送信側及び受
信側では、第１の実施例と同様の送信側及び受信側の動
作を行うが、受信側におけるフレーム内挿回路２０Ｃの
動作が第１の実施例と異なっているので、それを以下説
明する。本実施例では、内挿フレームを三角形のパッチ
に分割し、そのパッチ毎に内挿処理を行う。この内挿処
理では、先ず、パッチ番号カウンタ２１が各パッチを識
別するためのパッチ番号Ｓ２１を復号化回路１６、動き
推定回路２８及び内挿フレーム走査回路２３Ａへ出力
し、パッチの内挿処理が終了する毎に、該パッチ番号Ｓ
２１をインクリメントして出力する。

【００２９】図１３は、図１２の内挿フレームとパッチ
の位置関係を説明する図である。本実施例では、図１３
に示すように、内挿フレーム（図中１１１）を２種類の
直角二等辺三角形のパッチ（例えば、図中１１２，１１
３）に分割するものとする。フレーム内挿回路２０Ｃに
おいて、パッチ番号カウンタ２１からパッチ番号Ｓ２１
が復号化回路１６、動き推定回路２８及び内挿フレーム
走査回路２３Ａへ出力されると、該復号化回路１６で
は、該パッチ番号Ｓ２１に基づき、パッチの周辺に属す
るブロック群の動きベクトルＳ１６ｂを動き推定回路２
８へ出力する。動き推定回路２８は、ブロック群の動き
ベクトルＳ１６ｂに基づき、パッチの３つの頂点各々の
動き量を推定する。即ち、この動き推定回路２８では、
先ず、ブロック毎に動きベクトルＳ１６ｂを考慮して内
挿フレーム内の対応領域を計算する。この計算は、図１
４に示す伝送フレームＦ１，Ｆ２と内挿フレームＩＰと
の位置関係に基づいて実行される。図１４において、１
２２は内挿フレームＩＰ、１２１は内挿フレームＩＰの
前側に隣接する伝送フレームＦ１、１２３は内挿フレー
ムＩＰの後側に隣接する伝送フレームＦ２、１２５は伝
送フレームＦ２内の任意の点の位置ｒ_i'、１２４は点ｒ
_i'に対応した伝送フレームＦ１内の点の位置ｒ_i 、１２
６は点ｒ_i'に対応した内挿フレームＩＰ内の点の位置Ｒ
_i 、１２７は点ｒ_i'の含まれるブロックに対する伝送フ
レームＦ１から伝送フレームＦ２への動きベクトルｖ_i
をそれぞれ表す。

【００３０】本実施例では、伝送フレームＦ１内の位置
ｒ_i が、動きベクトルｖ_i で表現される等速度運動によ
って、伝送フレームＦ２内の位置ｒ_i'へ移動すると仮定
することにより、内挿フレームＩＰ内の対応位置を決定
する。即ち、図１４中の１２９に示されるように、伝送
フレームＦ２内のブロックの任意画素の位置ｒ_i'と動き
ベクトルｖ_i とに基づき、内挿フレーム内の対応位置Ｒ
_i が次式（４−１）により計算される。 Ｒ_i ＝ｒ_i'−（１−ａ）ｖ_i ・・・（４−１） 但し、ａは内挿時刻パラメータで、（内挿フレームＩＰ
の時刻−伝送フレームＦ１の時刻）／（伝送フレームＦ
２の時刻−伝送フレームＦ１の時刻）を表す。さらに、
動き推定回路２８は、内挿フレーム内のパッチの頂点の
動き量を推定するために、この頂点を中心とする所定の
領域に含まれる、前述のブロック対応領域の大きさ、該
ブロックの動きベクトル、及び動き補償誤差を用いて動
き量を計算する。

【００３１】図１５は、図１２の動き推定回路２８の動
作を説明する図である。図１５において、１３１は内挿
フレームにおけるパッチの頂点、１３２は頂点１３１を
中心とする領域、１３３〜１３６は伝送フレームＦ２内
のブロック群（４ブロック）に対し（４−１）式で計算
される内挿フレーム内の４つの対応領域Ｂ₁ 〜Ｂ₄ をそ
れぞれ表す。本実施例では、領域Ｂ_i （ｉ＝１，２，
…，Ｎ）に対応するブロックの動きベクトルをｖ_i 、動
き補償誤差をｅ_i とし、領域Ｂ_i と領域１３２との共通
領域（図中１３７〜１４０）の大きさをＳ_i とし、例え
ば、次式（１１）に基づいて頂点１３１の動き量Ｖ_i を
計算する。

【００３２】

【数５】 なお、動き補償誤差ｅ_i は、伝送フレームＦ１と伝送フ
レームＦ２との対応するブロックデータ間の誤差量であ
り、（１１）式を適用する際に、予め計算しておけばよ
い。又、動き推定回路２８を、内挿フレーム内のパッチ
の頂点の動き量を推定するために、伝送フレームＦ２内
のブロックの中心位置に対する内挿フレーム内の対応点
の位置を（４−１）式に基づいて計算し、パッチの頂点
を中心とする所定の領域に含まれる、前記対応点群の位
置、対応するブロックの動きベクトル、及び動き補償誤
差を用いて動き量を計算するよう構成してもよい。図１
６は、上述の構成に基づく動き推定回路２８の他の動作
を説明する図である。図１６において、１４１は内挿フ
レームにおけるパッチの頂点、１４２は頂点１４１を中
心とする領域、１４３〜１４６は伝送フレームＦ２内の
ブロック群（４ブロック）の各中心に対し（４−１）式
で計算される内挿フレーム内の４つの対応点Ｂ₁ 〜Ｂ₄
をそれぞれ表す。この場合には、点Ｂ_i （ｉ＝１，２，
…，Ｎ）に対応するブロックの動きベクトルをｖ_i 、動
き補償誤差をｅ_i とし、点Ｂ_iとパッチ頂点１４１との
距離をＬ_i として、例えば、次式（１２）に基づいて頂
点１４１の動き量Ｖ_i を計算する。

【００３３】

【数６】 図１５及び図１６のいずれの動き推定回路２８によって
も、（１１）式あるいは（１２）式により計算される動
き量Ｖ_i は、内挿フレーム内のパッチの頂点の周辺ブロ
ック群に関する動きベクトルに基づいて計算される量で
あり、該頂点が等速度運動すると仮定した場合の伝送フ
レームＦ１から伝送フレームＦ２への動きベクトルを近
似していることがわかる。動き推定回路２８がパッチの
各頂点についての動き量を推定してアフィン変換決定回
路２２Ｂへ出力すると、該アフィン変換決定回路２２Ｂ
では、該動き量に基づいて伝送フレームＦ１，Ｆ２と内
挿フレームとの幾何学的関係を計算する。図１７は、図
１２のアフィン変換決定回路２２Ｂの動作を説明する図
である。図１７において、１５１，１５２，１５３は内
挿フレームにおけるパッチの頂点位置Ｒ₁ ，Ｒ₂ ，
Ｒ₃ 、１５４，１５５，１５６は頂点位置Ｒ₁ ，Ｒ₂ ，
Ｒ₃に対応する伝送フレームＦ１内の位置ｒ₁ ，ｒ₂ ，
ｒ₃ 、１５７，１５８，１５９は頂点位置Ｒ₁ ，Ｒ₂ ，
Ｒ₃ に対応する伝送フレームＦ２内の位置ｒ₁'，ｒ₂'，
ｒ₃'をそれぞれ表す。動き推定回路２８より出力される
パッチ頂点Ｒ_i （ｉ＝１，２，３）の動き量Ｖ_i は、該
頂点Ｒ_i に関する伝送フレームＦ１から伝送フレームＦ
２への動きベクトルを近似するものであるから、ｒ_i 及
びｒ₁'の値は次式（１３），（１４）により計算され
る。 ｒ_i ＝Ｒ_i −ａＶ_i ・・・（13） ｒ₁'＝Ｒ_i ＋（１−ａ）Ｖ_i ・・・（14） 但し、ａは（４−１）式の場合と同様の内挿時刻パラメ
ータである。本実施例では、アフィン変換決定回路２２
Ｂが前記幾何学的関係を計算するために、幾何学的関係
をアフィン変換として表現し、そのパラメータ（アフィ
ン係数）を計算して出力する。即ち、伝送フレームＦ１
内の位置をｒ＝（ｘ，ｙ）、内挿フレーム内の位置をＲ
＝（Ｘ，Ｙ）、及び伝送フレームＦ２内の位置をｒ'＝
（ｘ'，ｙ'）とし、そのアフィン変換を、

【数７】 と定義して、（ｒ，Ｒ，ｒ' ）＝（ｒ_i ，Ｒ_i ，ｒ_i'）
（ｉ＝１，２，３）の各々について（７−１），（７−
２）式を適用する。そして、この連立方程式を解いて伝
送フレームＦ１に対するアフィン係数（β_0X，β_1X，β
_2X，β_0Y，β_1Y，β_2Y）と、伝送フレームＦ２に対する
アフィン係数（γ_0X，γ_1X，γ_2X，γ_0Y，γ_1Y，γ_2Y）
とを決定し、その決定結果をアフィン変換回路２４へ送
る。一方、内挿フレーム走査回路２３Ａは、パッチ番号
カウンタ２１から出力されるパッチ番号Ｓ２１を入力す
ると、該当するパッチ（図１７における三角形Ｒ₁Ｒ₂
Ｒ₃ ）の内部を走査し、その位置Ｒ＝（Ｘ，Ｙ）を内挿
フレームアドレスＳ２３Ａとして順次出力し、アフィン
変換回路２４及び内挿フレームメモリ２５へ送る。アフ
ィン変換回路２４は、内挿フレームアドレスＲ＝（Ｘ，
Ｙ）とアフィン係数（β_0X，β_1X，β_2X，β_0Y，β_1Y，
β_2Y）とに基づき、（７−１）式に従って伝送フレーム
Ｆ１のアドレスｒ＝（ｘ，ｙ）を計算し、同時に、内挿
フレームアドレスＲ＝（Ｘ，Ｙ）とアフィン係数
（γ_0X，γ_1X，γ_2X，γ_0Y，γ_1Y，γ_2Y）とに基づき、
（７−２）式に従って伝送フレームＦ２のアドレスｒ'
＝（ｘ'，ｙ'）を計算し、これらの伝送フレームアドレ
スｒ及びｒ' を復号化回路１６へ出力する。復号化回路
１６では、前記の伝送フレームアドレスｒ＝（ｘ，ｙ）
に基づいて記憶された伝送フレームＦ１のデータ中か
ら、該当する画素ｒ＝（ｘ，ｙ）のデータｐ₁ を読出
し、さらに、前記の伝送フレームアドレスｒ' ＝
（ｘ'，ｙ'）に基づいて記憶された伝送フレームＦ２の
データ中から、該当する画素ｒ' ＝（ｘ'，ｙ'）のデー
タｐ₂ を読出す。すると、重み付き加算器２７Ａは、次
式（８−１）に基づいて内挿フレームの画素データｐを
計算する。 ｐ＝（１−ａ）ｐ₁ ＋ａｐ₂ ・・・（８−１） 但し、ａは（４−１）式と同様の内挿時刻パラメータで
ある。内挿フレームメモリ２５では、重み付き加算器２
７Ａより加算出力データｐを入力し、このデータｐを前
記内挿フレームアドレスＲ＝（Ｘ，Ｙ）の格納場所に書
込み記憶する。

【００３４】次に、パッチ番号カウンタ２１がインクリ
メントされてパッチ番号Ｓ２１が更新されると、前述と
同様の動作によって、次のパッチに対する内挿データの
作成が実行される。このような動作を繰り返して、内挿
フレームメモリ２５に１フレーム分のデータが書込まれ
ると、該内挿フレームメモリ２５より内挿フレームデー
タＳ２５が読出されて時間軸多重回路３１へ出力され
る。以上のように、この第６の実施例では、次のような
利点等がある。本実施例のフレーム内挿回路２０Ｃで
は、内挿フレームを三角形パッチに分割し、そのパッチ
の頂点に関する動き量を動きベクトルに基づいて推定
し、各パッチ毎に前述の動き量を考慮して２つの伝送フ
レームとの幾何学的関係を計算し、これに基づいて内挿
データを作成する。そのため、パッチ間の境界における
内挿データは濃淡の連続性が保障され、しかも、画像の
ぼけやエッジずれも発生しない。従って、本実施例のフ
レーム内挿方法では、従来方法よりも高い画質を実現で
きる。本実施例では、アフィン変換決定回路２２Ｂを、
動き推定回路２８より入力される内挿フレーム内のパッ
チ頂点毎の動き量に基づいて該パッチの伝送フレームに
対する幾何学的変換を決定するよう構成する場合につき
説明したが、該幾何学的変換の決定のために、前記パッ
チ頂点の動き量を修正してもよい。その修正方法を、次
の第７の実施例で説明する。

【００３５】第７の実施例 図１８は、本発明の第７の実施例を示すもので、パッチ
頂点の動き修正の方法についての説明図である。図１８
において、１６１は内挿フレーム内の一部分を表す。１
６２は注目するパッチ頂点の位置Ｒ₀ 、１６３はＲ₀ に
隣接する８つのパッチ頂点位置Ｒ₁ 〜Ｒ₈ のうちの一つ
をそれぞれ表す。ここでは、一例としてパッチ頂点位置
Ｒ_i （ｉ＝０，１，２，…，８）の、対応する動き量Ｖ
_i 及び動き誤差Ｅ_i とに基づき、注目するパッチ頂点の
動き量を次式（10−１）のように修正する。

【００３６】

【数８】 但し、ｗ_i （ｉ＝０，１，…，８）は各パッチ頂点の重
み係数であって、注目するパッチ頂点に近いパッチ頂点
程大きい定数とする。動き誤差Ｅ_i は、パッチ頂点位置
Ｒ_i を中心とする内挿フレーム内の所定の領域に対応す
る２つの伝送フレームＦ１及びＦ２のデータに基づいて
計算される。図１９は、図１８のパッチ頂点の動き修正
における動き誤差を計算する方法の説明図である。図１
９において、１７１は伝送フレームＦ１、１７３は伝送
フレームＦ２、１７２は内挿フレームＩＰ、１７４は内
挿フレーム内のパッチ頂点位置Ｒ_i 、１７５はパッチ頂
点位置Ｒ_i を中心とする所定の領域Ａ、１７６は領域Ａ
に対応する伝送フレームＦ１内の領域Ａ₁ 、１７７は領
域Ａに対応する伝送フレームＦ２内の領域Ａ₂ 、及び１
７８はパッチ頂点位置Ｒ_i に対する動き推定回路２８か
ら出力された動き量Ｖ_i をそれぞれ表す。図１９に示す
ように、パッチ頂点位置Ｒ_i を中心とする領域Ａの位置
と該パッチ頂点位置Ｒ_i の動き量Ｖ_i とが与えられる
と、図中の１７９及び１８０のベクトルａＶ_i 及び（１
−ａ）Ｖ_i を用いて、領域Ａに対応する伝送フレーム内
の領域（即ち、領域Ａ₁ 及び領域Ａ₂ ）の位置が明らか
となる。そのため、領域Ａ₁と領域Ａ₂ の画素データの
差を用いることによって、動き誤差Ｅ_i を計算すること
ができる。このように、パッチ頂点の動き量を、近傍の
パッチ頂点の動き量と動き誤差に応じて修正することに
より、送信側での動きベクトル検出誤差や、動き推定回
路２８での動き推定誤差を吸収して内挿フレームの画質
を高めることができる。

【００３７】第８の実施例 第６の実施例では、パッチ形状を三角形として説明した
が、該パッチ形状を三角形以外の多角形としてもよい。
例えば、パッチを正方形としてもよく、この場合には内
挿フレーム走査回路２３Ａにおける画素走査の順序を単
純化できるので、装置構成を簡単化することが可能であ
る。なお、この場合、アフィン変換決定回路２２Ｂにお
いて、アフィン係数を計算するために（７−１）式又は
（７−２）式で表現されるアフィン変換式を、パッチの
４つの頂点に適用して連立方程式を立てると、求めるべ
きアフィン係数の数（＝６）と方程式の数（＝８）とが
一致しない。そのため、一般には解が一意に定まらない
が、従来公知のデータ解析方法を用いてアフィン係数を
計算できる。図２０は、本発明の第８の実施例を示すも
ので、正方形パッチの場合のアフィン変換決定回路２２
Ｂの動作を説明する図である。図２０において、１８
１，１８２，１８３，１８４は内挿フレーム内のパッチ
の頂点Ｒ₁ ，Ｒ₂ ，Ｒ₃ ，Ｒ₄ 、１８５，１８６，１８
７，１８８は４つの頂点Ｒ₁ ，Ｒ₂ ，Ｒ₃ ，Ｒ₄ に対応
する伝送フレームＦ１内の位置ｒ₁ ，ｒ₂ ，ｒ₃，ｒ₄
をそれぞれ表す。ここでは、回帰分析により、（７−
１）式で表現されるアフィン係数（β_0X，β_1X，β_2X，
β_0Y，β_1Y，β_2Y）を計算するものとすると、ｒ_i ＝
（ｘ_i，ｙ_i），Ｒ_i ＝（Ｘ_i，Ｙ_i）（ｉ＝１，２，３，
４）として次式のごとくアフィン係数が得られる。

【００３８】

【数９】 なお、伝送フレームＦ２に対応する（７−２）式で表現
されるアフィン係数（γ_0X，γ_1X，γ_2X，γ_0Y，γ_1Y，
γ_2Y）についても、前述と同様の方法によって計算する
ことができる。

【００３９】第９の実施例 第６の実施例では、伝送フレームＦ１及びＦ２の両方を
用いて内挿フレームデータを作成するようフレーム内挿
回路２０Ｃを構成する場合につき説明したが、これに限
定されない。例えば、アフィン変換回路２４を、２つの
伝送フレームＦ１，Ｆ２のうちいずれか一方のみの伝送
フレームアドレスを出力するよう構成し、さらに、重み
付き加算器２７Ａを除去して、復号化回路１６からの伝
送フレームデータＳ１６ｃを直接内挿フレームメモリ２
５に書込むようにすれば、一方の伝送フレームだけを用
いて内挿フレームデータを作成するこができる。この場
合には、第６の実施例に比べ、処理速度の向上と、装置
構成の簡単化を実現できる。

【００４０】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、受信側への伝送フレームを多角形パッチに分
割し、さらに、動きベクトルに基づいて多角形パッチ毎
の内挿フレームに対する幾何学的変換を決定し、該幾何
学的変換を用いて伝送フレームデータから内挿フレーム
データを作成するようにしたので、隣接する多角形パッ
チ間で濃淡の連続性が保たれる。そのため、従来のよう
なブロック歪みや画像データ欠落・重複等の画質劣化の
ないフレーム内挿が実現できる。さらに、幾何学的変換
は、平行移動だけでなく、回転や拡大・縮小等を含むの
で、画像中の対象物の動きが平行移動だけでなく、より
複雑な場合にも、動きの内挿が可能となり、従来に比べ
ぼけやエッジずれの少ないフレーム内挿が実現できる。
第２の発明によれば、多角形パッチの分割の際には、伝
送フレームの各ブロックの中心位置を頂点とした多角形
パッチを用いるようにしたので、パッチ頂点とブロック
中心とを一致させることにより、該ブロックの動きベク
トルをパッチ頂点の動き量と見なせるので、幾何学的変
換の計算が容易かつ安定に行える。第３の発明によれ
ば、幾何学的変換の決定の際には、伝送フレーム内の多
角形パッチ毎に内挿フレーム内の対応する領域との関係
をアフィン変換として表現し決定するようにしたので、
一般の画像が画素間相関が強いため、パッチ毎のアフィ
ン変換によって画像の変形を十分表現できる。しかも、
アフィン変換では、幾何学的変換を少ないパラメータ
（例えば、６個）で表現できる。第４の発明によれば、
幾何学的変換の決定の際には、伝送された動きベクトル
を、注目ブロック及び近傍ブロックの動きベクトルと動
き補償誤差とを考慮して修正し、その修正された動きベ
クトルに基づいて多角形パッチ毎の内挿フレームに対す
る幾何学的変換を決定するようにしたので、送信時の動
きベクトル検出誤差や、パッチ頂点の動き推定誤差を吸
収でき、内挿フレームの画質向上が期待できる。

【００４１】第５の発明によれば、動きベクトルが伝送
されないブロック（即ち、動き補償が行われずに伝送さ
れるブロック）については、近傍ブロックの動きベクト
ルと動き補償誤差とに基づき動きベクトルを計算し、あ
るいは、伝送されたフレームデータ間のパタンマッチン
グによって動きベクトルを計算し、この動きベクトルに
基づいて多角形パッチ毎の内挿フレームに対する幾何学
的変換を決定するようにしているので、動きベクトルが
伝送されないブロックに対して動きベクトルが計算さ
れ、それによって内挿データの品質を向上できる。第６
の発明によれば、受信側に伝送された２つの連続する伝
送フレームの両方に基づいて各々内挿フレームデータを
作成し、この２つの内挿フレームデータの重み付き加算
結果を最終的な内挿フレームデータとしているので、一
方の伝送フレームに基づく場合に比べ、前後フレームと
の相関の高い内挿フレームデータを作成でき、それによ
って画質の向上が期待できる。第７の発明によれば、多
角形パッチの分割の際には、伝送フレームの隣接する３
つのブロックの中心位置を頂点とした三角形パッチを用
いるようにしたので、幾何学的変換として例えばアフィ
ン変換を適用した場合、三角形パッチに対する方程式の
数が例えば６個得られるため、アフィン係数（例えば、
６個）が一意に決定できる。そのため、アフィン変換に
最も適した内挿が実現できる。第８の発明によれば、多
角形パッチの分割の際には、伝送フレームの隣接する４
つのブロックの中心位置を頂点とした正方形パッチを用
いるようにしたので、パッチ総数を減少でき、処理時間
を短縮できる。

【００４２】第９の発明によれば、受信側に伝送された
２つの連続する伝送フレームの一方を多角形パッチに分
割し、さらに、該伝送フレームの各ブロックの動きベク
トルに基づいて多角形パッチ毎に前記２つの伝送フレー
ム各々の内挿フレームに対する幾何学的変換を決定し、
該２つの幾何学的変換を用いて前記２つの伝送フレーム
データから内挿フレームのデータを作成するようにした
ので、第６の発明とほぼ同様に、一方の伝送フレームに
基づく場合に比べ、前後フレームとの相関の高い内挿フ
レームデータを作成でき、画質の向上が期待できる。第
１０の発明によれば、第１の発明が多角形パッチを伝送
フレーム上に設定しているのに対し、多角形パッチを内
挿フレーム上に設定するようにしたので、装置化した際
の構成が第１の発明と異なるものの、該第１の発明とほ
ぼ同様の効果が得られる。第１１の発明によれば、多角
形パッチの頂点毎の動きの推定の際には、ブロック毎の
動きベクトルに基づいて該ブロックに対応する内挿フレ
ーム内のブロック領域の位置を計算した後、多角形パッ
チの頂点毎に、該頂点を中心とする所定の領域中に含ま
れる前記ブロック領域の、大きさ、対応する動きベクト
ル、及び対応する動き補償誤差の少なくとも一つ以上を
考慮して前記頂点の動きを推定するようにしている。多
角形パッチ頂点の動きは、一般的に、周辺領域の動きと
の相関が強い。そこで、この関係に基づき、パッチ頂点
の動きを推定するので、容易かつ安定に実現できる。第
１２の発明によれば、多角形パッチの頂点毎の動きの推
定の際には、ブロック毎の動きベクトルに基づいて該ブ
ロックの代表点に対応する内挿フレーム内の代表点の位
置を計算した後、多角形パッチの頂点毎に、該頂点を中
心とする所定の領域中に含まれる前記内挿フレーム内の
代表点の、位置、対応する動きベクトル、及び対応する
動き補償誤差の少なくとも一つ以上を考慮して前記頂点
の動きを推定するようにしている。この第１２の発明で
は、第１１の発明に対して装置化した際の構成が異なる
だけで、ほぼ同様の効果が得られる。

【００４３】第１３の発明によれば、多角形パッチの頂
点毎の動きの推定の際には、注目する頂点の動きを、近
傍の頂点の動き及び（又は）動き誤差を考慮して修正す
るようにしたので、送信時の動きベクトル検出誤差や、
パッチ頂点の動き推定誤差を吸収でき、内挿フレームの
画質向上を期待できる。第１４の発明によれば、幾何学
的変換の決定の際には、内挿フレーム内の多角形パッチ
毎に伝送フレーム内の対応する領域との関係をアフィン
変換として表現し決定するようにしている。一般の画像
は画素間相関が強いので、この第１４の発明のようにパ
ッチ毎のアフィン変換によって画像の変形を十分表現で
きる。さらに、アフィン変換は、幾何学的変換を少ない
パラメータ（例えば、６個）で表現できる。第１５の発
明によれば、内挿フレームデータ作成に用いる伝送フレ
ームデータを、内挿フレームの前後に隣接する２つの伝
送フレームのうちいずれか一方のデータとしているの
で、装置化した場合に構成をより簡略化できる。第１６
の発明によれば、内挿フレームデータ作成に用いる伝送
フレームデータを、内挿フレームの前後に隣接する２つ
の伝送フレーム両方とし、さらに、２つの伝送フレーム
データの各々から計算される内挿データの重み付き加算
を行うことによって前記内挿フレームデータを作成する
ようにしているので、動きの激しい画像に対しても、フ
レーム間相関の高い内挿フレームデータを作成できる。
そのため、第１５の発明に比べて画質の精度が向上す
る。第１７の発明によれば、頂点の動き誤差を、その頂
点を中心とした内挿フレーム内の局所領域に対応する、
該内挿フレームの前後に隣接する２つの伝送フレームの
領域データに基づいて計算するようにしている。内挿フ
レームの前後に隣接する２つの伝送フレーム間の相関が
強い程、一般的に、内挿フレーム中の各パッチ頂点の動
き推定誤差が小さくなる。そこで、この関係に基づいた
動き誤差計算を行うことにより、動き推定誤差を小さく
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の送信側及び受信側の構
成図である。

【図２】従来の内挿フレーム方法における内挿フレーム
作成の説明図である。

【図３】図１のブロックとパッチの位置関係の説明図で
ある。

【図４】図１の伝送フレームＦ１と内挿フレームとの位
置関係の説明図である。

【図５】図１の三角形のパッチによる幾何学的変換の説
明図である。

【図６】本発明の第２の実施例の受信側の構成図であ
る。

【図７】図６の伝送フレームＦ２と内挿フレームとの位
置関係の説明図である。

【図８】本発明の第３の実施例の受信側の構成図であ
る。

【図９】図８のフレーム内挿の動作説明図である。

【図１０】本発明の第４の実施例の正方形パッチによる
幾何学的変換の説明図である。

【図１１】本発明の第５の実施例の動きベクトルの修正
の説明図である。

【図１２】本発明の第６の実施例の送信側及び受信側の
構成図である。

【図１３】図１２の内挿フレームとパッチの位置関係の
説明図である。

【図１４】図１２の伝送フレームＦ１，Ｆ２と内挿フレ
ームＩＰとの位置関係の説明図である。

【図１５】図１２の動き推定回路２８の動作説明図であ
る。

【図１６】図１２の動き推定回路２８の他の動作説明図
である。

【図１７】図１２のアフィン変換決定回路２２Ｂの動作
説明図である。

【図１８】本発明の第７の実施例のパッチ頂点の動き修
正の説明図である。

【図１９】図１８のパッチ頂点の動き修正における動き
誤差の説明図である。

【図２０】本発明の第８の実施例の正方形パッチの場合
のアフィン変換決定回路２２Ｂの動作説明図である。

【符号の説明】

１１ カメラ １２ ＭＣ付き符号化回路 １３ 多重化回路 １４ 伝送路 １５ 分離回路 １６，１６Ａ，１６Ｂ 復号化回路 ２０，２０Ａ，２０Ｂ，２０Ｃ フレーム内挿回路 ２０−１，２０−２ 第１，第２のフレー
ム内挿回路 ２１ パッチ番号カウンタ ２２，２２Ａ，２２Ｂ アフィン変換決定回
路 ２３，２３Ａ 内挿フレーム走査回
路 ２４，２４Ａ アフィン変換回路 ２５ 内挿フレームメモリ ２６，２７，２７Ａ 重み付き加算器 ２８ 動き推定回路

Claims (17)

【特許請求の範囲】
1. 【請求項１】 伝送フレームをブロックに分割し、分割
   されたブロック毎に動き補償を行い、動きベクトルと動
   き誤差とを符号化して受信側に伝送する圧縮符号化の受
   信の処理で、送信側でコマ落としされたフレームを再生
   し、フレームレートを増加する処理を行うフレーム内挿
   方法において、 受信側に伝送された２つの連続する伝送フレームの一方
   又は両方を多角形パッチに分割し、さらに、該伝送フレ
   ームの各ブロックの動きベクトルに基づいて多角形パッ
   チ毎の内挿フレームに対する幾何学的変換を決定し、該
   幾何学的変換を用いて伝送フレームデータから内挿フレ
   ームデータを作成することを特徴とするフレーム内挿方
   法。
2. 【請求項２】 前記多角形パッチの分割の際には、前記
   伝送フレームの各ブロックの中心位置を頂点とした多角
   形パッチを用いることを特徴とする請求項１記載のフレ
   ーム内挿方法。
3. 【請求項３】 前記幾何学的変換の決定の際には、前記
   伝送フレーム内の多角形パッチ毎に内挿フレーム内の対
   応する領域との関係をアフィン変換として表現し決定す
   ることを特徴とする請求項１記載のフレーム内挿方法。
4. 【請求項４】 前記幾何学的変換の決定の際には、伝送
   された動きベクトルを、注目ブロック及び近傍ブロック
   の動きベクトルと動き補償誤差とを考慮して修正し、修
   正された動きベクトルに基づいて、前記多角形パッチ毎
   の内挿フレームに対する幾何学的変換を決定することを
   特徴とする請求項１記載のフレーム内挿方法。
5. 【請求項５】 前記ブロックの内の動きベクトルが伝送
   されないブロックについては、近傍ブロックの動きベク
   トルと動き補償誤差とに基づき動きベクトルを計算し、
   あるいは、伝送されたフレームデータ間のパタンマッチ
   ングによって動きベクトルを計算し、この動きベクトル
   に基づいて前記多角形パッチ毎の内挿フレームに対する
   幾何学的変換を決定することを特徴とする請求項１記載
   のフレーム内挿方法。
6. 【請求項６】 前記受信側に伝送された２つの連続する
   伝送フレームの両方に基づいて各々内挿フレームデータ
   を作成し、この２つの内挿フレームデータの重み付き加
   算結果を最終的な内挿フレームデータとすることを特徴
   とする請求項１記載のフレーム内挿方法。
7. 【請求項７】 前記多角形パッチの分割の際には、前記
   伝送フレームの隣接する３つのブロックの中心位置を頂
   点とした三角形パッチを用いることを特徴とする請求項
   ２記載のフレーム内挿方法。
8. 【請求項８】 前記多角形パッチの分割の際には、前記
   伝送フレームの隣接する４つのブロックの中心位置を頂
   点とした正方形パッチを用いることを特徴とする請求項
   ２記載のフレーム内挿方法。
9. 【請求項９】 伝送フレームをブロックに分割し、分割
   されたブロック毎に動き補償を行い、動きベクトルと動
   き誤差とを符号化して受信側に伝送する圧縮符号化の受
   信の処理で、送信側でコマ落としされたフレームを再生
   し、フレームレートを増加する処理を行うフレーム内挿
   方法において、 受信側に伝送された２つの連続する伝送フレームの一方
   を多角形パッチに分割し、さらに、該伝送フレームの各
   ブロックの動きベクトルに基づいて多角形パッチ毎に前
   記２つの伝送フレーム各々の内挿フレームに対する幾何
   学的変換を決定し、該２つの幾何学的変換を用いて前記
   ２つの伝送フレームデータから内挿フレームデータを作
   成することを特徴とするフレーム内挿方法。
10. 【請求項１０】 伝送フレームをブロックに分割し、分
    割されたブロック毎に動き補償を行い、動きベクトルと
    動き誤差とを符号化して受信側に伝送する圧縮符号化の
    受信の処理で、送信側でコマ落としされたフレームを再
    生し、フレームレートを増加する処理を行うフレーム内
    挿方法において、 内挿フレームを多角形パッチに分割し、受信された各ブ
    ロックの動きブロックの動きベクトルに基づいて多角形
    パッチの頂点毎の動きを推定し、これに基づいて多角形
    パッチ毎の伝送フレームに対する幾何学的変換を決定
    し、該幾何学的変換を用いて伝送フレームデータから内
    挿フレームデータを作成することを特徴とするフレーム
    内挿方法。
11. 【請求項１１】 前記多角形パッチの頂点毎の動きの推
    定の際には、ブロック毎の動きベクトルに基づいて該ブ
    ロックに対応する内挿フレーム内のブロック領域の位置
    を計算した後、多角形パッチの頂点毎に、該頂点を中心
    とする所定の領域中に含まれる前記ブロック領域の、大
    きさ、対応する動きベクトル及び対応する動き補償誤差
    の少なくとも一つ以上を考慮して前記頂点の動きを推定
    することを特徴とする請求項１０記載のフレーム内挿方
    法。
12. 【請求項１２】 前記多角形パッチの頂点毎の動きの推
    定の際には、ブロック毎の動きベクトルに基づいて該ブ
    ロックの代表点に対応する内挿フレーム内の代表点の位
    置を計算した後、多角形パッチの頂点毎に、該頂点を中
    心とする所定の領域中に含まれる前記内挿フレーム内の
    代表点の、位置、対応する動きベクトル及び対応する動
    き補償誤差の少なくとも一つ以上を考慮して前記頂点の
    動きを推定することを特徴とする請求項１０記載のフレ
    ーム内挿方法。
13. 【請求項１３】 前記多角形パッチの頂点毎の動きの推
    定の際には、注目する頂点の動きを、近傍の頂点の動き
    及び又は動き誤差を考慮して修正することを特徴とする
    請求項１０記載のフレーム内挿方法。
14. 【請求項１４】 前記幾何学的変換の決定の際には、内
    挿フレーム内の多角形パッチ毎に伝送フレーム内の対応
    する領域との関係をアフィン変換として表現し決定する
    ことを特徴とする請求項１０記載のフレーム内挿方法。
15. 【請求項１５】 前記内挿フレームデータ作成に用いる
    伝送フレームデータを、内挿フレームの前後に隣接する
    ２つの伝送フレームのうちいずれか一方のデータとする
    ことを特徴とする請求項１０記載のフレーム内挿方法。
16. 【請求項１６】 前記内挿フレームデータ作成に用いる
    伝送フレームデータを、内挿フレームの前後に隣接する
    ２つの伝送フレームの両方とし、さらに、２つの伝送フ
    レームデータの各々から計算される内挿データの重み付
    き加算を行うことによって前記内挿フレームデータを作
    成することを特徴とする請求項１０記載のフレーム内挿
    方法。
17. 【請求項１７】 前記頂点の動き誤差を、頂点を中心と
    した内挿フレーム内の局所領域に対応する、該内挿フレ
    ームの前後に隣接する２つの伝送フレームの領域データ
    に基づいて計算することを特徴とする請求項１３記載の
    フレーム内挿方法。