JPH10247251A - 補間画像生成装置および輪郭データ生成方法ならびに隠蔽領域推定方法 - Google Patents

Abstract

(57)【要約】 【課題】 補間画像を歪みなく有効に生成する。 【解決手段】 シェイプ計算部10は、オブジェクトを三
角パッチの領域に分割して、その三角パッチをアフィン
変換にて正規化し、正規化した三角パッチと輪郭との間
の距離を求めて、その輪郭距離と三角パッチの頂点位置
とでオブジェクトの輪郭形状を表わす輪郭データを生成
する。補間オブジェクト画像生成部12は、輪郭データに
基づいて隣接するフレームのオブジェクトの三角パッチ
を形状変換して、対応の画素値を線形予測により補間画
像の画素値を推定して、それぞれの補間画像を生成す
る。補間画像合成部14は、オブジェクト毎の補間画像を
合成して補間フレームを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、補間画像生成装置
および輪郭データ生成方法ならびに隠蔽領域推定方法に
係り、特に、フレームレートの低い動画像、たとえばテ
レビ電話等にて受信した動画像をフレームレートの高い
動画像に変換する画像処理装置等に用いて好適な補間画
像生成装置および輪郭補間方法ならびに隠蔽領域推定方
法に関するものである。

【０００２】

【従来の技術】従来、複数のフレームからなる動画像に
動き補償を行ない、予測画像を生成する技術として、た
とえば、1990年、電子情報通信学会発行の研究技術報告
（Vol.90. PRU90-137 第９頁〜第16頁）に記載の中屋雄
一郎、原島博らによる「三角パッチによる動き補償の検
討」などが知られている。

【０００３】この文献では、たとえば、参照画像全体を
三角パッチで分割して、その三角パッチのそれぞれの頂
点の動きベクトルを求める。この動きベクトルから参照
フレームと予測フレームの間にて三角パッチのアフィン
変換の係数を求めて、そのアフィン変換係数を用いて参
照画像の三角パッチをアフィン変換することにより予測
フレームの画像を求めている。

【０００４】一方、テレビ電話などのフレームレートの
低い動画像に対して、隣接するフレームの間に画像を内
挿することにより、動きの滑らかな動画像を生成する研
究が近年盛んに行なわれている。この場合、内挿画像、
つまり補間画像を予測する方式として上記の文献の手法
を利用することができる。すなわち、動画像を表わすそ
れぞれのフレームを三角パッチに分割して、隣接するフ
レーム間にて三角パッチの頂点の動きベクトルを求め
る。次に、求めた動きベクトルと隣接するフレームでの
三角パッチの頂点の位置から補間画像での三角パッチの
それぞれの頂点の位置と動きベクトルを線形予測により
求める。次いで、参照画像と補間画像の三角パッチの頂
点の位置からアフィン変換の係数をそれぞれ求めて、参
照画像の三角パッチをこのアフィン変換係数で変換する
ことにより、補間画像を生成することができる。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術では、画像全体、つまりフレーム全体を三
角パッチに分割して一括して処理を行なうために、画像
中のオブジェクトの輪郭が歪んでしまうという問題があ
った。たとえば、画像中に複数の物体がある場合に、一
つの三角パッチが複数のオブジェクトに共有されること
がある。この際、オブジェクト毎に動きが異なる場合、
オブジェクト間にて他のオブジェクトの動きベクトルを
使用して予測画像を生成するので、オブジェクトの輪郭
が歪んでしまう場合があった。

【０００６】そこで、これを防ぐには、オブジェクト毎
に処理を分離すればよいと考えられる。しかし、１つの
オブジェクトのみを三角パッチで分割しようとしても、
三角パッチとオブジェクトの輪郭が一致しないために、
三角パッチをオブジェクトの領域より広めにとらなけれ
ばならなくなり、三角パッチが他のオブジェクトにまた
がることになる。また、三角パッチをオブジェクトの領
域より狭くとると、オブジェクトの三角パッチに含まれ
ない部分が出力結果から欠けることになる。三角パッチ
を小さくして、オブジェクトを細かく分割すれば、オブ
ジェクトの輪郭に近い領域を処理できる。しかし、三角
パッチの数が増える結果、演算量が増加して時間がかか
るという問題が生じてくる。

【０００７】また、動画像の隣接フレーム間に補間フレ
ームを内挿する場合、画像中のオブジェクトが前フレー
ムでは重なって、オブジェクトが他のオブジェクトの陰
に隠れる領域があり、現フレームではオブジェクトが重
なっていない場合、前フレームに存在しない三角パッチ
が現フレームに存在することなる。このような場合、現
フレームと前フレームとで対応付けができない三角パッ
チが発生するので、三角パッチの頂点の動きベクトルが
求められず、補間画像が生成できない場合が生じるとい
う問題があった。

【０００８】本発明はこのような従来技術の欠点を解消
し、複数の動きの異なるオブジェクトが存在する動画像
から有効に補間画像を生成することができる補間画像生
成装置を提供することを目的とする。

【０００９】また、本発明は、演算量を増加させること
なくオブジェクトの輪郭に沿った領域の扱いを可能にし
て、補間画像におけるオブジェクトの輪郭の予測を有効
に行なうことができる輪郭データ生成方法を提供するこ
とを目的とする。

【００１０】さらに、本発明は、画像中に複数の動きの
異なるオブジェクトが存在して隠蔽領域が生じる動画像
にて、その隠蔽領域のテクスチャと形状を有効に推定し
て補間画像を生成することができる隠蔽領域推定方法を
提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明による補間画像生
成装置は上述の課題を解決するために、動画像を表わす
複数のフレームからそれらの間の補間フレームをそれぞ
れ形成する補間画像生成装置において、それぞれのフレ
ームのオブジェクトの輪郭形状を表わす輪郭データを検
出する輪郭データ検出部と、輪郭データ検出部からの輪
郭データに基づいてオブジェクトの補間画像を推定して
その画像を生成するオブジェクト画像生成部と、オブジ
ェクト画像生成部からのオブジェクト画像を合成して補
間フレームの画像を生成する補間画像合成部とを含み、
輪郭データ検出部は、オブジェクトを多角形の領域で分
割して、分割したパッチと基準となる所定の多角形との
間で形状変形の変換係数を求める変換係数算出手段と、
分割したパッチ内部およびパッチとオブジェクトの輪郭
との間の領域のそれぞれの座標値を変換係数算出手段に
て求めた変換係数を用いて変換して正規化する正規化手
段と、正規化手段にて変換したパッチの辺から垂直にオ
ブジェクトの輪郭までの距離を算出する輪郭距離検出手
段と、輪郭距離検出手段にて求めた値とパッチの頂点の
座標値を用いて輪郭の形状を表わす輪郭データを形成す
る輪郭データ形成手段とを含むことを特徴とする。

【００１２】この場合、変換係数算出手段は、オブジェ
クトを任意の三角形のパッチにて分割して、三角パッチ
と基準となる直角二等辺三角形との間にてアフィン変換
係数を求めるとよい。

【００１３】また、正規化手段手段は、変換係数算出手
段にて求めたアフィン変換係数を用いて三角パッチとオ
ブジェクトの輪郭との間の領域のそれぞれの点の座標値
をアフィン変換してオブジェクトの座標を正規化すると
よい。

【００１４】さらに、オブジェクト画像生成部は、隣接
するフレームのオブジェクトのパッチの頂点の座標値か
ら補間画像のオブジェクトのパッチの頂点の座標値を推
定する頂点位置推定手段と、頂点位置推定手段にて推定
した補間画像のパッチと基準となる所定の多角形とから
補間画像のパッチの形状変形の変換係数を求める第１の
変換係数算出手段と、輪郭データ検出手段からの隣接す
るフレームでのそれぞれのパッチと輪郭との距離に基づ
いて補間画像でのパッチと輪郭との間の距離を推定する
輪郭距離推定手段と、頂点位置推定手段にて推定した補
間画像のパッチおよび前記輪郭距離検出手段で推定した
輪郭距離とにて表わされる輪郭データを変換係数算出手
段にて求めた変換係数にて変換して補間画像のパッチお
よび輪郭を形状変換する変換手段と、隣接フレームのパ
ッチと頂点位置推定手段にて推定した補間画像のパッチ
とから形状変形の変換係数を算出する第２の変換係数算
出手段と、第２の変換係数算出手段にて求めた変換係数
を用いて隣接するフレームと前記変換手段にて形状変換
した補間画像のそれぞれの画素とを対応付け、その結果
に基づいて補間画像の画素値を隣接するフレームの画素
値から推定して補間画像のテクスチャを推定するテクス
チャ推定手段とを含むとよい。

【００１５】この場合、それぞれのオブジェクトは三角
形のパッチにて分割され、第１の変換係数算出手段は、
頂点位置推定手段にて推定された補間画像の三角パッチ
と基準となる直角二等辺三角形との間にてアフィン変換
係数を求め、第２の変換係数算出手段は、隣接するフレ
ームの画像と補間画像での三角パッチ間からアフィン変
換係数を求めるとよい。また、変換手段は、第１の変換
係数算出手段にて求めたアフィン変換係数にて補間画像
の三角パッチおよびシェイプ領域を形状変換し、テクス
チャ推定手段は、第２の変換係数算出手段にて求めたア
フィン変換係数にて隣接フレームの三角パッチと補間フ
レームの三角パッチを変換して対応付けるとよい。

【００１６】また、本発明による補間画像生成装置は、
それぞれのフレームのオブジェクトに他のオブジェクト
に隠れた隠蔽領域があるか否かを検出して、隠蔽領域が
ある場合にその隠蔽領域を補完してそれぞれのオブジェ
クト画像を生成する隠蔽領域補完部と、隠蔽領域補完部
にて補完したオブジェクト画像に基づいて補間フレーム
のそれぞれのオブジェクト画像を生成するオブジェクト
画像生成部と、オブジェクト画像生成手段からのそれぞ
れのオブジェクト画像を合成して補間フレームを生成す
る補間画像合成部とを含み、隠蔽領域補完部は、動画像
中のオブジェクトを多角形の領域に分割し、他のオブジ
ェクトに隠れた隠蔽領域のパッチの頂点の座標値を他の
フレームのパッチ群の頂点の座標値から推定する頂点座
標値推定手段と、頂点座標値推定手段からの座標値に基
づいて隠蔽領域の範囲を推定する隠蔽領域推定手段と、
隠蔽領域推定手段にて推定された隠蔽領域のそれぞれの
点の画素値を他のフレームの対応するパッチから予測す
るテクスチャ推定手段とを含むことを特徴とする。

【００１７】この場合、頂点座標値推定手段は、対象と
なるオブジェクトに隠蔽領域があるか否かをそのオブジ
ェクトを多角形のパッチに分割した際のパッチのそれぞ
れの頂点の座標値から判定する判定手段と、オブジェク
トに隠蔽領域がある場合にその隠蔽領域に対応するパッ
チの座標値が定義された他のフレームのパッチを検出す
る参照パッチ検出手段と、隠蔽領域のパッチの近辺に存
在するパッチとこれに対応する他のフレームのパッチと
から形状変換係数を求める変換係数算出手段と、変換係
数算出手段からの変換係数にて前記参照パッチ検出手段
にて検出した他のフレームのパッチを変換して隠蔽領域
のパッチの座標値を推定する変換推定手段とを含むとよ
い。

【００１８】さらに、頂点座標値推定手段は、変換係数
算出手段にて隠蔽領域の近辺に頂点の座標値が定義され
たパッチが存在しない場合に、隠蔽領域に対応するパッ
チの座標値が定義された参照パッチ検出手段にて検出し
たフレームと異なる他のフレームを検出する参照フレー
ム検出手段と、これら２つのフレームのパッチの座標値
から隠蔽領域のパッチの頂点の座標値を線形予測する線
形推定手段とを含むとよい。

【００１９】また、変換係数算出手段は、それぞれ三角
形のパッチに分割された隠蔽領域の近辺のパッチとこれ
に対応する他のフレームのパッチとからアフィン変換係
数を求めるとよい。

【００２０】さらに、隠蔽領域推定手段は、隠蔽領域を
含むフレームに隣接して隠蔽領域を含まない少なくとも
２個のフレームを検出する参照フレーム検出手段と、該
参照フレーム検出手段にて検出したフレームのパッチと
基準となる所定の多角形との間にて形状変形の変換係数
を求め、変換係数にてそれぞれのフレームのパッチと輪
郭との間の領域を変換して正規化する第１の変換手段
と、正規化後のパッチの辺から輪郭までの距離を求める
輪郭距離算出手段と、輪郭距離算出手段にて求めた値か
ら隠蔽領域を含むフレームでのパッチから輪郭までの距
離を推定する距離推定手段と、正規化された隠蔽領域の
パッチと頂点座標値推定手段にて推定した隠蔽領域のパ
ッチとの間にて形状変形の変換係数を求め、変換係数を
用いて正規化された隠蔽領域のパッチと距離推定手段に
て求めた値にて含まれるシェイプ領域の各点を形状変換
して隠蔽領域の範囲を推定する第２の変換手段とを含む
とよい。

【００２１】この場合、第１の変換手段は、三角形のパ
ッチに分割されたフレームのパッチと基準となる直角二
等辺三角形とからアフィン変換係数を求め、その変換係
数にてそれぞれのフレームのパッチと輪郭との間の領域
をアフィン変換して正規化し、前記第２の変換手段は正
規化された三角形のパッチと推定された三角形のパッチ
との間にてアフィン変換係数を求め、その変換係数を用
いて隠蔽領域のそれぞれの点をアフィン変換によって算
出するとよい。

【００２２】また、テクスチャ推定手段は、隠蔽領域を
含むフレームに隣接して隠蔽領域を含まない少なくとも
２個のフレームを検出する参照フレーム検出手段と、参
照フレーム検出手段にて検出したフレームのパッチと隠
蔽領域推定手段にて推定した隠蔽領域のパッチとの間に
て形状変形の変換係数を算出する変換係数算出手段と、
変換係数算出手段にて求めた変換係数にて隠蔽領域の画
素の座標値を変換して参照フレーム検出手段にて検出し
たフレームのパッチの座標位置を対応付ける参照位置算
出手段と、参照位置算出手段にて対応付けた２個のフレ
ームの画素値に基づいて隠蔽領域の画素値を推定する画
素値推定手段とを含むとよい。

【００２３】この場合、変換係数算出手段は、それぞれ
三角形のパッチに分割された画像のパッチおよび推定さ
れた三角形のパッチからアフィン変換係数を求め、前記
参照位置算出手段は、隠蔽領域の画素の座標値をアフィ
ン変換にて変換して、対応の参照フレームの座標値を求
めると有利である。

【００２４】また、オブジェクト画像生成部は、隣接す
るフレームのオブジェクトのパッチの頂点の座標値から
補間画像のオブジェクトのパッチの頂点の座標値を推定
する頂点位置推定手段と、頂点位置推定手段にて推定し
た補間画像のパッチと基準となる所定の多角形とから補
間画像のパッチの形状変形の変換係数を求め、かつ参照
フレームのパッチと基準となる所定の多角形とから形状
変形の変換係数を求める第１の変換係数算出手段と、変
換係数算出手段にて求めた変換係数にて参照画像のパッ
チおよびそのパッチと輪郭との間の領域を正規化する正
規化手段と、正規化手段にて正規化したパッチおよび輪
郭との間の領域からそれぞれのパッチの辺から輪郭まで
の距離を求め、その結果から補間画像でのパッチと輪郭
との間の距離を推定する輪郭距離推定手段と、輪郭距離
推定手段にて推定した輪郭距離と正規化された補間画像
の三角パッチとを第１の変換係数算出にて求めた変換係
数にて変換して実際のフレームでの三角パッチと輪郭の
座標値に変換する変換手段と、隣接フレームのパッチと
補間画像のパッチとから形状変形の変換係数を算出する
第２の変換係数算出手段と、第２の変換係数算出手段に
て求めた変換係数を用いて隣接するフレームの画像と補
間画像のそれぞれの画素とを対応付け、その結果に基づ
いて補間画像の画素値を隣接するフレームの画素値から
推定して補間画像の画素値を隣接するフレームの画素値
から推定して補間画像のテクスチャを推定するテクスチ
ャ推定手段とを含むとよい。

【００２５】この場合、第１の変換係数算出手段は、三
角形のパッチにて分割した画像のパッチと基準となる直
角二等辺三角形とからアフィン変換係数をそれぞれ求
め、正規化手段は、第１の変換係数算出手段にて求めた
アフィン変換係数にて参照画像のパッチおよび輪郭との
間の領域をアフィン変換により正規化し、第２の変換係
数算出手段は、それぞれ画像の三角形のパッチからアフ
ィン変換係数を求め、テクスチャ推定手段は、第２の変
換係数算出手段にて求めたアフィン変換係数を用いて補
間画像の画素の座標値をアフィン変換して隣接フレーム
の対応の座標値を求めるとよい。

【００２６】さらに、本発明による補間画像生成装置
は、複数のオブジェクトを含むフレームの中からそれぞ
れのオブジェクトを検出するオブジェクト検出部と、オ
ブジェクト検出部にて検出したオブジェクトを多角形の
領域に分割し、他のオブジェクトに隠れた隠蔽領域のパ
ッチの頂点の座標値を他のフレームのパッチ群の頂点の
座標値から推定する頂点位置推定部と、頂点位置推定部
からの座標値に基づいて隠蔽領域の範囲を推定する隠蔽
領域推定部と、オブジェクト検出部にて検出したそれぞ
れのオブジェクトを前記隠蔽領域推定部にて推定した隠
蔽領域を含む輪郭形状として表わす輪郭データ生成部
と、隠蔽領域補完部にて補完したオブジェクト画像に基
づいて補間フレームのそれぞれのオブジェクト画像を生
成するオブジェクト画像生成部と、オブジェクト画像生
成手段からのそれぞれのオブジェクト画像を合成して補
間フレームを生成する補間画像合成部とを含むことを特
徴とする。

【００２７】この場合、頂点位置推定部は、対象となる
オブジェクトに隠蔽領域があるか否かをそのオブジェク
トを多角形のパッチに分割した際のパッチのそれぞれの
頂点の座標値から判定する判定手段と、オブジェクトに
隠蔽領域がある場合にその隠蔽領域に対応するパッチの
座標値が定義された他のフレームのパッチを検出する参
照パッチ検出手段と、隠蔽領域のパッチの近辺に存在す
るパッチとこれに対応する他のフレームのパッチとから
形状変換係数を求める変換係数算出手段と、変換係数算
出手段からの変換係数にて参照パッチ検出手段にて検出
した他のフレームのパッチを変換して隠蔽領域のパッチ
の座標値を推定する座標値推定部とを含むとよい。

【００２８】また、変換係数算出手段は、それぞれ三角
形のパッチに分割された隠蔽領域の近辺のパッチとこれ
に対応する他のフレームのパッチとからアフィン変換係
数を求めるとよい。

【００２９】さらに、隠蔽領域推定部は、隠蔽領域を含
むフレームに隣接して隠蔽領域を含まない少なくとも２
個のフレームを検出する参照フレーム検出手段と、参照
フレーム検出手段にて検出したフレームのパッチと隠蔽
領域を含むフレームのパッチとの間にて形状変形の変換
係数を求める変換係数算出手段と、変換係数算出手段に
て求めた変換係数を用いて隠蔽領域の画素に対応する参
照フレームの画素の位置を算出する参照画素位置算出手
段と、算出手段にて算出された参照フレームの画素から
対応の隠蔽領域の画素の値を求めて隠蔽領域のテクスチ
ャを推定するテクスチャ推定部とを含むとよい。

【００３０】この場合、変換係数算出手段は、それぞれ
三角形のパッチに分割された隠蔽領域のパッチとこれに
対応する他のフレームの三角パッチとからアフィン変換
係数を求めるとよい。

【００３１】また、輪郭データ生成部は、オブジェクト
を多角形の領域で分割して、分割したパッチと基準とな
る所定の多角形との間で形状変形の変換係数を求める変
換係数算出手段と、分割したパッチ内部およびパッチと
オブジェクトの輪郭との間の領域のそれぞれの座標値を
変換係数算出手段にて求めた変換係数を用いて変換して
正規化する正規化手段と、正規化手段にて変換したパッ
チの辺から垂直にオブジェクトの輪郭までの距離を算出
する輪郭距離検出手段と、輪郭距離検出手段にて求めた
値とパッチの頂点の座標値を用いて輪郭の形状を表わす
輪郭データを形成する輪郭データ形成手段とを含むとよ
い。

【００３２】この場合、変換係数算出手段は、オブジェ
クトを三角形のパッチにて分割し、分割した三角パッチ
と直角二等辺三角形との間でアフィン変換係数を求め、
正規化手段は、求めたアフィン変換係数にて三角パッチ
内部およびパッチとオブジェクトの輪郭との間の領域の
それぞれの座標値をアフィン変換して正規化するとよ
い。

【００３３】さらに、オブジェクト画像生成部は、隣接
するフレームのオブジェクトのパッチの頂点の座標値か
ら補間画像のオブジェクトのパッチの頂点の座標値を推
定する頂点位置推定手段と、頂点位置推定手段にて推定
した補間画像のパッチと基準となる所定の多角形とから
補間画像のパッチの形状変形の変換係数を求め、かつ参
照フレームのパッチと基準となる所定の多角形とから形
状変形の変換係数を求める第１の変換係数算出手段と、
変換係数算出手段にて求めた変換係数にて参照画像のパ
ッチおよびそのパッチと輪郭との間の領域を正規化する
正規化手段と、該正規化手段にて正規化したパッチおよ
び輪郭との間の領域からそれぞれのパッチの辺から輪郭
までの距離を求め、その結果から補間画像でのパッチと
輪郭との間の距離を推定する輪郭距離推定手段と、隣接
フレームのパッチと補間画像のパッチとから形状変形の
変換係数を算出する第２の変換係数算出手段と、第２の
変換係数算出手段にて求めた変換係数を用いて隣接する
フレームの画像と補間画像のそれぞれの画素とを対応付
け、その結果に基づいて補間画像の画素値を隣接するフ
レームの画素値から推定して補間画像のテクスチャを推
定するテクスチャ推定手段とを含むとよい。

【００３４】この場合、第１の変換係数算出手段は、三
角形のパッチにて分割した画像のパッチと基準となる直
角二等辺三角形とからアフィン変換係数をそれぞれ求
め、正規化手段は、第１の変換係数算出手段にて求めた
アフィン変換係数にて参照画像のパッチおよび輪郭との
間の領域をアフィン変換により正規化し、第２の変換係
数算出手段は、それぞれ画像の三角形のパッチからアフ
ィン変換係数を求め、テクスチャ推定手段は、第２の変
換係数算出手段にて求めたアフィン変換係数を用いて補
間画像の画素の座標値をアフィン変換して隣接フレーム
の対応の座標値を求めるとよい。

【００３５】一方、本発明による輪郭データ形成方法
は、動画像のそれぞれのフレームのオブジェクトの輪郭
形状を検出する輪郭データ形成方法において、オブジェ
クトを多角形の領域で分割し、分割したパッチと基準と
なる所定の多角形との間で形状変形の変換係数を求める
第１の工程と、パッチの辺とオブジェクトの輪郭との間
の領域を変換係数を用いて変換する第２の工程と、変換
後のパッチの辺の任意の位置から垂直にオブジェクトの
輪郭までの距離を算出する第３の工程とを含み、パッチ
の頂点の座標値とそのパッチの辺から輪郭までの距離を
用いて輪郭形状を表わすことを特徴とする。

【００３６】この場合第１の工程は、オブジェクトを三
角形の領域で分割し、分割した三角パッチと基準となる
直角二等辺三角形との間でアフィン変換係数を求め、第
２の工程は、第１の工程にて求めたアフィン変換係数を
用いて三角パッチの各点およびパッチと輪郭との間の各
点をアフィン変換するとよい。

【００３７】また、本発明による輪郭データ形成方法に
て形成した輪郭データに基づいて補間フレームの画像を
生成する補間画像生成方法であって、隣接するフレーム
のオブジェクトのパッチの頂点の座標値から補間画像の
オブジェクトのパッチの頂点の座標値を推定する第１の
工程と、第１の工程にて推定した補間画像のパッチと基
準となる所定の多角形とから補間画像のパッチの形状変
形の変換係数を求める第２の工程と、上記輪郭データ形
成方法にて形成した輪郭データのうち補間フレームに隣
接するフレームでのそれぞれのパッチと輪郭との距離に
基づいて補間画像でのパッチと輪郭との間の距離を推定
する第３の工程と、第１の工程にて推定した補間画像の
パッチおよび第３の工程にて推定した輪郭距離とにて表
わされる輪郭データを第２の工程にて求めた変換係数に
て変換して補間画像のパッチおよび輪郭を形状変換する
第４の工程と、隣接フレームのパッチと第１の工程にて
推定した補間画像のパッチとから形状変形の変換係数を
算出する第５の工程と、第５の工程にて求めた変換係数
を用いて隣接するフレームと第４の工程にて形状変換し
た補間画像のそれぞれの画素とを対応付け、その結果に
基づいて補間画像の画素値を隣接するフレームの画素値
から推定して補間画像のテクスチャを推定する第６の工
程とを含むことを特徴とする。

【００３８】この場合、第１の工程ないし第６の工程に
てそれぞれのオブジェクト毎に補間画像を生成し、それ
らオブジェクト画像を合成して補間フレームを生成する
とよい。

【００３９】また、本発明による隠蔽領域検出方法は、
動画像のそれぞれのフレームのオブジェクトが他のオブ
ジェクトに隠れた領域を有する場合、その隠蔽領域を検
出する隠蔽領域検出方法において、オブジェクトを多角
形のパッチに分割し、隠蔽領域のパッチの頂点の座標値
を他のフレームの対応するパッチの頂点の座標値から推
定する第１の工程と、第１の工程にて推定した座標値に
基づいて隠蔽領域の範囲を推定する第２の工程と、第２
の工程にて推定された隠蔽領域のそれぞれの点の画素値
を他のフレームの対応するパッチの画素値から予測する
第３の工程とを含むことを特徴とする。

【００４０】この場合、第１の工程は、隠蔽領域のパッ
チの頂点の座標値を他のフレームの対応する頂点の座標
値から推定するとよい。

【００４１】また、第１の工程は、隠蔽領域のパッチの
近辺に存在するパッチと、そのパッチに対応する他のフ
レームのパッチとから形状変形の変換係数を求める工程
と、他のフレームのパッチの頂点の座標値を求めた変換
係数にて変換する工程と、その結果に基づいて隠蔽領域
のパッチの頂点の座標値を推定する工程とを含むとよ
い。

【００４２】また、第１の工程の変換係数は、三角形の
パッチに分割されたオブジェクトのパッチから求めたア
フィン変換係数であると有利である。

【００４３】さらに、第２の工程は、第１の工程にて推
定した隠蔽領域のパッチおよび他のフレームの対応する
パッチのそれぞれと基準となる所定の多角形とにて形状
変換の変換係数を求める工程と、その変換係数を用いて
隠蔽領域のパッチおよび他のフレームのパッチを正規化
する工程と、正規化した他のフレームのパッチにてその
辺から輪郭までの距離を算出する工程と、その求めた結
果から隠蔽領域にて正規化したパッチの辺から輪郭まで
の距離を推定する工程と、正規化した隠蔽領域のパッチ
と画像上での隠蔽領域のパッチとから形状変形の変換係
数を求める工程と、求めた変換係数にて正規化したパッ
チおよびその辺と輪郭との間の領域を形状変換して、隠
蔽領域の形状を推定する工程とを含むとよい。

【００４４】この場合、第２の工程の正規化は、三角形
のパッチに分割されたオブジェクトのパッチと直角二等
辺三角形との間にて算出されたアフィン変換係数にてそ
れぞれのパッチをアフィン変換するとよい。

【００４５】また、第２の工程の形状変換は、隠蔽領域
の正規化された三角パッチと予測した三角パッチとから
求めたアフィン変換係数を用いて、正規化したパッチお
よび輪郭との間の領域をアフィン変換するとよい。

【００４６】さらに、第３の工程は、隠蔽領域のパッチ
の頂点の座標値と他のフレームの対応するパッチの頂点
の座標値とから形状変形の変換係数を求める工程と、求
めた変換係数を用いて隠蔽領域のパッチの画素と他のフ
レームの画素を対応付ける工程と、対応付けた他のフレ
ームの画素の値に基づいて隠蔽領域のパッチおよび輪郭
との間の領域の画素値を推定するとよい。

【００４７】この場合、第３の工程は、隠蔽領域の三角
パッチと他のフレームの三角パッチとからアフィン変換
係数を求め、その変換係数にて隠蔽領域の画素の座標値
をアフィン変換して他のフレームの対応の画素位置を求
めるとよい。

【００４８】他方、上記隠蔽領域推定方法を用いて推定
されたフレームの画像から動画像の補間フレームを生成
する補間画像生成方法であって、隣接するフレームのオ
ブジェクトのパッチの頂点の座標値から補間画像のオブ
ジェクトのパッチの頂点の座標値を推定する第１の工程
と、推定した補間画像のパッチと基準となる所定の多角
形とから補間画像のパッチの形状変形の変換係数を求
め、かつ参照フレームのパッチと基準となる所定の多角
形とから形状変形の変換係数を求める第２の工程と、求
めた変換係数にて参照画像のパッチおよびそのパッチと
輪郭との間の領域を正規化する第３の工程と、正規化し
たパッチおよび輪郭との間の領域からそれぞれのパッチ
の辺から輪郭までの距離を求め、その結果から補間画像
でのパッチと輪郭との間の距離を推定する第４の工程
と、隣接フレームのパッチと補間画像のパッチとから形
状変形の変換係数を算出する第５の工程と、求めた変換
係数を用いて隣接するフレームの画像と補間画像のそれ
ぞれの画素とを対応付け、その結果に基づいて補間画像
の画素値を隣接するフレームの画素値から推定して補間
画像のテクスチャを推定する第６の工程とを含むことを
特徴とする。

【００４９】この場合、第１の工程ないし第６の工程に
てそれぞれのオブジェクト毎に補間画像を生成し、それ
らオブジェクト画像を合成して補間フレームを生成する
とよい。

【００５０】

【発明の実施の形態】次に、添付図面を参照して本発明
による補間画像生成装置および輪郭データ生成方法なら
びに隠蔽領域推定方法の実施例を詳細に説明する。図１
には、本発明による輪郭データ生成方法が適用された補
間画像生成装置の第１の実施例が示されている。

【００５１】本実施例による補間画像生成装置は、動画
像のそれぞれのフレームから順次オブジェクト毎の輪郭
形状を表わす輪郭データを生成して、その輪郭データに
基づいて補間フレームのオブジェクト毎の補間画像を生
成して、それらの画像を合成することにより補間フレー
ムを形成する画像生成装置である。特に、本実施例で
は、輪郭データを生成する際に、入力フレームのオブジ
ェクトを三角形のパッチにて分割して、分割した三角パ
ッチを直角二等辺三角形に正規化して、その正規化した
三角パッチと輪郭との間の距離を求めることにより、そ
れぞれのオブジェクトを三角パッチと輪郭との距離で表
わす輪郭データを生成する点が主な特徴点である。

【００５２】その詳細を説明すると、本実施例による補
間画像生成装置は、図１に示すように、シェイプ計算部
10と、補間オブジェクト画像生成部12と、補画像合成部
14とを含み、シェイプ計算部10にはオブジェクトの有効
領域を表わすレイヤ画像のデータと、あらかじめ用意さ
れた頂点ファイルからのオブジェクトの頂点位置を表わ
すデータとがそれぞれ供給され、補間オブジェクト画像
生成部12には頂点位置を表わすデータと、入力画像のデ
ータが順次供給される。

【００５３】各部の詳細を説明すると、シェイプ計算部
10は、レイヤ画像とオブジェクトの頂点の座標値とに基
づいて輪郭形状を表わす輪郭データを生成する輪郭デー
タ生成回路であり、頂点の座標値の組み合わせによりオ
ブジェクトの有効領域を三角形のパッチにて分割し、そ
のパッチの辺と輪郭との間の領域、いわゆるシェイプ領
域までの距離を求めて三角パッチの頂点の組み合わせと
シェイプ領域までの距離とで表わす輪郭データを生成す
る。

【００５４】たとえば、オブジェクトは、図４に示すよ
うに、レイヤ画像の頂点をABCDととった場合、三角パッ
チABD と三角パッチBCD とに分割されて、三角パッチAB
D の頂点座標の組み合わせと辺AB,AD からそれぞれの輪
郭までの距離とで表わす輪郭データ、および三角パッチ
BCD の頂点座標とその辺BC,CD からそれぞれの輪郭まで
の距離とで表わす輪郭データとして生成される。本実施
例では、それぞれのデータは、後の処理を容易にするた
め正規化されて形成される。

【００５５】より詳細には、本実施例のシェイプ計算部
10は、図２に示すように、アフィン変換係数演算部100
と、アフィン変換部102 と、輪郭距離演算部104 とを含
み、オブジェクトを分割した三角パッチを直角二等辺三
角形に正規化し、その正規化した頂点の座標値と輪郭ま
での距離とを算出する。

【００５６】具体的には、アフィン変換係数演算部100
は、オブジェクトを分割したそれぞれの三角パッチを正
規化する際のアフィン変換のパラメータを求める処理回
路であり、頂点ファイルからのオブジェクトの頂点の座
標値に基づいてアフィン変換係数を演算する演算回路で
ある。たとえば、図５に示すように三角パッチA0-B0-D0
の頂点の座標をそれぞれ(x1,y1),(x2,y2),(x3,y3) と
し、基準となる直角二等辺三角形A1-B1-C1の頂点の座標
をそれぞれ(x4,y4),(x5,y5),(x6,y6) とすると、アフィ
ン変換係数は次式(1) によって６つの係数ａ〜ｆとして
求められる。

【００５７】

【数１】 アフィン変換係数演算部100 は、求めたアフィン変換係
数ａ〜ｆをアフィン変換部102 に供給する。

【００５８】アフィン変換部102 は、レイヤ画像のデー
タとアフィン変換係数ａ〜ｆとを受けて、オブジェクト
を分割した三角パッチをアファイン変換にて正規化する
正規化回路であり、オブジェクトを分割した際の三角パ
ッチの内部の点およびシェイプ領域の点の座標値を正規
化した際のレイヤ画像の対応の座標値として求めて出力
する処理回路である。たとえば、元の座標値を(xo,yo)
とすると、変換した座標値(xp,yp) は次式(2) にて求め
られる。

【００５９】

【数２】 アフィン変換部102 は、上式(2) にてレイヤ画像の各点
を順次アフィン変換係数にて変換して、それらの座標値
をレイヤ画像の対応点の画素値として、順次輪郭距離演
算部104 に供給する。

【００６０】輪郭距離演算部104 は、アフィン変換部10
2 からの座標値のデータに基づいて正規化されたレイヤ
画像のシェイプ領域の範囲を求める処理回路であり、三
角パッチの辺から輪郭線までの距離をそれぞれ算出して
シェイプ領域の範囲を求める演算回路である。たとえ
ば、正規化した三角パッチA1-B1-C1にて辺A1-B1 が輪郭
線に向かう場合、辺A1-B1 上にて頂点A1から頂点B1まで
一定の間隔毎に点をとりそれらの点から辺A1-B1 から輪
郭まで垂線を形成して、その長さを順次求めて、輪郭距
離を算出する。その結果は、正規化した三角パッチの頂
点の座標値とともに、輪郭データとして補間オブジェク
ト画像生成部12に供給される。

【００６１】図１に戻って、補間オブジェクト画像生成
部12は、シェイプ領域計算部10からの輪郭データととも
に動画像を表わす複数のフレームおよび頂点ファイルか
らの頂点データを受けて、隣接するフレーム間でのオブ
ジェクトの補間画像を生成する画像生成回路であり、特
に、本実施例ではそれぞれのフレームのオブジェクトを
三角パッチに分割して三角パッチの形状変換に基づいて
補間画像を生成する画像処理回路である。

【００６２】より詳しくは本実施例による補間オブジェ
クト画像生成部12は、図３に示すように、頂点位置推定
部120 と、第１のアフィン変換係数演算部122 と、輪郭
距離推定部124 と、アフィン変換部126 と、第２のアフ
ィン変換係数演算部128 と、テクスチャ推定部130 とを
含む。頂点位置推定部120 は、頂点ファイルからそれぞ
れのフレームのオブジェクトの頂点データを受けて、補
間画像を分割する三角パッチの頂点位置を推定する回路
であり、隣接する２つのフレームの頂点データからそれ
らの間の補間フレームでのオブジェクトの三角パッチの
頂点位置を線形予測する演算回路である。たとえば、図
６に示すように時刻t0のフレームでの三角パッチA0-B0-
C0と、時刻t2での三角パッチA2-B2-C2との間にて、時刻
t1の補間フレームの三角パッチA1-B1-C1を推定する場
合、対応の頂点A0=(x0,y0)と頂点A2=(x2,y2)とから補間
画像の頂点A1=(x1,y1)は、次式(3),(4) にて求められ
る。

【００６３】

【数３】 x1={(t1-t0)・x2+(t2-t1)・x0}/(t2-t0) ・・・(3) y1={(t1-t0)・y2+(t2-t1)・y0}/(t2-t0) ・・・(4) 頂点位置推定部120 は、同様に、頂点B1,C1 および他の
三角パッチの頂点位置を求めて、その結果を第１のアフ
ィン変換係数演算部122 および第２のアフィン変換係数
演算部128 に供給する。

【００６４】第１のアフィン変換係数演算部122 は、頂
点位置推定部120 からの補間画像の三角パッチを直角二
等辺三角形に正規化する際のアフィン変換係数を求める
演算回路であり、シェイプ計算部10の変換係数演算部10
0 と同様に、上式(1) を用いて補間画像の三角パッチと
基準となる直角二等辺との間にてアフィン変換係数ａ〜
ｆを求める処理回路である。求めたアフィン変換係数ａ
〜ｆは、アフィン変換部126 に供給される。

【００６５】輪郭距離推定部124 は、シェイプ計算部10
からの輪郭データを受けて、補間画像での三角パッチの
辺と輪郭との距離を推定する処理回路であり、隣接する
２つのフレームでの正規化されたシェイプ領域の距離か
らそれらの間の補間フレームでの正規化されたシェイプ
領域の距離を線形予測により求める演算回路である。た
とえば図７に示すように、時刻t0の正規化された三角パ
ッチA01-B01-D01 にて辺A01-D01 上の点ｘからの距離を
h0とし、時刻t2の正規化された三角パッチA21-B21-D21
にて辺A21-D21 上の点ｘからの距離をh2とすると、時刻
t1の正規化された三角パッチA11-B11-D11 の辺A11-D11
上の点ｘからの輪郭までの距離h1は次式(5) にて求めら
れる。

【００６６】

【数４】 h1={(t1-t0)・h2+(t2-t1)・h0}/(t2-t0) ・・・(5) 輪郭距離推定部124 は、上式(5) にて補間画像の正規化
された三角パッチでの輪郭との距離を順次求めて、その
結果とともに補間画像の正規化された三角パッチの頂点
位置の座標値をアフィン変換部126 に供給する。

【００６７】アフィン変換部126 は、輪郭距離推定部12
4 からの補間画像の正規化された三角パッチおよびシェ
イプ領域の各値を第１のアフィン変換係数部122 からの
アフィン変換係数ａ〜ｆにて変換して、実際の補間画像
での三角パッチおよびシェイプ領域の値に戻す処理回路
であり、シェイプ計算部10のアフィン変換部102 と同様
に式(2) を用いて変換する演算回路である。たとえば、
図７では補間画像の正規化された三角パッチA11-B11-D1
1 およびシェイプ領域の各点が実際の補間画像での三角
パッチA1-B1-D1およびそのシェイプ領域の点に変換され
る。変換した結果は、テクスチャ推定部130 に供給され
る。

【００６８】一方、図３にて第２のアフィン変換係数演
算部128 は、頂点位置推定部120 からの補間画像の三角
パッチの頂点位置と隣接するフレームの三角パッチの頂
点位置とから形状変換の係数となるアフィン変換係数を
求める演算回路であり、シェイプ計算部10のアフィン変
換係数演算部100 と同様に式(1) を用いてアフィン変換
係数ａ〜ｆを求める。たとえば、図６では時刻t1の補間
画像の三角パッチA1-B1-C1と時刻t0の前フレームの三角
パッチA0-B0-C0とからこれらの間の形状変換係数を求
め、さらに補間画像の三角パッチA1-B1-C1と時刻t2の現
フレームの三角パッチA2-B2-C2とからこれらの間の形状
変換係数を求める。求めたアフィン変換係数はテクスチ
ャ推定部130 に供給される。

【００６９】テクスチャ推定部130 は、補間画像の三角
パッチと隣接フレームの三角パッチとを対応付けて、補
間画像の画素値を推定する処理回路であり、第２のアフ
ィン変換係数演算部128 からのそれぞれの変換係数を用
いて補間画像の三角パッチおよびシェイプ領域の各点の
座標を対応のフレームの座標に変換し、それらの結果の
座標の画素値から補間画像の画素値を線形推定して求め
る演算回路である。たとえば、図９に示すように、第２
のアフィン変換係数演算部128 で求めた時刻t1の三角パ
ッチA1-B1-C1と時刻t0の三角パッチA0-B0-C0との間のア
フィン変換係数を用いて、三角パッチA1-B1-C1内の画素
P1に対応する三角パッチA0-B0-C0内の画素P0の位置を求
める。同様に、時刻t1の三角パッチA1-B1-C1内の画素P1
に対応する時刻t2の三角パッチA2-B2-C2内の画素P2の位
置を求める。これらの結果から前フレームの画素P0の画
素値Q0と現フレームの画素P2の画素値Q2とから次式(6)
により補間画像の画素P1の画素値Q1を求める。

【００７０】

【数５】 Q1={(t1-t0)・Q0+(t2-t1)・Q2}/(t2-t0) ・・・(6) テクスチャ推定部130 は、三角パッチ内およびシェイプ
領域のすべての画素値を順次推定して補間フレームのオ
ブジェクト画像を生成して補間画像合成部14に供給す
る。

【００７１】補間画像合成部14は、補間オブジェクト画
像生成部12からのオブジェクトを１枚のフレームに合成
して出力する画像処理回路であり、補間画像を空間的に
後ろに位置するものから順次マッピングして補間フレー
ムを形成するフレーム生成回路である。

【００７２】以上のような構成において本実施例による
補間画像生成装置の動作を本実施例による輪郭データ生
成方法とともに説明する。本実施例の場合、たとえば、
図９に示すように、時刻t0のフレームＭにて画面の右側
にあったボールＬが時計回りに180 度回転して時刻t2の
フレームＮにて画面の左側に移動する際に、それらのフ
レームの中間の時刻t1の補間フレームを生成する場合を
例に挙げて説明する。

【００７３】動作状態において、まず、時刻t0のフレー
ムＭが入力されると、そのボールＬの有効領域を表わす
レイヤ画像と、ボールＬの頂点データABCDの座標値がシ
ェイプ計算部10に供給される。これにより、シェイプ計
算部10は、ボールＬを三角パッチABD と三角パッチBCD
に分割して、輪郭データの演算を開始する。

【００７４】まず、アフィン変換係数演算部100 に頂点
データABCDが供給されると、アフィン変換係数演算部10
0 は上述した式(1) にて三角パッチABD の頂点座標と基
準となる直角二等辺三角形の頂点座標とからアフィン変
換係数ａ〜ｆを求めて、その結果をアフィン変換部102
に供給する。これにより、アフィン変換係数ａ〜ｆを受
けたアフィン変換部102 では、レイヤ画像のデータから
三角パッチABD およびそのシェイプ領域の各点の座標値
を上述した式(2) によってアフィン変換して正規化し、
その結果を輪郭距離算出部104 に供給する。

【００７５】次に、正規化された三角パッチABD および
そのシェイプ領域の座標値を受けた輪郭距離演算部104
では三角パッチの辺から輪郭までの距離を順次算出し
て、その結果を三角パッチの頂点座標とともに輪郭デー
タとして補間オブジェクト画像生成部12に供給する。

【００７６】三角パッチABD の演算が終了すると、シェ
イプ計算部10は、上記と同様に三角パッチBCD の正規化
およびそのシェイプ領域の輪郭距離を求めて、その輪郭
データを補間オブジェクト画像生成部12に供給する。こ
の結果、補間オブジェクト画像生成部12に時刻t0のフレ
ームのボールＬの輪郭データが供給される。

【００７７】次に、シェイプ計算部10に時刻t2のフレー
ムでのボールＬの頂点データA'B'C'D'とそのレイヤ画像
が供給されると、上記と同様に、シエイプ計算部10はボ
ールＬを三角パッチA'B'D'および三角パッチB'C'D'に分
割して、それらを直角二等辺三角形に正規化して、正規
化した三角パッチの座標とシェイプ領域の輪郭距離とで
表わす輪郭データを補間オブジェクト画像生成部12に供
給する。

【００７８】次に、輪郭データを受けた補間オブジェク
ト画像生成部12では、まず、その頂点位置推定部120 に
て頂点ファイルから時刻t0のフレームでのボールＬの頂
点データABCDと時刻t2のフレームでの頂点データA'B'C'
D'を読み出す。次に、頂点位置推定部120 は、シエイプ
計算部10と同様に、それぞれの時刻t0,t2 でのボールＬ
を三角パッチにて分割して、これらから時刻t1の補間フ
レームでのボールＬの三角パッチA''B''C''D''のそれぞ
れの頂点位置を上述した式(3),(4) に基づいて求め、そ
の結果を第１のアフィン変換係数演算部122 および第２
のアフィン変換係数演算部128 に供給する。

【００７９】次に、補間画像の三角パッチの頂点座標を
受けた第１のアフィン変換係数演算部122 では、シェイ
プ計算部10のアフィン変換係数演算部100 と同様に、そ
れぞれの三角パッチと基準となる直角二等辺三角形との
間にてアフィン変換係数を求め、それらの結果をアフィ
ン変換部126 に供給する。

【００８０】一方、輪郭距離推定部124 には、シェイプ
計算部10から時刻t0,t2 の輪郭データが供給されて、こ
れに基づいて補間画像でのそれぞれの三角パッチと輪郭
との距離が上述した式(5) によって求められる。その結
果はアフィン変換部126 に供給される。これにより、ア
フィン変換部126 は、正規化された補間画像での三角パ
ッチおよびシェイプ領域のそれぞれの点の座標を第１の
アフィン変換係数演算部122 からのアフィン変換係数に
て変換して、実際の画像での三角パッチおよびシェイプ
領域の座標に変換する。その結果は、順次テクスチャ推
定部130 に供給される。

【００８１】他方、第２のアフィン変換係数演算部128
には、頂点位置推定部120 にて推定した時刻t1の補間画
像における三角パッチの頂点座標と時刻t0,t2 の三角パ
ッチの頂点座標がそれぞれ供給されて、補間画像の三角
パッチと時刻t0の三角パッチとの間のアフィン変換係数
および補間画像の三角パッチと時刻t2の三角パッチとの
間のアフィン変換係数がそれぞれ求められて、これらが
テクスチャ推定部130に供給される。これにより、テク
スチャ推定部130 は、補間画像の三角パッチの座標をそ
れぞれのアフィン変換係数にてアフィン変換して、補間
画像のそれぞれの画素位置を時刻t0,t2 の画素位置に対
応付ける。

【００８２】次に、テクスチャ推定部130 は、対応付け
た時刻t0,t2 の画素の値から補間画像の対応の画素値を
順次上述した式(6) によって求め、補間画像のボールＬ
のテクスチャを求める。この結果、図９に示すように、
時刻t1の補間フレームでのボールＬのオブジェクト画像
が生成されて、補間画像合成部14に供給される。この場
合、ボールＬは時刻t0の画像から時計回りに90度回転し
て、左にわずかに移動した様子が描かれている。

【００８３】次に、補間オブジェクト画像生成部12から
のオブジェクト画像を受けた補間画像合成部14では、オ
ブジェクト画像を空間的に後ろに位置するものから順次
１枚のフレームにマッピングして補間フレームを形成
し、その結果を出力する。本実施例の場合、背景に補間
オブジェクト画像生成部12にて生成したボールＬの画像
が合成されて出力される。

【００８４】以上のように、本実施例の補間画像生成装
置および輪郭データ生成方法によれば、三角パッチとそ
のシェイプ領域の輪郭距離とのデータにて輪郭形状を表
わすことにより、それぞれのオブジェクトの輪郭に沿っ
た取り扱いを可能にして、かつ、オブジェクトを細かく
分割することなく、また、三角パッチをオブジェクト周
辺まで広くとる必要がないので、生成した補間画像の輪
郭または周辺の画像の歪みを極めて少なくすることがで
きる。

【００８５】また、三角パッチとそのシェイプ領域の距
離とのデータにて輪郭形状を表わすことにより、補間画
像のオブジェクトの輪郭の形状およびテクスチャの推定
を線形予測を用いた簡単な演算にて求めることができ
る。

【００８６】次に、図10には、本発明による補間画像生
成装置の第２の実施例が示されている。本実施例による
補間画像生成装置は、動画像中にて他のオブジェクトに
隠れた領域を有するオブジェクトがある場合に、その隠
蔽領域の画像を推定して、その推定した画像に基づいて
補間フレームのオブジェクト毎の補間画像を正確に生成
して、それらの画像を合成することにより補間フレーム
を形成する画像生成装置である。特に、本実施例では、
隠蔽領域を推定する際に、入力フレームのオブジェクト
を三角形のパッチにて分割し、分割した三角パッチの頂
点の座標値を他のフレームの対応のパッチまたはその近
辺のパッチから推定し、隠蔽領域のパッチのテクスチャ
を他のフレームの対応の三角パッチから推定する点が主
な特徴点である。

【００８７】なお、図10において上記実施例と同様の部
分には同符号を付して、その説明は可能な限り省略し、
以下、異なる部分のみを詳細に説明する。

【００８８】具体的には本実施例による補間画像生成装
置は、図10に示すように、隠蔽領域補間部20と、補間オ
ブジェクト画像生成部30と、補間画像合成部14とを含
み、隠蔽領域補間部20には、それぞれのオブジェクトの
レイヤ画像と、頂点ファイルからの頂点データと、入力
画像のデータがそれぞれ供給される。

【００８９】詳細には、隠蔽領域補間部20は、それぞれ
のフレームのオブジェクトに他のオブジェクトに隠れた
隠蔽領域があるか否かを検出して、隠蔽領域がある場合
にその隠蔽領域を補間してそれぞれのオブジェクト画像
を生成する画像処理回路であり、本実施例では、頂点座
標値推定部22と、隠蔽領域推定部24と、テクスチャ推定
部26とを含む。

【００９０】頂点座標値推定部22は、オブジェクト毎の
レイヤ画像と頂点データとに基づいて動画像中のオブジ
ェクトを三角パッチにて分割してその三角パッチの座標
値から隠蔽領域を検出する検出回路であり、他のオブジ
ェクトに隠れた隠蔽領域を検出した際にその三角パッチ
の頂点の座標値を他のフレームのパッチ群の頂点の座標
値から推定する推定回路である。たとえば、本実施例の
頂点座標値推定部22は図11に示すように、推定判断部22
0 と、参照パッチ検出部222 と、アフィン変換係数演算
部224 と、変換推定部226 と、参照フレーム検出部228
と、線形推定部230 とを含む。

【００９１】推定判断部220 は、三角パッチの各頂点が
隠蔽領域内に含まれるか否か、および頂点の座標値の推
定の必要があるか否かを判定する判定回路であり、頂点
ファイルからの頂点座標が定義されている場合と定義さ
れない場合とに分けて処理を実行する処理回路である。
たとえば、頂点ファイルからの頂点座標値が定義されて
いるがその頂点が他のオブジェクトに重なってレイヤ画
像では有効領域の範囲外にあると判定する場合であっ
て、この場合、頂点座標値を推定する必要がないが、そ
の三角パッチは隠蔽領域に含まれると判断して、これを
示す信号を参照パッチ検出部222 に供給する。

【００９２】一方、頂点ファイルからの頂点座標値が定
義されない値、たとえば本実施例では(-9999,-9999) な
どの値で表わされる頂点座標値が与えられた場合であっ
て、この場合、三角パッチの頂点位置が他のオブジェク
トに明らかに隠れて、頂点座標値を推定する必要がある
と判定して、その結果を示す信号を参照パッチ検出部22
2 に供給する。たとえば、図18に示すように、時刻t10
のフレームにてオブジェクトの中央下部の一部が他のオ
ブジェクトに隠れている場合、その三角パッチC1-G1-E1
の頂点E1が未定義であると判定して、その結果を出力す
る。

【００９３】参照パッチ検出部222 は、推定判断部220
の判定結果に基づいて隠蔽領域の三角パッチの頂点座標
値を推定するための参照パッチを検出する検出回路であ
り、座標値の推定の必要があると判定されたフレームの
頂点について他のフレームでこの頂点の座標値が定義さ
れているフレームを検出し、それぞれのフレームで三角
パッチの三頂点が定義されており座標値を推定する頂点
に近い三角パッチを検出する。たとえば、図18に示すよ
うに、時刻t10 のフレームの三角パッチC1-G1-E1の頂点
E1の座標値を推定する際に、これに対応する頂点E0が定
義された時刻t0のフレームを検出し、また、時刻t10 に
て頂点E1の近辺にて三頂点が定義された三角パッチB1-C
1-G1を検出して、さらに、これに対応する時刻t0のフレ
ームの三角パッチB0-C0-G0を検出して、その結果をアフ
ィン変換係数演算部224 に供給する。また、三頂点が定
義された三角パッチを含むフレームが検出できないとき
はその結果をアフィン変換係数演算部224 および参照フ
レーム検出部228 に指示する信号を出力する。

【００９４】アフィン変換係数演算部224 は、参照パッ
チ検出部222 にて検出した三角パッチ間の形状変形の変
換係数を求める演算回路であり、頂点の座標値を推定す
る必要がある頂点の近辺の三角パッチについて、頂点座
標値を推定する時刻の三頂点と他のフレームの三頂点か
らアフィン変換係数を求める。その演算式は、上記実施
例にて説明した式(1) と同様の式であり、上記と同様に
６つの係数ａ〜ｆを求め、その結果をたとえば、参照パ
ッチの対応点E0の座標値ととも変換推定部226に供給す
る。

【００９５】変換推定部226 は、アフィン変換係数演算
部224 から供給された座標値をアフィン変換係数ａ〜ｆ
を用いて変換して、隠蔽領域の三角パッチの定義されて
いない頂点の座標値を推定する処理回路であり、上記実
施例と同様に式(2) を用いて対応点の座標値を変換し
て、その値を隠蔽領域の三角パッチの頂点の座標値とし
て求める演算回路である。求めた結果は、隠蔽領域推定
部24と補間オブジェクト画像生成部30にそれぞれ供給さ
れる。

【００９６】一方、参照フレーム検出部228 は、座標値
を推定する隠蔽領域の頂点について座標値が頂点ファイ
ルで定義されている他の時刻の２つのフレームを検出す
る検出回路であり、本実施例では参照パッチ検出部222
にて参照パッチが検出されないときのみ動作する。たと
えば、図15にて時刻t10 の頂点E1の近辺の三角パッチB1
-C1-G1が検出できないとき、あるいは時刻t0にて三角パ
ッチB0-C0-G0が検出できないときは、頂点E1に対応して
定義された点E0を含む時刻t0のフレームと、同様に点E2
を含む時刻t20 のフレームを参照フレームとして検出
し、その結果を線形推定部230 に供給する。

【００９７】線形推定部230 は、参照フレーム検出部22
8 にて検出されたフレームでの頂点の座標値に基づいて
座標値が未定義な隠蔽領域の三角パッチの頂点の座標値
を線形予測する演算回路である。たとえば、図15にて時
刻t0の頂点E0の座標値を(x4,y4) とし、時刻t20 の頂点
E2の座標値を(x5,y5) とすると、時刻t10 の隠蔽領域の
頂点E1の座標値(x6,y6) は次式(7) にて求められる。

【００９８】

【数６】 x6={(t10-t0)・x5+(t20-t1)・x4}/(t20-t0) ・・・(7) y6={(t10-t0)・y5+(t20-t1)・y4}/(t20-t0) ・・・(8) 線形推定部230 は、参照フレーム検出部228 と同様に参
照パッチ検出部222 にて参照パッチが検出できないとき
のみ動作し、その結果は隠蔽領域推定部24および補間オ
ブジェクト画像生成部30に供給される。

【００９９】隠蔽領域推定部24は、頂点座標値推定部22
にて推定した座標値に基づいて隠蔽領域の範囲を推定す
る処理回路であり、本実施例では、たとえば図12に示す
ように、参照フレーム検出部240 と、第１のアフィン変
換部242 と、輪郭距離演算部244 と、輪郭距離推定部24
6 と、第２のアフィン変換部248 とを含む。

【０１００】参照フレーム検出部240 は、頂点座標値推
定部22からの座標値とレイヤ画像とに基づいて隠蔽領域
を含むフレームに隣接して隠蔽領域のない三角パッチを
含む少なくとも２個のフレームを検出する検出回路であ
り、たとえば、図15では頂点座標値推定部22から時刻t1
のフレームの頂点E1の座標値が供給されると、その三角
パッチC1-E1-G1に対応する三角パッチで隠蔽領域を含ま
ない時刻t0のフレームと時刻t20 のフレームとをそれぞ
れ検出する。その結果は、第１のアフィン変換部242 に
供給される。

【０１０１】第１のアフィン変換部242 は、参照フレー
ム検出部240 にて検出したフレームのそれぞれの三角パ
ッチを正規化する正規化回路であり、検出した三角パッ
チと基準となる直角二等辺三角形との間にてアフィン変
換係数を求めて、その変換係数にてそれぞれのフレーム
の三角パッチおよびシェイプ領域をアフィン変換して正
規化する。その結果は、輪郭距離演算部244 に供給され
る。

【０１０２】輪郭距離演算部244 は、第１のアフィン変
換部242 にて正規化した参照フレームの三角パッチおよ
びシェイプ領域にてそれぞれの三角パッチの辺から輪郭
までの距離を求める演算回路であり、たとえば、輪郭に
向かう三角パッチの辺の所定の位置にて輪郭までの距離
を算出する。それらの結果は、輪郭距離推定部246 に供
給される。

【０１０３】輪郭距離推定部246 は、輪郭距離算出部24
4 からの算出結果に基づいて隠蔽領域を含むフレームで
の三角パッチから輪郭までの距離を推定する回路であ
り、本実施例の場合、上記実施例と同様に正規化された
三角パッチにてその輪郭距離を式(5) と同様の式にて線
形予測する。求めた隠蔽領域での輪郭距離は三角パッチ
の座標値とともに第２のアフィン変換部248 に供給され
る。

【０１０４】第２のアフィン変換部248 は、正規化され
た隠蔽領域の三角パッチと頂点座標値推定部240 にて推
定した隠蔽領域の三角パッチとの間にてアフィン変換係
数を求め、その変換係数を用いて正規化された隠蔽領域
の三角パッチと輪郭距離推定部246 にて求めた値にて含
まれるシェイプ領域の各点をアフィン変換して隠蔽領域
の範囲を推定する演算回路である。推定した結果は、テ
クスチャ推定部26および補間オブジェクト画像生成部30
に供給される。

【０１０５】テクスチャ推定部26は、隠蔽領域推定部24
にて推定された隠蔽領域の範囲のそれぞれの点の画素値
を他のフレームの対応するパッチから予測して、隠蔽領
域のテクスチャを求める処理回路であり、本実施例で
は、たとえば、図13に示すように、参照フレーム検出部
260 と、アフィン変換係数演算部262 と、参照位置計算
部264 と、画素値推定部266 とを含む。

【０１０６】参照フレーム検出部260 は、隠蔽領域を含
むフレームに隣接して隠蔽領域を含まない少なくとも２
個のフレームを検出する検出回路であり、図18では時刻
t0のフレームと時刻t20 のフレームをそれぞれ検出す
る。その結果は、アフィン変換係数演算部262 に供給さ
れる。

【０１０７】アフィン変換係数演算部262 は、参照フレ
ーム検出部260 にて検出したそれぞれのフレームの三角
パッチと隠蔽領域推定部24にて推定した隠蔽領域の三角
パッチとの間にてアフィン変換係数を求める演算回路で
あり、上記実施例と同様に式(1) を用いてアフィン変換
係数を算出する。その結果は、参照位置計算部264 に供
給される。

【０１０８】参照位置計算部264 は、アフィン変換係数
演算部262 にて求めたアフィン変換係数を用いて隠蔽領
域のそれぞれの画素の座標値をアフィン変換する変換回
路であり、参照フレーム検出部260 にて検出したフレー
ムの三角パッチ毎にアフィン変換して隠蔽領域の画素に
対応するそれぞれのフレームの画素位置を検出する検出
回路である。それらの結果は画素値推定部266 へ供給さ
れる。

【０１０９】画素値推定部266 は、参照位置計算部264
にて対応付けた２個のフレームの画素値に基づいて隠蔽
領域の画素値を推定する処理回路であり、上記実施例に
おける補間オブジェクト画像生成部12のテクスチャ推定
部130 にて用いた式(6) と同様の式にて画素値を線形推
定する演算回路である。その演算結果は、補間オブジェ
クト画像生成部30に供給される。

【０１１０】本実施例による補間オブジェクト画像生成
部30は、図14に示すように、頂点位置推定部300 と、第
１のアフィン変換係数演算部302 と、第１のアフィン変
換部304 と、輪郭距離推定部306 と、第２のアフィン変
換部308 と、第２のアフィン変換係数演算部310 と、画
素値推定部312 とを含む。なお、本実施例の補間オブジ
ェクト画像生成部30は、基本的には上記実施例の補間オ
ブジェクト画像生成部12と同様の機能を有する。しか
し、各部の入出力関係が上記と異なるので、それらの点
を中心に以下、極力簡単化して説明する。

【０１１１】頂点位置推定部300 は、隣接するフレーム
のオブジェクトの三角パッチの頂点の座標値から補間画
像のオブジェクトの三角パッチの頂点の座標値を線形推
定する演算回路であり、本実施例では隠蔽領域補間部20
の頂点座標値推定部22を介してそれぞれのフレームでの
オブジェクトの頂点データを受けて、推定した隠蔽領域
の座標値を含む頂点データに基づいて補間画像の三角パ
ッチのそれぞれの頂点の座標値を求める。その結果は、
第１のアフィン変換係数演算部302 および第２のアフィ
ン変換係数演算部310 に供給される。

【０１１２】第１のアフィン変換係数演算部302 は、頂
点位置推定部300 にて推定した補間画像の三角パッチお
よび隣接するフレームの三角パッチと基準となる直角二
等辺三角形とからそれぞれのアフィン変換係数を求める
演算回路である。それらの結果は、第１のアフィン変換
部304 および第２のアフィン変換部308 にそれぞれ供給
される。

【０１１３】第１のアフィン変換部304 は、第１のアフ
イン変換係数演算302 からのアフィン変換係数を用いて
参照画像の三角パッチおよびシェイプ領域を正規化する
演算回路であり、参照画像に隠蔽領域がある場合に隠蔽
領域推定部24からの正規化した三角パッチおよびそのシ
ェイプ領域の値を補間して出力する。その結果は、輪郭
距離推定部306 に供給される。

【０１１４】輪郭距離推定部306 は、第１のアフィン変
換部からの正規化した三角パッチおよびシェイプ領域の
値からそれぞれの三角パッチの辺から輪郭までの距離を
求めて、その結果から補間画像での三角パッチと輪郭と
の間の距離を推定する演算回路である。その結果は、補
間画像の三角パッチの座標値とともに第２のアフィン変
換部308 に供給される。

【０１１５】第２のアフィン変換部308 は、正規化され
た補間画像の三角パッチおよびシェイプ領域の座標値を
第１のアフィン変換係数演算部302 からのアフィン変換
係数を用いてアフィン変換して、実際の画像の三角パッ
チおよびシェイプ領域の座標値に戻す演算回路である。
その結果は、画素値推定部312 に供給される。

【０１１６】一方、第２のアフィン変換係数演算部310
は、頂点位置推定部300 にて推定した補間画像の三角パ
ッチと隣接フレームの三角パッチとからアフィン変換係
数を算出する演算回路であり、その結果は画素値推定部
312 に供給される。

【０１１７】画素値推定部312 は、第２のアフィン変換
係数演算部からのアフィン変換係数を用いて隣接するフ
レームの画像と補間画像のそれぞれの画素とを対応付
け、その結果に基づいて補間画像の画素値を隣接するフ
レームの画素値から推定する演算回路であり、参照フレ
ームに隠蔽領域がある場合は隠蔽領域補間部20のテクス
チャ推定部26にて推定した画素値を用いて補間画像の画
素値を推定する。その結果から補間フレームのオブジェ
クト画像がそれぞれ生成されて、それぞれのオブジェク
ト画像は、補間画像合成部14に供給される。

【０１１８】補間画像合成部14は、上記実施例と同様に
補間オブジェクト画像生成部30からのオブジェクトを１
枚のフレームに合成して出力する画像処理回路であり、
補間画像を空間的に後ろに位置するものから順次マッピ
ングして補間フレームを形成するフレーム生成回路であ
る。

【０１１９】以上のような構成において、本実施例によ
る補間画像生成装置の動作を本実施例による隠蔽領域推
定方法とともに説明する。本実施例の場合、たとえば、
図15に示すように、画面の左側にあったボールＬがたと
えばカレンダのような矩形状のオブジェクトＫの前を横
切って右側に転がる場合の動画像を例に挙げて説明す
る。

【０１２０】動作状態において、まず、時刻t0のフレー
ムが隠蔽領域補間部20に供給されると、頂点座標値推定
部220 にてそれぞれのオブジェクトのレイヤ画像と頂点
ファイルの頂点データからそれぞれのオブジェクトに隠
蔽領域があるか否かが検出される。この場合、時刻t0の
フレームではオブジェクトに隠蔽領域がないので、それ
ぞれのデータは、隠蔽領域補間部20を介して補間オブジ
ェクト画像生成部30にそのまま供給される。

【０１２１】次に、時刻t10 のフレームが隠蔽領域補間
部20に供給されると、その頂点座標値推定部22にてカレ
ンダＫの下部に定義されない頂点E1が含まれることが検
出されて、隠蔽領域補間部20での隠蔽領域の補間動作が
開始する。まず、隠蔽領域の頂点を検出した推定判断部
220 は、参照パッチ検出部222 に頂点E1の座標値を推定
する必要がある旨を示す信号を供給する。

【０１２２】これにより、参照パッチ検出部222 は、頂
点E1に対応する定義された頂点を含むフレームを探索し
て、定義された頂点E0を含む時刻t0のフレームを検出す
る。次いで、参照パッチ検出部222 は時刻t10 のフレー
ムにて頂点E1の付近の定義された三頂点を含む三角パッ
チB1-C1-G1を検出し、これとともに時刻t0のフレームに
て三角パッチB1-C1-G1に対応する三頂点が定義された三
角パッチB0-C0-G0を検出し、それらの座標値をアフィン
変換係数演算部224 に供給する。この際、定義された三
角パッチB1-C1-G1または三角パッチB0-C0-G0が検出でき
ないときは、その旨を指示する信号を参照フレーム検出
部228 に供給する。本実施例では、参照パッチが検出で
きるので、参照フレーム検出部228 および線形推定部23
0 は動作しない。なお、動作する場合には、参照フレー
ム検出部228 は、時刻t20 のフレームの入力を待って、
頂点E0を含む時刻t0のフレームと頂点E2を含む時刻t20
のフレームを検出して、それらの頂点座標値を線形推定
部230 に供給する。これにより、線形推定部230 は頂点
E0,E2 の座標値から線形推定により頂点E1の座標値を求
めて、その結果を隠蔽領域推定部24および補間オブジェ
クト画像生成部30に供給する。

【０１２３】一方、本実施例の場合、三角パッチB0-C0-
G0,B1-C1-G1 を受けたアフィン変換係数演算部224 に
て、これらの三角パッチからアフィン変換係数が求めら
れて、その結果が変換推定部226 に供給される。これに
より、アフィン変換係数を受けた変換推定部226 は、時
刻t0のフレームの頂点E0の座標値をアフィン変換して、
その値を頂点E1の座標値として隠蔽領域推定部24および
補間オブジェクト画像生成部30に供給する。

【０１２４】次に、隠蔽領域推定部24では、参照フレー
ム検出部240 に隠蔽領域の推定された頂点E1の座標値を
受けると、まず、その頂点E1に対応する頂点E0を含む時
刻t0のフレームが検出され、次いで、時刻t20 のフレー
ムが供給されると、これを検出して、その結果を第１の
アフィン変換部242 に供給する。この際、頂点位置検出
部22では、時刻t20 のオブジェクトに隠蔽領域がないの
で、それぞれのデータは、そのまま隠蔽領域推定部24お
よび補間オブジェクト画像生成部30に供給される。

【０１２５】次に、参照フレームを受けた第１のアフィ
ン変換部242 では、時刻t0の三角パッチと基準となる直
角二等辺三角形からアフィン変換係数を求め、それぞれ
の三角パッチおよびそのシェイプ領域を正規化し、同様
に時刻t20 の三角パッチと基準となる直角二等辺三角形
からアフィン変換係数を求め、それぞれの三角パッチお
よびそのシェイプ領域を正規化する。それらの結果は順
次、輪郭距離演算部244 に供給される。参照フレームの
正規化した三角パッチおよびシェイプ領域の座標値を受
けた輪郭距離演算部244 は、それぞれの三角パッチにて
輪郭までの距離を算出して、その結果を輪郭距離推定部
246 に供給する。

【０１２６】これにより、輪郭距離推定部246 は、時刻
t0,t20の正規化された三角パッチでの輪郭距離からそれ
らの線形予測により、隠蔽領域での正規化された三角パ
ッチでの輪郭距離を推定して、その結果を第２のアフィ
ン変換部248 に供給する。第２のアフィン変換部248 で
は、頂点座標値推定部22からの隠蔽領域の三角パッチと
正規化された三角パッチとからアフィン変換係数を求
め、その変換係数にて三角パッチとそのシェイプ領域の
座標をアフィン変換して、実際の画像での隠蔽領域の範
囲を推定して、その結果をテクスチャ推定部26および補
間オブジェクト画像生成部30に供給する。

【０１２７】次に、隠蔽領域推定部24からの結果を受け
たテクスチャ推定部26では、まず、参照フレーム検出部
260 にて時刻t0のフレームと時刻t20 のフレームを検出
してそれらの隠蔽領域に対応する三角パッチをアフィン
変換係数演算部262 に供給する。これにより、アフィン
変換係数演算部262 では、隠蔽領域の三角パッチと時刻
t0の対応の三角パッチとの間にてアフィン変換係数を求
め、さらに隠蔽領域の三角パッチと時刻t20 の三角パッ
チとの間にてアフィン変換係数を求めて、これらを参照
位置計算部264 に供給する。

【０１２８】次に、それぞれのアフィン変換係数を受け
た参照位置計算部264 は、隠蔽領域の三角パッチおよび
そのシェイプ領域の画素位置を時刻t0の三角パッチとの
間にて求めたアフィン変換係数にて変換して、隠蔽領域
の三角パッチおよびそのシェイプ領域と時刻t0の三角パ
ッチおよびシェイプ領域の画素位置を対応付ける。同様
に、隠蔽領域の三角パッチとそのシェイプ領域の画素位
置を時刻t20 の三角パッチとの間にて求めたアフィン変
換係数にて変換して、隠蔽領域の三角パッチと時刻t20
の三角パッチとそのシェイプ領域の画素位置を対応付け
る。この結果、隠蔽領域の三角パッチとそのシェイプ領
域の画素位置に対応する時刻t0,t20の三角パッチとその
シェイプ領域がそれぞれ対応付けられ、その結果が画素
値推定部266 に供給される。

【０１２９】これにより、画素値推定部266 は、時刻t
0,t20の対応の画素の値から隠蔽領域のそれぞれの画素
値を線形推定して、その結果を補間オブジェクト画像生
成部30に供給する。

【０１３０】以下、補間オブジェクト画像生成部30で
は、上記実施例と同様に、時刻t0のオブジェクトと、隠
蔽領域を補間した時刻t10 のオブジェクトから、たとえ
ば、時刻t5の補間画像を生成し、また、隠蔽領域を補間
した時刻t10 のオブジェクトと時刻t20 のオブジェクト
とから時刻t15 の補間画像を生成して、その結果を補間
画像合成部14に供給する。

【０１３１】この結果、補間画像合成部14は、オブジェ
クト画像を空間的に後ろに位置するものから順次１枚の
フレームにマッピングして補間フレームを形成し、その
結果を出力する。本実施例の場合、カレンダＫの左端付
近または右端付近にボールＬの画像がわずかにかかる合
成されて出力される。

【０１３２】以上のように本実施例の補間画像生成装置
および隠蔽領域推定方法によれば、隠蔽領域補間部20の
頂点座標値推定部22にて隠蔽領域の頂点座標を検出し
て、その隠蔽領域の範囲を隠蔽領域推定部24にて推定し
て、さらにテクスチャ推定部26にて隠蔽領域のテクスチ
ャを推定するので、オブジェクト画像に隠蔽領域が含ま
れる場合でも補間画像を有効に生成することができる。

【０１３３】図16には、本発明による補間画像生成装置
の第３の実施例が示されている。本実施例による補間画
像生成装置は、動画像中に複数の異なる動きのオブジェ
クトがある画像にて、それらに隠れた領域を有するオブ
ジェクトが存在する場合に、その隠蔽領域を補間して、
かつ補間したオブジェクトを含むすべてのオブジェクト
の輪郭データを生成して、その輪郭データに基づいて補
間画像を有効に生成する画像処理装置である。特に、本
実施例にて上記第２の実施例と異なる点は、隠蔽領域を
推定する前に複数のオブジェクトの有効領域をあらかじ
め検出するオブジェクト検出部40を含む点と、隠蔽領域
を推定した後に、それぞれのオブジェクトの輪郭データ
を生成する上記第１の実施例と同様のシェイプ領域計算
部46を含む点である。

【０１３４】その詳細を説明すると、本実施例の補間画
像生成装置は、図16に示すように、オブジェクト検出部
40と、頂点位置推定部42と、隠蔽領域推定部44と、シェ
イプ領域計算部46と、補間オブジェクト画像生成部48
と、補間画像合成部14とを含み、オブジェクト検出部40
にはそれぞれのオブジェクトのレイヤ画像と入力フレー
ムの画像が供給され、頂点位置推定部42にはレイヤ画像
と頂点ファイルのデータとが供給され、隠蔽領域推定部
44には入力フレームの画像とオブジェクト検出部40およ
び頂点位置推定部42からの出力とがそれぞれ供給され
る。

【０１３５】オブジェクト検出部40は、入力フレームの
画像をそれぞれのオブジェクトを示すレイヤ画像に基づ
いて、それぞれのオブジェクトの有効領域の画像を切り
出す画像検出回路である。たとえば、入力フレームの画
像が図20に示すように、カレンダＫと、ボールＬと、汽
車Ｍの３つの画像を含む場合、レイヤ画像はそれぞれ図
21ないし図23に示すような画像が与えられる。オブジェ
クト検出部40は、これらから図24に示すような、たとえ
ばカレンダＫの有効領域の画像を切り出して、その結果
を出力する。

【０１３６】頂点位置推定部42は、オブジェクトの隠蔽
領域を検出して定義されていない三角パッチの頂点位置
を検出する上記第２の実施例の頂点座標値推定部22とほ
ぼ同様の機能を含む回路である。たとえば、本実施例で
は、図17に示すように、推定判断部220 と、参照パッチ
検出部222 と、アフィン変換係数計算部224 と、座標値
推定部（変換推定部）226 とを含み、隠蔽領域の近辺の
三角パッチから定義されていない頂点の座標値を推定し
て出力する。

【０１３７】隠蔽領域推定部44は、頂点位置推定部42か
らの推定した三角パッチとオブジェクト検出部40からの
それぞれのオブジェクトの有効領域と入力フレームの画
像から隠蔽領域の画素値を推定する処理回路である。こ
の回路にて上記実施例と異なる点は、上記実施例ではそ
れぞれの三角パッチを正規化してから隠蔽領域の画素値
を求めていた。しかし、本実施例では、後段にシェイプ
領域計算部46を有するので、上記第２の実施例のテクス
チャ推定部26と同様な構成でよい。たとえば、図18に示
すように、参照フレーム検出部260 と、アフィン変換係
数演算部262 と、参照画素位置計算部264 と、テクスチ
ャ推定部（画素値推定部）266 とを含み参照フレームの
三角パッチと隠蔽領域の三角パッチとを形状変換により
対応付けて、それらの線形予測により、隠蔽領域の画素
値を推定する。

【０１３８】シェイプ領域計算部46は、隠蔽領域推定部
44にて補間したそれぞれのデータに基づいて輪郭データ
を生成する、すなわち、隠蔽領域を含まない上記第１の
実施例と同様にそれぞれのオブジェクトを三角パッチに
分割して、それぞれの三角パッチを正規化して、その三
角パッチおよび輪郭距離にて表わす輪郭データを生成す
る。

【０１３９】補間オブジェクト画像生成部48は、シェイ
プ領域計算部46からの輪郭データに基づいてそれぞれの
オブジェクトの補間画像を生成する画像処理装置であ
り、本実施例では図19に示すように、上記第２の実施例
の第２のアフィン変換部308 を省いた構成となってい
る。

【０１４０】動作状態において、まず、時刻t0のフレー
ムおよびそれぞれのレイヤ画像が供給されると、オブジ
ェクト検出部40は、それぞれのオブジェクトの有効領域
を検出して、その結果を隠蔽領域推定部44に供給する。
この際、頂点位置推定部42は頂点ファイルのデータを受
けてそれぞれのオブジェクトに隠蔽領域があるか否かを
検出する。たとえば、時刻t0のフレームにてオブジェク
トに隠蔽領域がない場合、それぞれの入力画像のデータ
およびオブジェクトの有効領域を表わすデータは隠蔽領
域推定部44を介してシェイプ領域計算部46に供給され
る。これにより、シエイプ領域計算部46は、上記第１の
実施例と同様にそれぞれのオブジェクトの輪郭データを
形成して、その結果を補間オブジェクト画像生成部48に
供給する。

【０１４１】次に、たとえば、図20に示す時刻t10 のフ
レームの画像および図21ないし図23に示すレイヤ画像が
オブジェクト検出部40に供給されると、オブジェクト検
出部40は、たとえば、図24に示すオブジェクトの有効領
域のデータを生成して、その結果を隠蔽領域推定部44に
供給する。この際、頂点位置推定部42では、頂点ファイ
ルのデータとレイヤ画像から隠蔽領域を検出して、その
領域の頂点位置を検出して、その結果を隠蔽領域推定部
44に供給する。これにより、隠蔽領域推定部44は、隠蔽
領域の画素値を時刻t0のフレームの参照パッチから推定
して、その結果をシェイプ領域計算部46に供給する。

【０１４２】シェイプ領域計算部46は、上記と同様に時
刻t10 のオブジェクトの輪郭データを生成して、その結
果を補間オブジェクト画像生成部48に供給する。これに
より補間オブジェクト画像生成部48は、時刻t0と時刻t1
0 のそれぞれの輪郭データからたとえば、時刻t5の補間
フレームでのそれぞれのオブジェクトとを生成して、生
成したオブジェクト画像を補間画像合成部14に供給す
る。

【０１４３】この結果、補間画像合成部14は、オブジェ
クト画像を空間的に後ろに位置するものから順次１枚の
フレームにマッピングして補間フレームを形成し、その
結果を出力する。

【０１４４】以上のように本実施例の補間画像生成装置
によれば、入力フレームとそれぞれのレイヤ画像からオ
ブジェクトの有効領域を検出して、そのオブジェクトに
隠蔽領域がある場合には隠蔽領域の画素を補間して、そ
の補間したオブジェクトに基づいて輪郭データを生成す
るので、隠蔽領域を含むオブジェクトからも有効に補間
画像を生成することができる。この場合、輪郭データを
生成することにより、輪郭形状の歪みが少ない画像を得
ることができる。また、隠蔽領域を補間する回路を簡単
化することができ、演算量をさらに少なくすることがで
きる。

【０１４５】次に、図25には、本実施例による補間画像
生成装置の第４の実施例が示されている。本実施例によ
る補間画像生成装置は、たとえば、アニメーションなど
のそれぞれのオブジェクトのセル画像を入力して、その
補間フレームを生成する画像処理装置であり、図に示す
ように、オブジェクト領域検出部40と、シェイプ領域計
算部46と、補間オブジェクト画像生成部48と、補間画像
合成部14とを含む。

【０１４６】オブジェクト領域検出部40は、それぞれの
時刻のセル画像およびレイヤ画像からそれぞれのオブジ
ェクトの有効領域を検出して、その結果をシェイプ領域
計算部46に供給する。

【０１４７】シェイプ領域計算部46は、オブジェクト領
域検出部40からの出力とオブジェクトデータファイルか
らの頂点データを受けて、それぞれのオブジェクトを三
角パッチにて分割し、上記と同様に輪郭データを生成す
る。その結果は、補間オブジェクト画像生成部48に供給
される。

【０１４８】補間オブジェクト画像生成部48は、上記と
同様に、隣接フレームから補間フレームのオブジェクト
をそれぞれ生成して、その結果を補間画像合成部14に供
給する。

【０１４９】補間画像合成部14は、補間オブジェクト画
像生成部48からのオブジェクト画像を空間的に後ろに位
置するものから順次１枚のフレームにマッピングして補
間フレームを形成し、その結果を出力する。

【０１５０】以上のように本実施例の補間画像生成装置
によれば、アニメーションのような隠蔽領域を持たない
オブジェクト毎の画像を入力して、オブジェクト毎に補
間画像を生成し、それらを合成することにより有効に補
間フレームを生成することができる。また、オブジェク
ト毎に入力画像を処理して、オブジェクト毎の補間画像
を生成することにより、複数の動きの異なるオブジェク
トが存在する動画像から補間画像を生成することが可能
である。さらに、入力されるオブジェクトが隠蔽領域を
持たないので、隠蔽領域を推定する回路を省くことがで
き、簡単な回路構成にて処理を実行することができる。
たとえば、アニメーションでは、オブジェクト毎の画像
を毎フレーム作成して、オブジェクト同士の位置を少し
づつずらして１フレーム毎に撮影し、動画像を作成する
手法がある。しかし、完成までには多くの工程を要す
る。本実施例では、オブジェクト毎のセル画像を数フレ
ームに１枚作り、オブジェクトを分割する三角パッチの
位置を指定することにより、作成工程を省いたフレーム
を自動的に作成することができる。これにより、アニメ
ーションなどの人工的な動画像を生成する場合に、生成
の工程数を減らすことができるなどの効果を奏する。

【０１５１】なお、上記各実施例においては、オブジェ
クトを分割した三角パッチを直角二等辺三角形にて正規
化して処理しているが、本発明においては三角パッチを
正三角形などの他の三角形にて正規化してもよい。ま
た、上記各実施例ではオブジェクトを三角形のパッチに
分割して処理しているが、本発明においては四角形など
の他の多角形を用いてもよい。この場合、パッチが四角
形の際には、アフィン変換ではなく共１次変換や透視変
換などを用いるとよい。

【０１５２】

【発明の効果】このように本発明によれば、動画像中の
オブジェクトの輪郭形状を表わす場合に、オブジェクト
を多角形のパッチにて分割し、そのパッチを所定の多角
形にて正規化し、そのパッチの辺と輪郭までの距離を求
め、その輪郭距離とパッチとで輪郭形状を表わしている
ので、オブジェクトの輪郭に沿った領域にて有効に画像
の処理を行なうことができる。この場合、演算量を増加
させることなく、かつ、輪郭領域に歪みを与えることな
く、有効に補間画像を生成することができる。

【０１５３】また、本発明によれば、動画像中のオブジ
ェクトが他のオブジェクトに隠れた領域を有する場合
に、オブジェクトを多角形のパッチに分割して隠蔽領域
のパッチを検出し、そのパッチの頂点位置および輪郭形
状ならびに隠蔽領域の画素値を他のフレームのパッチを
参照して予測し、有効に隠蔽領域を補間することができ
るので、オブジェクトに隠蔽領域がある場合でもそのオ
ブジェクト画像を用いてオブジェクト毎の補間画像を有
効に形成することができる。

【図面の簡単な説明】

【図１】本発明による輪郭データ生成方法が適用された
補間画像生成装置の第１の実施例を示す機能ブロック図
である。

【図２】図１の実施例による補間画像生成装置のシェイ
プ計算部の構成例を示す機能ブロック図である。

【図３】図１の実施例による補間画像生成装置の補間オ
ブジェクト画像生成部の構成例を示す機能ブロック図で
ある。

【図４】図１の実施例による補間画像生成装置に適用さ
れるオブジェクトの分割例を示すフレーム図である。

【図５】図１の実施例による補間画像生成装置での三角
パッチの正規化例を示す図である。

【図６】図１の実施例による補間画像生成装置での三角
パッチにおける頂点位置の推定例を示す図である。

【図７】図１の実施例による補間画像生成装置での補間
画像の三角パッチの推定例を示す図である。

【図８】図１の実施例による補間画像生成装置での補間
画像の画素値の推定例を示す図である。

【図９】図１の実施例による補間画像生成装置での補間
フレームの生成例を示す図である。

【図１０】本発明による隠蔽領域推定方法が適用された
補間画像生成装置の第２の実施例を示す機能ブロック図
である。

【図１１】図10の実施例による補間画像生成装置の頂点
座標値推定部の構成例を示す機能ブロック図である。

【図１２】図10の実施例による補間画像生成装置の隠蔽
領域推定部の構成例を示す機能ブロック図である。

【図１３】図10の実施例による補間画像生成装置のテク
スチャ推定部の構成例を示す機能ブロック図である。

【図１４】図10の実施例による補間画像生成装置の補間
オブジェクト画像生成部の構成例を示す機能ブロック図
である。

【図１５】図10の実施例による補間画像生成装置の動作
および隠蔽領域推定方法を説明するための図である。

【図１６】本発明による補間画像生成装置の第３の実施
例を示す機能ブロック図である。

【図１７】図16の実施例による補間画像生成装置の頂点
位置推定部の構成例を示す機能ブロック図である。

【図１８】図16の実施例による補間画像生成装置の隠蔽
領域推定部の構成例を示す機能ブロック図である。

【図１９】図16の実施例による補間画像生成装置の頂点
位置推定部の構成例を示す機能ブロック図である。

【図２０】図16の実施例による補間画像生成装置への入
力画像の例を示す図である。

【図２１】図16の実施例による補間画像生成装置へのレ
イヤ画像の例を示す図である。

【図２２】図16の実施例による補間画像生成装置へのレ
イヤ画像の例を示す図である。

【図２３】図16の実施例による補間画像生成装置へのレ
イヤ画像の例を示す図である。

【図２４】図16の実施例による補間画像生成装置でのオ
ブジェクトの有効領域を示す図である。

【図２５】本発明による補間画像生成装置の第４の実施
例を示す機能ブロック図である。

【符号の説明】

10,46 シェイプ計算部 12,30,48 補間オブジェクト画像生成部 14 補間画像合成部 20 隠蔽領域補間部 22,42 頂点座標値推定部 24,44 隠蔽領域推定部 26 テクスチャ推定部 40 オブジェクト検出部 100 アフィン変換係数演算部 102 アフィン変換部 104 輪郭距離演算部

Claims (40)

【特許請求の範囲】
1. 【請求項１】 動画像を表わす複数のフレームからそれ
   らの間の補間フレームをそれぞれ形成する補間画像生成
   装置において、該装置は、 それぞれのフレームのオブジェクトの輪郭形状を表わす
   輪郭データを検出する輪郭データ検出部と、 該輪郭データ検出部からの輪郭データに基づいてオブジ
   ェクトの補間画像を推定してその画像を生成するオブジ
   ェクト画像生成部と、 該オブジェクト画像生成部からのオブジェクト画像を合
   成して補間フレームの画像を生成する補間画像合成部と
   を含み、 前記輪郭データ検出部は、オブジェクトを多角形の領域
   で分割して、分割したパッチと基準となる所定の多角形
   との間で形状変形の変換係数を求める変換係数算出手段
   と、 分割したパッチ内部およびパッチとオブジェクトの輪郭
   との間の領域のそれぞれの座標値を前記変換係数算出手
   段にて求めた変換係数を用いて変換して正規化する正規
   化手段と、 該正規化手段にて変換したパッチの辺から垂直にオブジ
   ェクトの輪郭までの距離を算出する輪郭距離検出手段
   と、 該輪郭距離検出手段にて求めた値とパッチの頂点の座標
   値を用いて輪郭の形状を表わす輪郭データを形成する輪
   郭データ形成手段とを含むことを特徴とする補間画像生
   成装置。
2. 【請求項２】 請求項１に記載の装置において、前記変
   換係数算出手段は、オブジェクトを任意の三角形のパッ
   チにて分割して、三角パッチと基準となる直角二等辺三
   角形との間にてアフィン変換係数を求めることを特徴と
   する補間画像生成装置。
3. 【請求項３】 請求項２に記載の装置において、前記正
   規化手段手段は、前記変換係数算出手段にて求めたアフ
   ィン変換係数を用いて三角パッチとオブジェクトの輪郭
   との間の領域のそれぞれの点の座標値をアフィン変換し
   てオブジェクトの座標を正規化することを特徴とする補
   間画像生成装置。
4. 【請求項４】 請求項１に記載の装置において、前記オ
   ブジェクト画像生成部は、 隣接するフレームのオブジェクトのパッチの頂点の座標
   値から補間画像のオブジェクトのパッチの頂点の座標値
   を推定する頂点位置推定手段と、 該頂点位置推定手段にて推定した補間画像のパッチと基
   準となる所定の多角形とから補間画像のパッチの形状変
   形の変換係数を求める第１の変換係数算出手段と、 前記輪郭データ検出手段からの隣接するフレームでのそ
   れぞれのパッチと輪郭との距離に基づいて補間画像での
   パッチと輪郭との間の距離を推定する輪郭距離推定手段
   と、 前記頂点位置推定手段にて推定した補間画像のパッチお
   よび前記輪郭距離検出手段で推定した輪郭距離とにて表
   わされる輪郭データを前記変換係数算出手段にて求めた
   変換係数にて変換して補間画像のパッチおよび輪郭を形
   状変換する変換手段と、 隣接フレームのパッチと前記頂点位置推定手段にて推定
   した補間画像のパッチとから形状変形の変換係数を算出
   する第２の変換係数算出手段と、 該第２の変換係数算出手段にて求めた変換係数を用いて
   隣接するフレームと前記変換手段にて形状変換した補間
   画像のそれぞれの画素とを対応付け、その結果に基づい
   て補間画像の画素値を隣接するフレームの画素値から推
   定して補間画像のテクスチャを推定するテクスチャ推定
   手段とを含むことを特徴とする補間画像生成装置。
5. 【請求項５】 請求項４に記載の装置において、 それぞれのオブジェクトは三角形のパッチにて分割さ
   れ、 前記第１の変換係数算出手段は、前記頂点位置推定手段
   にて推定された補間画像の三角パッチと基準となる直角
   二等辺三角形との間にてアフィン変換係数を求め、 前記第２の変換係数算出手段は、隣接するフレームの画
   像と補間画像での三角パッチ間からアフィン変換係数を
   求めることを特徴とする補間画像生成装置。
6. 【請求項６】 請求項５に記載の装置において、 前記変換手段は、前記第１の変換係数算出手段にて求め
   たアフィン変換係数にて補間画像の三角パッチおよびシ
   ェイプ領域を形状変換し、 前記テクスチャ推定手段は、前記第２の変換係数算出手
   段にて求めたアフィン変換係数にて隣接フレームの三角
   パッチと補間フレームの三角パッチを変換して対応付け
   ることを特徴とする補間画像生成装置。
7. 【請求項７】 動画像を表わす複数のフレームからそれ
   らの間の補間フレームをそれぞれ形成する補間画像生成
   装置において、該装置は、 それぞれのフレームのオブジェクトに他のオブジェクト
   に隠れた隠蔽領域があるか否かを検出して、隠蔽領域が
   ある場合にその隠蔽領域を補完してそれぞれのオブジェ
   クト画像を生成する隠蔽領域補完部と、 該隠蔽領域補完部にて補完したオブジェクト画像に基づ
   いて補間フレームのそれぞれのオブジェクト画像を生成
   するオブジェクト画像生成部と、 該オブジェクト画像生成手段からのそれぞれのオブジェ
   クト画像を合成して補間フレームを生成する補間画像合
   成部とを含み、 前記隠蔽領域補完部は、 動画像中のオブジェクトを多角形の領域に分割し、他の
   オブジェクトに隠れた隠蔽領域のパッチの頂点の座標値
   を他のフレームのパッチ群の頂点の座標値から推定する
   頂点座標値推定手段と、 該頂点座標値推定手段からの座標値に基づいて隠蔽領域
   の範囲を推定する隠蔽領域推定手段と、 該隠蔽領域推定手段にて推定された隠蔽領域のそれぞれ
   の点の画素値を他のフレームの対応するパッチから予測
   するテクスチャ推定手段とを含むことを特徴とする補間
   画像生成装置。
8. 【請求項８】 請求項７に記載の装置において、前記頂
   点座標値推定手段は、 対象となるオブジェクトに隠蔽領域があるか否かをその
   オブジェクトを多角形のパッチに分割した際のパッチの
   それぞれの頂点の座標値から判定する判定手段と、 オブジェクトに隠蔽領域がある場合にその隠蔽領域に対
   応するパッチの座標値が定義された他のフレームのパッ
   チを検出する参照パッチ検出手段と、 隠蔽領域のパッチの近辺に存在するパッチとこれに対応
   する他のフレームのパッチとから形状変換係数を求める
   変換係数算出手段と、 該変換係数算出手段からの変換係数にて前記参照パッチ
   検出手段にて検出した他のフレームのパッチを変換して
   隠蔽領域のパッチの座標値を推定する変換推定手段とを
   含むことを特徴とする補間画像生成装置。
9. 【請求項９】 請求項８に記載の装置において、前記頂
   点座標値推定手段は、 前記変換係数算出手段にて隠蔽領域の近辺に頂点の座標
   値が定義されたパッチが存在しない場合に、隠蔽領域に
   対応するパッチの座標値が定義された前記参照パッチ検
   出手段にて検出したフレームと異なる他のフレームを検
   出する参照フレーム検出手段と、 これら２つのフレームのパッチの座標値から隠蔽領域の
   パッチの頂点の座標値を線形予測する線形予測手段とを
   含むことを特徴とする補間画像生成装置。
10. 【請求項１０】 請求項８に記載の装置において、前記
    変換係数算出手段は、それぞれ三角形のパッチに分割さ
    れた隠蔽領域の近辺の三角パッチとこれに対応する他の
    フレームの三角パッチとからアフィン変換係数を求める
    ことを特徴とする補間画像生成装置。
11. 【請求項１１】 請求項７に記載の装置において、前記
    隠蔽領域推定手段は、 隠蔽領域を含むフレームに隣接して隠蔽領域を含まない
    少なくとも２個のフレームを検出する参照フレーム検出
    手段と、 該参照フレーム検出手段にて検出したフレームのパッチ
    と基準となる所定の多角形との間にて形状変形の変換係
    数を求め、該変換係数にてそれぞれのフレームのパッチ
    と輪郭との間の領域を変換して正規化する第１の変換手
    段と、 正規化後のパッチの辺から輪郭までの距離を求める輪郭
    距離算出手段と、 該輪郭距離算出手段にて求めた値から隠蔽領域を含むフ
    レームでのパッチから輪郭までの距離を推定する距離推
    定手段と、 正規化された隠蔽領域のパッチと前記頂点座標値推定手
    段にて推定した隠蔽領域のパッチとの間にて形状変形の
    変換係数を求め、該変換係数を用いて正規化された隠蔽
    領域のパッチと前記距離推定手段にて求めた値にて含ま
    れるシェイプ領域の各点を形状変換して隠蔽領域の範囲
    を推定する第２の変換手段とを含むことを特徴とする補
    間画像生成装置。
12. 【請求項１２】 請求項11に記載の装置において、 前記第１の変換手段は、三角形のパッチに分割されたフ
    レームの三角パッチと基準となる直角二等辺三角形とか
    らアフィン変換係数を求め、その変換係数にてそれぞれ
    のフレームの三角パッチと輪郭との間の領域をアフィン
    変換して正規化し、 前記第２の変換手段は、正規化された三角パッチと推定
    された三角パッチとの間にてアフィン変換係数を求め、
    その変換係数を用いて隠蔽領域のそれぞれの点をアフィ
    ン変換によって算出することを特徴とする補間画像生成
    装置。
13. 【請求項１３】 請求項７に記載の装置において、前記
    テクスチャ推定手段は、 隠蔽領域を含むフレームに隣接して隠蔽領域を含まない
    少なくとも２個のフレームを検出する参照フレーム検出
    手段と、 該参照フレーム検出手段にて検出したフレームのパッチ
    と前記隠蔽領域推定手段にて推定した隠蔽領域のパッチ
    との間にて形状変形の変換係数を算出する変換係数算出
    手段と、 該変換係数算出手段にて求めた変換係数にて隠蔽領域の
    画素の座標値を変換して前記参照フレーム検出手段にて
    検出したフレームのパッチの座標位置を対応付ける参照
    位置算出手段と、 該参照位置算出手段にて対応付けた２個のフレームの画
    素値に基づいて隠蔽領域の画素値を推定する画素値推定
    手段とを含むことを特徴とする補間画像生成装置。
14. 【請求項１４】 請求項13に記載の装置において、 前記変換係数算出手段は、それぞれ三角形のパッチに分
    割された画像の三角パッチおよび推定された三角パッチ
    からアフィン変換係数を求め、 前記参照位置算出手段は、隠蔽領域の画素の座標値をア
    フィン変換にて変換して、対応の参照フレームの座標値
    を求めることを特徴とする補間画像生成装置。
15. 【請求項１５】 請求項７に記載の装置において、前記
    オブジェクト画像生成部は、 前記隠蔽領域補完部にて補完された隣接するフレームの
    オブジェクトのパッチの頂点の座標値から補間画像のオ
    ブジェクトのパッチの頂点の座標値を推定する頂点位置
    推定手段と、 該頂点位置推定手段にて推定した補間画像のパッチと基
    準となる所定の多角形とから補間画像のパッチの形状変
    形の変換係数を求め、かつ参照フレームのパッチと基準
    となる所定の多角形とから形状変形の変換係数を求める
    第１の変換係数算出手段と、 該変換係数算出手段にて求めた変換係数にて参照画像の
    パッチおよびそのパッチと輪郭との間の領域を正規化す
    る正規化手段と、 該正規化手段にて正規化したパッチおよび輪郭との間の
    領域からそれぞれのパッチの辺から輪郭までの距離を求
    め、その結果から補間画像でのパッチと輪郭との間の距
    離を推定する輪郭距離推定手段と、 該輪郭距離推定手段にて推定した輪郭距離と正規化され
    た補間画像の三角パッチとを前記第１の変換係数算出に
    て求めた変換係数にて変換して実際のフレームでの三角
    パッチと輪郭の座標値に変換する変換手段と、 隣接フレームのパッチと補間画像のパッチとから形状変
    形の変換係数を算出する第２の変換係数算出手段と、 該第２の変換係数算出手段にて求めた変換係数を用いて
    隣接するフレームの画像と補間画像のそれぞれの画素と
    を対応付け、その結果に基づいて補間画像の画素値を隣
    接するフレームの画素値から推定して補間画像のテクス
    チャを推定するテクスチャ推定手段とを含むことを特徴
    とする補間画像生成装置。
16. 【請求項１６】 請求項15に記載の装置において、 前記第１の変換係数算出手段は、三角形のパッチにて分
    割した画像のパッチと基準となる直角二等辺三角形とか
    らアフィン変換係数をそれぞれ求め、 前記正規化手段は、第１の変換係数算出手段にて求めた
    アフィン変換係数にて参照画像のパッチおよび輪郭との
    間の領域をアフィン変換により正規化し、 前記第２の変換係数算出手段は、それぞれ画像の三角形
    のパッチからアフィン変換係数を求め、 前記テクスチャ推定手段は、第２の変換係数算出手段に
    て求めたアフィン変換係数を用いて補間画像の画素の座
    標値をアフィン変換して隣接フレームの対応の座標値を
    求めることを特徴とする補間画像生成装置。
17. 【請求項１７】 動画像を表わす複数のフレームからそ
    れらの間の補間フレームをそれぞれ形成する補間画像生
    成装置において、該装置は、 複数のオブジェクトを含むフレームの中からそれぞれの
    オブジェクトを検出するオブジェクト検出部と、 該オブジェクト検出部にて検出したオブジェクトを多角
    形の領域に分割し、他のオブジェクトに隠れた隠蔽領域
    のパッチの頂点の座標値を他のフレームのパッチ群の頂
    点の座標値から推定する頂点位置推定部と、 該頂点位置推定部からの座標値に基づいて隠蔽領域の範
    囲を推定する隠蔽領域推定部と、 前記オブジェクト検出部にて検出したそれぞれのオブジ
    ェクトを前記隠蔽領域推定部にて推定した隠蔽領域を含
    む輪郭形状として表わす輪郭データ生成部と、 該隠蔽領域補完部にて補完したオブジェクト画像に基づ
    いて補間フレームのそれぞれのオブジェクト画像を生成
    するオブジェクト画像生成部と、 該オブジェクト画像生成手段からのそれぞれのオブジェ
    クト画像を合成して補間フレームを生成する補間画像合
    成部とを含むことを特徴とする補間画像生成装置。
18. 【請求項１８】 請求項17に記載の装置において、前記
    頂点位置推定部は、 対象となるオブジェクトに隠蔽領域があるか否かをその
    オブジェクトを多角形のパッチに分割した際のパッチの
    それぞれの頂点の座標値から判定する判定手段と、 オブジェクトに隠蔽領域がある場合にその隠蔽領域に対
    応するパッチの座標値が定義された他のフレームのパッ
    チを検出する参照パッチ検出手段と、 隠蔽領域のパッチの近辺に存在するパッチとこれに対応
    する他のフレームのパッチとから形状変換係数を求める
    変換係数算出手段と、 該変換係数算出手段からの変換係数にて前記参照パッチ
    検出手段にて検出した他のフレームのパッチを変換して
    隠蔽領域のパッチの座標値を推定する座標値推定部とを
    含むことを特徴とする補間画像生成装置。
19. 【請求項１９】 請求項18に記載の装置において、前記
    変換係数算出手段は、それぞれ三角形のパッチに分割さ
    れた隠蔽領域の近辺のパッチとこれに対応する他のフレ
    ームのパッチとからアフィン変換係数を求めることを特
    徴とする補間画像生成装置。
20. 【請求項２０】 請求項17に記載の装置において、前記
    隠蔽領域推定部は、 隠蔽領域を含むフレームに隣接して隠蔽領域を含まない
    少なくとも２個のフレームを検出する参照フレーム検出
    手段と、 該参照フレーム検出手段にて検出したフレームのパッチ
    と隠蔽領域を含むフレームのパッチとの間にて形状変形
    の変換係数を求める変換係数算出手段と、 該変換係数算出手段にて求めた変換係数を用いて隠蔽領
    域の画素に対応する参照フレームの画素の位置を算出す
    る参照画素位置算出手段と、 該算出手段にて算出された参照フレームの画素から対応
    の隠蔽領域の画素の値を求めて隠蔽領域のテクスチャを
    推定するテクスチャ推定部とを含むことを特徴とする補
    間画像生成装置。
21. 【請求項２１】 請求項20に記載の装置において、前記
    変換係数算出手段は、それぞれ三角形のパッチに分割さ
    れた隠蔽領域のパッチとこれに対応する他のフレームの
    三角パッチとからアフィン変換係数を求めることを特徴
    とする補間画像生成装置。
22. 【請求項２２】 請求項17に記載の装置において、前記
    輪郭データ生成部は、 オブジェクトを多角形の領域で分割して、分割したパッ
    チと基準となる所定の多角形との間で形状変形の変換係
    数を求める変換係数算出手段と、 分割したパッチ内部およびパッチとオブジェクトの輪郭
    との間の領域のそれぞれの座標値を前記変換係数算出手
    段にて求めた変換係数を用いて変換して正規化する正規
    化手段と、 該正規化手段にて変換したパッチの辺から垂直にオブジ
    ェクトの輪郭までの距離を算出する輪郭距離検出手段
    と、 該輪郭距離検出手段にて求めた値とパッチの頂点の座標
    値を用いて輪郭の形状を表わす輪郭データを形成する輪
    郭データ形成手段とを含むことを特徴とする補間画像生
    成装置。
23. 【請求項２３】 請求項22に記載の装置において、 前記変換係数算出手段は、オブジェクトを三角形のパッ
    チにて分割し、分割した三角パッチと基準となる直角二
    等辺三角形との間にてアフィン変換係数を求め、 前記正規化手段は、三角パッチおよび輪郭との間の領域
    のそれぞれの座標値をアフィン変換して正規化すること
    を特徴とする補間画像生成装置。
24. 【請求項２４】 請求項17に記載の装置において、前記
    オブジェクト画像生成部は、 隣接するフレームのオブジェクトのパッチの頂点の座標
    値から補間画像のオブジェクトのパッチの頂点の座標値
    を推定する頂点位置推定手段と、 該頂点位置推定手段にて推定した補間画像のパッチと基
    準となる所定の多角形とから補間画像のパッチの形状変
    形の変換係数を求め、かつ参照フレームのパッチと基準
    となる所定の多角形とから形状変形の変換係数を求める
    第１の変換係数算出手段と、 該変換係数算出手段にて求めた変換係数にて参照画像の
    パッチおよびそのパッチと輪郭との間の領域を正規化す
    る正規化手段と、 該正規化手段にて正規化したパッチおよび輪郭との間の
    領域からそれぞれのパッチの辺から輪郭までの距離を求
    め、その結果から補間画像でのパッチと輪郭との間の距
    離を推定する輪郭距離推定手段と、 隣接フレームのパッチと補間画像のパッチとから形状変
    形の変換係数を算出する第２の変換係数算出手段と、 該第２の変換係数算出手段にて求めた変換係数を用いて
    隣接するフレームの画像と補間画像のそれぞれの画素と
    を対応付け、その結果に基づいて補間画像の画素値を隣
    接するフレームの画素値から推定して補間画像のテクス
    チャを推定するテクスチャ推定手段とを含むことを特徴
    とする補間画像生成装置。
25. 【請求項２５】 請求項24に記載の装置において、 前記第１の変換係数算出手段は、三角形のパッチにて分
    割した画像のパッチと基準となる直角二等辺三角形とか
    らアフィン変換係数をそれぞれ求め、 前記正規化手段は、第１の変換係数算出手段にて求めた
    アフィン変換係数にて参照画像のパッチおよび輪郭との
    間の領域をアフィン変換により正規化し、 前記第２の変換係数算出手段は、それぞれ画像の三角形
    のパッチからアフィン変換係数を求め、 前記テクスチャ推定手段は、第２の変換係数算出手段に
    て求めたアフィン変換係数を用いて補間画像の画素の座
    標値をアフィン変換して隣接フレームの対応の座標値を
    求めることを特徴とする補間画像生成装置。
26. 【請求項２６】 動画像のそれぞれのフレームのオブジ
    ェクトの輪郭形状を検出する輪郭データ生成方法におい
    て、該方法は、 オブジェクトを多角形の領域で分割し、分割したパッチ
    と基準となる所定の多角形との間で形状変形の変換係数
    を求める第１の工程と、 パッチの辺とオブジェクトの輪郭との間の領域を変換係
    数を用いて変換する第２の工程と、 変換後のパッチの辺の任意の位置から垂直にオブジェク
    トの輪郭までの距離を算出する第３の工程とを含み、 該方法は、パッチの頂点の座標値とそのパッチの辺から
    輪郭までの距離を用いて輪郭形状を表わすことを特徴と
    する輪郭データ生成方法。
27. 【請求項２７】 請求項26に記載の方法において、 前記第１の工程は、オブジェクトを三角形の領域で分割
    し、分割した三角パッチと基準となる直角二等辺三角形
    との間でアフィン変換係数を求め、 前記第２の工程は、第１の工程にて求めたアフィン変換
    係数を用いて三角パッチの各点およびパッチと輪郭との
    間の各点をアフィン変換することを特徴とする輪郭デー
    タ生成方法。
28. 【請求項２８】 請求項26に記載の輪郭データ生成方法
    にて形成した輪郭データに基づいて補間フレームの画像
    を生成する補間画像生成方法であって、該方法は、 隣接するフレームのオブジェクトのパッチの頂点の座標
    値から補間画像のオブジェクトのパッチの頂点の座標値
    を推定する第１の工程と、 該工程にて推定した補間画像のパッチと基準となる所定
    の多角形とから補間画像のパッチの形状変形の変換係数
    を求める第２の工程と、 前記輪郭データ生成方法にて生成した輪郭データのうち
    補間フレームに隣接するフレームでのそれぞれのパッチ
    と輪郭との距離に基づいて補間画像でのパッチと輪郭と
    の間の距離を推定する第３の工程と、 前記第１の工程にて推定した補間画像のパッチおよび前
    記第３の工程にて推定した輪郭距離とにて表わされる輪
    郭データを前記第２の工程にて求めた変換係数にて変換
    して補間画像のパッチおよび輪郭を形状変換する第４の
    工程と、 隣接フレームのパッチと前記第１の工程にて推定した補
    間画像のパッチとから形状変形の変換係数を算出する第
    ５の工程と、 該工程にて求めた変換係数を用いて隣接するフレームと
    前記第４の工程にて形状変換した補間画像のそれぞれの
    画素とを対応付け、その結果に基づいて補間画像の画素
    値を隣接するフレームの画素値から推定して補間画像の
    テクスチャを推定する第６の工程とを含むことを特徴と
    する補間画像生成方法。
29. 【請求項２９】 請求項28に記載の補間画像生成方法に
    おいて、該方法は、前記第１の工程ないし第６の工程に
    てそれぞれのオブジェクト毎に補間画像を生成し、それ
    らオブジェクト画像を合成して補間フレームを生成する
    ことを特徴とする補間画像生成方法。
30. 【請求項３０】 動画像のそれぞれのフレームのオブジ
    ェクトが他のオブジェクトに隠れた領域を有する場合、
    その隠蔽領域を検出する隠蔽領域推定方法において、該
    方法は、 オブジェクトを多角形のパッチに分割し、隠蔽領域のパ
    ッチの頂点の座標値を他のフレームの対応するパッチの
    頂点の座標値から推定する第１の工程と、 該第１の工程にて推定した座標値に基づいて隠蔽領域の
    範囲を推定する第２の工程と、 該第２の工程にて推定された隠蔽領域のそれぞれの点の
    画素値を他のフレームの対応するパッチの画素値から予
    測する第３の工程とを含むことを特徴とする隠蔽領域推
    定方法。
31. 【請求項３１】 請求項30に記載の方法において、前記
    第１の工程は、隠蔽領域のパッチの頂点の座標値を他の
    フレームの対応する頂点の座標値から推定することを特
    徴とする隠蔽領域推定方法。
32. 【請求項３２】 請求項30に記載の方法において、前記
    第１の工程は、 隠蔽領域のパッチの近辺に存在するパッチと、そのパッ
    チに対応する他のフレームのパッチとから形状変形の変
    換係数を求める工程と、 他のフレームのパッチの頂点の座標値を求めた変換係数
    にて変換する工程と、 その結果に基づいて隠蔽領域のパッチの頂点の座標値を
    推定する工程とを含むことを特徴とする隠蔽領域推定方
    法。
33. 【請求項３３】 請求項32に記載の方法において、前記
    第１の工程の変換係数は、三角形のパッチに分割された
    オブジェクトのパッチから求めたアフィン変換係数であ
    ることを特徴とする隠蔽領域推定方法。
34. 【請求項３４】 請求項30に記載の方法において、前記
    第２の工程は、 前記第１の工程にて推定した隠蔽領域のパッチおよび他
    のフレームの対応するパッチのそれぞれと基準となる所
    定の多角形とにて形状変換の変換係数を求める工程と、 その変換係数を用いて隠蔽領域のパッチおよび他のフレ
    ームのパッチを正規化する工程と、 正規化した他のフレームのパッチにてその辺から輪郭ま
    での距離を算出する工程と、 該工程にて求めた結果から隠蔽領域にて正規化したパッ
    チの辺から輪郭までの距離を推定する工程と、 正規化した隠蔽領域のパッチと画像上での隠蔽領域のパ
    ッチとから形状変形の変換係数を求める工程と、 該工程にて求めた変換係数にて正規化したパッチおよび
    その辺と輪郭との間の領域を形状変換して、隠蔽領域の
    形状を推定する工程とを含むことを特徴とする隠蔽領域
    推定方法。
35. 【請求項３５】 請求項34に記載の方法において、前記
    第２の工程の正規化は、三角形のパッチに分割されたオ
    ブジェクトのパッチと直角二等辺三角形との間にて算出
    されたアフィン変換係数にてそれぞれのパッチをアフィ
    ン変換することを特徴とする隠蔽領域推定方法。
36. 【請求項３６】 請求項34に記載の方法において、前記
    第２の工程の形状変換は、隠蔽領域の正規化された三角
    パッチと予測した三角パッチとから求めたアフィン変換
    係数を用いて、正規化したパッチおよび輪郭との間の領
    域をアフィン変換することを特徴とする隠蔽領域推定方
    法。
37. 【請求項３７】 請求項30に記載の方法において、前記
    第３の工程は、 隠蔽領域のパッチの頂点の座標値と他のフレームの対応
    するパッチの頂点の座標値とから形状変形の変換係数を
    求める工程と、 該工程にて求めた変換係数を用いて隠蔽領域のパッチの
    画素と他のフレームの画素を対応付ける工程と、 該工程にて対応付けた他のフレームの画素の値に基づい
    て隠蔽領域のパッチおよび輪郭との間の領域の画素値を
    推定することを特徴とする隠蔽領域推定方法。
38. 【請求項３８】 請求項37に記載の方法において、前記
    第３の工程は、隠蔽領域の三角パッチと他のフレームの
    三角パッチとからアフィン変換係数を求め、該変換係数
    にて隠蔽領域の画素の座標値をアフィン変換して他のフ
    レームの対応の画素位置を求めることを特徴とする隠蔽
    領域推定方法。
39. 【請求項３９】 請求項38に記載の隠蔽領域推定方法を
    用いて推定されたそれぞれのフレームの画像から動画像
    の補間フレームを生成する補間画像生成方法であって、
    該方法は、 隣接するフレームのオブジェクトのパッチの頂点の座標
    値から補間画像のオブジェクトのパッチの頂点の座標値
    を推定する第１の工程と、 該工程にて推定した補間画像のパッチと基準となる所定
    の多角形とから補間画像のパッチの形状変形の変換係数
    を求め、かつ参照フレームのパッチと基準となる所定の
    多角形とから形状変形の変換係数を求める第２の工程
    と、 該工程にて求めた変換係数にて参照画像のパッチおよび
    そのパッチと輪郭との間の領域を正規化する第３の工程
    と、 該工程にて正規化したパッチおよび輪郭との間の領域か
    らそれぞれのパッチの辺から輪郭までの距離を求め、そ
    の結果から補間画像でのパッチと輪郭との間の距離を推
    定する第４の工程と、 隣接フレームのパッチと補間画像のパッチとから形状変
    形の変換係数を算出する第５の工程と、 該工程にて求めた変換係数を用いて隣接するフレームの
    画像と補間画像のそれぞれの画素とを対応付け、その結
    果に基づいて補間画像の画素値を隣接するフレームの画
    素値から推定して補間画像のテクスチャを推定する第６
    の工程を含むことを特徴とする補間画像生成方法。
40. 【請求項４０】 請求項39に記載の補間画像生成方法に
    おいて、該方法は、前記第１の工程ないし第６の工程に
    てそれぞれのオブジェクト毎に補間画像を生成し、それ
    らオブジェクト画像を合成して補間フレームを生成する
    ことを特徴とする補間画像生成方法。