JP3107917B2 - ３次元形状モデルを用いた動画像のフレーム内挿方法及びその装置 - Google Patents
３次元形状モデルを用いた動画像のフレーム内挿方法及びその装置Info
- Publication number
- JP3107917B2 JP3107917B2 JP04214779A JP21477992A JP3107917B2 JP 3107917 B2 JP3107917 B2 JP 3107917B2 JP 04214779 A JP04214779 A JP 04214779A JP 21477992 A JP21477992 A JP 21477992A JP 3107917 B2 JP3107917 B2 JP 3107917B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- shape model
- dimensional shape
- dimensional
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、動画像のフレーム内挿
に関わり、特にテレビ電話などの動画像の低ビットレー
ト伝送時に送信側において削減されたフレームを受信側
において内挿するための方法及び装置に関するものであ
る。
に関わり、特にテレビ電話などの動画像の低ビットレー
ト伝送時に送信側において削減されたフレームを受信側
において内挿するための方法及び装置に関するものであ
る。
【０００２】
【従来の技術】テレビ電話サービスなどを目的とした低
ビットレート動画像通信では、相当量の情報量を削減す
る必要性からフレームレートを低減する方法がしばしば
採用される。しかしながら、削減されるフレーム数が著
しい場合には、受信側において滑らかな動きを再現する
ことが困難である。この問題を解決するためには、動画
像から動きベクトルを検出し、得られた結果を用いて受
信側において欠落したフレームを内挿すればよい。図８
は動画像のフレーム内挿を説明するための図である。
ビットレート動画像通信では、相当量の情報量を削減す
る必要性からフレームレートを低減する方法がしばしば
採用される。しかしながら、削減されるフレーム数が著
しい場合には、受信側において滑らかな動きを再現する
ことが困難である。この問題を解決するためには、動画
像から動きベクトルを検出し、得られた結果を用いて受
信側において欠落したフレームを内挿すればよい。図８
は動画像のフレーム内挿を説明するための図である。
【０００３】ぼけやジャーケキネスを発生させることな
く動画像のフレーム内挿を行うには、視覚的に正しい動
きベクトルの検出が必要である。動きベクトルの検出法
としては、フレーム間での予測誤差電力を最小とする偏
位を動きベクトルとする方法、画素値の時間及び空間勾
配を用いる勾配法などが提案されている。検出の範囲に
関しては、２次元平面内に限定されている。また、検出
の単位に関しては、８画素＊８ラインなど比較的小さい
矩形ブロックであることが多い。以下、ブロック単位に
基づくフレーム内挿方式について、テレビ電話を例にと
って説明する。
く動画像のフレーム内挿を行うには、視覚的に正しい動
きベクトルの検出が必要である。動きベクトルの検出法
としては、フレーム間での予測誤差電力を最小とする偏
位を動きベクトルとする方法、画素値の時間及び空間勾
配を用いる勾配法などが提案されている。検出の範囲に
関しては、２次元平面内に限定されている。また、検出
の単位に関しては、８画素＊８ラインなど比較的小さい
矩形ブロックであることが多い。以下、ブロック単位に
基づくフレーム内挿方式について、テレビ電話を例にと
って説明する。
【０００４】図９に動画像の低ビットレート伝送時にお
いて、矩形ブロック単位での動きベクトル検出に基づく
フレーム内挿方法を示す。同図において、１は入力端
子、２は復号部、３はフレームメモリ（１）、４はフレ
ームメモリ（２）、１５はブロック単位によるフレーム
内挿部である。具体的な方法に関しては、例えば文献
（和田正裕：「カラー動画像信号の動き補償フレーム内
挿方式」電子情報通信学会論文誌（Ｂ−Ｉ）、ｖｏｌ．
Ｊ７２−Ｂ−Ｉ、ｎｏ．５、ｐｐ．４４６−４５５）に
詳細に記述されている。
いて、矩形ブロック単位での動きベクトル検出に基づく
フレーム内挿方法を示す。同図において、１は入力端
子、２は復号部、３はフレームメモリ（１）、４はフレ
ームメモリ（２）、１５はブロック単位によるフレーム
内挿部である。具体的な方法に関しては、例えば文献
（和田正裕：「カラー動画像信号の動き補償フレーム内
挿方式」電子情報通信学会論文誌（Ｂ−Ｉ）、ｖｏｌ．
Ｊ７２−Ｂ−Ｉ、ｎｏ．５、ｐｐ．４４６−４５５）に
詳細に記述されている。
【０００５】図１０はブロック単位でのフレーム内挿の
動作を説明する図である。図１０において、Ｔi は一つ
前の時点において送信側から伝送されてきたフレーム
（伝送フレーム）、Ｔk は現時点でのフレーム（伝送フ
レーム）、Ｉj は伝送フレームＴi とＴk 間に内挿され
る内挿フレームをそれぞれ表す。送信側で欠落したフレ
ームを受信側において画像データと一緒に伝送されてき
た動きベクトルを用いて内挿する。入力端子１から入力
された符号化データを復号部２において復号して画像
（伝送フレームＴk ）を求め、フレームメモリ（１）３
に格納する。この画像（伝送フレームＴk ）とフレーム
メモリ（２）４から読み出された一つ前に送られてきた
画像（伝送フレームＴi ）と内挿動きベクトルＶikを用
いて、ブロック単位でのフレーム内挿部１５において次
式で内挿フレームＩj のブロックＢjを矩形ブロック単
位で内挿する。 Ｂj ＝ａ＊Ｂi ＋（１−ａ）＊Ｂk ここで、Ｂi ，Ｂk はそれぞれ前後の伝送フレーム
Ｔi ，Ｔk において、ブロック単位で検出された内挿動
きベクトルＶikによって内挿される内挿フレームＩj の
ブロックＢj に対応する伝送フレームＴi ，Ｔk のブロ
ック、ａは内挿フレームＩj と伝送フレームＴi ，Ｔk
間の時間的距離を表す。
動作を説明する図である。図１０において、Ｔi は一つ
前の時点において送信側から伝送されてきたフレーム
（伝送フレーム）、Ｔk は現時点でのフレーム（伝送フ
レーム）、Ｉj は伝送フレームＴi とＴk 間に内挿され
る内挿フレームをそれぞれ表す。送信側で欠落したフレ
ームを受信側において画像データと一緒に伝送されてき
た動きベクトルを用いて内挿する。入力端子１から入力
された符号化データを復号部２において復号して画像
（伝送フレームＴk ）を求め、フレームメモリ（１）３
に格納する。この画像（伝送フレームＴk ）とフレーム
メモリ（２）４から読み出された一つ前に送られてきた
画像（伝送フレームＴi ）と内挿動きベクトルＶikを用
いて、ブロック単位でのフレーム内挿部１５において次
式で内挿フレームＩj のブロックＢjを矩形ブロック単
位で内挿する。 Ｂj ＝ａ＊Ｂi ＋（１−ａ）＊Ｂk ここで、Ｂi ，Ｂk はそれぞれ前後の伝送フレーム
Ｔi ，Ｔk において、ブロック単位で検出された内挿動
きベクトルＶikによって内挿される内挿フレームＩj の
ブロックＢj に対応する伝送フレームＴi ，Ｔk のブロ
ック、ａは内挿フレームＩj と伝送フレームＴi ，Ｔk
間の時間的距離を表す。
【０００６】
【発明が解決しようとする課題】従来技術として、ブロ
ック単位での２次元平面内での動きベクトル検出に基づ
く動画像のフレーム内挿方法を示したが、次のような問
題点がある。従来のフレーム内挿方法では、動きベクト
ルの検出単位が対象物単位ではなくブロック単位であ
る。このため、同一物体上における動きベクトルの検出
結果が不揃いになる場合、内挿フレームにおいてブロッ
ク状の歪みが発生するという問題がある。また、動きベ
クトル検出が２次元平面内に限定されているため、本質
的に３次元空間内の動きを含む物体の動きベクトルを正
確に検出することが困難である。このため入力画像に対
応した動きの滑らかな画像フレームを再現することが出
来ないという問題点がある。
ック単位での２次元平面内での動きベクトル検出に基づ
く動画像のフレーム内挿方法を示したが、次のような問
題点がある。従来のフレーム内挿方法では、動きベクト
ルの検出単位が対象物単位ではなくブロック単位であ
る。このため、同一物体上における動きベクトルの検出
結果が不揃いになる場合、内挿フレームにおいてブロッ
ク状の歪みが発生するという問題がある。また、動きベ
クトル検出が２次元平面内に限定されているため、本質
的に３次元空間内の動きを含む物体の動きベクトルを正
確に検出することが困難である。このため入力画像に対
応した動きの滑らかな画像フレームを再現することが出
来ないという問題点がある。
【０００７】本発明は上述した従来技術の問題点を解決
するためになされたものであり、内挿フレームにおける
ブロック状の歪みを改善し、入力画像に３次元空間内の
動きがある場合においても滑らかな動きを再現すること
が可能な３次元形状モデルを用いた動画像のフレーム内
挿方法及び装置を提供することを目的とする。
するためになされたものであり、内挿フレームにおける
ブロック状の歪みを改善し、入力画像に３次元空間内の
動きがある場合においても滑らかな動きを再現すること
が可能な３次元形状モデルを用いた動画像のフレーム内
挿方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】前記課題を解決するため
の本願第１の発明は、動きを有する物体を含む動画像の
時間的に前後する２枚のフレーム間に画像を内挿する動
画像のフレーム内挿方式において、前フレームの画像を
蓄える画像記憶過程と、前フレームにおける対象物の位
置・向きに対応した３次元形状モデルを蓄える３次元形
状モデル記憶過程と、送信側から伝送された画像符号化
データを復号して現フレームの画像を得る復号過程と、
該復号された画像を蓄える画像記憶過程と、送信側から
伝送されてきた対象物の３次元動きベクトルを前記前フ
レームの対象物の３次元形状モデルに作用させて現フレ
ームの対象物の位置・向きを表現するように前フレーム
の前記３次元形状モデルを変形させて記憶する第１の３
次元形状モデル変形過程と、前記対象物の３次元動きベ
クトルと前記前及び現フレームと内挿すべきフレーム間
の時間的距離比を用いて前フレームと内挿フレーム間の
３次元動きベクトルを推定する３次元動きベクトル調整
過程と、該３次元動きベクトル調整過程において得られ
た前記前フレームと前記内挿フレーム間の３次元動きベ
クトルを前フレームの３次元形状モデルに作用させて内
挿フレームにおける対象物の位置・向きに対応するよう
に前フレームの３次元形状モデルを変形させて記憶する
第２の３次元形状モデル変形過程と、前記第２の３次元
形状モデル変形過程において得られた内挿フレームの対
象物の位置・向きに対応した３次元形状モデルに対して
前及び現フレームの３次元形状モデルを用いて前及び現
フレームの明るさと色を示す濃淡値を付与して内挿フレ
ームの対象物に関する画像を得る画像フレーム内挿過程
と、を含むことを特徴とする３次元形状モデルを用いた
動画像のフレーム内挿方法である。
の本願第１の発明は、動きを有する物体を含む動画像の
時間的に前後する２枚のフレーム間に画像を内挿する動
画像のフレーム内挿方式において、前フレームの画像を
蓄える画像記憶過程と、前フレームにおける対象物の位
置・向きに対応した３次元形状モデルを蓄える３次元形
状モデル記憶過程と、送信側から伝送された画像符号化
データを復号して現フレームの画像を得る復号過程と、
該復号された画像を蓄える画像記憶過程と、送信側から
伝送されてきた対象物の３次元動きベクトルを前記前フ
レームの対象物の３次元形状モデルに作用させて現フレ
ームの対象物の位置・向きを表現するように前フレーム
の前記３次元形状モデルを変形させて記憶する第１の３
次元形状モデル変形過程と、前記対象物の３次元動きベ
クトルと前記前及び現フレームと内挿すべきフレーム間
の時間的距離比を用いて前フレームと内挿フレーム間の
３次元動きベクトルを推定する３次元動きベクトル調整
過程と、該３次元動きベクトル調整過程において得られ
た前記前フレームと前記内挿フレーム間の３次元動きベ
クトルを前フレームの３次元形状モデルに作用させて内
挿フレームにおける対象物の位置・向きに対応するよう
に前フレームの３次元形状モデルを変形させて記憶する
第２の３次元形状モデル変形過程と、前記第２の３次元
形状モデル変形過程において得られた内挿フレームの対
象物の位置・向きに対応した３次元形状モデルに対して
前及び現フレームの３次元形状モデルを用いて前及び現
フレームの明るさと色を示す濃淡値を付与して内挿フレ
ームの対象物に関する画像を得る画像フレーム内挿過程
と、を含むことを特徴とする３次元形状モデルを用いた
動画像のフレーム内挿方法である。
【０００９】また、本願第２の発明は、動きを有する物
体を含む動画像を符号化したデータ及び前記物体に関す
るフレーム間での３次元動きベクトルを入力する端子
と、前記入力端子から入力された現フレームの符号化デ
ータを復号化して画像信号を得る復号部と、前フレーム
の画像を蓄えるフレームメモリと、前フレームにおける
対象物の位置・向きに対応した３次元形状モデルを蓄え
る３次元形状モデル格納部と、前記復号部において復号
化された現フレームの画像を蓄えるフレームメモリと、
前記入力端子から入力された対象物の３次元動きベクト
ルを前フレームの対象物の３次元形状モデルに作用させ
て現フレームの対象物の位置・向きに対応するように前
フレームの３次元形状モデルを変形させる３次元形状モ
デル変形部と、該３次元形状モデル変形部において得ら
れた現フレームの３次元形状モデルを蓄える３次元形状
モデル格納部と、対象物の３次元動きベクトルと前及び
現フレームと内挿すべきフレーム間の時間的距離を用い
て前フレームと内挿フレーム間の３次元動きベクトルを
推定する３次元動きベクトル調整部と、該３次元動きベ
クトル調整部において得られた前フレームと内挿フレー
ム間の３次元動きベクトルを前フレームの３次元形状モ
デルに作用させて内挿フレームにおける対象物の位置・
向きに対応するように前フレームの３次元形状モデルを
変形させる３次元形状モデル変形部と、該３次元形状モ
デル変形部で得られた内挿フレームの３次元形状モデル
を蓄える３次元形状モデル格納部と、前記３次元形状モ
デル変形部において得られた内挿フレームの対象物の位
置・向きに対応した３次元形状モデルに対して前及び現
フレームの３次元形状モデルを用いて前及び現フレーム
の明るさと色を示す画素値を付与して内挿フレームの対
象物に対する画像信号を得るフレーム内挿部と、を含む
ことを特徴とする３次元形状モデルを用いた動画像のフ
レーム内挿装置である。
体を含む動画像を符号化したデータ及び前記物体に関す
るフレーム間での３次元動きベクトルを入力する端子
と、前記入力端子から入力された現フレームの符号化デ
ータを復号化して画像信号を得る復号部と、前フレーム
の画像を蓄えるフレームメモリと、前フレームにおける
対象物の位置・向きに対応した３次元形状モデルを蓄え
る３次元形状モデル格納部と、前記復号部において復号
化された現フレームの画像を蓄えるフレームメモリと、
前記入力端子から入力された対象物の３次元動きベクト
ルを前フレームの対象物の３次元形状モデルに作用させ
て現フレームの対象物の位置・向きに対応するように前
フレームの３次元形状モデルを変形させる３次元形状モ
デル変形部と、該３次元形状モデル変形部において得ら
れた現フレームの３次元形状モデルを蓄える３次元形状
モデル格納部と、対象物の３次元動きベクトルと前及び
現フレームと内挿すべきフレーム間の時間的距離を用い
て前フレームと内挿フレーム間の３次元動きベクトルを
推定する３次元動きベクトル調整部と、該３次元動きベ
クトル調整部において得られた前フレームと内挿フレー
ム間の３次元動きベクトルを前フレームの３次元形状モ
デルに作用させて内挿フレームにおける対象物の位置・
向きに対応するように前フレームの３次元形状モデルを
変形させる３次元形状モデル変形部と、該３次元形状モ
デル変形部で得られた内挿フレームの３次元形状モデル
を蓄える３次元形状モデル格納部と、前記３次元形状モ
デル変形部において得られた内挿フレームの対象物の位
置・向きに対応した３次元形状モデルに対して前及び現
フレームの３次元形状モデルを用いて前及び現フレーム
の明るさと色を示す画素値を付与して内挿フレームの対
象物に対する画像信号を得るフレーム内挿部と、を含む
ことを特徴とする３次元形状モデルを用いた動画像のフ
レーム内挿装置である。
【００１０】
【実施例１】図１は、本発明の第１の実施例を説明する
ための３次元形状モデルを用いた動画像のフレーム内挿
装置のブロック図である。同図において、５は３次元形
状モデルを用いたフレーム内挿部、６は３次元動きベク
トル調整部、７及び１０は３次元形状モデル変形部、
８，９及び１１は３次元形状モデル格納部である。その
他に関しては、図９と同様である。ここでは、テレビ電
話、すなわち顔動画像を例にとり説明を行う。図７は、
頭部形状を表す３次元形状モデルの一例である。同図が
示すように３次元形状モデルは、表面形状を複数の３角
形で表現したワイヤーフレームモデルからなる。内挿フ
レームをＩj 、前後の伝送フレームをそれぞれＴi ，Ｔ
k とする。伝送フレームＴi における画像と３次元形状
モデルＭiがすでにフレームメモリ（２）４と３次元形
状モデル格納部（２）９に格納されているとする。
ための３次元形状モデルを用いた動画像のフレーム内挿
装置のブロック図である。同図において、５は３次元形
状モデルを用いたフレーム内挿部、６は３次元動きベク
トル調整部、７及び１０は３次元形状モデル変形部、
８，９及び１１は３次元形状モデル格納部である。その
他に関しては、図９と同様である。ここでは、テレビ電
話、すなわち顔動画像を例にとり説明を行う。図７は、
頭部形状を表す３次元形状モデルの一例である。同図が
示すように３次元形状モデルは、表面形状を複数の３角
形で表現したワイヤーフレームモデルからなる。内挿フ
レームをＩj 、前後の伝送フレームをそれぞれＴi ，Ｔ
k とする。伝送フレームＴi における画像と３次元形状
モデルＭiがすでにフレームメモリ（２）４と３次元形
状モデル格納部（２）９に格納されているとする。
【００１１】送信側から入力端子１を通して伝送されて
きた符号化データが復号部２において復号されて現時点
（すなわち、伝送フレームＴk に相当）における画像
（明るさ及び色情報からなる、以後、簡単に濃淡情報）
が得られる。この濃淡情報はフレームメモリ（１）３に
格納され、その後フレームメモリ（２）４から読み出さ
れた一つ前のフレーム（伝送フレーム、Ｔi に相当）の
濃淡情報と共にフレーム内挿部５へ送られる。これと並
行して、３次元形状モデル変形部（１）７では、送信側
から送られてきた伝送フレームＴi と伝送フレームＴk
間の３次元動きベクトルＶik3 を用いて３次元形状モデ
ル格納部（２）９から読み出された伝送フレームＴi に
おける３次元形状モデルＭi を変形し、伝送フレームＴ
k に対応する３次元形状モデルＭk を求める。３次元動
きベクトル調整部６では、伝送フレームＴi 及びＴk と
内挿フレームＩj 間の時間的相対距離ａを用いて伝送フ
レームＴi と内挿フレームＩj 間の３次元動きベクトル
Ｖij3 を推定する。一般的には、伝送フレームＴi とＴ
k 間では３次元動きベクトルが線形で変化していると考
えれば、伝送フレームＴi と内挿フレームＩj 間の３次
元動きベクトルＶij3は、時間的相対距離比ａをＶik3
に乗ずることにより求められる。このＶij3 を用いて伝
送フレームＴi の３次元形状モデルＭi を変形させ、内
挿フレームＩjに対応した３次元形状モデルＭj を得
る。以上の処理で得られた伝送フレームＴi とＴk にお
ける濃淡情報と３次元形状モデルＭi とＭk 、及び内挿
フレームＩj における３次元形状モデルＭj を用い、フ
レーム内挿部５において内挿フレームＩj における濃淡
情報を内挿する。
きた符号化データが復号部２において復号されて現時点
（すなわち、伝送フレームＴk に相当）における画像
（明るさ及び色情報からなる、以後、簡単に濃淡情報）
が得られる。この濃淡情報はフレームメモリ（１）３に
格納され、その後フレームメモリ（２）４から読み出さ
れた一つ前のフレーム（伝送フレーム、Ｔi に相当）の
濃淡情報と共にフレーム内挿部５へ送られる。これと並
行して、３次元形状モデル変形部（１）７では、送信側
から送られてきた伝送フレームＴi と伝送フレームＴk
間の３次元動きベクトルＶik3 を用いて３次元形状モデ
ル格納部（２）９から読み出された伝送フレームＴi に
おける３次元形状モデルＭi を変形し、伝送フレームＴ
k に対応する３次元形状モデルＭk を求める。３次元動
きベクトル調整部６では、伝送フレームＴi 及びＴk と
内挿フレームＩj 間の時間的相対距離ａを用いて伝送フ
レームＴi と内挿フレームＩj 間の３次元動きベクトル
Ｖij3 を推定する。一般的には、伝送フレームＴi とＴ
k 間では３次元動きベクトルが線形で変化していると考
えれば、伝送フレームＴi と内挿フレームＩj 間の３次
元動きベクトルＶij3は、時間的相対距離比ａをＶik3
に乗ずることにより求められる。このＶij3 を用いて伝
送フレームＴi の３次元形状モデルＭi を変形させ、内
挿フレームＩjに対応した３次元形状モデルＭj を得
る。以上の処理で得られた伝送フレームＴi とＴk にお
ける濃淡情報と３次元形状モデルＭi とＭk 、及び内挿
フレームＩj における３次元形状モデルＭj を用い、フ
レーム内挿部５において内挿フレームＩj における濃淡
情報を内挿する。
【００１２】次に、フレーム内挿部５について説明を行
う。図２はフレーム内挿部５での動作を説明する図であ
る。同図で示しているように３次元形状モデルを用いた
内挿は、内挿フレームＩj と前後の伝送フレームＴi と
Ｔk における３次元形状モデルを構成している３角形の
対応関係に基づいたテクスチャマッピングが基本であ
る。内挿フレームＩj の対象物を表す３次元形状モデル
を構成している各々の３角形Ｓj に対応する前後の伝送
フレームＴi とＴk における３角形Ｓi とＳk を求め
る。内挿フレームＩj の３角形Ｓj を２次元平面に投影
し、３角形Ｓj に含まれる内挿フレームＩj の画素Ｐj
を求める。伝送フレームＴi とＴk 、及び内挿フレーム
Ｉj における３次元形状モデルを構成する３角形同士の
対応関係から、内挿フレームＩj の画素Ｐj に対応する
画素Ｐi とＰk を求める。このＰi とＰk の濃淡値を用
いて、次式により、内挿フレームの画素Ｐj の画素値
（濃淡値）を求める。 Ｐj ＝ａ＊Ｐi ＋（１−ａ）＊Ｐk これらの処理を３角形Ｓj に含まれている全ての画素、
及び内挿フレームＩjの３次元形状モデルＭj を構成す
る全ての３角形について行うことにより、内挿フレーム
Ｉj における３次元形状モデル上の画像が内挿される。
なお、３次元形状モデルで内挿することが出来ない領
域、例えば背景部分に関しては従来の方法が適用され
る。また、この例では内挿されるフレーム数が１枚とし
て説明を行ったが、時間的距離比ａを変化させて同様の
処理を行うことにより複数枚のフレームを内挿すること
も可能である。この例では３次元動きベクトルを送信側
において検出した場合の例を説明したが、受信側におい
て復号された画像信号を用いて対象物の３次元動きベク
トルを求めることも可能である。
う。図２はフレーム内挿部５での動作を説明する図であ
る。同図で示しているように３次元形状モデルを用いた
内挿は、内挿フレームＩj と前後の伝送フレームＴi と
Ｔk における３次元形状モデルを構成している３角形の
対応関係に基づいたテクスチャマッピングが基本であ
る。内挿フレームＩj の対象物を表す３次元形状モデル
を構成している各々の３角形Ｓj に対応する前後の伝送
フレームＴi とＴk における３角形Ｓi とＳk を求め
る。内挿フレームＩj の３角形Ｓj を２次元平面に投影
し、３角形Ｓj に含まれる内挿フレームＩj の画素Ｐj
を求める。伝送フレームＴi とＴk 、及び内挿フレーム
Ｉj における３次元形状モデルを構成する３角形同士の
対応関係から、内挿フレームＩj の画素Ｐj に対応する
画素Ｐi とＰk を求める。このＰi とＰk の濃淡値を用
いて、次式により、内挿フレームの画素Ｐj の画素値
（濃淡値）を求める。 Ｐj ＝ａ＊Ｐi ＋（１−ａ）＊Ｐk これらの処理を３角形Ｓj に含まれている全ての画素、
及び内挿フレームＩjの３次元形状モデルＭj を構成す
る全ての３角形について行うことにより、内挿フレーム
Ｉj における３次元形状モデル上の画像が内挿される。
なお、３次元形状モデルで内挿することが出来ない領
域、例えば背景部分に関しては従来の方法が適用され
る。また、この例では内挿されるフレーム数が１枚とし
て説明を行ったが、時間的距離比ａを変化させて同様の
処理を行うことにより複数枚のフレームを内挿すること
も可能である。この例では３次元動きベクトルを送信側
において検出した場合の例を説明したが、受信側におい
て復号された画像信号を用いて対象物の３次元動きベク
トルを求めることも可能である。
【００１３】
【実施例２】図３は、本発明の第２の実施例を説明する
ための３次元形状モデルを用いた動画像のフレーム内挿
装置のブロック図である。第１の実施例と異なる点は、
対象物の３次元動きベクトルに加えて要素の形状変化に
も対応することができるようにした点である。同図にお
いて、１２は３次元形状モデル変化情報調整部、１３及
び１４は３次元形状モデル変形・調整部である。その他
に関しては、図１と同様である。３次元形状モデル変形
情報調整部１２は図４に示されているように３次元動き
ベクトル調整部６と新たに加えられた形状変化調整部１
６からなる。また、３次元形状モデル変形・調整部１３
及び１４は図５に示すように３次元形状モデル変形部７
及び１０とその後段に新たに加えられた要素形状変化調
整部１７からなる。
ための３次元形状モデルを用いた動画像のフレーム内挿
装置のブロック図である。第１の実施例と異なる点は、
対象物の３次元動きベクトルに加えて要素の形状変化に
も対応することができるようにした点である。同図にお
いて、１２は３次元形状モデル変化情報調整部、１３及
び１４は３次元形状モデル変形・調整部である。その他
に関しては、図１と同様である。３次元形状モデル変形
情報調整部１２は図４に示されているように３次元動き
ベクトル調整部６と新たに加えられた形状変化調整部１
６からなる。また、３次元形状モデル変形・調整部１３
及び１４は図５に示すように３次元形状モデル変形部７
及び１０とその後段に新たに加えられた要素形状変化調
整部１７からなる。
【００１４】形状変化情報調整部１６では、図６に示す
ように、内挿フレームと前後の伝送フレーム間の時間的
距離比ａに基づき送信側から伝送されてきた２枚の伝送
フレーム間での要素の形状変化情報を調整し、伝送フレ
ームＴi と内挿フレームＩj間における要素の形状変化
情報を求める。一般的には、２枚の伝送フレーム間にお
いて形状の変化が線形であるとして求める。要素形状変
化調整部１７では、形状変化情報調整部１６で得られた
伝送フレームＴi と内挿フレーム間の形状変化情報を基
にし、３次元形状モデル変形部７または１０で得られた
３次元形状モデルの要素形状を調整し、内挿フレームの
対象物の形状に対応した３次元形状モデルを求める。す
なわち、３次元動きベクトルにより内挿フレームの対象
物の位置と向きに対応した３次元形状モデルを求め、更
に要素の形状変化情報を用いて要素の形状変化にも対応
するように３次元形状モデルの要素の形状を調整する。
ように、内挿フレームと前後の伝送フレーム間の時間的
距離比ａに基づき送信側から伝送されてきた２枚の伝送
フレーム間での要素の形状変化情報を調整し、伝送フレ
ームＴi と内挿フレームＩj間における要素の形状変化
情報を求める。一般的には、２枚の伝送フレーム間にお
いて形状の変化が線形であるとして求める。要素形状変
化調整部１７では、形状変化情報調整部１６で得られた
伝送フレームＴi と内挿フレーム間の形状変化情報を基
にし、３次元形状モデル変形部７または１０で得られた
３次元形状モデルの要素形状を調整し、内挿フレームの
対象物の形状に対応した３次元形状モデルを求める。す
なわち、３次元動きベクトルにより内挿フレームの対象
物の位置と向きに対応した３次元形状モデルを求め、更
に要素の形状変化情報を用いて要素の形状変化にも対応
するように３次元形状モデルの要素の形状を調整する。
【００１５】
【発明の効果】以上のように、本発明により、３次元形
状モデルを用いた動画像のフレーム内挿を行うことによ
り、従来の方法において発生したブロック状の歪みを防
ぐことが可能である。また、３次元形状モデルを用いて
３次元的な動きを求めてフレーム内挿を行っているた
め、入力画像中に３次元空間内の動きがあっても内挿画
像に入力画像に対応した動きを再現することができる。
これに加え、対象物中に含まれる要素形状の変化がある
場合でも、その形状変化に対応させて３次元形状モデル
を変形させることにより動きの自然な内挿画像を得るこ
とが可能である。これらの結果に、従来の方法において
得られた内挿画像に比べて、本方法では、動きの再現性
がより入力画像に近い内挿画像を再現することが可能で
ある。
状モデルを用いた動画像のフレーム内挿を行うことによ
り、従来の方法において発生したブロック状の歪みを防
ぐことが可能である。また、３次元形状モデルを用いて
３次元的な動きを求めてフレーム内挿を行っているた
め、入力画像中に３次元空間内の動きがあっても内挿画
像に入力画像に対応した動きを再現することができる。
これに加え、対象物中に含まれる要素形状の変化がある
場合でも、その形状変化に対応させて３次元形状モデル
を変形させることにより動きの自然な内挿画像を得るこ
とが可能である。これらの結果に、従来の方法において
得られた内挿画像に比べて、本方法では、動きの再現性
がより入力画像に近い内挿画像を再現することが可能で
ある。
【００１６】本発明は、テレビ電話など情報量を削減す
るため送信部においてフレーム数を削減された動画像に
対して、受信部において削減されたフレームを再生する
動画像のフレーム内挿の適用が可能である。また、ＰＡ
ＬからＮＴＳＣなどのフレームレートの異なるＴＶ信号
の変換方式への適用も可能である。
るため送信部においてフレーム数を削減された動画像に
対して、受信部において削減されたフレームを再生する
動画像のフレーム内挿の適用が可能である。また、ＰＡ
ＬからＮＴＳＣなどのフレームレートの異なるＴＶ信号
の変換方式への適用も可能である。
【図１】本発明による第１の実施例としての３次元形状
モデルを用いた動画像のフレーム内挿装置のブロック図
である。
モデルを用いた動画像のフレーム内挿装置のブロック図
である。
【図２】図１中のフレーム内挿部の機能を説明する図で
ある。
ある。
【図３】本発明による第２の実施例としての３次元形状
モデルを用いた動画像のフレーム内挿装置のブロック図
である。
モデルを用いた動画像のフレーム内挿装置のブロック図
である。
【図４】図３中の３次元形状モデル変化情報調整部の構
成例を示すブロック図である。
成例を示すブロック図である。
【図５】図３中の３次元形状モデル変化・調整部の構成
例を示すブロック図である。
例を示すブロック図である。
【図６】本発明による３次元形状モデルを用いた動画像
のフレーム内挿を説明する図である。
のフレーム内挿を説明する図である。
【図７】本発明に適用する頭部の３次元形状モデルの例
を示す図である。
を示す図である。
【図８】本発明を適用する動画像のフレーム内挿を説明
する図である。
する図である。
【図９】従来の動画像のフレーム内挿の装置例を示すブ
ロック図である。
ロック図である。
【図１０】従来のブロック単位に基づくフレーム内挿を
説明する図である。
説明する図である。
１ 入力端子 ２ 復号部 ３ フレームメモリ（１） ４ フレームメモリ（２） ５ ３次元形状モデルを用いたフレーム内挿部 ６ ３次元動きベクトル調整部 ７ ３次元形状モデル変形部 ８ ３次元形状モデル格納部（１） ９ ３次元形状モデル格納部（２） １０ ３次元形状モデル変形部（２） １１ ３次元形状モデル格納部（２） １２ ３次元モデル形状変化情報調整部 １３ ３次元形状モデル変形・調整部（１） １４ ３次元形状モデル変形・調整部（２） １５ ブロック単位に基づくフレーム内挿部 １６ 形状変化情報調整部 １７ 要素形状変化調整部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小池 淳 東京都新宿区西新宿二丁目３番２号 国 際電信電話株式会社内 (72)発明者 金子 正秀 東京都新宿区西新宿二丁目３番２号 国 際電信電話株式会社内 (72)発明者 羽鳥 好律 東京都新宿区西新宿二丁目３番２号 国 際電信電話株式会社内 (72)発明者 マーク・アンドリュー・シャックルトン イギリス国、サフォーク、イプスウィッ チ、コールドウェル・ホール・ロード 323 (72)発明者 ウイリアム・ジョン・ウエルシュ イギリス国、サフォーク、イプスウィッ チ、ファウンテンズ・ロード47 (56)参考文献 特開 平４−184683（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 15/70 H04N 7/24
Claims (4)
- 【請求項１】 動きを有する物体を含む動画像の時間的
に前後する２枚のフレーム間に画像を内挿する動画像の
フレーム内挿方式において、 前フレームの画像を蓄える画像記憶過程と、 前フレームにおける対象物の位置・向きに対応した３次
元形状モデルを蓄える３次元形状モデル記憶過程と、 送信側から伝送された画像符号化データを復号して現フ
レームの画像を得る復号過程と、該復号された画像を蓄
える画像記憶過程と、 送信側から伝送されてきた対象物の３次元動きベクトル
を前記前フレームの対象物の３次元形状モデルに作用さ
せて現フレームの対象物の位置・向きを表現するように
前フレームの前記３次元形状モデルを変形させて記憶す
る第１の３次元形状モデル変形過程と、 前記対象物の３次元動きベクトルと前記前及び現フレー
ムと内挿すべきフレーム間の時間的距離比を用いて前フ
レームと内挿フレーム間の３次元動きベクトルを推定す
る３次元動きベクトル調整過程と、 該３次元動きベクトル調整過程において得られた前記前
フレームと前記内挿フレーム間の３次元動きベクトルを
前フレームの３次元形状モデルに作用させて内挿フレー
ムにおける対象物の位置・向きに対応するように前フレ
ームの３次元形状モデルを変形させて記憶する第２の３
次元形状モデル変形過程と、 前記第２の３次元形状モデル変形過程において得られた
内挿フレームの対象物の位置・向きに対応した３次元形
状モデルに対して前及び現フレームの３次元形状モデル
を用いて前及び現フレームの明るさと色を示す濃淡値を
付与して内挿フレームの対象物に関する画像を得る画像
フレーム内挿過程と、 を含むことを特徴とする３次元形状モデルを用いた動画
像のフレーム内挿方法。 - 【請求項２】 動きを有する物体を含む動画像の時間的
に前後する２枚のフレーム間に画像を内挿する動画像の
フレーム内挿方式において、 送信側から伝送されてきた対象物の要素の形状変化情報
と前及び現フレームと内挿フレーム間との時間的距離比
を用いて前フレームと内挿フレーム間の対象物の要素の
形状変化を求める形状変化情報調整過程と、 前フレームの３次元形状モデルに前フレームと現フレー
ム間での３次元動きベクトルを作用させて前フレームの
３次元形状モデルを変形させて記憶する前記第１の３次
元形状モデル変形過程の後に送信側から伝送されたきた
前フレームと現フレーム間での要素の形状変化情報を作
用させて現フレームの対象物の位置・向き及び要素の形
状に対応した３次元形状モデルを得る要素形状変化調整
過程と、 前フレームの３次元形状モデルに３次元動きベクトル調
整過程で得られた前フレームと内挿フレーム間の３次元
動きベクトルを作用させて前フレームの３次元形状モデ
ルを変形させて記憶する前記第２の３次元形状モデル変
形過程の後に前記形状変化情報調整過程で得られた前フ
レームと内挿フレーム間での要素の形状変化情報を作用
させて内挿フレームの対象物の位置・向き及び要素の形
状に対応した３次元形状モデルを得る要素形状変化調整
過程と、 を更に含むことを特徴とする請求項１に記載の３次元形
状モデルを用いた動画像のフレーム内挿方法。 - 【請求項３】 動きを有する物体を含む動画像を符号化
したデータ及び前記物体に関するフレーム間での３次元
動きベクトルを入力する端子と、 前記入力端子から入力された現フレームの符号化データ
を復号化して画像信号を得る復号部と、 前フレームの画像を蓄えるフレームメモリと、前フレー
ムにおける対象物の位置・向きに対応した３次元形状モ
デルを蓄える３次元形状モデル格納部と、 前記復号部において復号化された現フレームの画像を蓄
えるフレームメモリと、 前記入力端子から入力された対象物の３次元動きベクト
ルを前フレームの対象物の３次元形状モデルに作用させ
て現フレームの対象物の位置・向きに対応するように前
フレームの３次元形状モデルを変形させる３次元形状モ
デル変形部と、 該３次元形状モデル変形部において得られた現フレーム
の３次元形状モデルを蓄える３次元形状モデル格納部
と、 対象物の３次元動きベクトルと前及び現フレームと内挿
すべきフレーム間の時間的距離を用いて前フレームと内
挿フレーム間の３次元動きベクトルを推定する３次元動
きベクトル調整部と、 該３次元動きベクトル調整部において得られた前フレー
ムと内挿フレーム間の３次元動きベクトルを前フレーム
の３次元形状モデルに作用させて内挿フレームにおける
対象物の位置・向きに対応するように前フレームの３次
元形状モデルを変形させる３次元形状モデル変形部と、 該３次元形状モデル変形部で得られた内挿フレームの３
次元形状モデルを蓄える３次元形状モデル格納部と、 前記３次元形状モデル変形部において得られた内挿フレ
ームの対象物の位置・向きに対応した３次元形状モデル
に対して前及び現フレームの３次元形状モデルを用いて
前及び現フレームの明るさと色を示す画素値を付与して
内挿フレームの対象物に対する画像信号を得るフレーム
内挿部と、 を含むことを特徴とする３次元形状モデルを用いた動画
像のフレーム内挿装置。 - 【請求項４】 動きを有する物体を含む動画像を符号化
したデータ及び前記物体に関するフレーム間の３次元動
きベクトルと前記物体の要素の形状変化情報を入力する
端子と、 該入力端子から入力された対象物の要素の形状変化情報
と前及び現フレームと内挿フレームとの時間的距離比を
用いて前フレームと内挿フレーム間の対象物の要素の形
状変化を求める形状変化情報調整部と、 前フレームの３次元形状モデルを前フレームと現フレー
ム間での３次元動きベクトルを作用させて前フレームの
３次元形状モデルを変形させる前記３次元モデル変換部
の後段に前記入力端子から入力された前フレームと現フ
レーム間での要素の形状変化情報を作用させて現フレー
ムの対象物の位置・向き及び要素の形状に対応した３次
元形状モデルを得る要素形状変化調整部と、 前フレームの３次元形状モデルを３次元動きベクトル調
整部で得られた前フレームと内挿フレーム間での３次元
動きベクトルを作用させて前フレームの３次元形状モデ
ルを変形させる前記３次元形状モデル変形部の後段に前
記形状変化調整部で得られた前フレームと内挿フレーム
間での要素の形状変化情報を作用させて内挿フレームの
対象物の位置・向き及び要素の形状に対応した３次元形
状モデルを得る要素形状変化調整部と、 を更に含むことを特徴とする請求項３に記載の３次元形
状モデルを用いた動画像のフレーム内挿装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB919115874A GB9115874D0 (en) | 1991-07-23 | 1991-07-23 | Frame interpolation |
| GB9115874.1 | 1991-07-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07220116A JPH07220116A (ja) | 1995-08-18 |
| JP3107917B2 true JP3107917B2 (ja) | 2000-11-13 |
Family
ID=10698817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04214779A Expired - Fee Related JP3107917B2 (ja) | 1991-07-23 | 1992-07-21 | ３次元形状モデルを用いた動画像のフレーム内挿方法及びその装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP3107917B2 (ja) |
| GB (1) | GB9115874D0 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005124693A2 (en) * | 2004-06-16 | 2005-12-29 | Koninklijke Philips Electronics N.V. | Inverse texture mapping 3d graphics system |
| JP7278795B2 (ja) * | 2019-02-21 | 2023-05-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
1991
- 1991-07-23 GB GB919115874A patent/GB9115874D0/en active Pending
-
1992
- 1992-07-21 JP JP04214779A patent/JP3107917B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| GB9115874D0 (en) | 1991-09-04 |
| JPH07220116A (ja) | 1995-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5410358A (en) | Method and device for frame interpolation of a moving image | |
| EP1354292B1 (en) | Method and apparatus FOR DEVELOPING HIGH-RESOLUTION IMAGERY | |
| US6229570B1 (en) | Motion compensation image interpolation—frame rate conversion for HDTV | |
| US5661525A (en) | Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence | |
| US4703350A (en) | Method and apparatus for efficiently communicating image sequences | |
| JPH0644815B2 (ja) | 動物体の動き内挿装置 | |
| JP2006504175A (ja) | フォールバックを用いる画像処理装置 | |
| US6930728B2 (en) | Scan conversion apparatus | |
| US8149913B2 (en) | Moving picture converting apparatus and method, and computer program | |
| JPH06153239A (ja) | 画像の符号化方式 | |
| Bugwadia et al. | Progressive-scan rate up-conversion of 24/30 Hz source materials for HDTV | |
| JP3107917B2 (ja) | ３次元形状モデルを用いた動画像のフレーム内挿方法及びその装置 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| US6137920A (en) | Method and system for generating image frame sequences using morphing transformations | |
| JPH0851599A (ja) | 画像情報変換装置 | |
| JP3287977B2 (ja) | 動きベクトル検出方法および装置と動画像符号化方法および装置 | |
| JP2875549B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JPH0363275B2 (ja) | ||
| Nieweglowski et al. | Motion compensated video sequence interpolation using digital image warping | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| US6885706B2 (en) | Method for promoting temporal resolution of sequential images | |
| JPH03101390A (ja) | 画像変換装置及び方法 | |
| JP3441120B2 (ja) | 動画像フレーム再生方式 | |
| JPH0787493A (ja) | フレーム内挿方法 | |
| JP2925046B2 (ja) | 動画像の動き補償予測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |