JPH11341445A - フレ―ムフォ―マット変換方法 - Google Patents
フレ―ムフォ―マット変換方法Info
- Publication number
- JPH11341445A JPH11341445A JP11124834A JP12483499A JPH11341445A JP H11341445 A JPH11341445 A JP H11341445A JP 11124834 A JP11124834 A JP 11124834A JP 12483499 A JP12483499 A JP 12483499A JP H11341445 A JPH11341445 A JP H11341445A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- decompressed image
- motion
- format
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 本発明は、ビデオ画像の連続するフレームか
らなる伸張画像メモリを用いて、４／３フォーマットの
フレームから完全な１６／９のフレームを生成すること
を目的とする。 【解決手段】 本発明は、フレームを大きなフォーマッ
トのフレームに変換する処理であることを特徴とする。
先行する伸張画像に関する現在の画像の動きを推定し、
現行フレームに対する先行する伸張画像の動きを補償す
る。そして、次の現行フレームの動き推定のための先行
する伸張画像となる更新された伸張画像を与えるため
に、現行フレームからのデータを考慮して先行する伸張
画像の更新をし、大きなフォーマットのフレームを得る
ために、更新された伸張画像からのデータを用いて、現
行フレームを完成させる。
らなる伸張画像メモリを用いて、４／３フォーマットの
フレームから完全な１６／９のフレームを生成すること
を目的とする。 【解決手段】 本発明は、フレームを大きなフォーマッ
トのフレームに変換する処理であることを特徴とする。
先行する伸張画像に関する現在の画像の動きを推定し、
現行フレームに対する先行する伸張画像の動きを補償す
る。そして、次の現行フレームの動き推定のための先行
する伸張画像となる更新された伸張画像を与えるため
に、現行フレームからのデータを考慮して先行する伸張
画像の更新をし、大きなフォーマットのフレームを得る
ために、更新された伸張画像からのデータを用いて、現
行フレームを完成させる。
Description
【０００１】
【発明の属する技術分野】本発明は、４／３から１６／
９へのＴＶフォーマットの変換方法および、変換方法を
実行する変換器に関するものである。
９へのＴＶフォーマットの変換方法および、変換方法を
実行する変換器に関するものである。
【０００２】
【従来の技術】通常は、４／３から１６／９へのＴＶフ
ォーマットの変換は、それぞれ違った方法で行われる。
図１（ａ）は４／３のカメラで撮影したものとする画像
をまた、図１（ｂ）は１６／９のカメラで撮影したもの
とする画像を示す。図２は４／３のＴＶフォーマットを
１６／９へのＴＶフォーマットに変換する既知の方法を
示したものである。
ォーマットの変換は、それぞれ違った方法で行われる。
図１（ａ）は４／３のカメラで撮影したものとする画像
をまた、図１（ｂ）は１６／９のカメラで撮影したもの
とする画像を示す。図２は４／３のＴＶフォーマットを
１６／９へのＴＶフォーマットに変換する既知の方法を
示したものである。
【０００３】最も単純な方法は、図２（ａ）に示すよう
に、４／３のフォーマットを保持し、１６／９のフレー
ムの空の部分を黒の帯で埋めることである。もう一つの
形式の方法は、１６／９のフレームを得るために、４／
３の原画のフレームを歪ませるか又は、切り取ることで
ある。 −図２（ｂ）に示すように、４／３のフレームを水平方
向にズームする。
に、４／３のフォーマットを保持し、１６／９のフレー
ムの空の部分を黒の帯で埋めることである。もう一つの
形式の方法は、１６／９のフレームを得るために、４／
３の原画のフレームを歪ませるか又は、切り取ることで
ある。 −図２（ｂ）に示すように、４／３のフレームを水平方
向にズームする。
【０００４】−図２（ｃ）に示すように、ズームし、上
下を切り取る。 −図２（ｄ）に示すように、同様にズームし、字幕を残
すために上方部のみを切り取る。 −図２（ｅ）に示すように、ズーム係数がフレーム内で
変わり、中心部では１付近であり、フレームの境界部で
最大値をとるように、線形にズームする。
下を切り取る。 −図２（ｄ）に示すように、同様にズームし、字幕を残
すために上方部のみを切り取る。 −図２（ｅ）に示すように、ズーム係数がフレーム内で
変わり、中心部では１付近であり、フレームの境界部で
最大値をとるように、線形にズームする。
【０００５】これらの方法の間では、妥協が行われる。
最後の形式は、境界部で失った情報を特別な技術で作り
出すことを目的にしている。 −境界の列やラインの複製。 −図２（Ｆ）に示すような、ミラー効果。
最後の形式は、境界部で失った情報を特別な技術で作り
出すことを目的にしている。 −境界の列やラインの複製。 −図２（Ｆ）に示すような、ミラー効果。
【０００６】−物体のエッジや、フラクタルを考慮した
変形が適用されたパディング方法。
変形が適用されたパディング方法。
【０００７】
【発明が解決しようとする課題】これらの異なった方法
を、ＴＶ受像機の中において直接又は、ビデオ放送前の
後処理工程で適用することができる。これらの技術が後
処理において行われても、１６／９のカメラで撮影され
たシーンのフレーム全体の真の情報を生成することはで
きないことは明らかである。
を、ＴＶ受像機の中において直接又は、ビデオ放送前の
後処理工程で適用することができる。これらの技術が後
処理において行われても、１６／９のカメラで撮影され
たシーンのフレーム全体の真の情報を生成することはで
きないことは明らかである。
【０００８】４／３フォーマットの画像の固有の情報を
使用する場合、これら全ての技術は、偽の情報（この付
加情報は画像の失われた真の部分を表さない）を付加
し、情報を抑圧し又は、画像を歪ませることによって、
全ての画像の品質を劣化させる。本発明の目的は、上述
の問題点を解消することである。
使用する場合、これら全ての技術は、偽の情報（この付
加情報は画像の失われた真の部分を表さない）を付加
し、情報を抑圧し又は、画像を歪ませることによって、
全ての画像の品質を劣化させる。本発明の目的は、上述
の問題点を解消することである。
【０００９】
【課題を解決するための手段】本発明の構成は、所定の
フォーマットの連続するフレームよりなるビデオシーケ
ンスを、大きなフォーマットのフレームに変換するフォ
ーマット変換方法であって、先行する伸張画像に関し
て、現行フレームの動き推定を行い、現行フレームに関
して、先行する伸張画像の動きを補償し、次の現行フレ
ームの動き推定のための先行する伸張画像となる更新さ
れた伸張画像を与えるための現行フレームからのデータ
を考慮して、先行する伸張画像の更新を行い、大きなフ
ォーマットのフレームを得るために、更新された伸張画
像からのデータを考慮して現行フレームを完成させるこ
とを特徴とする。
フォーマットの連続するフレームよりなるビデオシーケ
ンスを、大きなフォーマットのフレームに変換するフォ
ーマット変換方法であって、先行する伸張画像に関し
て、現行フレームの動き推定を行い、現行フレームに関
して、先行する伸張画像の動きを補償し、次の現行フレ
ームの動き推定のための先行する伸張画像となる更新さ
れた伸張画像を与えるための現行フレームからのデータ
を考慮して、先行する伸張画像の更新を行い、大きなフ
ォーマットのフレームを得るために、更新された伸張画
像からのデータを考慮して現行フレームを完成させるこ
とを特徴とする。
【００１０】本発明の他の構成は、所定のフォーマット
の連続するフレームよりなるビデオシーケンスを、大き
なフォーマットのフレームに変換するフォーマット変換
方法であって、変換は２つの経路で行われる。一つは連
続するフレーム間の動きを推定し、動き補償されたフレ
ームを用いて伸張画像を作成する。もう一つは、計算さ
れた動きを考慮しそして、大きなフォーマットに対応す
る伸張画像データを用いて完成させた伸張画像に関する
シーケンスの各フレームを配置することを特徴とする。
の連続するフレームよりなるビデオシーケンスを、大き
なフォーマットのフレームに変換するフォーマット変換
方法であって、変換は２つの経路で行われる。一つは連
続するフレーム間の動きを推定し、動き補償されたフレ
ームを用いて伸張画像を作成する。もう一つは、計算さ
れた動きを考慮しそして、大きなフォーマットに対応す
る伸張画像データを用いて完成させた伸張画像に関する
シーケンスの各フレームを配置することを特徴とする。
【００１１】また、本発明は、特に、動き推定が２Ｄの
明らかな動きのアフィンモデル化に基づいた全体的な動
きのロバスト推定であることを特徴とする。また，本発
明は、動き推定がフレーム輝度の空間時間グラディエン
トに基づいていることを特徴とする。本発明はまた、１
６／９のＴＶ受像機に関し、フォーマット変換方法を実
行する変換器を有していることを特徴とする。
明らかな動きのアフィンモデル化に基づいた全体的な動
きのロバスト推定であることを特徴とする。また，本発
明は、動き推定がフレーム輝度の空間時間グラディエン
トに基づいていることを特徴とする。本発明はまた、１
６／９のＴＶ受像機に関し、フォーマット変換方法を実
行する変換器を有していることを特徴とする。
【００１２】本発明は、ビデオ画像の連続するフレーム
からなる伸張画像メモリを用いて、４／３フォーマット
のフレームから完全な１６／９のフレームを生成するこ
とを目的とする。請求項の伸張画像生成処理方法は、連
続する４／３のフレームを累積し、理想的には１６／９
フォーマット又はそれ以上の大きな画像を発生するため
に混合する。もし、カメラとシーンの背景が完全に静止
しているなら、この方法は、４／３のフレームと全く同
じサイズの最終フレームを生成する。しかし、カメラが
動くとすぐに（そして特にパン動作が行われたとき）、
シーンの大部分がビデオ画像の連続するフレームを通し
て見える。それゆえ、シーンの、大きなフレームを生成
することが可能となる。この大きなフレームが伸張画像
メモリに記憶されているなら、この伸張画像によって４
／３のフレームは完成されることができ、あたかも１６
／９のカメラで撮ったように見えるシーンの１６／９の
フレームを生成する。
からなる伸張画像メモリを用いて、４／３フォーマット
のフレームから完全な１６／９のフレームを生成するこ
とを目的とする。請求項の伸張画像生成処理方法は、連
続する４／３のフレームを累積し、理想的には１６／９
フォーマット又はそれ以上の大きな画像を発生するため
に混合する。もし、カメラとシーンの背景が完全に静止
しているなら、この方法は、４／３のフレームと全く同
じサイズの最終フレームを生成する。しかし、カメラが
動くとすぐに（そして特にパン動作が行われたとき）、
シーンの大部分がビデオ画像の連続するフレームを通し
て見える。それゆえ、シーンの、大きなフレームを生成
することが可能となる。この大きなフレームが伸張画像
メモリに記憶されているなら、この伸張画像によって４
／３のフレームは完成されることができ、あたかも１６
／９のカメラで撮ったように見えるシーンの１６／９の
フレームを生成する。
【００１３】ビデオ画像の連続するフレームからなる伸
張画像メモリを用いた１６／９フレームの失われた部分
の再構成によって、歪みが無く又は、偽の情報が無く、
画質を向上した１６／９のフレームを得ることができ
る。その他の特徴と優位性は、以下の制限の無い実施例
により明らかになろう。
張画像メモリを用いた１６／９フレームの失われた部分
の再構成によって、歪みが無く又は、偽の情報が無く、
画質を向上した１６／９のフレームを得ることができ
る。その他の特徴と優位性は、以下の制限の無い実施例
により明らかになろう。
【００１４】
【発明の実施の形態】図３は１６／９フレームを再構成
する伸張メモリの使用を示す。左右の点線で示されてい
る境界２により制限された４／３フレーム１は、拡張さ
れるべき現行フレームに関係している。１６／９のフレ
ーム３は、４／３の現行フレームとシーケンスの隣接フ
レームのデータから再構成されたフレームである。その
ような再構成を行うために、伸張画像メモリ４は先行す
るフレーム又は後行するフレーム（後述するオフライン
環境が使用された場合）からの処理されたデータを記憶
する。例えば、４／３フレームの右にある三角形の部分
は、次の４／３フレームのこの三角形の部分のみに関連
した１６／９サイズに対応するデータを使用すること
で、伸張画像メモリの中で完成し、１６／９フレームに
表示される典型的な伸張画像は、パン動作により撮られ
たシーンの大きな画像であろう。
する伸張メモリの使用を示す。左右の点線で示されてい
る境界２により制限された４／３フレーム１は、拡張さ
れるべき現行フレームに関係している。１６／９のフレ
ーム３は、４／３の現行フレームとシーケンスの隣接フ
レームのデータから再構成されたフレームである。その
ような再構成を行うために、伸張画像メモリ４は先行す
るフレーム又は後行するフレーム（後述するオフライン
環境が使用された場合）からの処理されたデータを記憶
する。例えば、４／３フレームの右にある三角形の部分
は、次の４／３フレームのこの三角形の部分のみに関連
した１６／９サイズに対応するデータを使用すること
で、伸張画像メモリの中で完成し、１６／９フレームに
表示される典型的な伸張画像は、パン動作により撮られ
たシーンの大きな画像であろう。
【００１５】処理の実行は考慮される環境によって、わ
ずかに異なる。 −オンライン環境 変換処理は、オンラインで行われる。オンラインは、実
時間の、例えばＴＶ受像機で直接行われる場合である。
この場合には、伸張画像は、ビデオ画像に沿って順次更
新される。従って、ビデオ画像の始まりでは、終わりで
よりも小さく、伸張画像サイズの増加に伴って、１６／
９フレームが徐々に完成される。
ずかに異なる。 −オンライン環境 変換処理は、オンラインで行われる。オンラインは、実
時間の、例えばＴＶ受像機で直接行われる場合である。
この場合には、伸張画像は、ビデオ画像に沿って順次更
新される。従って、ビデオ画像の始まりでは、終わりで
よりも小さく、伸張画像サイズの増加に伴って、１６／
９フレームが徐々に完成される。
【００１６】−オフライン環境 変換処理は、オンラインで行われる。これは、１６／９
フレームの生成に遅延があることを意味し、ＴＶ受像機
に直接適用する可能性は少ない。この場合には、処理
は、製作後処理として使用されるべきである。しかし、
ＭＰＥＧ−４規格に関連して、伸張画像メモリのこの形
式は符号化器において計算され、そのままで、それ以上
の計算はしないデコーダに伝送される。
フレームの生成に遅延があることを意味し、ＴＶ受像機
に直接適用する可能性は少ない。この場合には、処理
は、製作後処理として使用されるべきである。しかし、
ＭＰＥＧ−４規格に関連して、伸張画像メモリのこの形
式は符号化器において計算され、そのままで、それ以上
の計算はしないデコーダに伝送される。
【００１７】図４は、オンライン環境での処理と後述す
るアルゴリズムを示す。処理の第１ステップ５は、動き
データを得るために、現行フレームデータと先行する伸
張画像データの間の動き推定を行う。第２ステップ６
は、これらの動きデータ（動きベクトル）を用いて、先
行する伸張画像データから動き補償された伸張画像デー
タを計算する。第３ステップ７は、これらの伸張画像デ
ータと現行フレームデータから、伸張画像の更新を行
う。これらの現行の４／３フレームに関連した更新され
た伸張画像データは、次の現行４／３フレームを受けた
ときに、先行する伸張画像データとして使用されるため
に第１及び第２のステップへ帰還する。第４ステップ８
は、現行フレームデータと更新された伸張画像データを
受け完全な現行１６／９フレームを得るための１６／９
フレーム充填を行う。
るアルゴリズムを示す。処理の第１ステップ５は、動き
データを得るために、現行フレームデータと先行する伸
張画像データの間の動き推定を行う。第２ステップ６
は、これらの動きデータ（動きベクトル）を用いて、先
行する伸張画像データから動き補償された伸張画像デー
タを計算する。第３ステップ７は、これらの伸張画像デ
ータと現行フレームデータから、伸張画像の更新を行
う。これらの現行の４／３フレームに関連した更新され
た伸張画像データは、次の現行４／３フレームを受けた
ときに、先行する伸張画像データとして使用されるため
に第１及び第２のステップへ帰還する。第４ステップ８
は、現行フレームデータと更新された伸張画像データを
受け完全な現行１６／９フレームを得るための１６／９
フレーム充填を行う。
【００１８】最初は、伸張画像はビデオ画像の最初の原
画フレームである。そして、先行する伸張画像が与えら
れ、第１ステップ５において、この伸張画像と現行４／
３原画フレームとの間で全体的な動き推定が行われる。
動きモデルに関しては、ビデオシーケンス中の２Ｄの明
らかな動きのアフィンモデル化が選択される。計算の複
雑さ（６つのパラメータのみが用いられる）と物理的な
現実性（２Ｄの明らかな動きを正しく表現する）の最良
の妥協ためである。
画フレームである。そして、先行する伸張画像が与えら
れ、第１ステップ５において、この伸張画像と現行４／
３原画フレームとの間で全体的な動き推定が行われる。
動きモデルに関しては、ビデオシーケンス中の２Ｄの明
らかな動きのアフィンモデル化が選択される。計算の複
雑さ（６つのパラメータのみが用いられる）と物理的な
現実性（２Ｄの明らかな動きを正しく表現する）の最良
の妥協ためである。
【００１９】フレーム中の点（ｘ、ｙ）の２Ｄ動きベク
トル
トル
【００２０】
【外１】
【００２１】は、６つの動きパラメータθ＝（ａ，ｂ，
α，β，γ，δ）を用いて、次のような方法でモデル化
される。
α，β，γ，δ）を用いて、次のような方法でモデル化
される。
【００２２】
【数１】
【００２３】パラメータは、フレーム全体に対して計算
される。画素の座標をｘ，ｙとすると、動きベクトルは
これらのパラメータから導き出される。この計算は、大
きな動きのときには失敗する可能性が有る密過ぎる動き
領域検出を避けることができる。全体的な動き推定処理
は、視覚の流れの制限式により、２Ｄの明らかな動きに
関係したフレーム輝度の空間−時間グラディエントに基
づいている。
される。画素の座標をｘ，ｙとすると、動きベクトルは
これらのパラメータから導き出される。この計算は、大
きな動きのときには失敗する可能性が有る密過ぎる動き
領域検出を避けることができる。全体的な動き推定処理
は、視覚の流れの制限式により、２Ｄの明らかな動きに
関係したフレーム輝度の空間−時間グラディエントに基
づいている。
【００２４】時間ｔのフレームの座標ｘ，ｙの画素の輝
度Ｉx,y,t は、時間ｄｔの間の動きｄｘ，ｄｙの後に変
化しないとすると、次のようになる、 Ｉx,y,t ＝Ｉx ＋ｄｘ，ｙ＋ｄｙ，ｔ＋ｄｔ １次の展開により、次の式を与える。
度Ｉx,y,t は、時間ｄｔの間の動きｄｘ，ｄｙの後に変
化しないとすると、次のようになる、 Ｉx,y,t ＝Ｉx ＋ｄｘ，ｙ＋ｄｙ，ｔ＋ｄｔ １次の展開により、次の式を与える。
【００２５】
【数２】
【００２６】ΔＩx ．ｄｘ＋ΔＩy ．ｄｘ＋ΔＩt ＝０ と単純化できる。ここで、ΔＩx ，ΔＩy とΔＩt は、
輝度関数の推定された微分係数である。ΔＩx とΔＩy
は、それぞれ同一ライン上の同一コラムの画素とその隣
接画素間の輝度差として計算され、ΔＩt は、画素と隣
接フレームの動き補償された対応する画素間の輝度差と
して計算される。
輝度関数の推定された微分係数である。ΔＩx とΔＩy
は、それぞれ同一ライン上の同一コラムの画素とその隣
接画素間の輝度差として計算され、ΔＩt は、画素と隣
接フレームの動き補償された対応する画素間の輝度差と
して計算される。
【００２７】実際にはΔＩx ｄｘ＋ΔＩy ｄｘ＋ΔＩt
はゼロではなく、動きと輝度の近似によるノイズ（誤
差）である。これは、下記（誤差）を、各画素（ｘ，
ｙ）に対して考慮する必要がある。 ε（ｘ，ｙ，θ）＝ｄｘ．ΔＩx ＋ｄｘ．ΔＩy ＋ΔＩt ＝（ａ＋α．ｘ＋γ．ｙ）．ΔＩx ＋（ｂ＋β．ｘ＋δ．ｙ）．ΔＩy ＋ΔＩt この動きモデルパラメータ推定の基本的な問題は、フレ
ームの小領域が違った動きであっても、支配的な動きを
識別することである。この問題を解決する最も良い方法
はロバスト推定法である。それは、推定仮定での誤った
サンプルの削除を可能とする。本例では、選択された方
法は、繰り返し再重み付けのされた最小の正方形より得
られる。変数ε（ｘ，ｙ）は、各画素の同じ分散の独立
集中ガウス法則として、分散されていると仮定される。
大きな動きが推定できるために、多種の解像度方法が処
理方法に適用される。２つのフレームの多種の解像度の
ピラミッドが最初に生成される。そして、評価処理方法
が、最も粗い解像度から最も細かい解像度まで適用され
る。そこでは、所定レベルにおいて、動きパラメータの
初期推定値として粗いレベルからの評価値を使用する。
はゼロではなく、動きと輝度の近似によるノイズ（誤
差）である。これは、下記（誤差）を、各画素（ｘ，
ｙ）に対して考慮する必要がある。 ε（ｘ，ｙ，θ）＝ｄｘ．ΔＩx ＋ｄｘ．ΔＩy ＋ΔＩt ＝（ａ＋α．ｘ＋γ．ｙ）．ΔＩx ＋（ｂ＋β．ｘ＋δ．ｙ）．ΔＩy ＋ΔＩt この動きモデルパラメータ推定の基本的な問題は、フレ
ームの小領域が違った動きであっても、支配的な動きを
識別することである。この問題を解決する最も良い方法
はロバスト推定法である。それは、推定仮定での誤った
サンプルの削除を可能とする。本例では、選択された方
法は、繰り返し再重み付けのされた最小の正方形より得
られる。変数ε（ｘ，ｙ）は、各画素の同じ分散の独立
集中ガウス法則として、分散されていると仮定される。
大きな動きが推定できるために、多種の解像度方法が処
理方法に適用される。２つのフレームの多種の解像度の
ピラミッドが最初に生成される。そして、評価処理方法
が、最も粗い解像度から最も細かい解像度まで適用され
る。そこでは、所定レベルにおいて、動きパラメータの
初期推定値として粗いレベルからの評価値を使用する。
【００２８】分散
【００２９】
【外２】
【００３０】（＾は推定値）は、初期は所定値が与えら
れる。例えば５０である。同様に、初期の全体的な動き
パラメータベクトル
れる。例えば５０である。同様に、初期の全体的な動き
パラメータベクトル
【００３１】
【外３】
【００３２】は、次のように設定される。 −ビデオ画像の処理が開始したときは、ヌルベクトル、 −処理が現行フレームより開始した場合にはより高い解
像度レベルを考慮して再規格化された、前値（以前のベ
クトル）、 そして、繰り返し処理が適用される。
像度レベルを考慮して再規格化された、前値（以前のベ
クトル）、 そして、繰り返し処理が適用される。
【００３３】ｋを現在の繰り返し番号とする。動きパラ
メータベクトルの推定値
メータベクトルの推定値
【００３４】
【外４】
【００３５】から、伸張画像の動き補償が達成され、空
間−時間グラディエントマップが計算される。最初の推
定値ｑは順次校正され、校正値が小さくなるまで連続し
て処理が行われる。各画素（ｘ，ｙ）に対して、各繰り
返し重み係数ｗｃｋ（ｘ，ｙ）が評価される。
間−時間グラディエントマップが計算される。最初の推
定値ｑは順次校正され、校正値が小さくなるまで連続し
て処理が行われる。各画素（ｘ，ｙ）に対して、各繰り
返し重み係数ｗｃｋ（ｘ，ｙ）が評価される。
【００３６】
【数３】
【００３７】重み付け係数ｗｃｋ（ｘ，ｙ）と共に、重
み付けされた最小正方形方法を用いて、
み付けされた最小正方形方法を用いて、
【００３８】
【外５】
【００３９】の推定が行われる。
【００４０】
【数４】
【００４１】ｄθｋの推定のための重み付けされた最小
正方形方法は、前の繰り返しに対応したパラメータに関
する動きパラメータの分散の計算よりなる。それは、フ
レーム全体で、重み付けされた正方形の誤差の合計の最
小化ができる。各変数（パラメータ）の重み付けられた
正方形の誤差の合計の微分係数は、ゼロにされ、６つの
パラメータのための６つの等式が与えられる。
正方形方法は、前の繰り返しに対応したパラメータに関
する動きパラメータの分散の計算よりなる。それは、フ
レーム全体で、重み付けされた正方形の誤差の合計の最
小化ができる。各変数（パラメータ）の重み付けられた
正方形の誤差の合計の微分係数は、ゼロにされ、６つの
パラメータのための６つの等式が与えられる。
【００４２】そして、重み付けされたＤＦＤのみを考慮
してノイズの分散が再び推定され、次の結果を得る。
してノイズの分散が再び推定され、次の結果を得る。
【００４３】
【数５】
【００４４】フレーム全体のＤＦＤの平均値はゼロと仮
定される。全体の動きパラメータベクトルは、更新さ
れ、
定される。全体の動きパラメータベクトルは、更新さ
れ、
【００４５】
【数６】
【００４６】シーケンスの最初のフレームの最初の繰り
返しでは、動きはゼロとされる（動きパラメータベクト
ルはヌルベクトル）。この仮定は、低解像度のフレーム
に対応し、そこでは、動きは小さいと考えることができ
る。ΔＩｔ（ｘ，ｙ）の計算は、同じ座標（動き無し）
を持った連続フレームの画素間の輝度差に対応する。他
の繰り返しに対しては、ΔＩｔ（ｘ，ｙ）は、ＤＦＤ又
は、移動したフレーム差に対応する。それは、動きベク
トルにより関連した画素の輝度差分値である。
返しでは、動きはゼロとされる（動きパラメータベクト
ルはヌルベクトル）。この仮定は、低解像度のフレーム
に対応し、そこでは、動きは小さいと考えることができ
る。ΔＩｔ（ｘ，ｙ）の計算は、同じ座標（動き無し）
を持った連続フレームの画素間の輝度差に対応する。他
の繰り返しに対しては、ΔＩｔ（ｘ，ｙ）は、ＤＦＤ又
は、移動したフレーム差に対応する。それは、動きベク
トルにより関連した画素の輝度差分値である。
【００４７】処理は、推定された全体的な動きパラメー
タの校正の振幅が所定のしきい値よりも小さくなるまで
繰り返される。得られる動きパラメータベクトル
タの校正の振幅が所定のしきい値よりも小さくなるまで
繰り返される。得られる動きパラメータベクトル
【００４８】
【外６】
【００４９】は、支配的な動きパラメータベクトルのロ
バスト推定値と考えられる。連続する繰り返し（通常２
つ又は３つの繰り返しで十分である）は、フレームの中
で支配的でない（通常は前景）動きの滑らかさを最小化
する。また、結果は通常は背景に対応する全体的な動き
に対応する。第２ステップ６では、先行する伸張画像
は、この伸張画像を４／３フレームに正しく重ねるため
に推定された全体的な動きパラメータを用いて動き補償
される。次のステップ７は、現在の４／３フレームを考
慮して動き補償された伸張画像を更新する。このステッ
プでは、先行する伸張画像と現在の４／３フレームから
の更新された伸張画像が生成される。そして、以下に説
明する更新された伸張画像は、現在の４／３フレームか
らのデータを用いて充填される。
バスト推定値と考えられる。連続する繰り返し（通常２
つ又は３つの繰り返しで十分である）は、フレームの中
で支配的でない（通常は前景）動きの滑らかさを最小化
する。また、結果は通常は背景に対応する全体的な動き
に対応する。第２ステップ６では、先行する伸張画像
は、この伸張画像を４／３フレームに正しく重ねるため
に推定された全体的な動きパラメータを用いて動き補償
される。次のステップ７は、現在の４／３フレームを考
慮して動き補償された伸張画像を更新する。このステッ
プでは、先行する伸張画像と現在の４／３フレームから
の更新された伸張画像が生成される。そして、以下に説
明する更新された伸張画像は、現在の４／３フレームか
らのデータを用いて充填される。
【００５０】ビデオシーケンスの伸張画像の発生は、シ
ーケンスの連続フレームを動き補償することにより正確
に同じレイヤの幾つかの画像の累算に基づいている。幾
つかの技術が適用される。例えば、アプローチとして
は、動き基準上で、セグメント化、シーン中の違うレイ
ヤを引き出す連続フレームなどで構成される。これは、
背景レイヤを分離し、その他のものを削除する。
ーケンスの連続フレームを動き補償することにより正確
に同じレイヤの幾つかの画像の累算に基づいている。幾
つかの技術が適用される。例えば、アプローチとして
は、動き基準上で、セグメント化、シーン中の違うレイ
ヤを引き出す連続フレームなどで構成される。これは、
背景レイヤを分離し、その他のものを削除する。
【００５１】このセグメント化処理は、全体的な動きと
非常に異なっている動き部分（前景部分）で域領を重み
付けする上述した全体的な動き推定を行う際には必要無
い。この全体的な動きは、背景レイヤの動きに対応す
る。勿論、フレーム中では、背景の動きが支配的である
と仮定する。背景の動きが支配的であると決定する方法
は、推定された分散分析に基づいている。もし分散が非
常に大きいなら、動き推定−伸張画像生成の処理は停止
されて、フォーマット変換は従来の方法で行われる。
非常に異なっている動き部分（前景部分）で域領を重み
付けする上述した全体的な動き推定を行う際には必要無
い。この全体的な動きは、背景レイヤの動きに対応す
る。勿論、フレーム中では、背景の動きが支配的である
と仮定する。背景の動きが支配的であると決定する方法
は、推定された分散分析に基づいている。もし分散が非
常に大きいなら、動き推定−伸張画像生成の処理は停止
されて、フォーマット変換は従来の方法で行われる。
【００５２】伸張画像を生成する２つの方法は、以後に
説明する。しかし、処理では、別の技術が使用される。
ステップ６で、全体的な動き補正により、一旦現行フレ
ームに対して現在の伸張画像が決定されたなら、２つの
種類の画素が存在する。 −現在のレイヤのフレームに対応しない現行フレームの
全く新たな画素、 −現在のレイヤのフレームに対応する現行フレームの冗
長画素。
説明する。しかし、処理では、別の技術が使用される。
ステップ６で、全体的な動き補正により、一旦現行フレ
ームに対して現在の伸張画像が決定されたなら、２つの
種類の画素が存在する。 −現在のレイヤのフレームに対応しない現行フレームの
全く新たな画素、 −現在のレイヤのフレームに対応する現行フレームの冗
長画素。
【００５３】次のステップ７では、動き補償された伸張
画像と現在の４／３フレームからの伸張画像の更新を行
う。便宜上、先行する動き補償された伸張フレームをＥ
ｘｔＦｒn-1 とする。伸張フレームを更新する第１の方
法は、１次のフィルタを使用することである。通常は背
景レイヤである伸張フレームは、オンラインで更新され
る。この方法では、全く新たな画素は単にレイヤ又は伸
張フレームの初期化と考えられる。
画像と現在の４／３フレームからの伸張画像の更新を行
う。便宜上、先行する動き補償された伸張フレームをＥ
ｘｔＦｒn-1 とする。伸張フレームを更新する第１の方
法は、１次のフィルタを使用することである。通常は背
景レイヤである伸張フレームは、オンラインで更新され
る。この方法では、全く新たな画素は単にレイヤ又は伸
張フレームの初期化と考えられる。
【００５４】ＥｘｔＦｒn ＝Ｆｒn （ｘ，ｙ） 冗長画素は次の１次フィルタを用いて先行する伸張フレ
ームの画素に混合される。 ＥｘｔＦｒn （ｘ，ｙ）＝αＦｒn （ｘ，ｙ）＋（１−
α）ＥｘｔＦｒ n-1 （ｘ，ｙ） αは全く新たな重みを制御できる係数である。
ームの画素に混合される。 ＥｘｔＦｒn （ｘ，ｙ）＝αＦｒn （ｘ，ｙ）＋（１−
α）ＥｘｔＦｒ n-1 （ｘ，ｙ） αは全く新たな重みを制御できる係数である。
【００５５】図５は先行する伸張フレームと現行フレー
ムの混合を示す。濃い灰色は、先行する伸張フレーム９
と現行フレーム１０の一部分の冗長画素を示し、薄い灰
色部分は現行フレームのみの一部である全く新たな画素
である。この方法は、１つの伸張フレームメモリと、現
行フレームメモリのみが必要である。この方法は、現行
フレームの全ての画素は考慮するのだが、連続フィルタ
リングは背景レイヤに対応しない画素の重みも減少させ
る。
ムの混合を示す。濃い灰色は、先行する伸張フレーム９
と現行フレーム１０の一部分の冗長画素を示し、薄い灰
色部分は現行フレームのみの一部である全く新たな画素
である。この方法は、１つの伸張フレームメモリと、現
行フレームメモリのみが必要である。この方法は、現行
フレームの全ての画素は考慮するのだが、連続フィルタ
リングは背景レイヤに対応しない画素の重みも減少させ
る。
【００５６】第２の方法は、伸張画像の更新にメディア
ンフィルタを使用するものである。この方法は、全体的
な動き補償とレイヤに属する各画素のメディアンフィル
タ後に４／３フレームの幾つかの原画を累算する。これ
は、伸張画像メモリとメディアンフィルタで考慮される
分のフレームのフレームメモリが必要である。
ンフィルタを使用するものである。この方法は、全体的
な動き補償とレイヤに属する各画素のメディアンフィル
タ後に４／３フレームの幾つかの原画を累算する。これ
は、伸張画像メモリとメディアンフィルタで考慮される
分のフレームのフレームメモリが必要である。
【００５７】図６は、現行レイヤフレーム１１と連続す
るフレーム１２、１３、１４、１５の混合を示す。この
例では、現行レイヤフレームを計算する分析窓は、５フ
レームからなる。フレーム１２から１５は、現行レイヤ
フレーム１１に対して配置される。メディアンフィルタ
がかけられるとき、現行レイヤフレームを計算するのに
奇数個のフレームが使用される。対応する画素数が偶数
のとき、上述したように重み係数αを使用して、フィル
タリングが行われる。
るフレーム１２、１３、１４、１５の混合を示す。この
例では、現行レイヤフレームを計算する分析窓は、５フ
レームからなる。フレーム１２から１５は、現行レイヤ
フレーム１１に対して配置される。メディアンフィルタ
がかけられるとき、現行レイヤフレームを計算するのに
奇数個のフレームが使用される。対応する画素数が偶数
のとき、上述したように重み係数αを使用して、フィル
タリングが行われる。
【００５８】ステップ７で一度伸張画像が作成される
と、ステップ８で最終の１６／９フレーム充填が行われ
る。１６／９フレームの中心部分は、４／３フレームに
より充填される。初期の１６／９フレームの更新のた
め、例えば上述した１次のフィルタにより、フィルタリ
ンとしての混合方法が行われる。勿論、他の混合方法も
使用できる。どの場合にも、１６／９の残りの部分は、
前述した他の技術の１つで充填されねばならない。
と、ステップ８で最終の１６／９フレーム充填が行われ
る。１６／９フレームの中心部分は、４／３フレームに
より充填される。初期の１６／９フレームの更新のた
め、例えば上述した１次のフィルタにより、フィルタリ
ンとしての混合方法が行われる。勿論、他の混合方法も
使用できる。どの場合にも、１６／９の残りの部分は、
前述した他の技術の１つで充填されねばならない。
【００５９】図７と８は、オフライン環境での処理を示
し、以下にアルゴリズムのステップを説明する。オンラ
イン環境との差のみを説明する。オフラインの場合に
は、処理は２つの経路で動作する。第１に、一度、伸張
画像が全体のビデオ画像（又はその大きな一部）の分析
から作成される。そして、この再構成が完成後、充填処
理が新しい経路に適用される。そして、連続する１６／
９フレームは、同様の単一な伸張画像により充填され
る。
し、以下にアルゴリズムのステップを説明する。オンラ
イン環境との差のみを説明する。オフラインの場合に
は、処理は２つの経路で動作する。第１に、一度、伸張
画像が全体のビデオ画像（又はその大きな一部）の分析
から作成される。そして、この再構成が完成後、充填処
理が新しい経路に適用される。そして、連続する１６／
９フレームは、同様の単一な伸張画像により充填され
る。
【００６０】図７は、第１の経路に対応し、伸張画像の
生成を行う。第１ステップ１６は、ビデオ画像の連続す
る４／３フレーム間の動き推定を行う。連続する全体的
な動きベクトルが計算され、４／３フレームと共に第２
ステップ１７へ送られる。第２ステップ１７では、連続
する４／３フレームへの動き補償を行う。動き補償され
た連続する４／３フレームと連続する全体的な動きベク
トルは、ステップ１８で処理され、完全な伸張画像が発
生される。
生成を行う。第１ステップ１６は、ビデオ画像の連続す
る４／３フレーム間の動き推定を行う。連続する全体的
な動きベクトルが計算され、４／３フレームと共に第２
ステップ１７へ送られる。第２ステップ１７では、連続
する４／３フレームへの動き補償を行う。動き補償され
た連続する４／３フレームと連続する全体的な動きベク
トルは、ステップ１８で処理され、完全な伸張画像が発
生される。
【００６１】図８は、４／３から１６／９への変換を完
成する第２の経路を示す。第１ステップ１９は、現行フ
レームと、第１の経路で計算された全体的な動きを用い
て、完成した伸張画像の動き補償を行う第１の経路で計
算された完成した伸張画像を受ける。第２ステップ２０
は、現行フレームと、現行４／３フレームの充填を行う
ための前ステップからの動き補償された伸張画像を受け
る。第１の経路の間、シーケンスの各フレームは、ステ
ップ１７で先行するフレームに対する動き補償が行わ
れ、位置が調整されたこの連続するフレームは、ステッ
プ１８で、完全な伸張画像を生成する。この伸張画像の
更新は、オンライン環境でも同様な方法で行われる。
成する第２の経路を示す。第１ステップ１９は、現行フ
レームと、第１の経路で計算された全体的な動きを用い
て、完成した伸張画像の動き補償を行う第１の経路で計
算された完成した伸張画像を受ける。第２ステップ２０
は、現行フレームと、現行４／３フレームの充填を行う
ための前ステップからの動き補償された伸張画像を受け
る。第１の経路の間、シーケンスの各フレームは、ステ
ップ１７で先行するフレームに対する動き補償が行わ
れ、位置が調整されたこの連続するフレームは、ステッ
プ１８で、完全な伸張画像を生成する。この伸張画像の
更新は、オンライン環境でも同様な方法で行われる。
【００６２】−１次フィルタを用いての更新、 −メディアンフィルタを用いての更新。 このフィルタリングは、全体的な動き補償と、レイヤに
属する各画素のメディアンフィルタリング後に４／３フ
レームの原画の幾つかを累算する。第２の経路は、現在
の４／３フレームに関する伸張画像を配置する。この動
き補償は、第１の経路で計算され記憶された全体的な動
きパラメータを使用する。そして、配置された伸張画像
からのデータを使用して、４／３フレーム上に１６／９
フレーム充填が行われる。
属する各画素のメディアンフィルタリング後に４／３フ
レームの原画の幾つかを累算する。第２の経路は、現在
の４／３フレームに関する伸張画像を配置する。この動
き補償は、第１の経路で計算され記憶された全体的な動
きパラメータを使用する。そして、配置された伸張画像
からのデータを使用して、４／３フレーム上に１６／９
フレーム充填が行われる。
【００６３】図９は、ビデオ画像２１から２９の９個の
フレームを示す。第１の経路では、全ての組が一緒に扱
われ、最終的に１つの伸張画像が生成される。シーケン
スを記憶する多くのフレームメモリが必要とされ、従っ
て、オンライン環境での方法よりも多くのメモリを消費
する。最終の伸張画像を再構成する継続時間は、処理さ
れるべきフレーム数に依存する。
フレームを示す。第１の経路では、全ての組が一緒に扱
われ、最終的に１つの伸張画像が生成される。シーケン
スを記憶する多くのフレームメモリが必要とされ、従っ
て、オンライン環境での方法よりも多くのメモリを消費
する。最終の伸張画像を再構成する継続時間は、処理さ
れるべきフレーム数に依存する。
【００６４】
【発明の効果】本発明により、ビデオ画像の連続するフ
レームからなる伸張画像メモリを用いた１６／９フレー
ムの失われた部分の再構成によって、歪みが無く又は、
偽の情報が無く、画質を向上した１６／９のフレームを
得ることができる。
レームからなる伸張画像メモリを用いた１６／９フレー
ムの失われた部分の再構成によって、歪みが無く又は、
偽の情報が無く、画質を向上した１６／９のフレームを
得ることができる。
【図１】（ａ）は４／３の原画のフレームを示す図であ
り、（ｂ）は１６／９の原画のフレームを示す図であ
る。
り、（ｂ）は１６／９の原画のフレームを示す図であ
る。
【図２】（ａ）から（ｆ）は、従来のフォーマットを４
／３から１６／９に変換する方法示す図である。
／３から１６／９に変換する方法示す図である。
【図３】１６／９フレームを再構成するための伸張画像
メモリの使用例を示す図である。
メモリの使用例を示す図である。
【図４】オンライン環境での処理の実行アルゴリズムを
示す図である。
示す図である。
【図５】現行伸張フレームと現行フレームの混合を示す
図である。
図である。
【図６】オンラインの場合の現行レイヤフレームと連続
するフレームの混合を示す図である。
するフレームの混合を示す図である。
【図７】オフライン環境での処理の実行アルゴリズムを
示す図である。
示す図である。
【図８】オフライン環境での処理の実行アルゴリズムを
示す図である。
示す図である。
【図９】オフラインの場合の現行レイヤフレームと連続
するフレームの混合を示す図である。
するフレームの混合を示す図である。
１ ４／３フレーム ２ 境界 ３ １６／９フレーム ４ 伸張画像メモリ ５ 第１ステップ ６ 第２ステップ ７ 第３ステップ ８ 第４ステップ ９ 先行する伸張フレーム １０ 現行フレーム １１現在のレイヤのフレーム １２、１３、１４、１５ 連続するフレーム １６ 第１ステップ １７ 第２ステップ １８ 第３ステップ １９ 第１ステップ ２０ 第２ステップ ２１〜２９ フレーム
───────────────────────────────────────────────────── フロントページの続き (72)発明者 フィリップ ギヨテル フランス国，35770 ヴェルン・シュル・ セシュ，リュ・ド・シャトーブリアン 60 (72)発明者 ジャン・フランソワ ヴィヤル フランス国，35000 レンヌ，リュ・サ ン・マロ 29
Claims (18)
- 【請求項１】 所定のフォーマットの一連のフレームよ
りなるビデオシーケンスを、大きなフォーマットのフレ
ームに変換するフォーマット変換方法であって、 先行する伸張画像に関して、現在フレームの動き推定を
行い、 現在フレームに関して、先の伸張画像の動きを補償し、 次の現在フレームの動き推定のための先の伸張画像とな
る更新された伸張画像を与えるための現在フレームから
のデータを考慮して、先行する伸張画像の更新を行い、 大きなフォーマットをフレームに与えるために、更新さ
れた伸張画像からのデータで現在フレームを完成させる
ことを特徴とするフレームフォーマット変換方法。 - 【請求項２】 所定のフォーマットの一連のフレームよ
りなるビデオシーケンスを、大きなフォーマットのフレ
ームに変換するフォーマット変換方法であって、 変換は２つの経路で行われ、 １つ（１６，１７，１８）は、順次フレーム間の動きを
推定し（１６）、動き補償（１７）されたフレームでシ
ーケンスの伸張画像を生成し（１８）、 他は（１９，２０）、計算された動きを考慮して伸張画
像に関するシーケンスの各フレームを配置し（１９）、
大きなフォーマットに対応する伸張画像データを用いて
変換を完成させる（２０）ことを特徴とするフレームフ
ォーマット変換方法。 - 【請求項３】 動き推定は、２Ｄの明らかな動きのアフ
ィンモデル化に基づいた、全体的な動きのロバスト推定
であることを特徴とする請求項１または２記載のフレー
ムフォーマット変換方法。 - 【請求項４】 動き推定は、フレーム輝度の空間−時間
グラディエントに基づいていることを特徴とする請求項
１または２記載のフレームフォーマット変換方法。 - 【請求項５】 動き推定は、 −座標ｘ，ｙの各画素に、画素座標のアフィン関数であ
る成分ｄｘ，ｄｙ ｄｘ＝ａ＋αｘ＋γｙ ｄｙ＝ｂ＋βｘ＋δｙ よりなる動きベクトルを付随させ、 −再重み付けされた最小正方形の方法を ε（ｘ，ｙ，θ）＝ｄｘ．ΔＩ＋ｄｙ．ΔＩy ＋Δ
Ｉt 、 ここでΔＩx ，ΔＩy ，ΔＩt は、推定された、水平、
垂直および時間の輝度グラディエントである誤差εに適
用することにより、パラメータａ，α，γ，ｂ，β，δ
を計算することを特徴とする請求項３または４記載のフ
レームフォーマット変換方法。 - 【請求項６】 動き推定は、多種の解像度のピラミッド
フレーム構造を用いた階層的な推定であることを特徴と
する請求項３乃至５のうちいずれか一項記載のフレーム
フォーマット変換方法。 - 【請求項７】 伸張画像の更新は、 −密度の高い動きベクトルフィールド推定と、レイヤを
分離する動きセグメント化を実行することにより伸張画
像の正確なレイヤ（背景レイヤ）を決定し、 −同一レイヤに対応する現行フレームの新しい画素を加
算することにより伸張画像レイヤを完成させる各ステッ
プよりなることを特徴とする請求項１記載のフレームフ
ォーマット変換方法。 - 【請求項８】 伸張画像の生成は、 −密度の高い動きベクトルフィールド推定と、レイヤを
分離する動きセグメント化により伸張画像の正確なレイ
ヤ（背景レイヤ）を決定し、 −動き補償されたフレームからの伸張画像の正確なレイ
ヤの画像を蓄積し、 −蓄積画像の対応する画素に対し、後方でメディアンフ
ィルタリングを行うステップよりなることを特徴とする
請求項２記載のフレームフォーマット変換方法。 - 【請求項９】 先行する伸張画像の更新は、 −先行する伸張画像の対応する画素を持つ現行フレーム
の冗長画素を決定し、 −先行する伸張画像と現行フレームの中の対応する値に
フィルタをかけることによりこれらの冗長画素の値を計
算するステップよりなることを特徴とする請求項１記載
のフレームフォーマット変換方法。 - 【請求項１０】 伸張画像の生成は、 −先行する伸張画像の対応する画素を持つ現行フレーム
の冗長画素を決定し、 −先行する伸張画像と現行フレームの対応する値にフィ
ルタをかけることによりこれらの冗長画素の値を計算す
るステップよりなることを特徴とする請求項２記載のフ
レームフォーマット変換方法。 - 【請求項１１】 伸張画像の更新は、 −動き補償された後、いくつかのフレームを先行する伸
張画像に積算し、 −次の伸張画像を与えるために、蓄積されたフレームと
伸張フレームの対応する画素にフィルタをかけるステッ
プよりなることを特徴とする請求項１記載のフレームフ
ォーマット変換方法。 - 【請求項１２】 伸張画像の生成は、 −動き補償された後、いくつかのフレームを積算し、 −伸張画像を得るために、蓄積されたフレームの対応す
る画素にフィルタをかけるステップよりなることを特徴
とする請求項２記載のフレームフォーマット変換方法。 - 【請求項１３】 フィルタリングは、１次のフィルタリ
ングであることを特徴とする請求項１０乃至１２のうち
いずれか一項記載のフレームフォーマット変換方法。 - 【請求項１４】 フィルタリングは、メディアンフィル
タリングであることを特徴とする請求項１０乃至１２の
うちいずれか一項記載のフレームフォーマット変換方
法。 - 【請求項１５】 更新処理は、ミラー効果、パディン
グ、境界の繰り返しのような１つ又は混合された方法を
用いて、残りの穴を充填することを特徴とする請求項１
乃至１４のうちいずれか一項記載のフレームフォーマッ
ト変換方法。 - 【請求項１６】 所定のフォーマットは４／３ＴＶフォ
ーマットであり、大きなフォーマットは１６／９ＴＶフ
ォーマットであることを特徴とする請求項１乃至１５の
うちいずれか一項記載のフレームフォーマット変換方
法。 - 【請求項１７】 所定のフォーマットは１６／９ＴＶフ
ォーマットであり、大きなフォーマットは４／３ＴＶフ
ォーマットであることを特徴とする請求項１乃至１６の
うちいずれか一項記載のフレームフォーマット変換方
法。 - 【請求項１８】 １６／９テレビジョン受像機は、請求
項１記載のフレームフォーマット変換方法を実行する変
換器を含むことを特徴とする。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP98401092:6 | 1998-05-06 | ||
| EP98401092A EP0955770B1 (en) | 1998-05-06 | 1998-05-06 | Frame format conversion process |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11341445A true JPH11341445A (ja) | 1999-12-10 |
| JP4322349B2 JP4322349B2 (ja) | 2009-08-26 |
Family
ID=8235359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12483499A Expired - Fee Related JP4322349B2 (ja) | 1998-05-06 | 1999-04-30 | フレームフォーマット変換方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6421089B1 (ja) |
| EP (1) | EP0955770B1 (ja) |
| JP (1) | JP4322349B2 (ja) |
| CN (1) | CN1155234C (ja) |
| DE (1) | DE69841158D1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001078384A1 (fr) * | 2000-04-07 | 2001-10-18 | Kabushiki Kaisha Yamashita Denshi Sekkei | Dispositif de traitement de l'image |
| JP2008028880A (ja) * | 2006-07-25 | 2008-02-07 | Sony Corp | 画像処理装置および方法、並びにプログラム |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101569241A (zh) * | 2006-12-21 | 2009-10-28 | 皇家飞利浦电子股份有限公司 | 显示光辐射的系统、方法、计算机可读介质和用户界面 |
| EP2617025B1 (en) * | 2010-09-13 | 2019-05-08 | Barry Lynn Jenkins | Delivering and controlling streaming interactive media comprising renderable geometric, texture and lighting data |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2578984B2 (ja) * | 1989-07-06 | 1997-02-05 | 松下電器産業株式会社 | 映像信号変換回路 |
| JP2842913B2 (ja) * | 1990-01-24 | 1999-01-06 | 株式会社日立製作所 | ワイドテレビジョン信号処理回路 |
| JP3060475B2 (ja) * | 1990-03-13 | 2000-07-10 | ソニー株式会社 | テレビジョン受像機 |
| JP3257788B2 (ja) * | 1990-05-01 | 2002-02-18 | ソニー株式会社 | 画像表示装置 |
| JP2907988B2 (ja) * | 1990-10-05 | 1999-06-21 | 株式会社日立製作所 | ワイドテレビジョン受信機 |
| EP0514819B1 (en) * | 1991-05-23 | 1996-05-01 | Hitachi, Ltd. | Wide-screen television receiver with aspect ratio conversion function and method of displaying a magnified range |
| US5287188A (en) * | 1992-01-07 | 1994-02-15 | Thomson Consumer Electronics, Inc. | Horizontal panning for wide screen television |
| US5262856A (en) | 1992-06-04 | 1993-11-16 | Massachusetts Institute Of Technology | Video image compositing techniques |
| DE69329717T2 (de) * | 1992-10-09 | 2001-05-10 | Sony Corp | Erzeugung und Aufnahme von Bildern |
| JP3253478B2 (ja) * | 1995-03-20 | 2002-02-04 | シャープ株式会社 | 映像記録装置 |
-
1998
- 1998-05-06 DE DE69841158T patent/DE69841158D1/de not_active Expired - Lifetime
- 1998-05-06 EP EP98401092A patent/EP0955770B1/en not_active Expired - Lifetime
-
1999
- 1999-04-29 CN CNB99106061XA patent/CN1155234C/zh not_active Expired - Fee Related
- 1999-04-30 JP JP12483499A patent/JP4322349B2/ja not_active Expired - Fee Related
- 1999-04-30 US US09/303,370 patent/US6421089B1/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001078384A1 (fr) * | 2000-04-07 | 2001-10-18 | Kabushiki Kaisha Yamashita Denshi Sekkei | Dispositif de traitement de l'image |
| JP2008028880A (ja) * | 2006-07-25 | 2008-02-07 | Sony Corp | 画像処理装置および方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4322349B2 (ja) | 2009-08-26 |
| US6421089B1 (en) | 2002-07-16 |
| EP0955770B1 (en) | 2009-09-16 |
| EP0955770A1 (en) | 1999-11-10 |
| DE69841158D1 (de) | 2009-10-29 |
| CN1155234C (zh) | 2004-06-23 |
| CN1239377A (zh) | 1999-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5943445A (en) | Dynamic sprites for encoding video data | |
| US6229570B1 (en) | Motion compensation image interpolation—frame rate conversion for HDTV | |
| US5557684A (en) | System for encoding image data into multiple layers representing regions of coherent motion and associated motion parameters | |
| US6625333B1 (en) | Method for temporal interpolation of an image sequence using object-based image analysis | |
| Jeon et al. | Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure | |
| US8279341B1 (en) | Enhancing the resolution and quality of sequential digital images | |
| KR20200130105A (ko) | 비디오 프레임 보간을 위한 cnn-기반의 시스템 및 방법 | |
| EP1639829B1 (en) | Optical flow estimation method | |
| US8711938B2 (en) | Methods and systems for motion estimation with nonlinear motion-field smoothing | |
| JP2002191051A (ja) | 圧縮システム、監視システム、および場面の交替を検出する方法 | |
| WO2002089046A1 (en) | Video enhancement using multiple frame techniques | |
| EP1864502A2 (en) | Dominant motion estimation for image sequence processing | |
| US7197075B2 (en) | Method and system for video sequence real-time motion compensated temporal upsampling | |
| Dubois | Motion-compensated filtering of time-varying images | |
| US6930728B2 (en) | Scan conversion apparatus | |
| CN109658361B (zh) | 一种顾及运动估计误差的运动场景超分辨率重建方法 | |
| JP4870081B2 (ja) | 変形可能なメッシュを用いた動き推定のための方法 | |
| US7110453B1 (en) | Motion or depth estimation by prioritizing candidate motion vectors according to more reliable texture information | |
| KR100798283B1 (ko) | 글로벌 모션 추정 방법 및 장치 | |
| US20060098886A1 (en) | Efficient predictive image parameter estimation | |
| CN114339030A (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
| Barreto et al. | Motion estimation techniques in super-resolution image reconstruction: a performance evaluation | |
| Wang et al. | Improved super-resolution reconstruction from video | |
| JP4322349B2 (ja) | フレームフォーマット変換方法 | |
| KR100243137B1 (ko) | 옵티컬 플로우를 예측하는 국부 이장방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081020 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090603 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |