JPH10285602A - 映像データをエンコードするための動的なスプライト - Google Patents

映像データをエンコードするための動的なスプライト

Info

Publication number
JPH10285602A
JPH10285602A JP9370018A JP37001897A JPH10285602A JP H10285602 A JPH10285602 A JP H10285602A JP 9370018 A JP9370018 A JP 9370018A JP 37001897 A JP37001897 A JP 37001897A JP H10285602 A JPH10285602 A JP H10285602A
Authority
JP
Japan
Prior art keywords
sprite
motion
video data
frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9370018A
Other languages
English (en)
Inventor
Frederic A Dufaux
エイ デュフォークス フレデリック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Equipment Corp
Original Assignee
Digital Equipment Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Equipment Corp filed Critical Digital Equipment Corp
Publication of JPH10285602A publication Critical patent/JPH10285602A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 （修正有） 【課題】 シーンの１つ以上のスプライトを動的に形成
するためのソフトウェア実施方法を提供する。 【解決手段】 シーンを表す映像データは、一連のフレ
ーム映像に対しローカル運動ベクトルを推定することで
（２０５）、剛体的及び非剛体的に運動する映像オブジ
ェクトにセグメント化される（２１０）。ローカル運動
ベクトルは、優勢運動を決定するようにクラスター化さ
れ、そして優勢運動と同様の運動ベクトルを有する映像
データが、剛体的に運動する映像オブジェクトとしてセ
グメント化される。これらオブジェクトに対し、健全に
推定された運動パラメータを使用し、フレームの剛体映
像オブジェクトが、長時間メモリに記憶された１つ以上
の対応するスプライトに統合される（２４０）。スプラ
イトは、映像データをエンコードするための両方向運動
補償予想技術に使用される。（２３０）

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、データ処理に係
り、より詳細には、映像データの処理に係る。
【０００２】
【従来の技術】実際の自然界において観察できるシーン
は、時間的及び空間的に関連した映像データとしてコン
ピュータシステムのメモリにおいて表すことができる。
映像データは、時間及び空間に対するシーンの光の流れ
を、変化する光強度値として表す。
【０００３】映像データの効率的な統合及び表示は、例
えば、ＭＰＥＧエンコードのような映像エンコード機構
における重要な成分である。映像エンコード動作は、デ
ータを記憶するのに使用されるメモリの量を減少すると
共に、データを処理及び通信するのに要求される時間を
短縮することができる。
【０００４】シーンは、一般に、前景及び背景成分で構
成される。典型的に、小さい前景の光の流れが、大きく
て比較的静的な背景に対して運動する。例えば、スタジ
アムのシーンにおいては、選手（１人又は複数）が観覧
席の背景に対して前後に移動し、その間、カメラが選手
を追ってパン及びズームする。背景の種々の部分は、選
手が背景において移動するときに露呈される。
【０００５】映像エンコード動作の関連する問題の１つ
は、シーンのカバーされない背景をエンコードすること
である。古典的な運動補償予想機構は、新たに露呈され
る背景領域を予想することができず、従って、エンコー
ド動作が不充分である。この問題を克服するために、背
景メモリ技術が知られている。より詳細には、これら技
術は、シーンの静止領域を、長時間メモリに記憶できる
背景として識別する。背景領域がカバーされないとき
に、その背景領域が既に観察されているとすれば、古典
的予想技術では得られないデータを背景メモリから検索
することができる。
【０００６】
【発明が解決しようとする課題】これらの技術は、一般
に静止した背景を特徴とするビデオ会議又はビデオ電話
シーケンスには有効である。しかしながら、静止した背
景のモデルは、例えば、パン又はズーミングのようなカ
メラの動きや多数の運動物体を含む更に複雑なシーンに
対しては本質的なものではない。
【０００７】時間的情報を統合するために、顕著な静止
とも称するモザイク表示が効率的であることが示されて
いる。基本的に、これらの技術は、全体的な動きの推定
を用いてカメラの動きを推定し、そしてカメラの動きに
よる影響を打ち消すことにより映像シーンにおいて例え
ばフレームのような次々の像を整列させる。モザイク
は、整列されたフレーム又は像をメモリにおいて時間的
に統合することによって形成される。このように、モザ
イクは、映像シーケンスの多数の整列されたフレームに
おいて情報を捕らえる。
【０００８】しかしながら、これらの技術は、典型的
に、シーンの背景と前景を区別せずに適用される。即
ち、カメラの動きは、背景の動きのみを表す。それ故、
前景がぼけて見える。更に、前景がモザイク表示へと統
合されるので、カバーされない背景の問題は、未解決の
ままである。又、映像エンコード動作に関する限り、残
留信号が送信されず、著しいコード化欠陥を招く。
【０００９】スプライトは、コンピュータグラフィック
の分野で良く知られている。スプライトは、アニメーシ
ョン化することのできる合成映像オブジェクトに対応
し、合成シーン又は自然のシーンの上に重ねられる。例
えば、スプライトは、ビデオゲームにおいて広く使用さ
れている。最近では、スプライトは、映像エンコードの
ために提案されている。
【００１０】スプライトは、一連の像から決定される合
成オブジェクト又は自然のオブジェクトのいずれかであ
る。後者の場合には、剛体運動（ｒｉｇｉｔ ｂｏｄｙ
ｍｏｔｉｏｎ）により動きをモデリングすることので
きる映像オブジェクトにこの技術が適用される。この技
術は、フレーム全体ではなく、コヒレントに運動する本
体に適用されるので、フレーム整列モザイク処理の幾つ
かの問題が軽減される。
【００１１】一般に、これらの技術は、一連の像のエン
コード動作が開始する前にスプライトが識別されそして
使用できることを必要とする。スプライトは、フレーム
内コード化技術を用いてエンコードすることができる。
エンコードされたスプライトは、次いで、剛体運動情報
と共にデコーダへ送ることができる。デコーダは、この
運動情報を用いてスプライトをワープし、シーンをレン
ダリングすることができる。
【００１２】自然のシーンの場合には、静的なスプライ
トを形成するためにエンコード動作の前に分析段階が必
要とされる。分析中に、フレームの映像データに対し、
セグメント化、全体的な推定及びワープが行われる。そ
の結果、この方法は、静的なスプライトを構成するのに
非常に多数のフレームを分析する必要があるので、著し
い遅延を導入する。多くのリアルタイムエンコード用途
の場合、この遅延は、受け入れられない。
【００１３】以上のことから、メモリにおいてスプライ
トを動的に構成できる方法及び装置を提供することが要
望される。更に、この方法は、リアルタイム映像データ
エンコードに適したものでなければならない。
【００１４】
【課題を解決するための手段】本発明によれば、シーン
の１つ以上のスプライトを動的に構成するためのソフト
ウェア実施方法が提供される。スプライトとは、運動が
コヒレント又は剛体的（ｒｉｇｉｄ）であるようなシー
ンの領域即ち映像オブジェクトとして定義される。例え
ば、シーンの静的な背景部分は、カメラがシーンをパン
することにより剛体的に運動し得る。簡単に述べると、
この方法は、映像オブジェクトの剛体的な運動を補償す
るので、古典的な背景メモリ技術の欠点を克服する。更
に、時間的な統合は、剛体的に運動するオブジェクトに
対してのみ行われるので、この方法は、古典的なモザイ
ク表示より優れている。
【００１５】この方法は、３つの主たる段階を含む。先
ず第１に、剛体運動及び非剛体運動を有するシーンの領
域間で弁別が行われる。例えば、背景は、カメラの動き
により剛体的に運動するオブジェクトとなり得る。同様
に、背景を横切って移動する列車は、剛体的に運動する
別のオブジェクトとなり得る。この弁別は、ローカル運
動情報に基づく。第２に、剛体運動を記述するパラメー
タが各識別された映像オブジェクトごとに推定される。
第３に、剛体運動情報を用いて、映像オブジェクトを表
すデータを長時間メモリにおいて次々に統合することに
より各識別された映像オブジェクトごとに動的なスプラ
イトが形成される。これらの段階の各々は、挑戦すべき
問題を提起し、その詳細及び効率的な解決策について以
下に詳細に説明する。
【００１６】開示されたモザイク技術を用いると、運動
情報を効率的に統合及び表示することができる。特に、
両方向の運動補償予想について説明する。現在フレーム
は、剛体運動推定を用いてメモリから予想することもで
きるし又はローカル運動指定を用いて手前のフレームか
ら予想することもできる。それ故、この方法は、主とし
て、シーンのカバーされない領域を取り扱う問題を処理
する。更に、運動情報を表すのに必要とされる付加的な
情報の量は、運動をコンパクトなパラメトリック形態で
表すことにより大幅に減少される。
【００１７】更に、これらの利益は、いかなるエンコー
ド遅延も導入せずに得られる。この方法は、後続するエ
ンコード技術とは独立して適用できる。特に、この方法
は、古典的な運動補償ブロック−ＤＣＴエンコード機構
に適用できることにより、シーンのオブジェクトベース
の表示にも適する。更に、この方法は、シーンの背景成
分の高解像度のパノラマ図を形成するようにも使用でき
る。本発明は、その広い形態において、請求項１及び１
１に各々記載するシーンを表す映像データを処理する方
法及び装置に係る。以下、添付図面を参照し、本発明の
好ましい実施形態を詳細に説明する。
【００１８】
【発明の実施の形態】システム構成 図１は、１つ以上の「スプライト」を動的に発生するた
めの方法及び装置を用いた構成体１００を示す。各スプ
ライトは、映像データがエンコード及びデコードされる
ときにリアルタイムで形成することができる。この方法
及び装置は、低ビットレートの映像データ送信に適して
いる。構成体１００は、実際のシーン１０の光強度値を
映像データとして収集するためのカメラ１１０を備えて
いる。カメラ１１０がアナログの場合には、Ａ／Ｄコン
バータ１２０を用いて、代表的なデジタル信号が発生す
ることができる。
【００１９】いずれの場合にも、像即ちフレーム１３０
の時間的シーケンスが発生される。各フレームは、規則
的なパターンで配列された複数の画素（ピクセル）を含
む。各ピクセルは、シーン１０の一部分の光強度値を表
す。フレーム１３０は、映像処理システム１４０に送ら
れる。このシステム１４０は、近代的なワークステーシ
ョンの形式であって、バス１４４で互いに接続された１
つ以上のプロセッサ１４１、第１メモリ（ＤＲＡＭ）１
４２、及び第２メモリ（ＤＩＳＫ）１４３を備えてい
る。メモリの一部分は、１つ以上のスプライトを構成す
るためのメモリとして割り当てることができる。
【００２０】処理システム１４０は、入力／出力インタ
ーフェイス（Ｉ／Ｏ）１４５を経、ネットワーク１６０
を経てデコードシステム１７０に接続できる。このデコ
ードシステム１７０は、シーン１０の再構成された像を
発生するためにディスプレイ装置１８０へ接続できる。
又、デコードシステムは、ワークステーションの形態で
あってもよいし、或いはデコードシステムは、セットト
ップボックスでもよくそしてディスプレイ装置は、テレ
ビジョンでもよい。一般的な意味において、構成体１０
０は、単に、入力光子を光強度値として受け取り、その
値を映像データのピクセルとして電子的に表し、そして
映像データを処理して、入力を表す出力光子を発生する
だけである。
【００２１】動作中に、システム１４０は、像を処理し
て、１つ以上のスプライトをメモリに動的に発生する。
更に、システム１４０は、フレーム内及び運動情報をリ
アルタイムでエンコードすることができる。エンコード
されたデータは、ネットワーク１６０を経てデコーダ１
７０へ送られ、ディスプレイ装置１８０に再構成するこ
とができる。
【００２２】プロセスの概要 より詳細には、図２に示すように、プログラムの命令
は、いかなる遅延も導入せずにシーン１０の一部分を表
す１つ以上のスプライトを動的に構成するためのコンピ
ュータ実施方法２００を含む。ステップ２０５におい
て、図１のシーケンス１３０の各フレームごとに１組の
ローカル運動ベクトルが推定される。ステップ２１０に
おいて、各フレームの映像データは、剛体的及び非剛体
的な運動を有する映像オブジェクトへとセグメント化さ
れる。例えば、シーンの静的な背景は、パンしつつある
カメラによってシーンが観察される場合に、剛体的に運
動する。背景を横切って移動する列車は、剛体的に運動
する別のオブジェクトである。同様に、列車に追いつく
ようにスピードを上げる車も、剛体的に運動する別のオ
ブジェクトである。
【００２３】ステップ２０５のローカル運動推定を使用
して映像データがセグメント化される。ステップ２２０
において、運動情報、例えば、運動パラメータが、剛体
運動を有するものとしてセグメント化された映像オブジ
ェクトに対して推定される。これらの運動パラメータ
は、ステップ２３０において、例えば、カメラの動きを
補償するために映像データに適用される。補償されたデ
ータは、ステップ２４０の間にメモリに記憶される１つ
以上の動的なスプライトとして時間的に統合することが
できる。
【００２４】セグメント化 図３は、図１のシーン１０を表す映像データを、剛体的
及び非剛体的に運動する映像オブジェクトへとセグメン
ト化するためのプロセス３００を示す。ステップ３１０
において、１組のローカル運動ベクトル３０１が各フレ
ームごとに推定される。各ピクセルごとに１つの運動ベ
クトルがある。これら運動ベクトルは、現在フレームの
ピクセルを手前のフレームの対応するピクセルと比較す
ることにより決定できる。ローカル運動ベクトル３０１
は、ステップ３２０においてベクトルの副組へとクラス
ター化され、１つ以上の優勢運動が決定される。ステッ
プ３３０では、この優勢運動と同様の運動を有する領域
が識別される。運動ベクトルが優勢運動の１つと同様で
ある場合には、その関連ピクセルが、ステップ３４０に
おいて、それに対応する剛体的運動の映像オブジェクト
３０２に属するものとして分類される。
【００２５】しかしながら、コントラストの低い領域で
は、運動ベクトルの推定が拘束されず、ローカル運動ベ
クトルは一般的に信頼性の低いものとなる。それ故、ス
テップ３３０の運動類似性に基づく弁別が失敗となる。
この問題を克服するために、推定中に予想エラーに存在
する残留情報をステップ３５０において利用することが
できる。より詳細には、優勢な運動に対して得られる残
留情報が、ローカル運動ベクトルに対して得られる残留
情報と同様である場合には、領域が剛体的に運動するも
のと分類され、さもなくば、非剛体的に運動するものと
分類される（ステップ３６０）。このように、運動の推
定の信頼性が低い低コントラスト領域は、剛体的に又は
非剛体的に運動する映像オブジェクトとして健全にセグ
メント化することができる。
【００２６】運動の推定 シーンを剛体的に及び非剛体的に運動する映像オブジェ
クトへとセグメント化した後に、剛体的に運動する映像
オブジェクトに対する運動情報が健全に推定される。非
剛体的に運動する映像オブジェクトは分離されているの
で、前景オブジェクトの動きが例えばカメラの動きのよ
うな優勢運動によって表示されないために、剛体的運動
の推定が門外漢の存在により損なわれることはない。運
動情報は、パラメトリック運動モデルにより表示するこ
とができる。このため、２つのモデル、即ち６パラメー
タアフィンモデル又は９（そのうちの８は、独立）パー
スペクティブモデルを一般的に使用することができる。
【００２７】６パラメータアフィンモデルは、直交投影
のもとで平面の運動を表示することができる。しかしな
がら、このモデルは、図１のシーン１０の深さが、シー
ン１０からカメラまでの距離と比較したときに小さいも
のと仮定する。それ故、この拘束を緩和するためには、
９パラメータパースペクティブモデルが好ましい。この
モデルは、パースペクティブ投影のもとで平面の運動を
表すことができる。
【００２８】運動情報のパラメータを健全に推定するた
めに、マッチング技術を使用することができる。この技
術は、一般に、差動及び線型回帰技術より優れている。
運動パラメータ（ａ１・・・ａ９）は、現在フレームの
領域と手前のフレームの対応領域との間の相違距離を最
小にすることにより得られる。最小値のサーチは、ｎ次
元のパラメトリック空間において行われる。計算の複雑
さを低減するため、剛体運動パラメータが連続的に推定
される場合には、高速の非枯渇サーチを行うことができ
る。先ず、並進運動成分、即ちａ１及びａ４が計算され
る。次いで、アフィンパラメータａ２、ａ３、ａ５及び
ａ６と、最後にパースペクティブパラメータａ７、ａ８
及びａ９が計算される。
【００２９】複雑さを低減するのに加えて、このサーチ
手法は、並進運動成分が、通常は、ノイズ同然にしばし
ば減少する他のパラメータより多くの情報を保持するの
で、より健全な推定を生じる傾向となる。しかしなが
ら、このサーチ手法は、ローカル最小値に捕らえられる
おそれを招くことが明らかである。それ故、マッチング
運動推定アルゴリズムは、ガウスのピラミッドをベース
とする多分析構造体に適用することができる。ガウスの
ピラミッドでは、ピラミッドの１つのレベルにおける最
終運動パラメータをピラミッドの次のレベルの初期推定
値へと伝播することができる。この多分析機構は、計算
負荷を減少できると共に、非枯渇サーチによるローカル
最小値を防止することができる。
【００３０】動的スプライト シーンがセグメント化されそして運動が推定されると、
剛体的に運動する映像オブジェクトを表す映像データが
モザイク処理により時間的に統合される。識別された各
映像オブジェクトごとに１つのスプライトがある。静的
スプライトと動的スプライトとの間に区別がなされる。
静的スプライトは、あるシーケンスにおける全てのフレ
ームの全ての運動情報、例えば、平均値、中間値、重み
付け平均値及び重み付け中間値を統合する。これに対し
て、動的スプライトは、ここに述べるように、例えば、
剛体的に運動する映像オブジェクトのような個々のフレ
ームの選択された部分の運動情報を徐々に統合すること
によりスプライト定数の連続的更新に対応する。静的な
スプライトは、長いエンコード遅延及び多数のフレーム
のバッファ動作といった多くの制約を映像及びコード化
機構に与えるので、動的なスプライトが好ましい。
【００３１】ピクセル整列に対する時間的なワープ スプライトを構成するために、フレームが座標系に対し
て整列される。座標系は、第１フレーム又は好ましい図
のような固定基準に対応するか、又は例えば、現在フレ
ームのような経時変化基準に対応することができる。選
択される整列は意図された用途に基づく。手前のフレー
ムに基づいて次の現在フレームをエンコードすることが
所望される予想エンコード用途については、経時変化基
準が好ましい。パノラマ図を形成することが目標である
場合には、固定基準を使用することができる。
【００３２】数式的には、時間ｔ−１と時間ｔとの間の
運動パラメータがＡ（ｔ−１、ｔ）＝（ａ１、・・・ａ
９）で表される。これらのパラメータは、時間ｔにおけ
るピクセル座標ｒ＝（ｘ、ｙ）と、時間ｔ−１における
座標ｒ’＝（ｘ’、ｙ’）との間の関係を定義する。図
４及び５に示すように、順方向変換Ｔｆは、時間ｔ−１
における手前のフレーム４０１のピクセルを時間ｔにお
ける現在フレーム４０２の対応ピクセルへとワープする
ことができる。同様に、逆方向変換Ｔｂは、現在フレー
ム４０２から手前のフレーム４０１へとピクセルをワー
プすることができる。ワープされたピクセルの座標が選
択されたサンプリンググリッドと一致することは滅多に
ないので、補間フィルタを使用して、新たな座標におい
てピクセルの強度値をサンプリングし直すことができ
る。
【００３３】モザイク処理 図６に示すように、剛体運動パラメータが分かると、シ
ーケンス１３０のフレーム１３１−１３６は、動的に進
展するスプライト、例えば、５０１−５０５へと統合さ
れる前に、座標系に対して時間的に整列することができ
る。座標系は、上記したように、例えば、第１フレーム
又は好ましい図のような固定基準に対応するか、又は例
えば、現在フレームのような経時変化基準に対応するこ
とができる。特定の基準フレームは、スプライトの意図
された用途に対して選択することができる。後者は、予
想コード化の場合に好ましく、そして前者は、シーン１
０のパノラマ図を形成することを目標とする場合に好ま
しい。
【００３４】図７は、シーンのパノラマ図を形成するた
めにフレーム６０２のピクセル強度値を含むスプライト
６００を示す。スプライト６００のサイズは、スプライ
トを形成するために統合されるフレーム６０２のサイズ
よりも著しく大きい。図示された例では、剛体運動が下
方及び右側である。１つのフレーム６０２のピクセル６
０１の空間位置ｒは、スプライト６００の空間位置Ｒに
対応し、但し、Ｒはｒの関数である。即ち、Ｒ＝ｆ
（ｒ）及びｒ＝ｆ−１（Ｒ）のような関数ｆ（）が存在
する。例えば、ｆ（）は、統合されるフレームがスプラ
イト６００においてセンタリングされるように選択する
ことができる。
【００３５】固定基準 先ず、固定基準の場合について考える。例えば、動的ス
プライトの固定座標系は、時間ｔ０＝０における第１フ
レームに対応する。或いは又、固定基準は、好ましい図
の座標系に対応することもできる。図５の逆方向変換を
使用し、時間ｔにおける現在フレームのピクセルがこの
固定基準へとワープされ、従って、ピクセルを時間ｔ−
１におけるスプライトの既に記憶されたピクセルと一体
化して、時間ｔにおける新たなスプライトを発生するこ
とができる。現在フレームに対してメモリにピクセルが
記憶されない場合には、現在フレームのピクセルをスプ
ライトのこの部分の初期値として使用することができ
る。
【００３６】上記のように、ワープされたピクセルの座
標は、スプライトに対して選択されたサンプリンググリ
ッドとおそらく一致しない。それ故、次のピクセル強度
値が必要に応じて補間されそして正規化される。固定基
準については、双一次補間が好ましい。
【００３７】経時変化基準 経時変化基準の場合には、時間ｔ−１におけるスプライ
トが、図４の順方向変換Ｔｆを用いて、現在フレームの
座標系へとワープされる。次いで、現在フレームをその
ワープされたスプライトへと一体化し、時間ｔにおける
スプライトを動的に発生することができる。固定基準に
ついては、新たなフレームに対応する座標においてスプ
ライトにピクセル値が存在しない場合には、現在フレー
ムを用いて、それら座標に対しスプライトが初期化され
る。この場合にも、ワープされたスプライトの座標は、
おそらく現在フレームと一致することがなく、従って、
補間及び正規化が必要となる。経時変化基準について
は、０次の補間が好ましい。０次の補間を用いた順方向
ワープにより、１ピクセルの巾を有する黒い線がスプラ
イトに導入されることがある。これらの線は、ゼロピク
セル強度値により検出でき、そしてその隣接ピクセルか
ら再補間することができる。
【００３８】映像エンコードへの適用 図８は、映像エンコードを行うことのできるエンコー
ダ、デコーダ及びメモリの一般的な構成体７００を示
す。フレーム７１０は、例えば、ＭＰＥＧエンコード技
術を使用するエンコーダ７２０によりエンコードされ
る。エンコードされたフレームは、運動情報を含む。こ
れらフレームは、ローカルデコーダ７３０によりデコー
ドされる。プロセッサ７４０は、上記のように、ローカ
ルメモリ７５０において１つ以上のローカルスプライト
を動的に構成する。又、エンコードされたフレーム及び
運動情報は、ネットワークを経てリモートデコーダにも
送信される。デコードされたフレーム、運動情報及び映
像オブジェクトの形状は、プロセッサ７８０を用いてリ
モートメモリ７７０において１つ以上のリモートスプラ
イトを形成するのに使用される。プロセスステップ７４
０及び７８０は、同形である。
【００３９】ローカル及びリモートスプライトは、両方
とも、デコードされたフレームから形成されるので、ロ
ーカル及びリモートフレームは、同一のロス特性を有す
る。それ故、ローカル及びリモートメモリにおいて同一
のスプライトを構成するのに剛体運動情報、形状及び残
留エラー情報だけを送信するだけでよいという効果が得
られる。
【００４０】両方向予想エンコード 図９に示すように、メモリに記憶されたスプライトは、
実際のシーンを表す映像データに対して両方向運動補償
予想エンコードを行えるようにする。先ず、運動補償ブ
ロック−ＤＣＴ（離散的コサイン変換）機構において、
フレームの映像データの各ブロックは、リアルタイムで
予想可能に選択することができる。ブロッキング機構に
おいては、各フレームが、ピクセルの規則的アレーの複
数のブロックへと仕切られ、例えば、各ブロックは、８
ｘ８のピクセルアレーである。
【００４１】各ブロックは、剛体運動パラメータ及びス
プライト予想８４０に基づいてメモリに形成されたスプ
ライトの１つから又はローカル運動パラメータ及びフレ
ーム内予想８５０に基づいて手前のフレームからエンコ
ードするように選択される。予想方法が最小の予想エラ
ー、例えば、スプライト予想及びフレーム内予想方法に
対する予想エラー間の絶対差の和、を生じるような多方
向選択が決定される。この選択は、ピクセルの各ブロッ
クに関連した識別によりデコーダへ指示することができ
る。従って、データが既に観察されていれば、シーンの
カバーされない剛体的運動領域を表すピクセルデータを
長時間メモリから検索することができる。更に、パラメ
トリックな剛体運動推定は、パンやズーミングのような
カメラの動きを効率的に処理し、運動側の情報を減少す
る。最後に、多数のフレームを動的なスプライトへと一
体化するプロセスは、一連のフレームにおけるノイズも
フィルタし、良好な予想を生じる。
【００４２】更に、メモリに記憶されたスプライトは、
シーンの背景部分の高解像度のパノラマ図を形成するの
にも使用できる。動的に形成されるスプライトでは、シ
ーンの前景成分が完全に排除されるか、又は部分的に観
察できるだけである。添付資料は、運動推定、ワープ動
作、モザイク処理、運動加算。補間及びスプライト予想
に使用できる更なる詳細及びアルゴリズムを示す。
【００４３】本発明の好ましい実施形態について以上に
説明したが、その概念を組み込んだ他の実施形態も使用
できることが当業者に明らかであろう。それ故、本発明
は、上記の実施形態に限定されるものではなく、本発明
の範囲内で種々の変更や修正もなされ得ることを理解さ
れたい。
【００４４】添付資料 この添付資料は、上記の映像エンコードのための動的な
スプライトの発生方法を更に詳細に述べるものである。
この技術は、３つの主たる段階、即ちコヒレントな剛体
運動を受ける映像オブジェクトのセグメント化、パラメ
トリックな全体的運動推定、及び各映像オブジェクトに
対する動的なスプライトの次々の形成を必要とする。 １．剛体運動の推定 剛体運動の推定は、一般化されたハイアラーキ式のパラ
メトリックなマッチング技術により各映像オブジェクト
に対して行われる。基本的に、運動パラメータ おけるマップされた領域との間の相違尺度を最小にする
ことにより得られる。 は、手前のフレームにおいてマッチングされるべき位置
であり、そして‖．‖は距離尺度を示す。
【００４５】２．ワープ動作 ・・ａ９）により示される。これらパラメータは、時間
ｔにおけるピクセル座標 を定義する（ここで、時間軸は、サンプリングインター
バルΔｔ＝１のように正規化される）。 （ｘ、ｙ）Ｔを与える順方向変換Ｔｆ〔〕は、次のよう
に定義できる。 を与える逆方向変換Ｔｂ〔〕は、次のように定義でき
る。 又、アフィンモデルは、ａ７＝ａ８＝０及びａ９＝１の
ようなパースペクティブモデルの特殊な場合であること
に注意されたい。例えば、アフィンの場合、順方向変換
は、次のようになり、 そして逆方向変換は、次のようになる。
【００４６】３．動的スプライト ３．１ 固定基準 先ず、時間ｔ０＝０において第１フレームに対応する固
定基準の場合について考える。ここでは、動的スプライ
トは、固定座標系にあり、時間ｔにおける現在フレーム
は、この座標系へとワープされ、時間ｔ−１におけるス
プライトと混合されて、時間ｔにおける新たなスプライ
トを形成する。数式的には、動的スプライトは次のよう
に更新される。スプライトが空間位置 （時間ｔ０＝０においてスプライトを初期化するのにも
使用される）。 周期にわたる全体的な運動である。パラメータαは、ス
プライトの更新を制御し、そして動的に更新することが
できる。
【００４７】３．１．１ 運動パラメータの加算 算は、時間ｔからｔ０までパラメータを加算するように
繰り返すことのできる次の式により行われる。 の間の運動パラメータである場合には、時間ｔ０とｔ２
との間の運動パラメータ ｃ１＝ｂ１ａ９＋ｂ２ａ１＋ｂ３ａ４ ｃ２＝ｂ１ａ７＋ｂ２ａ２＋ｂ３ａ５ ｃ３＝ｂ１ａ８＋ｂ２ａ３＋ｂ３ａ６ ｃ４＝ｂ４ａ９＋ｂ５ａ１＋ｂ６ａ４ ｃ５＝ｂ４ａ７＋ｂ５ａ２＋ｂ６ａ５ ｃ６＝ｂ４ａ８＋ｂ５ａ３＋ｂ６ａ６ ｃ７＝ｂ７ａ２＋ｂ８ａ５＋ｂ９ａ７ ｃ８＝ｂ７ａ３＋ｂ８ａ６＋ｂ９ａ８ ｃ９＝ｂ７ａ１＋ｂ８ａ４＋ｂ９ａ９
【００４８】３．１．２ 補間 （ｔ０、ｔ）〕であり、そしてＡ、Ｂ、Ｃ、Ｄがグリッ
ド位置のピクセルである に作用する。 離に対応する。ワープ像を正しく正規化するために、各
作用の重みが記憶される。 ｎｏｒｍＡ＋＝（１−ｄｘ）・（１−ｄｙ） ｎｏｒｍＢ＋＝（１−ｄｘ）・ｄｙ ｎｏｒｍＣ＋＝ｄｘ・（１−ｄｙ） ｎｏｒｍＤ＋＝ｄｘ・ｄｙ ープされた像のピクセル（作用がなされた、即ちｎｏｒ
ｍ＞０の）は、次のように正規化される。 Ａ＝Ａ／ｎｏｒｍＡ Ｂ＝Ｂ／ｎｏｒｍＢ Ｃ＝Ｃ／ｎｏｒｍＣ Ｄ＝Ｄ／ｎｏｒｍＤ
【００４９】３．２ 経時変化基準 現在フレームに対応する経時変化基準の場合も、同様で
ある。ここで、時間ｔ−１におけるスプライトが現在フ
レームの座標系に対してワープされ、そして時間ｔにお
ける現在フレームがワープされたスプライトと混合さ
れ、時間ｔにおける新たなスプライトが形成される。よ
り詳細には、動的スプライトは、次のように更新され
る。スプライトが空間 れる（時間ｔ０＝０においてスプライトを初期化するの
にも使用される）。 ープを表す。パラメータαは、スプライトの更新を制御
し、そして動的に適応することができる。
【００５０】３．２．１ ワープ及び補間 ピクセルのみに作用し、例えば、次のようになる。 Ｂ＋＝０ Ｃ＋＝０ Ｄ＋＝０ ワープ像を正しく正規化するために、各作用の重みが記
憶される。 ｎｏｒｍＡ＋＝１ ｎｏｒｍＢ＋＝０ ｎｏｒｍＣ＋＝０ ｎｏｒｍＤ＋＝０ 最後に、ワープされたスプライトのピクセル（作用がな
された、即ちｎｏｒｍ＞０の）は、次のように正規化さ
れる。 Ａ＝Ａ／ｎｏｒｍＡ Ｂ＝Ｂ／ｎｏｒｍＢ Ｃ＝Ｃ／ｎｏｒｍＣ Ｄ＝Ｄ／ｎｏｒｍＤ
【００５１】４．動的スプライトを用いた映像のコード
化 ４．１ スプライト予想 スプライト予想は、逆方向予想により得られる。 式により与えられ、 そして経時変化基準の場合には、次の式により与えられ
る。 この段階において、双一次補間が常に使用される。
【図面の簡単な説明】
【図１】本発明の好ましい実施形態による映像処理を用
いた構成を示す図である。
【図２】スプライトを動的に形成するプロセスのブロッ
ク図である。
【図３】映像データを、剛体的及び非剛体的運動を有す
る映像オブジェクトにセグメント化するプロセスを示す
フローチャートである。
【図４】ピクセル強度値をワープするための順方向変換
を示す図である。
【図５】ピクセル強度値をワープするための逆方向変換
を示す図である。
【図６】一連のフレームをスプライトへと動的に一体化
するところを示す図である。
【図７】フレーム及び動的なスプライトの相対的なサイ
ズを示すブロック図である。
【図８】動的なスプライトを用いて映像データをエンコ
ード及びデコードするためのプロセスを示すフローチャ
ートである。
【図９】映像データをエンコードするための両方向運動
予想技術を示す図である。
【符号の説明】
１０ 実際のシーン １００ 構成体 １１０ カメラ １２０ Ａ／Ｄコンバータ １３０ フレーム １４０ 映像処理システム １４１ プロセッサ １４２ 第１メモリ（ＤＲＡＭ） １４３ 第２メモリ（ＤＩＳＫ） １４４ バス １６０ ネットワーク １７０ デコードシステム １８０ ディスプレイ装置

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 シーンを表す映像データを処理するため
    のコンピュータで実施される方法において、 映像データを剛体的及び非剛体的に運動する映像オブジ
    ェクトへとセグメント化し、 上記剛体的に運動するオブジェクトに対する運動情報を
    推定し、そして上記運動情報を用いて、上記剛体的に運
    動するオブジェクトを、メモリに記憶された対応するス
    プライトへと統合する、という段階を備えたことを特徴
    とする方法。
  2. 【請求項２】 映像データに対するローカル運動ベクト
    ルを推定し、 上記ローカル運動ベクトルをクラスター化して、優勢運
    動を決定し、そして上記優勢運動に実質的に類似したロ
    ーカル運動ベクトルを有する映像データを上記剛体的に
    運動するオブジェクトとしてセグメント化する、という
    段階を更に備えた請求項１に記載の方法。
  3. 【請求項３】 上記優勢運動の予想エラーに存在する第
    １の残留情報を決定し、 上記ローカル運動ベクトルの予想エラーに存在する第２
    の残留情報を決定し、 上記第１の残留情報が第２の残留情報に実質的に類似し
    ている場合には、映像信号を上記剛体的に運動するオブ
    ジェクトとしてセグメント化し、さもなくば、 映像信号を上記非剛体的に運動するオブジェクトとして
    セグメント化する、という段階を更に備えた請求項２に
    記載の方法。
  4. 【請求項４】 パラメトリック運動モデルを用いて上記
    優勢運動を推定し、上記パラメトリック運動モデルは、
    パースペクティブ運動モデルである請求項１に記載の方
    法。
  5. 【請求項５】 各々の優勢運動に対して１つの映像オブ
    ジェクトと、それに対応するスプライトがある請求項２
    に記載の方法。
  6. 【請求項６】 上記映像データは、フレームの時間的シ
    ーケンスとして編成され、そして更に、フレームを座標
    系に対して整列する段階を備え、これは、更に、フレー
    ムをフレームの時間的シーケンスの第１のフレームに対
    して整列してスプライトのための固定基準座標系を確立
    することを含み、各フレーム及び各スプライトは、複数
    のピクセルを含み、各ピクセルは、シーンの光強度値を
    表し、そして更に、統合の前に逆方向変換を用いて上記
    フレームの時間的シーケンスの現在フレームのピクセル
    をスプライトの固定基準座標系へとワープすることを含
    む請求項１に記載の方法。
  7. 【請求項７】 上記スプライトを上記フレームの時間的
    シーケンスの現在フレームに対して整列してスプライト
    のための経時変化座標系を確立し、各フレーム及び各ス
    プライトは、複数のピクセルを含み、各ピクセルは、シ
    ーンの光強度値を表し、そして更に、統合の前に順方向
    変換を用いてスプライトのピクセルを上記フレームの時
    間的シーケンスの現在フレームへとワープすることを含
    む請求項６に記載の方法。
  8. 【請求項８】 上記映像データ並びに運動及び形状情報
    を、第１処理システムのエンコーダを用いてエンコード
    されたデータとしてエンコードし、 上記エンコードされたデータを第１デコーダを用いてデ
    コードして、上記第１処理システムの第１メモリに第１
    スプライトを形成し、 上記エンコードされたデータを第２処理システムに送信
    し、 上記エンコードされたデータを第２デコーダを用いてデ
    コードして、上記第２処理システムの第２メモリに第２
    スプライトを形成し、上記第１及び第２スプライトは、
    実質的に同一であり、上記映像データは、フレームの時
    間的シーケンスとして編成され、各フレームは、複数の
    ピクセルブロックを含み、そして更に、第１スプライト
    又は上記フレームの時間的シーケンスの手前のフレーム
    からエンコードを行うために上記フレームの時間的シー
    ケンスの現在フレームの特定ピクセルブロックを選択す
    る段階を含み、これは、更に、第１スプライトからエン
    コードを行うために特定ブロックが選択された場合には
    運動情報を用いて特定ブロックをエンコードし、そして
    手前のフレームからエンコードを行うために特定ブロッ
    クが選択された場合にはローカル運動ベクトルを用いて
    特定ブロックをエンコードすることを含む請求項１に記
    載の方法。
  9. 【請求項９】 第１スプライトから特定ブロックをエン
    コードするのに基づいて特定ブロックに対する第１予想
    エラーを決定し、 手前のフレームから特定ブロックをエンコードするのに
    基づいて特定ブロックに対する第２予想エラーを決定
    し、そして上記第１予想エラーが第２予想エラーより小
    さい場合には第１スプライトからエンコードするために
    特定ブロックを選択し、さもなくば、手前のフレームか
    らエンコードするために特定ブロックを選択する請求項
    ８に記載の方法。
  10. 【請求項１０】 固定基準座標系を有するスプライトの
    １つを選択して、映像データにより表されたシーンの背
    景部分のパノラマ図を構成し、このパノラマ図は、剛体
    的に運動する映像オブジェクトのみを含む請求項６に記
    載の方法。
  11. 【請求項１１】 シーンを表す映像データを処理する装
    置において、 シーンの光強度値を表す映像データを収集するカメラ
    と、 上記映像データを剛体的に及び非剛体的に運動する映像
    オブジェクトへとセグメント化する手段と、 上記剛体的に運動するオブジェクトに対して運動情報を
    推定する手段と、 上記剛体的に運動するオブジェクトの統合を動的なスプ
    ライトとして記憶するメモリとを備えたことを特徴とす
    る装置。
JP9370018A 1996-12-19 1997-12-18 映像データをエンコードするための動的なスプライト Pending JPH10285602A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/769559 1996-12-19
US08/769,559 US5943445A (en) 1996-12-19 1996-12-19 Dynamic sprites for encoding video data

Publications (1)

Publication Number Publication Date
JPH10285602A true JPH10285602A (ja) 1998-10-23

Family

ID=25085816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9370018A Pending JPH10285602A (ja) 1996-12-19 1997-12-18 映像データをエンコードするための動的なスプライト

Country Status (3)

Country Link
US (1) US5943445A (ja)
EP (1) EP0849950A2 (ja)
JP (1) JPH10285602A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003502923A (ja) * 1999-06-11 2003-01-21 センター ナショナル デ ラ レシェルルシェ サイエンティフィック−シーエヌアールエス Ｍｐｅｇ型標準に基づく最適ビデオデコーダ
US7596301B2 (en) 2001-10-23 2009-09-29 Thomson Licensing, S.A. Reverse trick mode using intra pictures
JP2015518690A (ja) * 2012-04-19 2015-07-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 動き補償に基づくビデオ符号化を支援するために奥行き情報を使用すること
WO2020203962A1 (ja) * 2019-04-01 2020-10-08 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998029834A1 (en) * 1996-12-30 1998-07-09 Sharp Kabushiki Kaisha Sprite-based video coding system
US6249613B1 (en) * 1997-03-31 2001-06-19 Sharp Laboratories Of America, Inc. Mosaic generation and sprite-based coding with automatic foreground and background separation
JP3384314B2 (ja) * 1997-12-02 2003-03-10 ヤマハ株式会社 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
WO1999033024A1 (en) * 1997-12-22 1999-07-01 Koninklijke Philips Electronics N.V. Method and arrangement for creating a high-resolution still picture
JP2002522982A (ja) * 1998-08-05 2002-07-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 静止画像生成方法及び装置
JP2002522983A (ja) * 1998-08-05 2002-07-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 静止画像生成方法及び装置
DE69932029D1 (de) * 1998-08-05 2006-08-03 Koninkl Philips Electronics Nv Verfahren und vorrichtung zur erzeugung eines stehbildes
EP1110407B1 (de) 1998-08-18 2002-05-08 Siemens Aktiengesellschaft Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes mit anwendung eines gesamtbewegungsvektors
US6252975B1 (en) * 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US7382927B2 (en) * 1999-01-08 2008-06-03 Sharp Laboratories Of America, Inc. System for constructing mosaic images
US6665423B1 (en) * 2000-01-27 2003-12-16 Eastman Kodak Company Method and system for object-oriented motion-based video description
US7397856B2 (en) 2000-04-14 2008-07-08 Siemens Aktiengesellschaft Method and apparatus for storing and processing picture information of temporally successive pictures
WO2001086960A2 (en) * 2000-05-10 2001-11-15 Picturetel Corporation Video coding using multiple buffers
US6600491B1 (en) * 2000-05-30 2003-07-29 Microsoft Corporation Video-based rendering with user-controlled movement
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
US20020052235A1 (en) * 2000-10-27 2002-05-02 Hirsch Jeffrey R. Gaming device having animation including multiple sprites
US7545957B2 (en) * 2001-04-20 2009-06-09 Avid Technology, Inc. Analyzing motion of characteristics in images
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
US20030161399A1 (en) * 2002-02-22 2003-08-28 Koninklijke Philips Electronics N.V. Multi-layer composite objective image quality metric
US7194676B2 (en) 2002-03-01 2007-03-20 Avid Technology, Inc. Performance retiming effects on synchronized data in an editing system
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
WO2004008316A2 (en) * 2002-07-11 2004-01-22 Raytheon Company System and method for asynchronous storage and playback of a system state
WO2004008303A2 (en) * 2002-07-12 2004-01-22 Raytheon Company Scene graph based display for desktop applications
US7085434B2 (en) * 2002-10-01 2006-08-01 International Business Machines Corporation Sprite recognition in animated sequences
KR101018320B1 (ko) 2003-02-11 2011-03-04 엔디에스 리미티드 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법
US7440613B2 (en) * 2003-09-12 2008-10-21 Sony Corporation Binary mask interpolation
US7346226B2 (en) 2003-12-16 2008-03-18 Genesis Microchip Inc. Method and apparatus for MPEG artifacts reduction
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7499494B2 (en) 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7457438B2 (en) 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7346109B2 (en) 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US7982738B2 (en) * 2004-12-01 2011-07-19 Microsoft Corporation Interactive montages of sprites for indexing and summarizing video
JP4345722B2 (ja) * 2005-07-15 2009-10-14 ソニー株式会社 動体追跡制御装置、動体追跡システム、動体追跡制御方法及びプログラム
US7577314B2 (en) * 2006-04-06 2009-08-18 Seiko Epson Corporation Method and apparatus for generating a panorama background from a set of images
GB2441365B (en) * 2006-09-04 2009-10-07 Nds Ltd Displaying video data
JP2009077363A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
US8515134B2 (en) * 2009-12-11 2013-08-20 Nxp B.V. System and method for motion estimation using image depth information
KR101939628B1 (ko) * 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
US9235527B2 (en) * 2012-07-20 2016-01-12 The Johns Hopkins University Multiple-cache parallel reduction and applications
US11240465B2 (en) 2020-02-21 2022-02-01 Alibaba Group Holding Limited System and method to use decoder information in video super resolution

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4689022A (en) * 1984-04-30 1987-08-25 John Peers System for control of a video storage means by a programmed processor
US4639878A (en) * 1985-06-04 1987-01-27 Gmf Robotics Corporation Method and system for automatically determining the position and attitude of an object
US4906940A (en) * 1987-08-24 1990-03-06 Science Applications International Corporation Process and apparatus for the automatic detection and extraction of features in images and displays
US4969036A (en) * 1989-03-31 1990-11-06 Bir Bhanu System for computing the self-motion of moving images devices
DE69124777T2 (de) * 1990-11-30 1997-06-26 Canon Kk Gerät zur Detektion des Bewegungsvektors
US5144149A (en) * 1991-01-22 1992-09-01 Frosch Henry A Electrical signal to thermal image converter
US5448053A (en) * 1993-03-01 1995-09-05 Rhoads; Geoffrey B. Method and apparatus for wide field distortion-compensated imaging
US5428387A (en) * 1993-04-28 1995-06-27 Sony Electronics, Inc. Method and apparatus for a real-time film-to-video conversion system
EP0702485A3 (en) * 1994-09-19 1997-05-28 Graphics Communication Lab Motion estimation device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003502923A (ja) * 1999-06-11 2003-01-21 センター ナショナル デ ラ レシェルルシェ サイエンティフィック−シーエヌアールエス Ｍｐｅｇ型標準に基づく最適ビデオデコーダ
US7596301B2 (en) 2001-10-23 2009-09-29 Thomson Licensing, S.A. Reverse trick mode using intra pictures
JP2015518690A (ja) * 2012-04-19 2015-07-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 動き補償に基づくビデオ符号化を支援するために奥行き情報を使用すること
US9584806B2 (en) 2012-04-19 2017-02-28 Futurewei Technologies, Inc. Using depth information to assist motion compensation-based video coding
WO2020203962A1 (ja) * 2019-04-01 2020-10-08 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
JP2020170891A (ja) * 2019-04-01 2020-10-15 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム

Also Published As

Publication number Publication date
US5943445A (en) 1999-08-24
EP0849950A2 (en) 1998-06-24

Similar Documents

Publication Publication Date Title
JPH10285602A (ja) 映像データをエンコードするための動的なスプライト
JP3679426B2 (ja) 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
Stiller Object-based estimation of dense motion fields
CA2205177C (en) Mosaic based image processing system and method for processing images
Bovik The essential guide to video processing
KR100582856B1 (ko) 움직임 추정 및 움직임 보상된 보간법
US8306121B2 (en) Method and apparatus for super-resolution of images
US8537278B1 (en) Enhancing the resolution and quality of sequential digital images
JP2001086507A (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、媒体、並びに画像処理装置
JP2000244851A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
CN114339030B (zh) 一种基于自适应可分离卷积的网络直播视频稳像方法
EP0998825B1 (en) Method and apparatus for multiresolution object-oriented motion estimation
Jasinschi et al. Motion estimation methods for video compression—a review
JP2005505841A (ja) 動き推定のための装置及び方法
US20060098886A1 (en) Efficient predictive image parameter estimation
US5933547A (en) Method for interpolating images
Wang et al. Evaluation of mesh-based motion estimation in H. 263-like coders
JP2000152250A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
Satyawan et al. Automatic self-improvement scheme in optical flow-based motion estimation for sequential fisheye images
TW536918B (en) Method to increase the temporal resolution of continuous image series
JPH09130803A (ja) 背景画像復元方法および装置
KR100810391B1 (ko) 움직임 보간을 이용한 프레임 레이트 변환 방법
JPH11341445A (ja) フレ―ムフォ―マット変換方法
JPH08242454A (ja) グローバル動きパラメタ検出方法
JP2988836B2 (ja) 動きベクトル探索方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080212

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080212

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080630