JPH0795592A - 画像データを符号化して夫々がコヒーレント運動領域を表わす複数の層とそれら層に付随する運動パラメータとにするシステム - Google Patents
画像データを符号化して夫々がコヒーレント運動領域を表わす複数の層とそれら層に付随する運動パラメータとにするシステムInfo
- Publication number
- JPH0795592A JPH0795592A JP6044055A JP4405594A JPH0795592A JP H0795592 A JPH0795592 A JP H0795592A JP 6044055 A JP6044055 A JP 6044055A JP 4405594 A JP4405594 A JP 4405594A JP H0795592 A JPH0795592 A JP H0795592A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- pixel
- frame
- coherent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 一連の画像フレームから成るフレーム・シー
ケンスの画像データを符号化して、そのフレーム・シー
ケンスを、夫々がコヒーレント運動領域を表わす複数の
層と、それら層に付随する運動パラメータという形に変
換して、格納及び伝送に適したフレーム・シーケンスの
画像データの圧縮を達成する。 【構成】 このシステムは、フレーム・シーケンスの中
の１つのフレームから次のフレームへかけての夫々のピ
クセル近傍の局所運動を判定して稠密運動モデルを生成
する局所運動判定部２２と、その稠密運動モデルから、
複数のコヒーレント運動領域とそれらコヒーレント運動
領域に付随する運動モデルとを生成する運動セグメンテ
ーション処理部２４と、フレーム・シーケンスの中の全
てのフレームの各々に対応したコヒーレント運動領域及
び運動モデルに関する情報を組合せて、コヒーレント運
動領域の各々に対応させて１つずつの層を生成する層抽
出処理部２６とを備える。
ケンスの画像データを符号化して、そのフレーム・シー
ケンスを、夫々がコヒーレント運動領域を表わす複数の
層と、それら層に付随する運動パラメータという形に変
換して、格納及び伝送に適したフレーム・シーケンスの
画像データの圧縮を達成する。 【構成】 このシステムは、フレーム・シーケンスの中
の１つのフレームから次のフレームへかけての夫々のピ
クセル近傍の局所運動を判定して稠密運動モデルを生成
する局所運動判定部２２と、その稠密運動モデルから、
複数のコヒーレント運動領域とそれらコヒーレント運動
領域に付随する運動モデルとを生成する運動セグメンテ
ーション処理部２４と、フレーム・シーケンスの中の全
てのフレームの各々に対応したコヒーレント運動領域及
び運動モデルに関する情報を組合せて、コヒーレント運
動領域の各々に対応させて１つずつの層を生成する層抽
出処理部２６とを備える。
Description
【０００１】
【産業上の利用分野】本発明は、広くは画像の符号化に
関するものであり、より詳しくは、画像データに対し
て、その格納、伝送、ないし復号化が容易なように、圧
縮処理を施す機構に関するものである。
関するものであり、より詳しくは、画像データに対し
て、その格納、伝送、ないし復号化が容易なように、圧
縮処理を施す機構に関するものである。
【０００２】
【従来の技術及び発明が解決しようとする課題】本願の
関連出願として、その発明の名称を「画像の符号化のた
めの層構造表現（Layered Representation For Image C
oding ）」とした、Edward H. Adelsonによる米国特許
出願第０７／８８８８０１号があり、同米国出願は、こ
の言及をもって本開示に組み込むものとする。同米国出
願には、１つの画像を、その画像中の「深さ」によって
順序付けた一連の複数の層で表わすようにした、画像圧
縮システムが記載されている。このシステムは、それら
複数の層の各々に、画像シーケンスの継続時間に亙っ
て、その層にどのような操作を加えて行けば良いか、あ
るいは、その層をどのように変形させて行けば良いかと
いうことに関する情報を包含させるようにしており、そ
れによって、画像シーケンスを表わせるようにしてい
る。
関連出願として、その発明の名称を「画像の符号化のた
めの層構造表現（Layered Representation For Image C
oding ）」とした、Edward H. Adelsonによる米国特許
出願第０７／８８８８０１号があり、同米国出願は、こ
の言及をもって本開示に組み込むものとする。同米国出
願には、１つの画像を、その画像中の「深さ」によって
順序付けた一連の複数の層で表わすようにした、画像圧
縮システムが記載されている。このシステムは、それら
複数の層の各々に、画像シーケンスの継続時間に亙っ
て、その層にどのような操作を加えて行けば良いか、あ
るいは、その層をどのように変形させて行けば良いかと
いうことに関する情報を包含させるようにしており、そ
れによって、画像シーケンスを表わせるようにしてい
る。
【０００３】１つの層は、一連の複数のデータ・マップ
によって構成されており、それらマップの各々は、画像
中の、他のどの物体の運動とも明確に異なった運動をし
ている１つの物体ないし物体の１つの部分に関連付けら
れている。各々のマップは、離散した２次元位置に関す
るデータの集合として構成されており、それらマップの
うちには、第３次元として時間の次元を含んでいるもの
もある。それらマップは、各々の位置ごとに、（ｉ）例
えばシーケンスの開始点等の一定の瞬間における輝度値
と、（ii）時間の経過に伴う減衰量と、（iii）時間の
経過に伴う速度変化とを示している。更に任意に含める
ことのできるマップとして、コントラスト変化マップ、
ブレ／ボケ・マップ、等々のマップがあり、コントラス
ト変化マップは、それに対応する層の輝度値マップにど
のような数を乗じて時間の経過に伴うコントラストの変
遷を作り出すべきかを記述したマップであり、また、ブ
レ／ボケ・マップは、１つないし複数の位置に、運動ブ
レや焦点ボケを追加するものである。これら任意マップ
を、必要に応じて含めるようにして、対応した物体の時
間の経過に伴う変化を記述するようにしても良い。それ
ら複数の層から画像シーケンスを再生あるいは復号化す
るには、それら複数の層を然るべき順序で組合せた上
で、それら層に時間の経過に従って然るべき操作を加え
て行き、即ち「ワープ（warp）」させて行くようにす
る。
によって構成されており、それらマップの各々は、画像
中の、他のどの物体の運動とも明確に異なった運動をし
ている１つの物体ないし物体の１つの部分に関連付けら
れている。各々のマップは、離散した２次元位置に関す
るデータの集合として構成されており、それらマップの
うちには、第３次元として時間の次元を含んでいるもの
もある。それらマップは、各々の位置ごとに、（ｉ）例
えばシーケンスの開始点等の一定の瞬間における輝度値
と、（ii）時間の経過に伴う減衰量と、（iii）時間の
経過に伴う速度変化とを示している。更に任意に含める
ことのできるマップとして、コントラスト変化マップ、
ブレ／ボケ・マップ、等々のマップがあり、コントラス
ト変化マップは、それに対応する層の輝度値マップにど
のような数を乗じて時間の経過に伴うコントラストの変
遷を作り出すべきかを記述したマップであり、また、ブ
レ／ボケ・マップは、１つないし複数の位置に、運動ブ
レや焦点ボケを追加するものである。これら任意マップ
を、必要に応じて含めるようにして、対応した物体の時
間の経過に伴う変化を記述するようにしても良い。それ
ら複数の層から画像シーケンスを再生あるいは復号化す
るには、それら複数の層を然るべき順序で組合せた上
で、それら層に時間の経過に従って然るべき操作を加え
て行き、即ち「ワープ（warp）」させて行くようにす
る。
【０００４】物体を規定するための方法、即ち物体の境
界を判別するための方法には、様々なものがある。例え
ば、運動解析を反復実行するという方法があり、その一
例は主運動解析という方法であって、この方法は、画像
シーケンスの中にただ１つの主運動が存在しているとい
うことを繰り返して仮定し、その仮定した運動に基づい
て１つの物体（主物体）を規定する。続いて、この主物
体をマスクした上で、あるいは画像から除外した上で、
その画像の残りの部分について第２の主運動が存在する
ものと仮定して再度解析を行なう。第２の物体が識別さ
れたならば、その物体をも画像から消去した上で、その
画像に再びワープ処理を施して更なる運動解析を行なう
ようにすれば良い。この種の主運動解析は「反復運動解
析を利用した画像シーケンス・エンハンスメント（Imag
e Sequence Enhancement Using Multple Motions Analy
sis ）」という題名の Iraniと Pelegによる論文に記載
されている。この方法は、画像中にただ１つの、そして
明確に主運動であるといえる運動が存在している場合に
は、その主物体を正確に識別することができる。しかし
ながら、画像中に複数の主運動が存在している場合に
は、それら複数の物体を正確に識別することができな
い。
界を判別するための方法には、様々なものがある。例え
ば、運動解析を反復実行するという方法があり、その一
例は主運動解析という方法であって、この方法は、画像
シーケンスの中にただ１つの主運動が存在しているとい
うことを繰り返して仮定し、その仮定した運動に基づい
て１つの物体（主物体）を規定する。続いて、この主物
体をマスクした上で、あるいは画像から除外した上で、
その画像の残りの部分について第２の主運動が存在する
ものと仮定して再度解析を行なう。第２の物体が識別さ
れたならば、その物体をも画像から消去した上で、その
画像に再びワープ処理を施して更なる運動解析を行なう
ようにすれば良い。この種の主運動解析は「反復運動解
析を利用した画像シーケンス・エンハンスメント（Imag
e Sequence Enhancement Using Multple Motions Analy
sis ）」という題名の Iraniと Pelegによる論文に記載
されている。この方法は、画像中にただ１つの、そして
明確に主運動であるといえる運動が存在している場合に
は、その主物体を正確に識別することができる。しかし
ながら、画像中に複数の主運動が存在している場合に
は、それら複数の物体を正確に識別することができな
い。
【０００５】画像中の物体を判別するための更に別の方
法に、ブロック・マッチング法がある。この方法では、
１つのフレームからその次のフレームへかけての、複数
の矩形のピクセル・ブロックの運動を判定し、それらブ
ロックに対して夫々に運動ベクトルを対応付ける。そし
て、互いに類似した運動をしているブロックどうしは同
一の物体の夫々の部分であると見なす。不整な形状の物
体をも含めて、全ての物体がそれらブロックの組合せで
表わされる。「低ビット・レートの映像信号の圧縮のた
めの、セグメンテーションを利用した、運動の差分及び
運動フィールド画像の符号化（Segmentation-Based Cod
ing of Motion Difference and MotionField Images Fo
r Low Bit-Rate Video Compression ）」という題名
の、 LiuとHayesによる論文に記載されているように、
１つの物体を表わすのに様々な大きさのブロックを使用
することができるが、不整な形状の物体は、それらブロ
ックによって完全に正確に表わすことはできない。
法に、ブロック・マッチング法がある。この方法では、
１つのフレームからその次のフレームへかけての、複数
の矩形のピクセル・ブロックの運動を判定し、それらブ
ロックに対して夫々に運動ベクトルを対応付ける。そし
て、互いに類似した運動をしているブロックどうしは同
一の物体の夫々の部分であると見なす。不整な形状の物
体をも含めて、全ての物体がそれらブロックの組合せで
表わされる。「低ビット・レートの映像信号の圧縮のた
めの、セグメンテーションを利用した、運動の差分及び
運動フィールド画像の符号化（Segmentation-Based Cod
ing of Motion Difference and MotionField Images Fo
r Low Bit-Rate Video Compression ）」という題名
の、 LiuとHayesによる論文に記載されているように、
１つの物体を表わすのに様々な大きさのブロックを使用
することができるが、不整な形状の物体は、それらブロ
ックによって完全に正確に表わすことはできない。
【０００６】
【課題を解決するための手段】本発明は、複数の物体を
包含している画像について、（ｉ）画像シーケンス又は
フレーム・シーケンスの全体の中における複数のコヒー
レント運動領域の夫々の境界と、（ii）１つのフレーム
からその次のフレームへかけてのそれら領域の変形を記
述した、それら領域の各々に対応した運動式の運動パラ
メータ又は係数を同時に判別するためのシステム、並び
にそのシステムの動作方法である。その運動式が例えば
アフィン変換式である場合には、１つのフレームからそ
の次のフレームへかけてのその画像の領域の全体の運動
は、６個のアフィン・パラメータから成るアフィン・パ
ラメータ集合で記述される。このシステムは、この情報
を用いて画像シーケンスを符号化することにより、その
画像シーケンスを各々が１つずつの領域に対応した一連
の複数の層にすると共に、速度マップを圧縮して運動パ
ラメータの集合にする。
包含している画像について、（ｉ）画像シーケンス又は
フレーム・シーケンスの全体の中における複数のコヒー
レント運動領域の夫々の境界と、（ii）１つのフレーム
からその次のフレームへかけてのそれら領域の変形を記
述した、それら領域の各々に対応した運動式の運動パラ
メータ又は係数を同時に判別するためのシステム、並び
にそのシステムの動作方法である。その運動式が例えば
アフィン変換式である場合には、１つのフレームからそ
の次のフレームへかけてのその画像の領域の全体の運動
は、６個のアフィン・パラメータから成るアフィン・パ
ラメータ集合で記述される。このシステムは、この情報
を用いて画像シーケンスを符号化することにより、その
画像シーケンスを各々が１つずつの領域に対応した一連
の複数の層にすると共に、速度マップを圧縮して運動パ
ラメータの集合にする。
【０００７】本発明のシステムは、画像中に主運動が存
在していることを必要とせず、画像中の運動が、選択し
た運動式の集合で記述し得るような運動でありさえすれ
ば良い。例えばアフィン変換式は、滑らかな運動を記述
するものであるため、非常に複雑な運動はエラー状態と
して取り扱われることになる。このシステムは更に、物
体が、例えば複数の矩形ブロックで表現し得るような、
整った形状であることを必要としてない。このシステム
は、個々のピクセルをコヒーレント運動領域に割当てる
ようにしており、そのため、基本的に、いかなる形状の
物体でも表現することができる。
在していることを必要とせず、画像中の運動が、選択し
た運動式の集合で記述し得るような運動でありさえすれ
ば良い。例えばアフィン変換式は、滑らかな運動を記述
するものであるため、非常に複雑な運動はエラー状態と
して取り扱われることになる。このシステムは更に、物
体が、例えば複数の矩形ブロックで表現し得るような、
整った形状であることを必要としてない。このシステム
は、個々のピクセルをコヒーレント運動領域に割当てる
ようにしており、そのため、基本的に、いかなる形状の
物体でも表現することができる。
【０００８】手短に要約して述べると、このシステム
は、先ず最初に、運動の局所的な判定を行ない、それに
は、１つの画像フレームｉからその次の画像フレームｉ
＋１へかけての、幾つかのピクセルから成る小近傍の運
動を判定して、画像の光学流れモデル又は稠密運動モデ
ルを生成する。このシステムは続いて、アフィン変換式
等の低次の滑らかな変換式を用いて、このシステムが先
にコヒーレント運動をしているものと識別したところ
の、即ちフレームｉ−１からフレームｉへかけての運動
を解析した際に識別したところの、複数の領域から成る
１つの領域集合の中の運動の判定を行なう。このシステ
ムは続いて、それら領域の各々ごとに運動モデルを作成
する。
は、先ず最初に、運動の局所的な判定を行ない、それに
は、１つの画像フレームｉからその次の画像フレームｉ
＋１へかけての、幾つかのピクセルから成る小近傍の運
動を判定して、画像の光学流れモデル又は稠密運動モデ
ルを生成する。このシステムは続いて、アフィン変換式
等の低次の滑らかな変換式を用いて、このシステムが先
にコヒーレント運動をしているものと識別したところ
の、即ちフレームｉ−１からフレームｉへかけての運動
を解析した際に識別したところの、複数の領域から成る
１つの領域集合の中の運動の判定を行なう。このシステ
ムは続いて、それら領域の各々ごとに運動モデルを作成
する。
【０００９】続いてこのシステムは、互いに類似してい
る運動モデルどうしをグループ化、又はクラスタ化し、
そして、その画像についての、更新した運動モデルの集
合を反復して生成する。このシステムは続いて、局所運
動判定結果に基づいて、画像中の個々のピクセルを、そ
のピクセルの運動を最も良く近似している運動モデルに
割当てることによって、コヒーレント運動領域の更新を
行なう。このシステムは、こうして更新した領域に基づ
いて、再びその運動モデルを更新し、そして更なる更新
をすべきである場合には、コヒーレント運動領域を更に
更新し、以下同様にして、反復実行してもピクセルの割
当てが殆ど変化しなくなったならば、反復実行を終了す
る。
る運動モデルどうしをグループ化、又はクラスタ化し、
そして、その画像についての、更新した運動モデルの集
合を反復して生成する。このシステムは続いて、局所運
動判定結果に基づいて、画像中の個々のピクセルを、そ
のピクセルの運動を最も良く近似している運動モデルに
割当てることによって、コヒーレント運動領域の更新を
行なう。このシステムは、こうして更新した領域に基づ
いて、再びその運動モデルを更新し、そして更なる更新
をすべきである場合には、コヒーレント運動領域を更に
更新し、以下同様にして、反復実行してもピクセルの割
当てが殆ど変化しなくなったならば、反復実行を終了す
る。
【００１０】続いてこのシステムは、フレームｉ＋１及
びｉ＋２についての運動解析を行ない、その際に、この
フレーム・ペアにおけるコヒーレント運動領域の初期判
定結果として、その直前のフレームｉ及びｉ＋１の解析
において識別した更新した領域の集合を用いる。このシ
ステムは続いて、局所運動の判定処理と、上述の領域の
運動を判定する処理と、ピクセル割当て処理とを反復実
行し、そして、今回のフレーム・ペアに対応した、反復
実行してもピクセルの割当てが殆ど変化しない更新領域
が識別された時点で、その反復実行を終了する。続いて
このシステムはその更新領域の集合を、その次のフレー
ム・ペアの解析において使用し、以下同様にして、フレ
ーム・シーケンスの中の全てのフレーム・ペアの解析を
完了するまで以上の処理を繰り返す。
びｉ＋２についての運動解析を行ない、その際に、この
フレーム・ペアにおけるコヒーレント運動領域の初期判
定結果として、その直前のフレームｉ及びｉ＋１の解析
において識別した更新した領域の集合を用いる。このシ
ステムは続いて、局所運動の判定処理と、上述の領域の
運動を判定する処理と、ピクセル割当て処理とを反復実
行し、そして、今回のフレーム・ペアに対応した、反復
実行してもピクセルの割当てが殆ど変化しない更新領域
が識別された時点で、その反復実行を終了する。続いて
このシステムはその更新領域の集合を、その次のフレー
ム・ペアの解析において使用し、以下同様にして、フレ
ーム・シーケンスの中の全てのフレーム・ペアの解析を
完了するまで以上の処理を繰り返す。
【００１１】このシステムは、全てのフレーム・ペアの
解析を完了した時点において、既に画像のセグメンテー
ションを完了して、その画像を複数のコヒーレント運動
領域に分け終っている。従ってこのシステムは、それら
複数の領域の夫々に対応する層を「抽出」する必要があ
り、即ち、それら夫々の層を、（１）ピクセル輝度値
と、（２）その層に対応した運動モデル・パラメータ
と、（３）画像中における「深さ」の順序とによって規
定する必要がある。それら層の順序付けは、覆い覆われ
ている関係と不透明性の関係とを保存するためのもので
あり、なぜならば、この順序付けによって、前景の物体
に対応している層が、背景中の物体に対応している層の
手前に位置付けられるからである。
解析を完了した時点において、既に画像のセグメンテー
ションを完了して、その画像を複数のコヒーレント運動
領域に分け終っている。従ってこのシステムは、それら
複数の領域の夫々に対応する層を「抽出」する必要があ
り、即ち、それら夫々の層を、（１）ピクセル輝度値
と、（２）その層に対応した運動モデル・パラメータ
と、（３）画像中における「深さ」の順序とによって規
定する必要がある。それら層の順序付けは、覆い覆われ
ている関係と不透明性の関係とを保存するためのもので
あり、なぜならば、この順序付けによって、前景の物体
に対応している層が、背景中の物体に対応している層の
手前に位置付けられるからである。
【００１２】このシステムは、層抽出を行なうために
は、層の中の各々のピクセル位置ごとにピクセル輝度情
報を決定する。従って、このシステムは、各フレームに
おいて処理対象の領域に関係している個々のピクセルの
運動を判定する。このシステムは１つのフレームを選択
し、例えばフレーム・シーケンスの中央のフレーム等を
選択する。そして、その被選択フレーム以外の各々のフ
レームの中の、処理対象の領域内に存在するピクセル
を、被選択フレームの中の対応する領域に対して位置揃
えし、それを、その領域に付随している運動パラメータ
を用いて、１つのフレームからその次のフレームへのピ
クセルの運動をたどることによって行なっている。また
そのときに、このシステムは、それら運動パラメータに
修正処理を施し、即ち、それら運動パラメータどうしを
適当に結合させて、それら運動パラメータが、所与のフ
レームの中の領域と被選択フレームの中の同じ領域との
間での運動を記述できるようにしており、これについて
は後に詳しく説明する。続いてこのシステムは、その層
の中の各ピクセル位置ごとの輝度値を決定し、この輝度
値は、互いに位置揃えした夫々のピクセルの輝度値の組
合せに基づいた値である。そのためにこのシステムはそ
れらピクセルの輝度値を積算し、即ち、それら輝度値を
時間の流れの中で結合し、そして、その結合における中
央値を算出する。続いてこのシステムは、算出したその
中央値を、その層の中の対応するピクセル位置に割当て
る。これによって層の輝度マップが得られる。続いてこ
のシステムは、残りの各層について位置揃えとピクセル
輝度値の算出とを反復して実行し、それによって、各層
ごとに、その層に関する輝度値マップを作成する。
は、層の中の各々のピクセル位置ごとにピクセル輝度情
報を決定する。従って、このシステムは、各フレームに
おいて処理対象の領域に関係している個々のピクセルの
運動を判定する。このシステムは１つのフレームを選択
し、例えばフレーム・シーケンスの中央のフレーム等を
選択する。そして、その被選択フレーム以外の各々のフ
レームの中の、処理対象の領域内に存在するピクセル
を、被選択フレームの中の対応する領域に対して位置揃
えし、それを、その領域に付随している運動パラメータ
を用いて、１つのフレームからその次のフレームへのピ
クセルの運動をたどることによって行なっている。また
そのときに、このシステムは、それら運動パラメータに
修正処理を施し、即ち、それら運動パラメータどうしを
適当に結合させて、それら運動パラメータが、所与のフ
レームの中の領域と被選択フレームの中の同じ領域との
間での運動を記述できるようにしており、これについて
は後に詳しく説明する。続いてこのシステムは、その層
の中の各ピクセル位置ごとの輝度値を決定し、この輝度
値は、互いに位置揃えした夫々のピクセルの輝度値の組
合せに基づいた値である。そのためにこのシステムはそ
れらピクセルの輝度値を積算し、即ち、それら輝度値を
時間の流れの中で結合し、そして、その結合における中
央値を算出する。続いてこのシステムは、算出したその
中央値を、その層の中の対応するピクセル位置に割当て
る。これによって層の輝度マップが得られる。続いてこ
のシステムは、残りの各層について位置揃えとピクセル
輝度値の算出とを反復して実行し、それによって、各層
ごとに、その層に関する輝度値マップを作成する。
【００１３】あるフレームにおいて他のものに覆い隠さ
れているピクセルの輝度値は、層の輝度値の算出に使用
しないようにしている。このシステムは、各々の層の輝
度値の算出に使用したピクセルの個数をカウントしてお
り、輝度値の算出に使用された寄与ピクセルの個数が多
い層を、輝度値の算出に使用された寄与ピクセルの個数
が少ない層よりも手前に置くようにして、層どうしの間
の順序付けを行なう。続いてこのシステムは、輝度値マ
ップと、修正後運動パラメータと、順序付け情報とを、
１つの層として格納する。
れているピクセルの輝度値は、層の輝度値の算出に使用
しないようにしている。このシステムは、各々の層の輝
度値の算出に使用したピクセルの個数をカウントしてお
り、輝度値の算出に使用された寄与ピクセルの個数が多
い層を、輝度値の算出に使用された寄与ピクセルの個数
が少ない層よりも手前に置くようにして、層どうしの間
の順序付けを行なう。続いてこのシステムは、輝度値マ
ップと、修正後運動パラメータと、順序付け情報とを、
１つの層として格納する。
【００１４】格納されている複数の層に復号処理を施し
て、それらを１つの画像シーケンスにするためには、復
号器が、先ず、それら層を順序付け情報に従って重ね合
わせて１つの画像を生成し、続いてその画像に対し、格
納されている運動パラメータに従ってワープ処理を施す
ことによって、画像フレーム・シーケンスを生成する。
層抽出を実行した際に、層の中の全てのピクセル位置の
各々に１つずつ輝度値を付与してあるため、フレーム・
シーケンスの一部分においてある領域のある部分が他の
ものに覆い隠されている場合でも、その覆い隠されてい
る部分は、輝度値マップの中では、覆い隠された状態か
ら回復されて表現されている。従って、覆い隠している
側の物体に対応した層を排除して、その覆い隠している
側の物体をフレーム・シーケンスから消去することがで
き、そうすることによって、本来は部分的に覆い隠され
ていた物体を完全な姿で生成することができる。このシ
ステムは、それら層を利用して、「超高解像度」の画像
シーケンス、あるいは、フレーム・レートを異ならせた
画像シーケンスを生成することもでき、それが可能であ
るのは、このシステムは、画像シーケンスの全体を通し
ての夫々のコヒーレント運動領域及びそれらコヒーレン
ト運動領域の中の個々のピクセルの算出された運動に基
づき、補間法を用いて、中間ピクセル及び／または中間
フレームを正確に生成することができるからである。
て、それらを１つの画像シーケンスにするためには、復
号器が、先ず、それら層を順序付け情報に従って重ね合
わせて１つの画像を生成し、続いてその画像に対し、格
納されている運動パラメータに従ってワープ処理を施す
ことによって、画像フレーム・シーケンスを生成する。
層抽出を実行した際に、層の中の全てのピクセル位置の
各々に１つずつ輝度値を付与してあるため、フレーム・
シーケンスの一部分においてある領域のある部分が他の
ものに覆い隠されている場合でも、その覆い隠されてい
る部分は、輝度値マップの中では、覆い隠された状態か
ら回復されて表現されている。従って、覆い隠している
側の物体に対応した層を排除して、その覆い隠している
側の物体をフレーム・シーケンスから消去することがで
き、そうすることによって、本来は部分的に覆い隠され
ていた物体を完全な姿で生成することができる。このシ
ステムは、それら層を利用して、「超高解像度」の画像
シーケンス、あるいは、フレーム・レートを異ならせた
画像シーケンスを生成することもでき、それが可能であ
るのは、このシステムは、画像シーケンスの全体を通し
ての夫々のコヒーレント運動領域及びそれらコヒーレン
ト運動領域の中の個々のピクセルの算出された運動に基
づき、補間法を用いて、中間ピクセル及び／または中間
フレームを正確に生成することができるからである。
【００１５】
【実施例】本発明の以上の利点、並びにその他の利点
は、添付図面と共に以下の説明を参照することによって
更に明瞭に理解することができる。図１は、Motion Pic
tureExpert Group （ＭＰＥＧ）が製作した「Flower Ga
rden （花園）」というタイトルの作品の、一連のフレ
ームから成るフレーム・シーケンスのうちの３枚のフレ
ームの画像を図示している。以下に、これらフレームを
参照しつつ、「画像の層」の概念について更に詳細に説
明して行く。
は、添付図面と共に以下の説明を参照することによって
更に明瞭に理解することができる。図１は、Motion Pic
tureExpert Group （ＭＰＥＧ）が製作した「Flower Ga
rden （花園）」というタイトルの作品の、一連のフレ
ームから成るフレーム・シーケンスのうちの３枚のフレ
ームの画像を図示している。以下に、これらフレームを
参照しつつ、「画像の層」の概念について更に詳細に説
明して行く。
【００１６】それらのフレームは、１つの撮影シーンを
横切って移動するカメラから発生された一連のフレーム
から成るフレーム・シーケンスの一部分であり、前景の
立ち木１と、中景の地面の花園２と、背景の家並み３と
を含んでいる。立ち木１、花園２、それに家並み３とい
う夫々の物体は、このフレーム・シーケンスの中で時間
的コヒーレンシーを有しており、時間的コヒーレンシー
を有しているというのは、それら物体がその形状ないし
テクスチャのパターンを時間の経過と共にゆっくりと変
化させているという意味である。それら物体は更に、こ
のフレーム・シーケンスの中で空間的コヒーレンシーを
有しており、空間的コヒーレンシーを有しているという
のは、それら物体が、異なったフレームでは異なった部
分が覆い隠されているため、その部分に関する情報が後
のフレームでは含まれたり含まれなかったりしているに
もかかわらず、このフレーム・シーケンスの全体に亙っ
てその形状ないしテクスチャのパターンを滑らかに変形
させつつ変化させているという意味である。立ち木１、
花園２、それに家並み３は、カメラに対する相対位置が
互いに異なっているため、このフレーム・シーケンスの
全体に亙って夫々に異なった運動をしている。
横切って移動するカメラから発生された一連のフレーム
から成るフレーム・シーケンスの一部分であり、前景の
立ち木１と、中景の地面の花園２と、背景の家並み３と
を含んでいる。立ち木１、花園２、それに家並み３とい
う夫々の物体は、このフレーム・シーケンスの中で時間
的コヒーレンシーを有しており、時間的コヒーレンシー
を有しているというのは、それら物体がその形状ないし
テクスチャのパターンを時間の経過と共にゆっくりと変
化させているという意味である。それら物体は更に、こ
のフレーム・シーケンスの中で空間的コヒーレンシーを
有しており、空間的コヒーレンシーを有しているという
のは、それら物体が、異なったフレームでは異なった部
分が覆い隠されているため、その部分に関する情報が後
のフレームでは含まれたり含まれなかったりしているに
もかかわらず、このフレーム・シーケンスの全体に亙っ
てその形状ないしテクスチャのパターンを滑らかに変形
させつつ変化させているという意味である。立ち木１、
花園２、それに家並み３は、カメラに対する相対位置が
互いに異なっているため、このフレーム・シーケンスの
全体に亙って夫々に異なった運動をしている。
【００１７】図示した画像は、それにセグメンテーショ
ン処理を施すことによって、各層が夫々、立ち木１と、
家並み２と、花園３と、実質的に運動のない背景即ち空
４との各々に対応した、合計４つの層１ａ〜４ａに分け
ることができる。そして、そのように４つの層に分けた
ならば、それら４つの層１ａ〜４ａの各々をその層に付
随する運動パラメータに従って変形させつつ、それら４
つの層を合成することによって、このフレーム・シーケ
ンスを表わすということが可能になる。従ってそれら層
と、それら層の変形量と、時間の経過に従ったそれら層
の変形の仕方を記述した数式とで、この画像シーケンス
を表わすことによって、この画像シーケンスを圧縮形で
表わすことができる。ここでいう層とは、アニメーショ
ン用のセルのようなものであり、アニメーション用のセ
ルは、例えば、静止或いは運動している背景に対してそ
のセルを相対的にずらしたり平行移動させたりすること
によって、そのセルに描き込んである人物や物体の運動
を表現することができる。ただしここでいう層は、アニ
メーション用のセルとは異なり、それら層を利用するこ
とによって、アニメーション用のセルの平行移動よりは
るかに複雑な運動を表現することができる。
ン処理を施すことによって、各層が夫々、立ち木１と、
家並み２と、花園３と、実質的に運動のない背景即ち空
４との各々に対応した、合計４つの層１ａ〜４ａに分け
ることができる。そして、そのように４つの層に分けた
ならば、それら４つの層１ａ〜４ａの各々をその層に付
随する運動パラメータに従って変形させつつ、それら４
つの層を合成することによって、このフレーム・シーケ
ンスを表わすということが可能になる。従ってそれら層
と、それら層の変形量と、時間の経過に従ったそれら層
の変形の仕方を記述した数式とで、この画像シーケンス
を表わすことによって、この画像シーケンスを圧縮形で
表わすことができる。ここでいう層とは、アニメーショ
ン用のセルのようなものであり、アニメーション用のセ
ルは、例えば、静止或いは運動している背景に対してそ
のセルを相対的にずらしたり平行移動させたりすること
によって、そのセルに描き込んである人物や物体の運動
を表現することができる。ただしここでいう層は、アニ
メーション用のセルとは異なり、それら層を利用するこ
とによって、アニメーション用のセルの平行移動よりは
るかに複雑な運動を表現することができる。
【００１８】画像にセグメンテーション処理を施して複
数の層に分けるには、複数の物体の境界を判定すること
が、即ち、複数のコヒーレント運動領域を判定すること
が必要であり、また更にそれと同時に、それら領域の夫
々の運動を判定することも必要である。本発明者らは、
アフィン変換式を用いてそれらの運動を表わすことにし
たが、ただし、アフィン変換式に限らず、その他の種類
の、滑らかな低次の関数の集合を使用することも可能で
ある。アフィン運動モデルでは、ある運動を規定するの
に、平行移動、剪断変形、縮倍変形、ないしはそれらの
組合せとして規定するため、使用するパラメータの個数
は６個になる。例えば回転運動は、垂直剪断変形と水平
剪断変形との組合せである。
数の層に分けるには、複数の物体の境界を判定すること
が、即ち、複数のコヒーレント運動領域を判定すること
が必要であり、また更にそれと同時に、それら領域の夫
々の運動を判定することも必要である。本発明者らは、
アフィン変換式を用いてそれらの運動を表わすことにし
たが、ただし、アフィン変換式に限らず、その他の種類
の、滑らかな低次の関数の集合を使用することも可能で
ある。アフィン運動モデルでは、ある運動を規定するの
に、平行移動、剪断変形、縮倍変形、ないしはそれらの
組合せとして規定するため、使用するパラメータの個数
は６個になる。例えば回転運動は、垂直剪断変形と水平
剪断変形との組合せである。
【００１９】次に図２について説明すると、システム１
０は、データを符号化し、従って圧縮し、そしてその圧
縮したデータを復号化して画像を再生するシステムであ
り、符号器１２を含んでいる。符号器１２は、一連の画
像フレームから成る画像フレーム・シーケンスに対応し
たディジタル画像データを符号化して圧縮し、それによ
って、（ｉ）各層がその画像の中のコヒーレント運動領
域の１つずつを表わしている一連の順序付けされた複数
の層と、（ii）それら層の各々に付随する、１つのフレ
ームからその次のフレームへかけてのその層の変形を記
述した運動パラメータとを生成する。データ格納／伝送
装置１４は、様々な層とそれら層に付随する運動パラメ
ータとを表わしているデータを格納すると共に、その情
報を復号器１６へ伝送するものであり、復号器１６は、
それら様々な層を組み立てて１つの画像を生成した上、
更に、格納されていた運動パラメータに従って様々な層
をワープさせて行くことによって画像シーケンスを再生
する。続いて復号器１４は、このようにして復号化した
フレーム・シーケンスを、ビデオ・ディスプレイ・ユニ
ット（不図示）へ送出してディスプレイさせる。
０は、データを符号化し、従って圧縮し、そしてその圧
縮したデータを復号化して画像を再生するシステムであ
り、符号器１２を含んでいる。符号器１２は、一連の画
像フレームから成る画像フレーム・シーケンスに対応し
たディジタル画像データを符号化して圧縮し、それによ
って、（ｉ）各層がその画像の中のコヒーレント運動領
域の１つずつを表わしている一連の順序付けされた複数
の層と、（ii）それら層の各々に付随する、１つのフレ
ームからその次のフレームへかけてのその層の変形を記
述した運動パラメータとを生成する。データ格納／伝送
装置１４は、様々な層とそれら層に付随する運動パラメ
ータとを表わしているデータを格納すると共に、その情
報を復号器１６へ伝送するものであり、復号器１６は、
それら様々な層を組み立てて１つの画像を生成した上、
更に、格納されていた運動パラメータに従って様々な層
をワープさせて行くことによって画像シーケンスを再生
する。続いて復号器１４は、このようにして復号化した
フレーム・シーケンスを、ビデオ・ディスプレイ・ユニ
ット（不図示）へ送出してディスプレイさせる。
【００２０】次に図３について説明すると、符号器１２
は、局所運動判定部２２を含んでおり、この局所運動判
定部２２は、前後に連続した２枚のフレームｉとｉ＋１
との間における、ピクセルの小さなアレイ又はピクセル
近傍の中の運動を判定するものである。この近傍は、例
えば３ピクセル×３ピクセルのアレイとすることができ
る。判定部２２は、それら近傍の各々について、その平
均運動を表わす速度ベクトルを発生し、そしてその速度
ベクトルを、その近傍の中央に位置しているピクセルに
対応付ける。続いてこの判定部２２は、その次のピクセ
ルに対応した、先の近傍との間に重なり部を有する新た
な近傍を選択し、その平均運動ベクトルを決定し、そし
てその速度ベクトルを、その新たな近傍の中央に位置す
るピクセルに対応付ける。判定部２２は、以下同様に反
復実行して、画像中の全てのピクセルの各々に運動ベク
トルを対応付ける。これによって例えば図４に示したよ
うな、その画像の光学流れモデル又は稠密運動モデルが
得られる。以下に、図５及び図６を参照しつつ、この局
所運動判定部の動作について更に詳細に説明して行く。
は、局所運動判定部２２を含んでおり、この局所運動判
定部２２は、前後に連続した２枚のフレームｉとｉ＋１
との間における、ピクセルの小さなアレイ又はピクセル
近傍の中の運動を判定するものである。この近傍は、例
えば３ピクセル×３ピクセルのアレイとすることができ
る。判定部２２は、それら近傍の各々について、その平
均運動を表わす速度ベクトルを発生し、そしてその速度
ベクトルを、その近傍の中央に位置しているピクセルに
対応付ける。続いてこの判定部２２は、その次のピクセ
ルに対応した、先の近傍との間に重なり部を有する新た
な近傍を選択し、その平均運動ベクトルを決定し、そし
てその速度ベクトルを、その新たな近傍の中央に位置す
るピクセルに対応付ける。判定部２２は、以下同様に反
復実行して、画像中の全てのピクセルの各々に運動ベク
トルを対応付ける。これによって例えば図４に示したよ
うな、その画像の光学流れモデル又は稠密運動モデルが
得られる。以下に、図５及び図６を参照しつつ、この局
所運動判定部の動作について更に詳細に説明して行く。
【００２１】運動セグメンテーション処理部２４は、コ
ヒーレント運動領域判定部２４ａと運動判定部２４ｂと
で構成されており、それらは協働して、画像中の複数の
コヒーレント運動領域と、それら領域に付随する夫々の
運動モデルの集合とを同時に判定する。運動判定部２４
ｂは、コヒーレント運動領域判定部２４ａが識別した複
数のコヒーレント運動領域における夫々の運動を判定し
て、それら領域の各々に対応する１つずつの運動モデル
（例えばアフィン運動モデル）を生成する。続いて、運
動判定部２４ｂは、互いに類似した運動モデルどうしを
まとめてグループ化し、各グループごとに１つずつの合
成運動モデルを生成する。続いてコヒーレント運動領域
判定部２４ａが、個々の画像ピクセルをそれら合成運動
モデルに対応付けて行き、その際に、個々のピクセル
を、それら運動モデルのうち、そのピクセルの局所運動
を最も良く近似して表わしている運動モデルに対応付け
るようにする。この処理部は、これを行なうことによっ
て、更新したコヒーレント運動領域を生成する。この処
理部は、それら更新した領域を用いて更に新たな運動モ
デルを生成し、それによって更に領域を更新するという
ようにして、反復実行により更新を繰り返す。
ヒーレント運動領域判定部２４ａと運動判定部２４ｂと
で構成されており、それらは協働して、画像中の複数の
コヒーレント運動領域と、それら領域に付随する夫々の
運動モデルの集合とを同時に判定する。運動判定部２４
ｂは、コヒーレント運動領域判定部２４ａが識別した複
数のコヒーレント運動領域における夫々の運動を判定し
て、それら領域の各々に対応する１つずつの運動モデル
（例えばアフィン運動モデル）を生成する。続いて、運
動判定部２４ｂは、互いに類似した運動モデルどうしを
まとめてグループ化し、各グループごとに１つずつの合
成運動モデルを生成する。続いてコヒーレント運動領域
判定部２４ａが、個々の画像ピクセルをそれら合成運動
モデルに対応付けて行き、その際に、個々のピクセル
を、それら運動モデルのうち、そのピクセルの局所運動
を最も良く近似して表わしている運動モデルに対応付け
るようにする。この処理部は、これを行なうことによっ
て、更新したコヒーレント運動領域を生成する。この処
理部は、それら更新した領域を用いて更に新たな運動モ
デルを生成し、それによって更に領域を更新するという
ようにして、反復実行により更新を繰り返す。
【００２２】その反復実行の回数が所定回数に達した時
点で、或いは、ある反復実行によって得られたピクセル
の対応付けの結果が、その直前の反復実行によって得ら
れたピクセルの対応付けの結果と殆ど変わりないという
ことが最初に起きた時点で、処理部２４は、運動モデル
のパラメータと、夫々のコヒーレント運動領域を特定し
ている情報とを、そのときの処理対象のフレーム・ペア
のうちの後の方のフレーム、即ちフレームｉ＋１に対応
した格納位置に格納する。処理部２４は更に、こうして
特定されたコヒーレント運動領域を、続く次のフレーム
・ペア、即ちフレームｉ＋１及びｉ＋２を対象とした解
析における、コヒーレント運動領域の判定結果の初期値
として使用する。以下にこの運動セグメンテーション処
理部２４の動作について、図７を参照しつつ更に詳細に
説明して行く。
点で、或いは、ある反復実行によって得られたピクセル
の対応付けの結果が、その直前の反復実行によって得ら
れたピクセルの対応付けの結果と殆ど変わりないという
ことが最初に起きた時点で、処理部２４は、運動モデル
のパラメータと、夫々のコヒーレント運動領域を特定し
ている情報とを、そのときの処理対象のフレーム・ペア
のうちの後の方のフレーム、即ちフレームｉ＋１に対応
した格納位置に格納する。処理部２４は更に、こうして
特定されたコヒーレント運動領域を、続く次のフレーム
・ペア、即ちフレームｉ＋１及びｉ＋２を対象とした解
析における、コヒーレント運動領域の判定結果の初期値
として使用する。以下にこの運動セグメンテーション処
理部２４の動作について、図７を参照しつつ更に詳細に
説明して行く。
【００２３】局所運動判定部２２は、各々のフレーム・
ペアごとに、局所運動の判定の処理と各ピクセルに１つ
ずつの運動ベクトルを対応付ける処理とを行なって行
く。続いて、運動セグメンテーション処理部２４が、そ
の処理対象の画像のセグメンテーション処理を実行し
て、その画像を複数のコヒーレント運動領域に分ける。
この処理は、上述の処理手順に従って、先行フレーム・
ペアに関して識別された夫々のコヒーレント運動領域
を、現在フレーム・ペアにおける夫々のコヒーレント運
動領域の判定結果の初期値として使用して行なうもので
あり、これを次々と反復実行して、そのフレーム・シー
ケンスの中の全てのフレーム・ペアについての解析を完
了する。従ってこの処理部は、そのフレーム・シーケン
スの中にあってコヒーレント運動を行なっている夫々の
領域を特定すると共に、各々のフレーム・ペアごとに、
そのフレーム・ペアの第１のフレームから第２のフレー
ムへかけてのそれら夫々の領域の運動を記述した運動モ
デルの集合を決定する。
ペアごとに、局所運動の判定の処理と各ピクセルに１つ
ずつの運動ベクトルを対応付ける処理とを行なって行
く。続いて、運動セグメンテーション処理部２４が、そ
の処理対象の画像のセグメンテーション処理を実行し
て、その画像を複数のコヒーレント運動領域に分ける。
この処理は、上述の処理手順に従って、先行フレーム・
ペアに関して識別された夫々のコヒーレント運動領域
を、現在フレーム・ペアにおける夫々のコヒーレント運
動領域の判定結果の初期値として使用して行なうもので
あり、これを次々と反復実行して、そのフレーム・シー
ケンスの中の全てのフレーム・ペアについての解析を完
了する。従ってこの処理部は、そのフレーム・シーケン
スの中にあってコヒーレント運動を行なっている夫々の
領域を特定すると共に、各々のフレーム・ペアごとに、
そのフレーム・ペアの第１のフレームから第２のフレー
ムへかけてのそれら夫々の領域の運動を記述した運動モ
デルの集合を決定する。
【００２４】層抽出処理部２６は、フレーム・シーケン
スの中の全てのフレームの夫々に対応したコヒーレント
運動領域の情報とそのコヒーレント運動領域に付随した
運動モデルの情報とを結合して、各コヒーレント運動領
域ごとに１つずつの層を生成する。この処理部２６は、
先ず最初に、フレーム・シーケンスの中央に位置するフ
レームを選択し、その被選択フレームより先行している
フレーム及びその被選択フレームより後のフレームの各
々について、そのフレームの中の様々なコヒーレント運
動領域をどのように変形させれば、それらコヒーレント
運動領域を、被選択フレームの中のそれらに対応するコ
ヒーレント運動領域に位置揃えすることができるかを判
定する。そのためにこの処理部２６は、ある１つのフレ
ームの中のある１つのコヒーレント運動領域に付随して
いる運動パラメータを、そのフレームと被選択フレーム
との間に存在している中間フレームの中の同じ領域に付
随している運動パラメータと結合して、修正した運動パ
ラメータ集合を生成するようにしている。
スの中の全てのフレームの夫々に対応したコヒーレント
運動領域の情報とそのコヒーレント運動領域に付随した
運動モデルの情報とを結合して、各コヒーレント運動領
域ごとに１つずつの層を生成する。この処理部２６は、
先ず最初に、フレーム・シーケンスの中央に位置するフ
レームを選択し、その被選択フレームより先行している
フレーム及びその被選択フレームより後のフレームの各
々について、そのフレームの中の様々なコヒーレント運
動領域をどのように変形させれば、それらコヒーレント
運動領域を、被選択フレームの中のそれらに対応するコ
ヒーレント運動領域に位置揃えすることができるかを判
定する。そのためにこの処理部２６は、ある１つのフレ
ームの中のある１つのコヒーレント運動領域に付随して
いる運動パラメータを、そのフレームと被選択フレーム
との間に存在している中間フレームの中の同じ領域に付
随している運動パラメータと結合して、修正した運動パ
ラメータ集合を生成するようにしている。
【００２５】処理部２６は、こうして得られた修正後運
動パラメータを用いて、被選択フレームの中の領域に、
各々のフレームの中のそれに対応する夫々の領域を位置
揃えし、そして、その領域内の全てのピクセル位置の各
々に対する夫々の合成ピクセル輝度値を算出する。続い
てこのシステムは、決定したそれら輝度値を用いて、層
の輝度値マップを作成する。
動パラメータを用いて、被選択フレームの中の領域に、
各々のフレームの中のそれに対応する夫々の領域を位置
揃えし、そして、その領域内の全てのピクセル位置の各
々に対する夫々の合成ピクセル輝度値を算出する。続い
てこのシステムは、決定したそれら輝度値を用いて、層
の輝度値マップを作成する。
【００２６】処理部２６はそれら合成輝度値を算出する
際に、他のものに覆い隠されているピクセルの輝度値は
計算に用いないようにしている。従って、部分的に覆い
隠されている物体に対応している層では、合成輝度値を
算出するために結合するピクセル輝度値の個数が、そう
でない層と比べて少なくなっている。処理部２６は、合
成輝度値の算出に寄与しているピクセルの個数を数える
ことによって、層どうしの間の順序付けを行なうように
している。従って各々の層は、（ｉ）ピクセル輝度値の
マップと、（ii）被選択フレームからフレーム・シーケ
ンスの中のその他の各々のフレームへかけてのその層の
運動を規定した修正後運動パラメータの集合と、（ii
i）画像を復号化即ち再生する際に、その層をその他の
層とどのようにして合成すべきかを指示した層順序情報
（層深さ情報）とで構成されている。また、処理部２４
は、必要に応じて、各層の中に更に、減衰、運動ブレ、
等々に関する情報を含ませるようにもしている。続いて
処理部２６は、それらの層情報をデータ格納／伝送装置
１４（図１）へ送出して、格納及び／または伝送を行な
わせる。以下に、この層抽出処理部２６の動作につい
て、図９を参照しつつ更に詳細に説明して行く。
際に、他のものに覆い隠されているピクセルの輝度値は
計算に用いないようにしている。従って、部分的に覆い
隠されている物体に対応している層では、合成輝度値を
算出するために結合するピクセル輝度値の個数が、そう
でない層と比べて少なくなっている。処理部２６は、合
成輝度値の算出に寄与しているピクセルの個数を数える
ことによって、層どうしの間の順序付けを行なうように
している。従って各々の層は、（ｉ）ピクセル輝度値の
マップと、（ii）被選択フレームからフレーム・シーケ
ンスの中のその他の各々のフレームへかけてのその層の
運動を規定した修正後運動パラメータの集合と、（ii
i）画像を復号化即ち再生する際に、その層をその他の
層とどのようにして合成すべきかを指示した層順序情報
（層深さ情報）とで構成されている。また、処理部２４
は、必要に応じて、各層の中に更に、減衰、運動ブレ、
等々に関する情報を含ませるようにもしている。続いて
処理部２６は、それらの層情報をデータ格納／伝送装置
１４（図１）へ送出して、格納及び／または伝送を行な
わせる。以下に、この層抽出処理部２６の動作につい
て、図９を参照しつつ更に詳細に説明して行く。
【００２７】システム１０は、局所運動の判定結果から
出発して再び局所運動の判定結果へ帰るようにして、そ
れら局所運動に関係したコヒーレント運動領域の運動及
び境界の決定を反復して行なうことにより、画像の中の
複数のコヒーレント運動領域の内部における単一の運動
の判定を複数回に亙って行なって、その画像全体の中に
存在している複数の運動を解析するという課題を達成し
ている。このようにしているため、システム１０は、僅
かな数の層と、それら層に付随する運動パラメータと
で、画像データを表わすことが可能になっている。従っ
て、このシステム１０では、画像データを格納する際
に、従来公知のシステムにおいて必要とされていた記憶
容量よりも小さな記憶容量の中に格納することと、画像
データを伝送する際に、従来公知のシステムにおいて必
要とされていた帯域幅よりも狭い帯域幅で伝送するとい
うこととが、潜在的に可能になっている。例えば、３０
枚のフレームから成るフレーム・シーケンスを、各々が
複数の層から成る数枚の静止画像と、１つの層の１枚の
フレームについて６個ずつのパラメータとで表わすこと
ができる。
出発して再び局所運動の判定結果へ帰るようにして、そ
れら局所運動に関係したコヒーレント運動領域の運動及
び境界の決定を反復して行なうことにより、画像の中の
複数のコヒーレント運動領域の内部における単一の運動
の判定を複数回に亙って行なって、その画像全体の中に
存在している複数の運動を解析するという課題を達成し
ている。このようにしているため、システム１０は、僅
かな数の層と、それら層に付随する運動パラメータと
で、画像データを表わすことが可能になっている。従っ
て、このシステム１０では、画像データを格納する際
に、従来公知のシステムにおいて必要とされていた記憶
容量よりも小さな記憶容量の中に格納することと、画像
データを伝送する際に、従来公知のシステムにおいて必
要とされていた帯域幅よりも狭い帯域幅で伝送するとい
うこととが、潜在的に可能になっている。例えば、３０
枚のフレームから成るフレーム・シーケンスを、各々が
複数の層から成る数枚の静止画像と、１つの層の１枚の
フレームについて６個ずつのパラメータとで表わすこと
ができる。
【００２８】次に図３〜図６を参照しつつ説明すると、
局所運動判定部２２は、局所運動を判定するために、あ
る１枚のフレーム２０i からその次のフレーム２０i+1
へかけての、複数のピクセル３１から成る小さなアレイ
又は近傍３０の内部での運動を判定する。画像の運動の
大きさに関してはいかなる前提条件も存在していないた
め、即ち、その運動が小さい場合も大きい場合もあり得
るため、各々の近傍の内部の運動を判定するために、
「初めは粗く次第に細かく」という方式の運動判定方法
を用いるようにしており、それによって、大きな運動も
小さな運動もいずれも追跡できるようにしている。好適
実施例においては、この判定部２２は、マルチ・スケー
ル最小二乗法を用いたものにしている。基本的に、この
局所運動判定部２２は、画像から「ズーム」アウトする
ために、その画像に対応したガウス・ピラミッド（図
６）を形成し、即ち、大運動であっても小運動として検
出されるようになるまで、その画像の解像度を次第に低
下させた表示を次々と生成して行く。この判定部２２
は、エリアシングの発生を防止するために、２枚のフレ
ームの画像に対してガウス・フィルタを用いたフィルタ
処理を施すことによって、それら画像にボケを導入する
ようにしている。続いてこの判定部２２は、そのフィル
タ処理後データに対してサブサンプリング処理を施し、
即ち、そのフィルタ処理後データの、例えばその他の全
てのピクセル位置のデータ等の部分集合を抽出し、それ
によって、新たな画像２１i 及び２１i+1 の集合を形成
する。この判定部２２は、それら画像に対して更にフィ
ルタ処理を施し、そのフィルタ処理後データのサブサン
プリングを行なうことによって、更に低い解像度の画像
を生成して、適度に低い解像度の画像Ｉi 及びＩi+1 が
生成されるまで、この処理を反復実行する。
局所運動判定部２２は、局所運動を判定するために、あ
る１枚のフレーム２０i からその次のフレーム２０i+1
へかけての、複数のピクセル３１から成る小さなアレイ
又は近傍３０の内部での運動を判定する。画像の運動の
大きさに関してはいかなる前提条件も存在していないた
め、即ち、その運動が小さい場合も大きい場合もあり得
るため、各々の近傍の内部の運動を判定するために、
「初めは粗く次第に細かく」という方式の運動判定方法
を用いるようにしており、それによって、大きな運動も
小さな運動もいずれも追跡できるようにしている。好適
実施例においては、この判定部２２は、マルチ・スケー
ル最小二乗法を用いたものにしている。基本的に、この
局所運動判定部２２は、画像から「ズーム」アウトする
ために、その画像に対応したガウス・ピラミッド（図
６）を形成し、即ち、大運動であっても小運動として検
出されるようになるまで、その画像の解像度を次第に低
下させた表示を次々と生成して行く。この判定部２２
は、エリアシングの発生を防止するために、２枚のフレ
ームの画像に対してガウス・フィルタを用いたフィルタ
処理を施すことによって、それら画像にボケを導入する
ようにしている。続いてこの判定部２２は、そのフィル
タ処理後データに対してサブサンプリング処理を施し、
即ち、そのフィルタ処理後データの、例えばその他の全
てのピクセル位置のデータ等の部分集合を抽出し、それ
によって、新たな画像２１i 及び２１i+1 の集合を形成
する。この判定部２２は、それら画像に対して更にフィ
ルタ処理を施し、そのフィルタ処理後データのサブサン
プリングを行なうことによって、更に低い解像度の画像
を生成して、適度に低い解像度の画像Ｉi 及びＩi+1 が
生成されるまで、この処理を反復実行する。
【００２９】続いてこの判定部２２は、こうして得られ
た新たな画像Ｉi 及びＩi+1 の互いに対応する近傍どう
しの間の小運動を、公知の勾配方式の最小二乗判定法を
用いて判定する。従ってこの判定部２２は、その低解像
度の近傍に関して、画像Ｉiの中のその近傍３０の内部
の位置の関数としてピクセル輝度値を表わしている曲線
Ｆ（ｘ）と、画像Ｉi+1 の中のその近傍３０の内部の位
置の関数としてピクセル輝度値を表わしている曲線Ｇ
（ｘ）との間の「隔たり」を表わす、運動速度ベクトル
ｈを決定する。２次元最小二乗法という解析法を用い
て、以下の式を反復して解くことによって、Ｆ（Ｘ）か
らのＧ（Ｘ）の変位の大きさを表わすこのベクトルｈを
求めることができる。
た新たな画像Ｉi 及びＩi+1 の互いに対応する近傍どう
しの間の小運動を、公知の勾配方式の最小二乗判定法を
用いて判定する。従ってこの判定部２２は、その低解像
度の近傍に関して、画像Ｉiの中のその近傍３０の内部
の位置の関数としてピクセル輝度値を表わしている曲線
Ｆ（ｘ）と、画像Ｉi+1 の中のその近傍３０の内部の位
置の関数としてピクセル輝度値を表わしている曲線Ｇ
（ｘ）との間の「隔たり」を表わす、運動速度ベクトル
ｈを決定する。２次元最小二乗法という解析法を用い
て、以下の式を反復して解くことによって、Ｆ（Ｘ）か
らのＧ（Ｘ）の変位の大きさを表わすこのベクトルｈを
求めることができる。
【数１】 ここで、∂ｆ／∂ｘは勾配演算子であり、ｗ（ｘ）は、
その運動を判定しようとしているピクセルから遠く離れ
たピクセルほど寄与分が減少するようにするための重み
付け係数である。小運動を検出するための同様の方法
に、ときに「画像見当合わせ（image registration）と
呼ばれる方法があり、これについては Lucasと Kanade
による次の論文の中に詳細に記載されている：「An Ite
rative ImageRegistration Technique with an Applica
tion to Stereo Vision by Lucas and Kanade, Image U
nderstanding Workshop, April, 1981, pp.121-130
」。判定部２２は、運動を解析する際に、Ｇ（ｘ）
が、その新たな位置を占めるためにはどこから移動した
はずであるかという、元の位置を判定するようにしてお
り、即ち、「ワープ元」を解析するようにしている。従
ってこの判定部２２は、上掲のLucasと Kanade の論文
に記載されている方法の変形方法を用いているというこ
とができ、 Lucasと Kanade の論文に記載されている方
法では、運動を解析するのに、曲線がどこへ向かって運
動しているのか、即ち「ワープ先」を解析するようにし
ている。判定部２２は、「ワープ元」という方式を用い
て、運動の解析を行なうことによって、ピクセル１個分
の大きさ以下の小さな運動を、より正確に判定し得るも
のとなっている。
その運動を判定しようとしているピクセルから遠く離れ
たピクセルほど寄与分が減少するようにするための重み
付け係数である。小運動を検出するための同様の方法
に、ときに「画像見当合わせ（image registration）と
呼ばれる方法があり、これについては Lucasと Kanade
による次の論文の中に詳細に記載されている：「An Ite
rative ImageRegistration Technique with an Applica
tion to Stereo Vision by Lucas and Kanade, Image U
nderstanding Workshop, April, 1981, pp.121-130
」。判定部２２は、運動を解析する際に、Ｇ（ｘ）
が、その新たな位置を占めるためにはどこから移動した
はずであるかという、元の位置を判定するようにしてお
り、即ち、「ワープ元」を解析するようにしている。従
ってこの判定部２２は、上掲のLucasと Kanade の論文
に記載されている方法の変形方法を用いているというこ
とができ、 Lucasと Kanade の論文に記載されている方
法では、運動を解析するのに、曲線がどこへ向かって運
動しているのか、即ち「ワープ先」を解析するようにし
ている。判定部２２は、「ワープ元」という方式を用い
て、運動の解析を行なうことによって、ピクセル１個分
の大きさ以下の小さな運動を、より正確に判定し得るも
のとなっている。
【００３０】画像Ｉi 及びＩi+1 についての小運動解析
によって判定された運動情報は、ガウス・ピラミッドに
おける１つ上の階層へ伝播され、この階層において、よ
り高い解像度を有するそれら画像を用いて運動解析が行
なわれる。この階層の第１番目の画像は、基本的に、そ
れより１段階低い解像度の階層で判定された運動に対応
した位置へ変位しており、即ちワープされており、この
画像について小運動解析を再び実行する。それによって
新たな判定結果が得られたならば、その判定結果を、ガ
ウス・ピラミッドの更に１つ上の階層へ伝播させ、そし
て、その階層における運動解析を実行し、最終的には、
解像度を低下させる前の元の解像度を有する画像の、被
選択近傍の中での運動が判定されることになる。図６Ｂ
には、階層数が３層のピラミッドを示した。
によって判定された運動情報は、ガウス・ピラミッドに
おける１つ上の階層へ伝播され、この階層において、よ
り高い解像度を有するそれら画像を用いて運動解析が行
なわれる。この階層の第１番目の画像は、基本的に、そ
れより１段階低い解像度の階層で判定された運動に対応
した位置へ変位しており、即ちワープされており、この
画像について小運動解析を再び実行する。それによって
新たな判定結果が得られたならば、その判定結果を、ガ
ウス・ピラミッドの更に１つ上の階層へ伝播させ、そし
て、その階層における運動解析を実行し、最終的には、
解像度を低下させる前の元の解像度を有する画像の、被
選択近傍の中での運動が判定されることになる。図６Ｂ
には、階層数が３層のピラミッドを示した。
【００３１】以上の局所運動解析を、画像中の全てのピ
クセルの各々について行なうことによって、その画像の
光学流れ運動モデル又は稠密運動モデル（図４）が作成
される。上述の近傍の寸法は、この「初めは粗く次第に
細かく」という方式の運動検出法を用いたときに、小運
動のディテールが失われることもなく、また、大運動の
検出も正確に行なえるような寸法に選定する。
クセルの各々について行なうことによって、その画像の
光学流れ運動モデル又は稠密運動モデル（図４）が作成
される。上述の近傍の寸法は、この「初めは粗く次第に
細かく」という方式の運動検出法を用いたときに、小運
動のディテールが失われることもなく、また、大運動の
検出も正確に行なえるような寸法に選定する。
【００３２】次に図７について説明すると、運動モデル
判定部２４ｂ（図３）の一部をなしているアフィン運動
モデル判定部３２は、局所運動判定部２４（図３）が生
成した稠密運動モデルの解釈を行なって、フレーム・ペ
ア（ｉ、ｉ＋１）に関するコヒーレント運動領域の夫々
のアフィン運動モデルを表わす判定結果を生成する。物
体の形状に関する初期制約条件は存在しておらず、従っ
てコヒーレント運動領域の判定結果の初期値は存在しな
いため、上述の処理部は、フレーム・シーケンスの中の
フレーム０とフレーム１とに関連しているコヒーレント
運動領域の判定結果の初期値としては、各々がｎピクセ
ル×ｍピクセルの寸法のｒ個の矩形ブロックから成るグ
リッドを用いる。続いてこの処理部は、コヒーレント運
動領域の各々の内部の運動を、次の形のアフィン変形式
としてモデル化する。
判定部２４ｂ（図３）の一部をなしているアフィン運動
モデル判定部３２は、局所運動判定部２４（図３）が生
成した稠密運動モデルの解釈を行なって、フレーム・ペ
ア（ｉ、ｉ＋１）に関するコヒーレント運動領域の夫々
のアフィン運動モデルを表わす判定結果を生成する。物
体の形状に関する初期制約条件は存在しておらず、従っ
てコヒーレント運動領域の判定結果の初期値は存在しな
いため、上述の処理部は、フレーム・シーケンスの中の
フレーム０とフレーム１とに関連しているコヒーレント
運動領域の判定結果の初期値としては、各々がｎピクセ
ル×ｍピクセルの寸法のｒ個の矩形ブロックから成るグ
リッドを用いる。続いてこの処理部は、コヒーレント運
動領域の各々の内部の運動を、次の形のアフィン変形式
としてモデル化する。
【数２】 これらの式において、Ｖx とＶy とは夫々、位置（ｘ，
ｙ）に存在しているピクセルの運動速度ベクトルのｘ成
分とｙ成分とであり、また、ａk は、ｘ方向ないしｙ方
向における、夫々、平行移動、剪断変形、及び傾斜変形
を表わすアフィン・パラメータである。
ｙ）に存在しているピクセルの運動速度ベクトルのｘ成
分とｙ成分とであり、また、ａk は、ｘ方向ないしｙ方
向における、夫々、平行移動、剪断変形、及び傾斜変形
を表わすアフィン・パラメータである。
【００３３】判定部３２は、線形回帰法を用いることに
よって、アフィン運動パラメータの判定結果の値を、そ
れに関係している局所運動ベクトルから求めるようにし
ている。また、計算量を減らすために、各々の速度成分
ごとに個別にこの線形回帰法を適用するようにしてお
り、これが可能であるのは各々の速度成分が互いに独立
だからである。ここで、Ｈi を、アフィン・パラメータ
空間内のアフィン・パラメータの第ｉ番目の判定結果の
値とし、そのｘ成分とｙ成分とを、ＨxiとＨyiとし、更
にφを回帰ベクトルとするならば、以下の式が得られ
る。
よって、アフィン運動パラメータの判定結果の値を、そ
れに関係している局所運動ベクトルから求めるようにし
ている。また、計算量を減らすために、各々の速度成分
ごとに個別にこの線形回帰法を適用するようにしてお
り、これが可能であるのは各々の速度成分が互いに独立
だからである。ここで、Ｈi を、アフィン・パラメータ
空間内のアフィン・パラメータの第ｉ番目の判定結果の
値とし、そのｘ成分とｙ成分とを、ＨxiとＨyiとし、更
にφを回帰ベクトルとするならば、以下の式が得られ
る。
【数３】 以上の式において、Ｐi はその画像中の第ｉ番目の領域
である。これは、基本的に、速度空間内における平面の
当てはめに他ならない。
である。これは、基本的に、速度空間内における平面の
当てはめに他ならない。
【００３４】アフィン・パラメータ判定部３２は、ある
領域についてのアフィン運動パラメータの判定値を得た
ならば、従って、その領域に対応した運動モデルを判定
したならば、それに続いて、その運動モデルを、その運
動に対応している複数の局所運動の判定結果の夫々と比
較することによって、その領域の全域に亙る分散の値を
算出する。続いて、この判定部３２は、その分散の値の
逆数である信頼性等級をその運動モデルに付与する。信
頼性等級が低い判定結果は「悪い」判定結果であると見
なされ、無視されることになる。「悪い」判定結果は、
典型的な例としては、１つないし２つ以上の物体境界を
含んでいる領域に付随するものであり、なぜならば、そ
のような領域の中に存在している２つの運動が単一のア
フィン運動モデルには適合するということは、通常あり
得ないからである。
領域についてのアフィン運動パラメータの判定値を得た
ならば、従って、その領域に対応した運動モデルを判定
したならば、それに続いて、その運動モデルを、その運
動に対応している複数の局所運動の判定結果の夫々と比
較することによって、その領域の全域に亙る分散の値を
算出する。続いて、この判定部３２は、その分散の値の
逆数である信頼性等級をその運動モデルに付与する。信
頼性等級が低い判定結果は「悪い」判定結果であると見
なされ、無視されることになる。「悪い」判定結果は、
典型的な例としては、１つないし２つ以上の物体境界を
含んでいる領域に付随するものであり、なぜならば、そ
のような領域の中に存在している２つの運動が単一のア
フィン運動モデルには適合するということは、通常あり
得ないからである。
【００３５】初期値として用いる領域の寸法は、ある１
つの領域が物体境界を包含する確率を低く抑えることが
できる充分に小さな寸法とする一方で、その領域に付随
するアフィン運動パラメータの合理的な判定値を得るた
めの基礎となるデータが充分に含まれるような充分に大
きな寸法となるように選定している。
つの領域が物体境界を包含する確率を低く抑えることが
できる充分に小さな寸法とする一方で、その領域に付随
するアフィン運動パラメータの合理的な判定値を得るた
めの基礎となるデータが充分に含まれるような充分に大
きな寸法となるように選定している。
【００３６】アフィン・パラメータ判定部３２は、設定
した上述のグリッドをなしている複数の矩形ブロックの
各々に対して１つずつ、合計ｒ個の運動モデルを生成す
る。それら運動モデルのうちには、互いに同じ物体に対
応した運動モデルであるものがあり、そのような運動モ
デルどうしは互いに類似しているはずである。従ってそ
のような運動モデルを１つにまとめるようにすれば、画
像のセグメンテーション処理の精度を更に高めることが
できる。
した上述のグリッドをなしている複数の矩形ブロックの
各々に対して１つずつ、合計ｒ個の運動モデルを生成す
る。それら運動モデルのうちには、互いに同じ物体に対
応した運動モデルであるものがあり、そのような運動モ
デルどうしは互いに類似しているはずである。従ってそ
のような運動モデルを１つにまとめるようにすれば、画
像のセグメンテーション処理の精度を更に高めることが
できる。
【００３７】再び図６について説明すると、クラスタ化
処理部３４は、ｒ個のアフィン運動モデルの夫々に付随
するパラメータを受け取り、それらのうちで最も信頼性
の高い方からＣ個の運動モデルを、クラスタ化「中心」
の初期値として選択する。選択するそれら中心の各々
は、その他のいずれの中心からも、少なくとも、アフィ
ン・パラメータ空間における正規化距離の最小値として
定めた所定距離だけ離れていなければならない。
処理部３４は、ｒ個のアフィン運動モデルの夫々に付随
するパラメータを受け取り、それらのうちで最も信頼性
の高い方からＣ個の運動モデルを、クラスタ化「中心」
の初期値として選択する。選択するそれら中心の各々
は、その他のいずれの中心からも、少なくとも、アフィ
ン・パラメータ空間における正規化距離の最小値として
定めた所定距離だけ離れていなければならない。
【００３８】クラスタ化処理部３４は、ｋ平均クラスタ
化法を用いて、選択した各々の中心から所定半径以内に
存在している運動モデルをまとめてグループ化し、それ
によってＣ個の初期クラスタを形成する。続いてこの処
理部３４は、所定個数未満の運動モデルしか含んでいな
いクラスタを無視して、それ以外の夫々のクラスタにつ
いて、新たなクラスタ中心の判定値を生成する。即ち、
この処理部３４は、任意の１つのクラスタに関して、そ
のクラスタの中に含まれている複数の運動モデルの各々
に付随している夫々のアフィン・パラメータの平均値を
求め、それら平均値を新たな中心のパラメータとして使
用する。それら平均値に対して、運動モデルに付随して
いる信頼性等級値で重み付けをすることが適当である場
合には、そのようにしても良い。
化法を用いて、選択した各々の中心から所定半径以内に
存在している運動モデルをまとめてグループ化し、それ
によってＣ個の初期クラスタを形成する。続いてこの処
理部３４は、所定個数未満の運動モデルしか含んでいな
いクラスタを無視して、それ以外の夫々のクラスタにつ
いて、新たなクラスタ中心の判定値を生成する。即ち、
この処理部３４は、任意の１つのクラスタに関して、そ
のクラスタの中に含まれている複数の運動モデルの各々
に付随している夫々のアフィン・パラメータの平均値を
求め、それら平均値を新たな中心のパラメータとして使
用する。それら平均値に対して、運動モデルに付随して
いる信頼性等級値で重み付けをすることが適当である場
合には、そのようにしても良い。
【００３９】もし、新たな中心のうちの、ある２つの中
心の間の距離が、アフィン・パラメータ空間内の所定の
離隔距離だけ離れていなかったならば、それら２つの中
心に対応しているクラスタどうしを併合した上、その併
合クラスタに対応した新たな１つの中心を算出する。ク
ラスタ化処理部３４は、このクラスタ化の処理を行なっ
ている間に、もはや処理結果に変化が生じなくなったな
らば、その処理結果として得られたｑ個（ｑ≦ｒ）のア
フィン運動モデルを、仮説検定部３６へ受け渡し、この
仮説検定部３６が、夫々のピクセルを個別に、それら運
動モデルの各々と突き合わせて、最良のピクセル−運動
モデル間の一致を判定し、即ち、それら運動モデルのう
ちのどの運動モデルが、そのピクセルの局所運動の判定
結果を最も良く近似して表わしているかを判定する。
心の間の距離が、アフィン・パラメータ空間内の所定の
離隔距離だけ離れていなかったならば、それら２つの中
心に対応しているクラスタどうしを併合した上、その併
合クラスタに対応した新たな１つの中心を算出する。ク
ラスタ化処理部３４は、このクラスタ化の処理を行なっ
ている間に、もはや処理結果に変化が生じなくなったな
らば、その処理結果として得られたｑ個（ｑ≦ｒ）のア
フィン運動モデルを、仮説検定部３６へ受け渡し、この
仮説検定部３６が、夫々のピクセルを個別に、それら運
動モデルの各々と突き合わせて、最良のピクセル−運動
モデル間の一致を判定し、即ち、それら運動モデルのう
ちのどの運動モデルが、そのピクセルの局所運動の判定
結果を最も良く近似して表わしているかを判定する。
【００４０】検定部３６は、この仮説検定を実行する間
に、各ピクセルをそのピクセルの位置において誤差を最
小にする運動モデルに割当てて行くが、それには、次の
式で示す値を最小にする運動モデルを選択するようにす
る。
に、各ピクセルをそのピクセルの位置において誤差を最
小にする運動モデルに割当てて行くが、それには、次の
式で示す値を最小にする運動モデルを選択するようにす
る。
【数４】 ここで、Ｖactual（ｘ，ｙ）は、局所運動ベクトルのベ
クトル場であり、また、ＶHiは第ｉ番目の運動モデル又
は仮説に対応したアフィン運動の場であって、運動モデ
ルｉ＝０、１、...、 ｑの検定を行う。位置（ｘ，ｙ）に
あるピクセルは、その位置においてそのピクセルの局所
運動を最も良く近似して表わしている運動モデルに割当
てるようにする。いずれの運動モデルとの間で算出した
誤差も所定の最小値を超えているピクセルが存在してい
た場合には、検定部３６は、そのピクセルを割当てない
ままにしておく。続いて検定部３６は、画像のセグメン
テーション処理を実行し、それには、１つ１つのピクセ
ルごとに仕分けを行なって、ｑ個の領域と１つないし複
数の未割当てピクセルとに分ける。検定部３６は、未割
当てのピクセルの割当てを次のようにして行なっても良
く、即ち、フレームとフレームとの間におけるそのピク
セルの輝度値の変化量を、夫々の運動モデルによって予
測される夫々の輝度値の変化量とを比較した上で、その
ピクセルの輝度値を所定の誤差の範囲内で最も良く近似
して予測している運動モデルに、そのピクセルを割当て
るというものである。従ってこのシステムは、あるピク
セルの局所運動の判定結果が悪い判定結果である場合で
も、そのピクセルをいずれかの領域に割り振ることがで
きる。
クトル場であり、また、ＶHiは第ｉ番目の運動モデル又
は仮説に対応したアフィン運動の場であって、運動モデ
ルｉ＝０、１、...、 ｑの検定を行う。位置（ｘ，ｙ）に
あるピクセルは、その位置においてそのピクセルの局所
運動を最も良く近似して表わしている運動モデルに割当
てるようにする。いずれの運動モデルとの間で算出した
誤差も所定の最小値を超えているピクセルが存在してい
た場合には、検定部３６は、そのピクセルを割当てない
ままにしておく。続いて検定部３６は、画像のセグメン
テーション処理を実行し、それには、１つ１つのピクセ
ルごとに仕分けを行なって、ｑ個の領域と１つないし複
数の未割当てピクセルとに分ける。検定部３６は、未割
当てのピクセルの割当てを次のようにして行なっても良
く、即ち、フレームとフレームとの間におけるそのピク
セルの輝度値の変化量を、夫々の運動モデルによって予
測される夫々の輝度値の変化量とを比較した上で、その
ピクセルの輝度値を所定の誤差の範囲内で最も良く近似
して予測している運動モデルに、そのピクセルを割当て
るというものである。従ってこのシステムは、あるピク
セルの局所運動の判定結果が悪い判定結果である場合で
も、そのピクセルをいずれかの領域に割り振ることがで
きる。
【００４１】こうして得られたｑ個の領域に基づいて、
アフィン・パラメータ判定部３２がアフィン・パラメー
タの値を更新する。そして、その更新されたアフィン・
パラメータの値に基づいて、クラスタ化処理部３４がク
ラスタ化処理を、仮説検定部３６が仮説検定処理を実行
することにより、今度はそれら領域が更新される。更
に、その更新された領域に基づいてアフィン運動モデル
の生成が再び行なわれ、こうして新たに生成されたアフ
ィン運動モデルを対象として再び上述のクラスタ化処理
と仮説検定処理とが実行される。この反復実行は、反復
実行して得られた領域が、その直前の実行によって得ら
れた領域と殆ど変化がなくなった時点か、或いは、反復
実行の回数が適当に定めた最大回数に達した時点で終了
する。以上の反復実行処理によって生成された、あるフ
レーム・ペアに関する最終的な更新された領域は、フレ
ーム・シーケンスの中のそれに続く次のフレーム・ペア
の画像の運動セグメンテーション処理のための領域の初
期値として使用される。
アフィン・パラメータ判定部３２がアフィン・パラメー
タの値を更新する。そして、その更新されたアフィン・
パラメータの値に基づいて、クラスタ化処理部３４がク
ラスタ化処理を、仮説検定部３６が仮説検定処理を実行
することにより、今度はそれら領域が更新される。更
に、その更新された領域に基づいてアフィン運動モデル
の生成が再び行なわれ、こうして新たに生成されたアフ
ィン運動モデルを対象として再び上述のクラスタ化処理
と仮説検定処理とが実行される。この反復実行は、反復
実行して得られた領域が、その直前の実行によって得ら
れた領域と殆ど変化がなくなった時点か、或いは、反復
実行の回数が適当に定めた最大回数に達した時点で終了
する。以上の反復実行処理によって生成された、あるフ
レーム・ペアに関する最終的な更新された領域は、フレ
ーム・シーケンスの中のそれに続く次のフレーム・ペア
の画像の運動セグメンテーション処理のための領域の初
期値として使用される。
【００４２】符号器１０（図３）が、連続するフレーム
・ペアの夫々に対応した運動モデルを次々と判定して行
く処理において実行する動作を、図８のフローチャート
に示した。局所運動判定部２２は、フレームｉからフレ
ームｉ＋１へかけての個々のピクセルの夫々の局所運動
を、マルチ・スケール勾配方式の方法を用いて判定して
行き、それによって画像の稠密運動モデルを生成する
（ステップ４０）。これに続いて、フレームｉ−１から
フレームｉへかけての運動の解析によって得られた複数
のコヒーレント運動領域に対応した、夫々のアフィン運
動パラメータを算出する（ステップ４２）。なお、その
とき解析しているのが、フレーム・シーケンスの中の第
１番目のフレーム・ペアである場合には、互いに重なり
部分を持たない任意の複数の領域を用いるようにする。
・ペアの夫々に対応した運動モデルを次々と判定して行
く処理において実行する動作を、図８のフローチャート
に示した。局所運動判定部２２は、フレームｉからフレ
ームｉ＋１へかけての個々のピクセルの夫々の局所運動
を、マルチ・スケール勾配方式の方法を用いて判定して
行き、それによって画像の稠密運動モデルを生成する
（ステップ４０）。これに続いて、フレームｉ−１から
フレームｉへかけての運動の解析によって得られた複数
のコヒーレント運動領域に対応した、夫々のアフィン運
動パラメータを算出する（ステップ４２）。なお、その
とき解析しているのが、フレーム・シーケンスの中の第
１番目のフレーム・ペアである場合には、互いに重なり
部分を持たない任意の複数の領域を用いるようにする。
【００４３】このシステムは、互いに類似している運動
モデルどうし、即ち、対応したパラメータ空間内におい
て所定の最小離隔距離よりも更に互いに近接して存在し
ている運動モデルどうしを、まとめてグループ化し、幾
つかのクラスタを形成する。最初のクラスタ中心は予め
定めてあり、中心間の距離がアフィン・パラメータ空間
内における所定離隔距離より小さいクラスタどうしは併
合し、一方、ある１つのクラスタに包含されている運動
モデルどうしが所定の最大正規化距離以上に互いから離
隔している場合には、そのクラスタを２つのクラスタに
分割する（ステップ４４）。続いてこのシステム１０
は、同じ１つのクラスタの中に包含されている複数の運
動モデルに付随している夫々のアフィン運動パラメータ
の平均値を求め、そして、各クラスタごとに、新たなア
フィン・パラメータ集合が付随した新たなクラスタ中心
を生成する（ステップ４６）。以上を更に反復実行する
ことによって、クラスタを繰り返し更新し、そして、あ
る反復実行をしたときに、それによって割当てを変更さ
れた運動モデルの個数が、所定個数に達しなくなった時
点で、或いは、反復実行の回数が適当に定めた最大回数
に達した時点で、反復実行を終了する（ステップ４６〜
４８）。
モデルどうし、即ち、対応したパラメータ空間内におい
て所定の最小離隔距離よりも更に互いに近接して存在し
ている運動モデルどうしを、まとめてグループ化し、幾
つかのクラスタを形成する。最初のクラスタ中心は予め
定めてあり、中心間の距離がアフィン・パラメータ空間
内における所定離隔距離より小さいクラスタどうしは併
合し、一方、ある１つのクラスタに包含されている運動
モデルどうしが所定の最大正規化距離以上に互いから離
隔している場合には、そのクラスタを２つのクラスタに
分割する（ステップ４４）。続いてこのシステム１０
は、同じ１つのクラスタの中に包含されている複数の運
動モデルに付随している夫々のアフィン運動パラメータ
の平均値を求め、そして、各クラスタごとに、新たなア
フィン・パラメータ集合が付随した新たなクラスタ中心
を生成する（ステップ４６）。以上を更に反復実行する
ことによって、クラスタを繰り返し更新し、そして、あ
る反復実行をしたときに、それによって割当てを変更さ
れた運動モデルの個数が、所定個数に達しなくなった時
点で、或いは、反復実行の回数が適当に定めた最大回数
に達した時点で、反復実行を終了する（ステップ４６〜
４８）。
【００４４】続いてこのシステムは、以上のようにして
得られた複数の運動モデルの各々に個々のピクセルを突
き合わせ、そして個々のピクセルを、それら運動モデル
のうちで、そのピクセルに対応した位置においてそのピ
クセルの局所運動を最も良く近似して表わしている運動
モデルに割当てる（ステップ５２）。これに関して、も
しあるピクセルｐを２つ以上の運動モデルが完全に同一
程度に近似して表わしていた場合には、そのピクセルｐ
を、そのピクセルｐに最も近い幾つかの画像ピクセルに
関連して判定された運動に基づいて生成された運動モデ
ルに割当てるようにしている。また、これと別の方法と
して、そのピクセルｐを、割当てられたピクセルの個数
が最大の運動モデルに割当てるようにしても良い。ある
ピクセルの局所運動を、どの運動モデルも、所定の最小
誤差（例えば±１ピクセル）以内の精度で近似していな
いという場合には、そのようなピクセルは、未割当てピ
クセルとして取扱うようにし、この種のピクセルは、輝
度値の変化量の解析によってその割当てを決定するよう
にしても良い。
得られた複数の運動モデルの各々に個々のピクセルを突
き合わせ、そして個々のピクセルを、それら運動モデル
のうちで、そのピクセルに対応した位置においてそのピ
クセルの局所運動を最も良く近似して表わしている運動
モデルに割当てる（ステップ５２）。これに関して、も
しあるピクセルｐを２つ以上の運動モデルが完全に同一
程度に近似して表わしていた場合には、そのピクセルｐ
を、そのピクセルｐに最も近い幾つかの画像ピクセルに
関連して判定された運動に基づいて生成された運動モデ
ルに割当てるようにしている。また、これと別の方法と
して、そのピクセルｐを、割当てられたピクセルの個数
が最大の運動モデルに割当てるようにしても良い。ある
ピクセルの局所運動を、どの運動モデルも、所定の最小
誤差（例えば±１ピクセル）以内の精度で近似していな
いという場合には、そのようなピクセルは、未割当てピ
クセルとして取扱うようにし、この種のピクセルは、輝
度値の変化量の解析によってその割当てを決定するよう
にしても良い。
【００４５】領域を更新したならばそのたびに、それら
領域のアフィン・パラメータの値を判定する処理手順
と、クラスタ化する処理手順と、ピクセル割当ての処理
手順とを反復実行し、それらによって、それら更新した
領域に更に更新を施し、これを反復実行して更新を繰り
返す。そして、新たに反復実行して得た領域が、その直
前の反復実行によって得た領域と殆ど変わらないものと
なったか、或いは、反復実行の回数が、適当に定めた最
大回数に達したならば、その時点で反復実行を終了する
（ステップ５４〜５８）。続いてこのシステムは、更新
して得たそれら領域を、続く次のフレーム・ペアにおけ
る複数の運動とそれら運動に付随する夫々のコヒーレン
ト運動領域とを解析するための初期条件として使用し、
これを次々と繰り返して全てのフレーム・ペアの解析を
完了する（ステップ６０〜６２）。解析が完了したフレ
ームの数が増えるにつれて、コヒーレント運動領域の判
定をより高精度で行なえるようになり、また、それら領
域に付随するアフィン・パラメータが安定して行く。従
って、新たなフレームにおける運動を解析するために必
要な時間は次第に短縮されて行く。
領域のアフィン・パラメータの値を判定する処理手順
と、クラスタ化する処理手順と、ピクセル割当ての処理
手順とを反復実行し、それらによって、それら更新した
領域に更に更新を施し、これを反復実行して更新を繰り
返す。そして、新たに反復実行して得た領域が、その直
前の反復実行によって得た領域と殆ど変わらないものと
なったか、或いは、反復実行の回数が、適当に定めた最
大回数に達したならば、その時点で反復実行を終了する
（ステップ５４〜５８）。続いてこのシステムは、更新
して得たそれら領域を、続く次のフレーム・ペアにおけ
る複数の運動とそれら運動に付随する夫々のコヒーレン
ト運動領域とを解析するための初期条件として使用し、
これを次々と繰り返して全てのフレーム・ペアの解析を
完了する（ステップ６０〜６２）。解析が完了したフレ
ームの数が増えるにつれて、コヒーレント運動領域の判
定をより高精度で行なえるようになり、また、それら領
域に付随するアフィン・パラメータが安定して行く。従
って、新たなフレームにおける運動を解析するために必
要な時間は次第に短縮されて行く。
【００４６】フレームｉ及びｉ＋１に関して判定された
夫々の領域に付随するアフィン・パラメータは、更に、
そのフレーム・シーケンスの中の続く次のフレームｉ＋
２における運動モデルとして使用するようにしても良
く、そうすることによってシステムを安定化させること
ができる。更に、それらアフィン・パラメータは、仮説
検定処理における、運動の予測値として使用することが
できる。例えば、続く次のフレームにまで同じ運動が継
続しているような場合には、ピクセルをその運動モデル
に容易に割当てることができ、そのため、収束させるた
めの反復実行の回数を減らすことができる。
夫々の領域に付随するアフィン・パラメータは、更に、
そのフレーム・シーケンスの中の続く次のフレームｉ＋
２における運動モデルとして使用するようにしても良
く、そうすることによってシステムを安定化させること
ができる。更に、それらアフィン・パラメータは、仮説
検定処理における、運動の予測値として使用することが
できる。例えば、続く次のフレームにまで同じ運動が継
続しているような場合には、ピクセルをその運動モデル
に容易に割当てることができ、そのため、収束させるた
めの反復実行の回数を減らすことができる。
【００４７】以上のようにしてコヒーレント運動領域の
識別を完了したならば、このシステムは、続いて、それ
ら領域に対応した夫々の層を抽出する処理を実行し、そ
のために、運動補償処理（ステップ６４）を実行する。
あるコヒーレント運動領域の境界とその領域に付随する
アフィン運動パラメータとが共に正確に判定されている
ならば、適当なアフィン変換式を用いて画像にワープ処
理を施すことによって、各フレームの中の互いに対応す
る領域どうしを位置揃えすることができる。従って、例
えば図１の立ち木等の物体を、適当なワープ処理を施し
たフレーム・シーケンスの中に静止させたままで、花壇
と家並みとを運動させるようにすることも可能である。
また、互いに異なったフレームの中の互いに同一の領域
の中に存在する対応するピクセルどうしを結合させて、
その領域に対応した層における輝度値を、その層の中の
各々のピクセル位置ごとに決定することができるように
している。
識別を完了したならば、このシステムは、続いて、それ
ら領域に対応した夫々の層を抽出する処理を実行し、そ
のために、運動補償処理（ステップ６４）を実行する。
あるコヒーレント運動領域の境界とその領域に付随する
アフィン運動パラメータとが共に正確に判定されている
ならば、適当なアフィン変換式を用いて画像にワープ処
理を施すことによって、各フレームの中の互いに対応す
る領域どうしを位置揃えすることができる。従って、例
えば図１の立ち木等の物体を、適当なワープ処理を施し
たフレーム・シーケンスの中に静止させたままで、花壇
と家並みとを運動させるようにすることも可能である。
また、互いに異なったフレームの中の互いに同一の領域
の中に存在する対応するピクセルどうしを結合させて、
その領域に対応した層における輝度値を、その層の中の
各々のピクセル位置ごとに決定することができるように
している。
【００４８】いずれのフレームであれ、１枚のフレーム
からだけでは得られないような情報を層に包含させるこ
とも可能であり、例えば、他のものによって覆い隠され
ている位置にあるピクセルの輝度値のような情報も、そ
のピクセルがフレーム・シーケンスの中のその他全ての
フレームにおいても同様に覆い隠されているのでない限
り、層に包含させることができる。尚、あるピクセルが
全てのフレームにおいて覆い隠されているような場合に
は、そのフレーム・シーケンスを正確に符号化すること
は要求されない。
からだけでは得られないような情報を層に包含させるこ
とも可能であり、例えば、他のものによって覆い隠され
ている位置にあるピクセルの輝度値のような情報も、そ
のピクセルがフレーム・シーケンスの中のその他全ての
フレームにおいても同様に覆い隠されているのでない限
り、層に包含させることができる。尚、あるピクセルが
全てのフレームにおいて覆い隠されているような場合に
は、そのフレーム・シーケンスを正確に符号化すること
は要求されない。
【００４９】次に図９について説明すると、層抽出処理
部２６（図３）は、層の輝度値マップを作成するため
に、フレーム・シーケンスの中の中央に位置するフレー
ムｆsを選択する。続いて層抽出処理部２６は、その他
のフレームのコヒーレント運動領域をこのフレームの対
応する領域に対して位置揃えし、それによって層抽出処
理部２６は、様々なフレームから得たピクセル情報を組
合せて、領域の輝度値マップ、又は層の輝度値マップを
生成することができるようになる。これを行なうため
に、このシステムは、フレーム・シーケンスの中の夫々
のフレームに付随している運動パラメータに修正を加え
て、そのフレームから被選択フレームへの運動を記述す
るパラメータを生成する（ステップ７２）。被選択フレ
ームよりも先行しているフレームｉについては、このシ
ステムは、そのフレームｉに付随しているアフィン・パ
ラメータＰi と、そのフレームｉから被選択フレームま
での間に存在している中間フレームに付随しているアフ
ィン・パラメータＰj （ここでｊ＝ｉ＋１、ｉ＋
２、... である）とを組合せて、フレームｉからフレー
ムｓへかけての運動を表わす修正後運動パラメータＰi
を生成する。説明を分かり易くするために、ｉ＝０、且
つ、ｓ＝２であるものと仮定し、従って、中間フレーム
が１枚だけであるものとし、また更に、Ｉ2 が画像デー
タを表わし、ｘ2 がピクセル位置を表わすものとすれ
ば、修正後アフィン・パラメータは、以下に示すように
定義される。
部２６（図３）は、層の輝度値マップを作成するため
に、フレーム・シーケンスの中の中央に位置するフレー
ムｆsを選択する。続いて層抽出処理部２６は、その他
のフレームのコヒーレント運動領域をこのフレームの対
応する領域に対して位置揃えし、それによって層抽出処
理部２６は、様々なフレームから得たピクセル情報を組
合せて、領域の輝度値マップ、又は層の輝度値マップを
生成することができるようになる。これを行なうため
に、このシステムは、フレーム・シーケンスの中の夫々
のフレームに付随している運動パラメータに修正を加え
て、そのフレームから被選択フレームへの運動を記述す
るパラメータを生成する（ステップ７２）。被選択フレ
ームよりも先行しているフレームｉについては、このシ
ステムは、そのフレームｉに付随しているアフィン・パ
ラメータＰi と、そのフレームｉから被選択フレームま
での間に存在している中間フレームに付随しているアフ
ィン・パラメータＰj （ここでｊ＝ｉ＋１、ｉ＋
２、... である）とを組合せて、フレームｉからフレー
ムｓへかけての運動を表わす修正後運動パラメータＰi
を生成する。説明を分かり易くするために、ｉ＝０、且
つ、ｓ＝２であるものと仮定し、従って、中間フレーム
が１枚だけであるものとし、また更に、Ｉ2 が画像デー
タを表わし、ｘ2 がピクセル位置を表わすものとすれ
ば、修正後アフィン・パラメータは、以下に示すように
定義される。
【数５】 この式は「ワープ元」を記述している式であり、この式
において、Ｖ2 ＝Ａ1 ＋Ｂ1 ｘ2 はアフィン変換式であ
り、更にここで、Ａ1 はフレーム１からフレーム２へか
けての定数アフィン・パラメータを表わし、Ｂ1 はフレ
ーム１からフレーム２へかけての変数アフィン・パラメ
ータの係数を表わしている。従って次のようになる。
において、Ｖ2 ＝Ａ1 ＋Ｂ1 ｘ2 はアフィン変換式であ
り、更にここで、Ａ1 はフレーム１からフレーム２へか
けての定数アフィン・パラメータを表わし、Ｂ1 はフレ
ーム１からフレーム２へかけての変数アフィン・パラメ
ータの係数を表わしている。従って次のようになる。
【数６】 以上の式において、Ａ0,2 は、フレーム０からフレーム
２へかけての定数アフィン・パラメータを表わし、Ｂ0,
2 は、フレーム０からフレーム２へかけての変数アフィ
ン・パラメータの係数を表わしている。被選択フレーム
よりも後のフレームに付随するパラメータを算出するに
は、以上に説明したのと同様にして、先ず、被選択フレ
ームｓからそのフレームｊへかけてのパラメータを算出
し、その後に、フレームｊからフレームｓへ戻るための
パラメータを以下の式によって求める。
２へかけての定数アフィン・パラメータを表わし、Ｂ0,
2 は、フレーム０からフレーム２へかけての変数アフィ
ン・パラメータの係数を表わしている。被選択フレーム
よりも後のフレームに付随するパラメータを算出するに
は、以上に説明したのと同様にして、先ず、被選択フレ
ームｓからそのフレームｊへかけてのパラメータを算出
し、その後に、フレームｊからフレームｓへ戻るための
パラメータを以下の式によって求める。
【数７】 これらの式において、Ｉは単位行列である。
【００５０】このシステムは、このようにして求めた修
正後運動パラメータを用いて、各々のフレームの中の処
理対象のコヒーレント運動領域を、被選択フレームｆs
の中の同じ領域に対して位置揃えする。続いてこのシス
テムは、それら各々のフレームの中の互いに対応するピ
クセル位置の輝度値を組合せるようにし、従って、ある
長さの時間に亙って輝度値を組合せ、それによって、ピ
クセル位置に各々ごとに輝度値の中央値を求める（ステ
ップ７４）。続いてこのシステムは、このようにして求
めた輝度値の中央値を、層の中の夫々のピクセル位置に
割当て、それによって、層の中の全てのピクセル位置の
各々に１つずつのピクセル輝度値を当てはめる（ステッ
プ７６）。
正後運動パラメータを用いて、各々のフレームの中の処
理対象のコヒーレント運動領域を、被選択フレームｆs
の中の同じ領域に対して位置揃えする。続いてこのシス
テムは、それら各々のフレームの中の互いに対応するピ
クセル位置の輝度値を組合せるようにし、従って、ある
長さの時間に亙って輝度値を組合せ、それによって、ピ
クセル位置に各々ごとに輝度値の中央値を求める（ステ
ップ７４）。続いてこのシステムは、このようにして求
めた輝度値の中央値を、層の中の夫々のピクセル位置に
割当て、それによって、層の中の全てのピクセル位置の
各々に１つずつのピクセル輝度値を当てはめる（ステッ
プ７６）。
【００５１】処理対象の領域におけるある特定のピクセ
ル位置が、あるフレームにおいては他のものに覆い隠さ
れているという場合には、その領域に関する輝度値中央
値の算出を行なう際に、その覆い隠されているピクセル
位置の輝度値は考慮しない。このシステムは、各々のピ
クセル位置に対応した輝度値中央値を算出する際にその
計算に使用したピクセルの総数を常に追跡している（ス
テップ７８）。そしてこのシステムは、その値の算出に
寄与したピクセルの個数に基づいて、複数の層を、画像
中の深さとして順序付けるようにしている。前景の物体
は決して他のものによって覆い隠されることがないた
め、その全てのピクセル位置において、算出に寄与した
ピクセルの個数が大きな数になっている。一方、他のも
のに覆い隠されている物体は、そのうちの幾つかのピク
セル位置において、寄与ピクセルの個数が小さな数にな
っている。従ってこのシステムは、覆い隠されている部
分を有する層を、覆い隠されている部分のない層の背後
に置くことによって、層の順序付けを行なうことができ
る。
ル位置が、あるフレームにおいては他のものに覆い隠さ
れているという場合には、その領域に関する輝度値中央
値の算出を行なう際に、その覆い隠されているピクセル
位置の輝度値は考慮しない。このシステムは、各々のピ
クセル位置に対応した輝度値中央値を算出する際にその
計算に使用したピクセルの総数を常に追跡している（ス
テップ７８）。そしてこのシステムは、その値の算出に
寄与したピクセルの個数に基づいて、複数の層を、画像
中の深さとして順序付けるようにしている。前景の物体
は決して他のものによって覆い隠されることがないた
め、その全てのピクセル位置において、算出に寄与した
ピクセルの個数が大きな数になっている。一方、他のも
のに覆い隠されている物体は、そのうちの幾つかのピク
セル位置において、寄与ピクセルの個数が小さな数にな
っている。従ってこのシステムは、覆い隠されている部
分を有する層を、覆い隠されている部分のない層の背後
に置くことによって、層の順序付けを行なうことができ
る。
【００５２】このシステムは、符号化処理によって複数
の層を生成するものであり、それら複数の層は、その各
々が、ピクセル輝度値マップと、修正後運動パラメータ
の集合と、順序付け情報とをを含んでいる。このシステ
ムはそれらの情報を、後に復号化処理を実行したり伝送
したりするために、格納しておくようにしている。
の層を生成するものであり、それら複数の層は、その各
々が、ピクセル輝度値マップと、修正後運動パラメータ
の集合と、順序付け情報とをを含んでいる。このシステ
ムはそれらの情報を、後に復号化処理を実行したり伝送
したりするために、格納しておくようにしている。
【００５３】それら複数の層は、このシステムに、フレ
ーム・シーケンスの中の１枚のフレームからだけでは得
られない情報を提供する。例えば、再び図１について説
明すると、視線を遮る立ち木が存在しているため、フレ
ーム・シーケンスの中に花園の全体が見えるフレームは
１枚も存在していないにもかかわらず、花園に対応した
層２ａは、花園の全てのピクセルを含んでいる。同様
に、家並みに対応した層３ａは、図示のフレーム・シー
ケンスの最後の部分に至らねば見えない家に関するピク
セル情報を含んでいる。このシステムは、これらピクセ
ル情報の全てを保持しているため、運動パラメータに補
間法を適用することによって、単位時間あたりのフレー
ム数を変化させる場合等に必要な中間フレームの生成を
行なうことができる。更にこのシステムは、認識システ
ムへデータを供給する際には、覆い隠されている部分を
解消した後にそのデータを供給することによって、その
認識システムが物体をより容易に認識できるようにする
ことができる。更にこのシステムは、物体の運動に基づ
いてその物体を認識するようにした認識システムへデー
タを提供するためのシステムとすることもでき、それに
は、その種の認識システムへ、処理対象の物体だけに関
係したデータを供給するようにする。
ーム・シーケンスの中の１枚のフレームからだけでは得
られない情報を提供する。例えば、再び図１について説
明すると、視線を遮る立ち木が存在しているため、フレ
ーム・シーケンスの中に花園の全体が見えるフレームは
１枚も存在していないにもかかわらず、花園に対応した
層２ａは、花園の全てのピクセルを含んでいる。同様
に、家並みに対応した層３ａは、図示のフレーム・シー
ケンスの最後の部分に至らねば見えない家に関するピク
セル情報を含んでいる。このシステムは、これらピクセ
ル情報の全てを保持しているため、運動パラメータに補
間法を適用することによって、単位時間あたりのフレー
ム数を変化させる場合等に必要な中間フレームの生成を
行なうことができる。更にこのシステムは、認識システ
ムへデータを供給する際には、覆い隠されている部分を
解消した後にそのデータを供給することによって、その
認識システムが物体をより容易に認識できるようにする
ことができる。更にこのシステムは、物体の運動に基づ
いてその物体を認識するようにした認識システムへデー
タを提供するためのシステムとすることもでき、それに
は、その種の認識システムへ、処理対象の物体だけに関
係したデータを供給するようにする。
【００５４】物体が不透明なものであれば、全ての画像
情報が層及び運動パラメータの中に包含されることにな
る。一方、画像のある１つの部分ないしは幾つかの部分
が透明である場合や、焦点ボケや運動ブレ等の「特殊効
果」を呈している場合には、そのような効果に関係した
追加情報を、別に格納しておくようにする。更には、そ
のような領域の縁部における透明度の変化をより正確に
表わすためには、更なる修正計算処理が必要になること
もあり得る。
情報が層及び運動パラメータの中に包含されることにな
る。一方、画像のある１つの部分ないしは幾つかの部分
が透明である場合や、焦点ボケや運動ブレ等の「特殊効
果」を呈している場合には、そのような効果に関係した
追加情報を、別に格納しておくようにする。更には、そ
のような領域の縁部における透明度の変化をより正確に
表わすためには、更なる修正計算処理が必要になること
もあり得る。
【００５５】ある領域が静止している場合、或いは、あ
る領域がテクスチャを持たない場合には、そのような領
域は、１つのフレームから別のフレームへかけて変形さ
れることのない単一の層に対応付けるようにしている。
そのような領域へ運動を対応付けることにおけるいかな
る誤りも、検出することは不可能であり、従って無視す
ることになる。
る領域がテクスチャを持たない場合には、そのような領
域は、１つのフレームから別のフレームへかけて変形さ
れることのない単一の層に対応付けるようにしている。
そのような領域へ運動を対応付けることにおけるいかな
る誤りも、検出することは不可能であり、従って無視す
ることになる。
【００５６】ある特定の運動が、選択した種類の運動式
（本実施例ではアフィン変換式）では正確に記述するこ
とができないような運動である場合には、その運動によ
って影響を受けるピクセルの輝度値を制御するための誤
差修正情報を層に含めておく必要がある。例えば、回転
することによってその姿が著しく変化する物体を記述し
ている層には、誤差マップを含めておくようにする。
（本実施例ではアフィン変換式）では正確に記述するこ
とができないような運動である場合には、その運動によ
って影響を受けるピクセルの輝度値を制御するための誤
差修正情報を層に含めておく必要がある。例えば、回転
することによってその姿が著しく変化する物体を記述し
ている層には、誤差マップを含めておくようにする。
【００５７】簡潔に要約するならば、このシステムは、
コヒーレント運動領域を判定するための解析の一部とし
て局所運動の判定を行なって、画像を符号化して一連の
複数の層にするものである。このシステムは、その解析
の対象を主運動や小運動に限ってはいない。更にこのシ
ステムは、物体の境界の割当てを行なったり、物体に境
界を任意に制限したりしてはいない。そうではなくて、
このシステムは、個々のピクセルを、そのピクセルの局
所運動を最も良く近似して予測している運動モデルに割
当てるようにしているのである。
コヒーレント運動領域を判定するための解析の一部とし
て局所運動の判定を行なって、画像を符号化して一連の
複数の層にするものである。このシステムは、その解析
の対象を主運動や小運動に限ってはいない。更にこのシ
ステムは、物体の境界の割当てを行なったり、物体に境
界を任意に制限したりしてはいない。そうではなくて、
このシステムは、個々のピクセルを、そのピクセルの局
所運動を最も良く近似して予測している運動モデルに割
当てるようにしているのである。
【００５８】画像にセグメンテーション処理を施して、
その画像を複数のコヒーレント運動領域に分け、その後
に、それら領域の各々を個別の層に対応付けるようにし
ているため、画像シーケンスを、一連の順序付けした複
数の層のマップとそれに付随する運動パラメータ集合と
いう形で格納しておけるようになっている。そのため非
常に僅かな記憶容量の中に画像を格納することができ、
また、非常に狭い帯域幅で画像を伝送することができ
る。
その画像を複数のコヒーレント運動領域に分け、その後
に、それら領域の各々を個別の層に対応付けるようにし
ているため、画像シーケンスを、一連の順序付けした複
数の層のマップとそれに付随する運動パラメータ集合と
いう形で格納しておけるようになっている。そのため非
常に僅かな記憶容量の中に画像を格納することができ、
また、非常に狭い帯域幅で画像を伝送することができ
る。
【００５９】このシステムは、各層に、その層の中の全
てのピクセル位置ごとに１つずつの輝度値を含ませるよ
うにしている。従って、このシステムにおいては、１枚
だけのフレームの中に存在している画像情報以上の量の
画像情報が入手可能となっている。このシステムは更
に、その情報を利用して、例えば特定の物体を消去した
画像シーケンスを生成することや、単位時間あたりのフ
レーム枚数が異なる「超高解像度」のフレーム・シーケ
ンスを生成することもできる。このシステムは更に、そ
の情報を利用して、ブレがなくなるように運動補償する
低ノイズ化処理を行なうことも可能にしている。
てのピクセル位置ごとに１つずつの輝度値を含ませるよ
うにしている。従って、このシステムにおいては、１枚
だけのフレームの中に存在している画像情報以上の量の
画像情報が入手可能となっている。このシステムは更
に、その情報を利用して、例えば特定の物体を消去した
画像シーケンスを生成することや、単位時間あたりのフ
レーム枚数が異なる「超高解像度」のフレーム・シーケ
ンスを生成することもできる。このシステムは更に、そ
の情報を利用して、ブレがなくなるように運動補償する
低ノイズ化処理を行なうことも可能にしている。
【図１】「花園（Flower Garden ）」という題名の画像
シーケンスの３枚のフレームとその画像シーケンスに対
応した、画像の複数の層を示した図である。
シーケンスの３枚のフレームとその画像シーケンスに対
応した、画像の複数の層を示した図である。
【図２】１つの画像を一連の複数の層として符号化及び
復号化するためのシステムの機能を示したブロック図で
ある。
復号化するためのシステムの機能を示したブロック図で
ある。
【図３】図２のシステムに含まれている符号器の機能を
示したブロック図である。
示したブロック図である。
【図４】図１に示したうちの１枚のフレームの稠密運動
モデルを示した図である。
モデルを示した図である。
【図５】局所運動の判定に用いるピクセル近傍を示した
図である。
図である。
【図６】ガウス・ピラミッドの中での画像の変化を示し
た図である。
た図である。
【図７】ガウス・ピラミッドの中での画像の変化を示し
た図である。
た図である。
【図８】図２のシステムに含まれている画像セグメンテ
ーション処理部の機能を示したブロック図である。
ーション処理部の機能を示したブロック図である。
【図９】図２のシステムに含まれている局所運動判定部
及び運動セグメンテーション処理部の動作を示したフロ
ーチャートであり、図１０へ続く図である。
及び運動セグメンテーション処理部の動作を示したフロ
ーチャートであり、図１０へ続く図である。
【図１０】図２のシステムに含まれている局所運動判定
部及び運動セグメンテーション処理部の動作を示したフ
ローチャートであり、図９から続く図である。
部及び運動セグメンテーション処理部の動作を示したフ
ローチャートであり、図９から続く図である。
【図１１】図２のシステムに含まれている層抽出処理部
の動作を示したフローチャートである。
の動作を示したフローチャートである。
１０ 符号化／復号化システム １２ 符号器 １４ データ格納／伝送装置 １６ 復号器 ２２ 局所運動判定部 ２４ 運動セグメンテーション処理部 ２４ａ コヒーレント運動領域判定部 ２４ｂ 運動モデル判定部 ２６ 層抽出処理部 ３２ アフィン運動モデル判定部 ３４ クラスタ化処理部 ３６ 仮説検定部
フロントページの続き (72)発明者 エドワード・エイチ・アデルソン アメリカ合衆国マサチューセッツ州02139, ケンブリッジ，フランクリン・ストリート 551，アパートメント ２
Claims (7)
- 【請求項１】 一連の画像フレームから成るフレーム・
シーケンスに関するディジタル画像データを符号化する
ためのシステムにおいて、 Ａ．連続したフレームにおける夫々のピクセル近傍の局
所運動判定結果を生成してそれに関連した稠密運動モデ
ルを生成する、局所運動判定部と、 Ｂ．前記局所運動判定結果に基づいてｉ．前記フレーム
・シーケンスの全体の中の、複数のコヒーレント運動領
域と、 ii．１つのフレームからその次のフレームへかけての、
それら領域の運動を表わす夫々の運動モデルと、 を決定する運動セグメンテーション処理部と、 Ｃ．前記複数のコヒーレント運動領域の各々について、
その領域に関する画像データの表示を生成する層抽出処
理部であって、生成するその画像データが、ピクセル輝
度値と、その他の層に対するその層の相対的な順序付け
と、運動とについて情報を含んでいるようにする層抽出
処理部と、 を備えたことを特徴とするシステム。 - 【請求項２】 前記運動セグメンテーション処理部が、 ａ．前記複数の領域の各々について、その領域のアフィ
ン運動モデルを生成する、アフィン運動判定部と、 ｂ．互いに類似した運動モデルどうしをグループ化して
複数のクラスタを形成し、それらクラスタの各々につい
て、そのクラスタのアフィン運動モデルを生成する、ク
ラスタ化処理部と、 ｃ．個々のピクセルを、前記運動モデルのうちで、その
ピクセルに対応した局所運動判定結果を最も良く近似し
て表わしている運動モデルに割当てる、ピクセル割当て
処理部と、 を含んでいることを特徴とする請求項１記載のシステ
ム。 - 【請求項３】 前記局所運動判定部が、 ａ．前記画像データにフィルタ処理を施して画像にブレ
ないしボケを加えるフィルタであって、フィルタ処理後
データを発生するようにしたフィルタと、 ｂ．前記フィルタ処理後データのサブサンプリングを行
なって、元の画像の解像度を低下させた低解像度版の画
像を生成する手段と、 ｃ．前記低解像度版の画像における選択したピクセル近
傍どうしの間の小運動の判定結果を定める手段と、 ｄ．前記低解像度版の画像における小運動の判定結果を
用いてその画像における対応したピクセル近傍の運動の
判定結果を定める手段と、 を含んでいることを特徴とする請求項１記載のシステ
ム。 - 【請求項４】 複数のフレームから成る画像シーケンス
の中の、複数のコヒーレント運動領域と、それら領域に
付随する運動とを判定する方法において、 Ａ．画像ピクセルの局所運動を判定する局所運動判定ス
テップと、 Ｂ．局所運動判定結果に基づいて、一連の画像フレーム
から成る画像シーケンスの全体の中の複数のコヒーレン
ト運動領域と、それらコヒーレント運動領域に関係し
た、フレームからフレームへかけての運動に対応した運
動パラメータとを判定するステップと、 Ｃ．前記複数のコヒーレント運動領域を夫々に個別の層
に対応付けるステップと、 Ｄ．それら層の各々ごとに、ピクセル輝度値と順序とに
関する情報を決定するステップと、 Ｅ．前記画像シーケンスを、各層がその層に関連した運
動情報を含んでいる一連の順序付けした複数の層として
格納するステップと、 を含んでいることを特徴とする方法。 - 【請求項５】 画像ピクセルの局所運動を判定する前記
局所運動判定ステップが、 ａ．前記画像データにフィルタ処理を施して画像にブレ
ないしボケを加えるステップであって、フィルタ処理後
データを発生するようにしたステップと、 ｂ．前記フィルタ処理後データのサブサンプリングを行
なって、元の画像の解像度を低下させた低解像度版の画
像を生成するステップと、 ｃ．前記低解像度版の画像における選択したピクセル近
傍どうしの間の小運動の判定結果を定めるステップと、 ｄ．前記低解像度版の画像における小運動の判定結果を
用いてその画像における対応したピクセル近傍の運動の
判定結果を定めるステップと、 を含んでいることを特徴とする請求項４記載の方法。 - 【請求項６】 画像にセグメンテーション処理を施して
複数のコヒーレント領域に分ける前記ステップが、 ａ．前記複数の領域の各々について、その領域のアフィ
ン運動モデルを判定するステップと、 ｂ．互いに類似した運動モデルどうしをグループ化して
複数のクラスタを形成し、それらクラスタの各々につい
て、そのクラスタの更新したアフィン運動モデルを生成
するステップと、 ｃ．個々のピクセルを、前記ステップｂで生成した運動
モデルのうちで、そのピクセルに対応した局所運動の判
定結果を最も良く近似して表わしている運動モデルに割
当てるステップと、 を含んでいることを特徴とする請求項４記載の方法。 - 【請求項７】 画像にセグメンテーション処理を施して
複数のコヒーレント領域に分ける前記ステップが、更
に、 ｄ．前記ステップｃにおいて個々のピクセルを運動モデ
ルに割当てることによって決定された複数の領域を用い
て、アフィン運動モデルの判定結果を更新するステップ
と、 ｅ．前記ステップｄにおいて判定したアフィン運動モデ
ルを用いて、運動モデルのクラスタを反復して更新する
ステップと、 ｆ．前記ステップｃ〜ｅを反復実行し、その反復実行の
回数が最大回数に達したか、或いは、連続する反復実行
の間で得られるクラスタに大きな変化が生じなくなった
ときに、その反復実行を終了するステップと、 を含んでいることを特徴とする請求項６記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US031642 | 1987-03-30 | ||
| US3164293A | 1993-03-15 | 1993-03-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0795592A true JPH0795592A (ja) | 1995-04-07 |
| JP3679426B2 JP3679426B2 (ja) | 2005-08-03 |
Family
ID=21860620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04405594A Expired - Lifetime JP3679426B2 (ja) | 1993-03-15 | 1994-03-15 | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5557684A (ja) |
| JP (1) | JP3679426B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0946704A (ja) * | 1995-07-28 | 1997-02-14 | Tsushin Hoso Kiko | 画像符号化方式 |
| CN1110957C (zh) * | 1995-07-21 | 2003-06-04 | 大宇电子株式会社 | 用运动模型的分层结构分割与估算移动目标的运动的方法 |
| JP2008310418A (ja) * | 2007-06-12 | 2008-12-25 | Nikon Corp | 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ |
| JP2009510929A (ja) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | より正確な動作情報を用いたフレーム補間 |
| JP2009510939A (ja) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | 様々な移動モデルを用いた、エンコーダ支援されたフレームレートアップ変換 |
| JP2010500818A (ja) * | 2006-08-08 | 2010-01-07 | デジタル メディア カートリッジ，リミティド | 漫画アニメーション圧縮のためのシステムおよび方法 |
| WO2015173891A1 (ja) * | 2014-05-13 | 2015-11-19 | 三菱電機株式会社 | レーダ装置 |
| CN109919126A (zh) * | 2019-03-19 | 2019-06-21 | 北京鑫洋泉电子科技有限公司 | 一种移动物体探测方法、装置及存储介质 |
Families Citing this family (209)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5621807A (en) * | 1993-06-21 | 1997-04-15 | Dornier Gmbh | Intelligent range image camera for object measurement |
| DE69431791T2 (de) * | 1993-07-31 | 2003-07-17 | Sony Corp | Vorrichtung und verfahren zur automatischen bildentzerrung |
| EP0733219A1 (en) * | 1993-12-08 | 1996-09-25 | Minnesota Mining And Manufacturing Company | Method and apparatus for background determination and subtraction for a monocular vision system |
| JP2951230B2 (ja) * | 1994-09-22 | 1999-09-20 | 三洋電機株式会社 | ２次元映像から３次元映像を生成する方法 |
| US5777690A (en) * | 1995-01-20 | 1998-07-07 | Kabushiki Kaisha Toshiba | Device and method for detection of moving obstacles |
| KR0181036B1 (ko) * | 1995-04-08 | 1999-05-01 | 배순훈 | 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법 |
| US5812787A (en) * | 1995-06-30 | 1998-09-22 | Intel Corporation | Video coding scheme with foreground/background separation |
| MY121607A (en) * | 1995-07-10 | 2006-02-28 | Hyundai Curitel Inc | Grid moving method of object image and apparatus using the same and compaction/motion estimation method using the same and apparatus thereof |
| US5933535A (en) * | 1995-10-05 | 1999-08-03 | Microsoft Corporation | Object-based video compression process employing arbitrarily-shaped features |
| US6526173B1 (en) * | 1995-10-31 | 2003-02-25 | Hughes Electronics Corporation | Method and system for compression encoding video signals representative of image frames |
| US5802220A (en) * | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
| US6049619A (en) * | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
| DE19605218C1 (de) * | 1996-02-13 | 1997-04-17 | Dornier Gmbh | Hinderniswarnsystem für tieffliegende Fluggeräte |
| US5982438A (en) * | 1996-03-22 | 1999-11-09 | Microsoft Corporation | Overlapped motion compensation for object coding |
| US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
| US6137920A (en) * | 1996-05-01 | 2000-10-24 | Hughes Electronics Corporation | Method and system for generating image frame sequences using morphing transformations |
| US5801778A (en) * | 1996-05-23 | 1998-09-01 | C-Cube Microsystems, Inc. | Video encoding with multi-stage projection motion estimation |
| JP2000512091A (ja) * | 1996-05-24 | 2000-09-12 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 動作ベクトル処理 |
| US5883627A (en) | 1996-09-25 | 1999-03-16 | Microsoft Corporation | Advanced graphics controls |
| US6075875A (en) * | 1996-09-30 | 2000-06-13 | Microsoft Corporation | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results |
| KR19980035080A (ko) * | 1996-11-11 | 1998-08-05 | 김영환 | 응용 유전 알고리즘을 이용한 모션 벡터 추정 방법 |
| US5990959A (en) * | 1996-12-20 | 1999-11-23 | U S West, Inc. | Method, system and product for direct rendering of video images to a video data stream |
| US6249613B1 (en) * | 1997-03-31 | 2001-06-19 | Sharp Laboratories Of America, Inc. | Mosaic generation and sprite-based coding with automatic foreground and background separation |
| US6219462B1 (en) * | 1997-05-09 | 2001-04-17 | Sarnoff Corporation | Method and apparatus for performing global image alignment using any local match measure |
| JPH10320590A (ja) * | 1997-05-19 | 1998-12-04 | Honda Motor Co Ltd | 合成映像作成装置及び合成映像作成方法 |
| US6594311B1 (en) * | 1997-10-20 | 2003-07-15 | Hitachi America, Ltd. | Methods for reduced cost insertion of video subwindows into compressed video |
| US6349113B1 (en) * | 1997-11-03 | 2002-02-19 | At&T Corp. | Method for detecting moving cast shadows object segmentation |
| US6396961B1 (en) * | 1997-11-12 | 2002-05-28 | Sarnoff Corporation | Method and apparatus for fixating a camera on a target point using image alignment |
| US6856698B1 (en) * | 1997-11-26 | 2005-02-15 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern localization |
| AU8248298A (en) * | 1998-02-20 | 1999-09-06 | Power Beat International Limited | A multi-layer display and a method for displaying images on such a display |
| US6239807B1 (en) * | 1998-03-13 | 2001-05-29 | Mgi Software Corporation | Method and system for multi-resolution texture mapping |
| US6266068B1 (en) | 1998-03-13 | 2001-07-24 | Compaq Computer Corporation | Multi-layer image-based rendering for video synthesis |
| IL123738A0 (en) | 1998-03-19 | 1998-10-30 | Banitt Shmuel | Method for processing variable speed scenes for computer games |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6259737B1 (en) * | 1998-06-05 | 2001-07-10 | Innomedia Pte Ltd | Method and apparatus for fast motion estimation in video coding |
| US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| KR100649654B1 (ko) * | 1998-09-07 | 2006-11-24 | 톰슨 멀티미디어 | 모션 벡터의 송신 비용 절감을 위한 모션 추정 방법 |
| US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
| US6252975B1 (en) * | 1998-12-17 | 2001-06-26 | Xerox Corporation | Method and system for real time feature based motion analysis for key frame selection from a video |
| US6580812B1 (en) * | 1998-12-21 | 2003-06-17 | Xerox Corporation | Methods and systems for automatically adding motion lines representing motion to a still image |
| US6643387B1 (en) * | 1999-01-28 | 2003-11-04 | Sarnoff Corporation | Apparatus and method for context-based indexing and retrieval of image sequences |
| US6594403B1 (en) * | 1999-01-29 | 2003-07-15 | Xerox Corporation | Systems and methods for registering scanned documents |
| US6499060B1 (en) | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| JP4496595B2 (ja) * | 1999-03-29 | 2010-07-07 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
| US7269221B2 (en) * | 1999-04-17 | 2007-09-11 | Altera Corporation | Encoding system using motion vectors to represent frame-to-frame changes, including motion vector grouping for coding or processing |
| WO2000070879A1 (en) * | 1999-05-13 | 2000-11-23 | Stmicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
| GB9920256D0 (en) * | 1999-08-26 | 1999-10-27 | Wave Limited M | Motion estimation and compensation in video compression |
| US6668080B1 (en) * | 1999-09-21 | 2003-12-23 | Microsoft Corporation | Automated layer extraction and pixel assignment from image sequences |
| US6665423B1 (en) * | 2000-01-27 | 2003-12-16 | Eastman Kodak Company | Method and system for object-oriented motion-based video description |
| US6473460B1 (en) * | 2000-03-31 | 2002-10-29 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for calculating motion vectors |
| US6985527B2 (en) * | 2001-03-07 | 2006-01-10 | Pts Corporation | Local constraints for motion matching |
| US6826292B1 (en) | 2000-06-23 | 2004-11-30 | Sarnoff Corporation | Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation |
| US6795068B1 (en) | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
| US7071914B1 (en) | 2000-09-01 | 2006-07-04 | Sony Computer Entertainment Inc. | User input device and method for interaction with graphic images |
| US6987865B1 (en) * | 2000-09-09 | 2006-01-17 | Microsoft Corp. | System and method for extracting reflection and transparency layers from multiple images |
| US7095444B1 (en) * | 2000-11-06 | 2006-08-22 | Sri International | Method and apparatus for generating, distributing and reconstructing deconstructed video |
| AU2424202A (en) * | 2000-11-17 | 2002-05-27 | Deep Video Imaging Ltd | Altering surface of display screen from matt to optically smooth |
| FR2820860B1 (fr) * | 2001-02-15 | 2003-04-11 | Thomson Multimedia Sa | Procede pour l'arret d'une fragmentation d'images numeriques |
| NZ511255A (en) * | 2001-04-20 | 2003-12-19 | Deep Video Imaging Ltd | Multi-focal plane display having an optical retarder and a diffuser interposed between its screens |
| JP4765194B2 (ja) * | 2001-05-10 | 2011-09-07 | ソニー株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
| US7046732B1 (en) * | 2001-06-15 | 2006-05-16 | Objectvideo, Inc. | Video coloring book |
| US20030053659A1 (en) * | 2001-06-29 | 2003-03-20 | Honeywell International Inc. | Moving object assessment system and method |
| US20030123703A1 (en) * | 2001-06-29 | 2003-07-03 | Honeywell International Inc. | Method for monitoring a moving object and system regarding same |
| US20030053658A1 (en) * | 2001-06-29 | 2003-03-20 | Honeywell International Inc. | Surveillance system and methods regarding same |
| EP1286551A1 (en) * | 2001-07-17 | 2003-02-26 | Telefonaktiebolaget L M Ericsson (Publ) | Error concealment for image information |
| NZ514500A (en) | 2001-10-11 | 2004-06-25 | Deep Video Imaging Ltd | A multiplane visual display unit with a transparent emissive layer disposed between two display planes |
| US20030095707A1 (en) * | 2001-11-19 | 2003-05-22 | Koninklijke Philips Electronics N.V. | Computer vision method and system for blob-based analysis using a probabilistic pramework |
| CN1628326A (zh) * | 2002-02-05 | 2005-06-15 | 皇家飞利浦电子股份有限公司 | 通过考虑闭塞估算像素组的运动矢量 |
| WO2003079094A2 (en) * | 2002-03-17 | 2003-09-25 | Deep Video Imaging Limited | Optimising point spread function of spatial filter |
| US7444006B2 (en) * | 2002-04-16 | 2008-10-28 | Pixart Imaging Inc. | Method of image qualification for optical navigation sensor |
| CA2492800C (en) * | 2002-07-15 | 2011-04-26 | Gareth Paul Bell | Improved multilayer video screen |
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US7627139B2 (en) | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| NZ521505A (en) | 2002-09-20 | 2005-05-27 | Deep Video Imaging Ltd | Multi-view display |
| US20040091047A1 (en) | 2002-11-11 | 2004-05-13 | Sony Corporation | Method and apparatus for nonlinear multiple motion model and moving boundary extraction |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US8081820B2 (en) | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
| US7190834B2 (en) | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
| KR100575733B1 (ko) * | 2003-08-26 | 2006-05-03 | 엘지전자 주식회사 | 압축 동영상의 움직임 객체 분할 방법 |
| WO2005022922A1 (en) * | 2003-09-02 | 2005-03-10 | Koninklijke Philips Electronics N.V. | Temporal interpolation of a pixel on basis of occlusion detection |
| US7349583B2 (en) * | 2003-09-05 | 2008-03-25 | The Regents Of The University Of California | Global motion estimation image coding and processing |
| US8085844B2 (en) * | 2003-09-07 | 2011-12-27 | Microsoft Corporation | Signaling reference frame distances |
| US7577198B2 (en) * | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Number of reference fields for an interlaced forward-predicted field |
| US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US8133115B2 (en) | 2003-10-22 | 2012-03-13 | Sony Computer Entertainment America Llc | System and method for recording and displaying a graphical path in a video game |
| US7506267B2 (en) * | 2003-12-23 | 2009-03-17 | Intel Corporation | Compose rate reduction for displays |
| US7616220B2 (en) * | 2003-12-23 | 2009-11-10 | Intel Corporation | Spatio-temporal generation of motion blur |
| US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| US7433497B2 (en) * | 2004-01-23 | 2008-10-07 | Hewlett-Packard Development Company, L.P. | Stabilizing a sequence of image frames |
| WO2005079062A1 (ja) * | 2004-02-13 | 2005-08-25 | Sony Corporation | 画像処理装置と画像処理方法およびプログラム |
| JP4497096B2 (ja) * | 2004-02-13 | 2010-07-07 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| US8036494B2 (en) * | 2004-04-15 | 2011-10-11 | Hewlett-Packard Development Company, L.P. | Enhancing image resolution |
| US7817869B2 (en) * | 2004-05-07 | 2010-10-19 | Sony Corporation | Variable support robust transform for multiple description coding |
| US8503530B2 (en) * | 2004-05-27 | 2013-08-06 | Zhourong Miao | Temporal classified filtering for video compression |
| EP1779294A4 (en) * | 2004-07-30 | 2010-12-29 | Euclid Discoveries Llc | DEVICE AND METHOD FOR PROCESSING VIDEO DATA |
| KR100668303B1 (ko) * | 2004-08-04 | 2007-01-12 | 삼성전자주식회사 | 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법 |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| US20060071933A1 (en) | 2004-10-06 | 2006-04-06 | Sony Computer Entertainment Inc. | Application binary interface for multi-pass shaders |
| US7730406B2 (en) * | 2004-10-20 | 2010-06-01 | Hewlett-Packard Development Company, L.P. | Image processing system and method |
| US7664315B2 (en) * | 2004-11-03 | 2010-02-16 | Tyzx, Inc. | Integrated image processor |
| KR101129591B1 (ko) * | 2004-12-21 | 2012-03-28 | 소니 가부시끼가이샤 | 화상 처리 장치와 화상 처리 방법 및 기록 매체 |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| US7760956B2 (en) | 2005-05-12 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | System and method for producing a page using frames of a video stream |
| US7636126B2 (en) | 2005-06-22 | 2009-12-22 | Sony Computer Entertainment Inc. | Delay matching in audio/video systems |
| CN101305396B (zh) * | 2005-07-12 | 2012-05-02 | Nxp股份有限公司 | 用于去除运动模糊效应的方法和装置 |
| US20070074251A1 (en) * | 2005-09-27 | 2007-03-29 | Oguz Seyfullah H | Method and apparatus for using random field models to improve picture and video compression and frame rate up conversion |
| US8295343B2 (en) * | 2005-11-18 | 2012-10-23 | Apple Inc. | Video bit rate control method |
| US8233535B2 (en) | 2005-11-18 | 2012-07-31 | Apple Inc. | Region-based processing of predicted pixels |
| JP5226181B2 (ja) * | 2005-11-24 | 2013-07-03 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 画像診断装置 |
| US20070126864A1 (en) * | 2005-12-05 | 2007-06-07 | Kiran Bhat | Synthesizing three-dimensional surround visual field |
| US20070126932A1 (en) * | 2005-12-05 | 2007-06-07 | Kiran Bhat | Systems and methods for utilizing idle display area |
| US8130330B2 (en) * | 2005-12-05 | 2012-03-06 | Seiko Epson Corporation | Immersive surround visual fields |
| US20070141545A1 (en) * | 2005-12-05 | 2007-06-21 | Kar-Han Tan | Content-Based Indexing and Retrieval Methods for Surround Video Synthesis |
| US20070174010A1 (en) * | 2006-01-24 | 2007-07-26 | Kiran Bhat | Collective Behavior Modeling for Content Synthesis |
| WO2007091213A2 (en) * | 2006-02-10 | 2007-08-16 | Koninklijke Philips Electronics N.V. | Video processor comprising a motion estimator of the recursive type |
| US7880746B2 (en) | 2006-05-04 | 2011-02-01 | Sony Computer Entertainment Inc. | Bandwidth management through lighting control of a user environment via a display device |
| US7965859B2 (en) | 2006-05-04 | 2011-06-21 | Sony Computer Entertainment Inc. | Lighting control of a user environment via a display device |
| US20080018792A1 (en) * | 2006-07-19 | 2008-01-24 | Kiran Bhat | Systems and Methods for Interactive Surround Visual Field |
| US7940971B2 (en) * | 2006-07-24 | 2011-05-10 | Siemens Medical Solutions Usa, Inc. | System and method for coronary digital subtraction angiography |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| KR100846498B1 (ko) * | 2006-10-18 | 2008-07-17 | 삼성전자주식회사 | 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템 |
| KR100829581B1 (ko) * | 2006-11-28 | 2008-05-14 | 삼성전자주식회사 | 영상 처리 방법, 기록매체 및 장치 |
| US8416851B2 (en) * | 2006-12-20 | 2013-04-09 | Intel Corporation | Motion detection for video processing |
| KR100846513B1 (ko) * | 2007-01-15 | 2008-07-17 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| US7995800B2 (en) * | 2007-02-28 | 2011-08-09 | Imec | System and method for motion detection and the use thereof in video coding |
| US8094903B2 (en) * | 2007-06-28 | 2012-01-10 | Siemens Aktiengesellschaft | System and method for coronary digital subtraction angiography |
| EP2191657A1 (en) | 2007-08-22 | 2010-06-02 | Pure Depth Limited | Determining a position for an interstitial diffuser for a multi-component display |
| US8086006B2 (en) * | 2007-09-21 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for evaluating image segmentation based on visibility |
| US8121367B2 (en) * | 2007-09-21 | 2012-02-21 | Siemens Aktiengesellschaft | Method and system for vessel segmentation in fluoroscopic images |
| US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
| CN101878486B (zh) * | 2007-11-30 | 2016-10-26 | 杜比实验室特许公司 | 处理运动图像序列的方法和设备 |
| US8542907B2 (en) | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
| WO2009096721A2 (en) * | 2008-01-29 | 2009-08-06 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation |
| US8665958B2 (en) * | 2008-01-29 | 2014-03-04 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation |
| EP2257911B1 (en) | 2008-02-27 | 2018-10-10 | Sony Computer Entertainment America LLC | Methods for capturing depth data of a scene and applying computer actions |
| US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
| JP2011519227A (ja) * | 2008-04-25 | 2011-06-30 | トムソン ライセンシング | 奥行き信号の符号化 |
| US8059908B2 (en) * | 2008-04-29 | 2011-11-15 | Sony Corporation | Adaptive area of influence filter for irregular spatial sub-sampled images |
| US8059909B2 (en) * | 2008-04-29 | 2011-11-15 | Sony Corporation | Adaptive generation of irregular spatial sub-sampling for images |
| US8055087B2 (en) * | 2008-04-29 | 2011-11-08 | Sony Corporation | Sample level variation for spatial sub-sampled images |
| US8144766B2 (en) * | 2008-07-16 | 2012-03-27 | Sony Corporation | Simple next search position selection for motion estimation iterative search |
| US8345944B2 (en) * | 2008-08-06 | 2013-01-01 | Siemens Aktiengesellschaft | System and method for coronary digital subtraction angiography |
| EP2329653B1 (en) | 2008-08-20 | 2014-10-29 | Thomson Licensing | Refined depth map |
| ATE554602T1 (de) * | 2008-08-21 | 2012-05-15 | Vestel Elekt Sanayi Ve Ticaret | Verfahren und vorrichtung zur steigerung der bildrate eines videosignals |
| US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| US20100165123A1 (en) * | 2008-12-29 | 2010-07-01 | Microsoft Corporation | Data-Driven Video Stabilization |
| WO2010144074A1 (en) | 2009-01-07 | 2010-12-16 | Thomson Licensing | Joint depth estimation |
| US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
| US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
| US9524550B2 (en) | 2009-05-05 | 2016-12-20 | Siemens Healthcare Gmbh | System and method for coronary digital subtraction angiography |
| US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
| US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
| US8488007B2 (en) * | 2010-01-19 | 2013-07-16 | Sony Corporation | Method to estimate segmented motion |
| EP2526698A1 (en) | 2010-01-22 | 2012-11-28 | Thomson Licensing | Methods and apparatus for sampling -based super resolution video encoding and decoding |
| CN102726044B (zh) * | 2010-01-22 | 2016-08-10 | 汤姆逊许可证公司 | 使用基于示例的超分辨率的用于视频压缩的数据剪切 |
| US8285079B2 (en) * | 2010-03-19 | 2012-10-09 | Sony Corporation | Method for highly accurate estimation of motion using phase correlation |
| US10786736B2 (en) | 2010-05-11 | 2020-09-29 | Sony Interactive Entertainment LLC | Placement of user information in a game space |
| KR101665567B1 (ko) * | 2010-05-20 | 2016-10-12 | 삼성전자주식회사 | 3차원 뎁스 영상 시간 보간 방법 및 장치 |
| CN101894379A (zh) * | 2010-06-21 | 2010-11-24 | 清华大学 | 一种针对大帧间运动视频的特征点运动分割方法和装置 |
| US9544598B2 (en) | 2010-09-10 | 2017-01-10 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
| WO2012033970A1 (en) | 2010-09-10 | 2012-03-15 | Thomson Licensing | Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity |
| US8582909B2 (en) * | 2011-05-23 | 2013-11-12 | Intel Corporation | Adaptive multi-grid contrast optical flow |
| WO2013002716A2 (en) * | 2011-06-30 | 2013-01-03 | Telefonaktiebolaget L M Ericsson (Publ) | A method a decoder and encoder for processing a motion vector |
| US9342817B2 (en) | 2011-07-07 | 2016-05-17 | Sony Interactive Entertainment LLC | Auto-creating groups for sharing photos |
| KR101839617B1 (ko) * | 2011-07-11 | 2018-03-19 | 포항공과대학교 산학협력단 | 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 |
| KR101896026B1 (ko) * | 2011-11-08 | 2018-09-07 | 삼성전자주식회사 | 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법 |
| US9230303B2 (en) * | 2013-04-16 | 2016-01-05 | The United States Of America, As Represented By The Secretary Of The Navy | Multi-frame super-resolution of image sequence with arbitrary motion patterns |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| US10234553B2 (en) * | 2014-09-19 | 2019-03-19 | GM Global Technology Operations LLC | Doppler-based compression of imaging radar data |
| US10719727B2 (en) | 2014-10-01 | 2020-07-21 | Apple Inc. | Method and system for determining at least one property related to at least part of a real environment |
| US10726593B2 (en) * | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| KR101726844B1 (ko) * | 2015-03-25 | 2017-04-13 | 네이버 주식회사 | 만화 데이터 생성 시스템 및 방법 |
| US10242474B2 (en) * | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
| US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
| US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
| US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
| US10354394B2 (en) | 2016-09-16 | 2019-07-16 | Dolby Laboratories Licensing Corporation | Dynamic adjustment of frame rate conversion settings |
| US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
| US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
| US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
| US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
| US10977809B2 (en) * | 2017-12-11 | 2021-04-13 | Dolby Laboratories Licensing Corporation | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings |
| US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
| US11582494B2 (en) * | 2018-07-18 | 2023-02-14 | Pixellot Ltd. | System and method for content-layer based video compression |
| US11044473B2 (en) * | 2018-12-21 | 2021-06-22 | Qualcomm Incorporated | Adaptive loop filtering classification in video coding |
| US10951902B2 (en) | 2019-06-12 | 2021-03-16 | Rovi Guides, Inc. | Systems and methods for multiple bit rate content encoding |
| US11430134B2 (en) * | 2019-09-03 | 2022-08-30 | Nvidia Corporation | Hardware-based optical flow acceleration |
| US10970855B1 (en) | 2020-03-05 | 2021-04-06 | International Business Machines Corporation | Memory-efficient video tracking in real-time using direction vectors |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2569219B2 (ja) * | 1990-01-31 | 1997-01-08 | 富士通株式会社 | 動画像予測方式 |
-
1994
- 1994-03-15 JP JP04405594A patent/JP3679426B2/ja not_active Expired - Lifetime
- 1994-12-27 US US08/464,108 patent/US5557684A/en not_active Expired - Lifetime
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1110957C (zh) * | 1995-07-21 | 2003-06-04 | 大宇电子株式会社 | 用运动模型的分层结构分割与估算移动目标的运动的方法 |
| JPH0946704A (ja) * | 1995-07-28 | 1997-02-14 | Tsushin Hoso Kiko | 画像符号化方式 |
| JP2009510929A (ja) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | より正確な動作情報を用いたフレーム補間 |
| JP2009510939A (ja) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | 様々な移動モデルを用いた、エンコーダ支援されたフレームレートアップ変換 |
| JP2012010381A (ja) * | 2005-09-27 | 2012-01-12 | Qualcomm Inc | より正確な動き情報を用いたフレーム補間 |
| JP2010500818A (ja) * | 2006-08-08 | 2010-01-07 | デジタル メディア カートリッジ，リミティド | 漫画アニメーション圧縮のためのシステムおよび方法 |
| JP2008310418A (ja) * | 2007-06-12 | 2008-12-25 | Nikon Corp | 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ |
| WO2015173891A1 (ja) * | 2014-05-13 | 2015-11-19 | 三菱電機株式会社 | レーダ装置 |
| JPWO2015173891A1 (ja) * | 2014-05-13 | 2017-04-20 | 三菱電機株式会社 | レーダ装置 |
| CN109919126A (zh) * | 2019-03-19 | 2019-06-21 | 北京鑫洋泉电子科技有限公司 | 一种移动物体探测方法、装置及存储介质 |
| CN109919126B (zh) * | 2019-03-19 | 2023-07-25 | 北京鑫洋泉电子科技有限公司 | 一种移动物体探测方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5557684A (en) | 1996-09-17 |
| JP3679426B2 (ja) | 2005-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0795592A (ja) | 画像データを符号化して夫々がコヒーレント運動領域を表わす複数の層とそれら層に付随する運動パラメータとにするシステム | |
| US11398037B2 (en) | Method and apparatus for performing segmentation of an image | |
| KR102003015B1 (ko) | 광류를 사용한 중간 뷰의 생성 | |
| KR100583902B1 (ko) | 이미지세그멘테이션 | |
| KR100306948B1 (ko) | 모자이크식이미지처리시스템및이미지처리방법 | |
| US8983178B2 (en) | Apparatus and method for performing segment-based disparity decomposition | |
| USRE37668E1 (en) | Image encoding/decoding device | |
| US9282313B2 (en) | Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition | |
| KR100738241B1 (ko) | 이미지 처리 장치 | |
| KR102006064B1 (ko) | 추정된 시공간 배경 정보를 이용한 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치 | |
| EP1131789B1 (fr) | Procede de construction d'un modele de scene 3d par analyse de sequence d'images | |
| EP1519589A2 (en) | Object tracking in vector images | |
| JP2008282416A (ja) | コード化する前に画像をセグメントに分割するための方法および装置 | |
| JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
| TW200401569A (en) | Method and apparatus for motion estimation between video frames | |
| JP2002288658A (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
| US20120206573A1 (en) | Method and apparatus for determining disparity of texture | |
| CN116012232A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| WO1995008240A2 (en) | Method and apparatus for data analysis | |
| US20230343017A1 (en) | Virtual viewport generation method and apparatus, rendering and decoding methods and apparatuses, device and storage medium | |
| Wang et al. | Deep intensity guidance based compression artifacts reduction for depth map | |
| CN113627342B (zh) | 视频深度特征提取优化的方法、系统、设备及存储介质 | |
| Doulamis et al. | Efficient unsupervised content-based segmentation in stereoscopic video sequences | |
| WO2012030602A2 (en) | Method and apparatus for performing segmentation of an image | |
| CN116601958A (zh) | 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041110 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050513 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130520 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |