JP4004408B2 - ビデオ情報圧縮方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルビデオを圧縮するための方法に関する。この方法は、特に、デジタルビデオの圧縮速度を上げるため、あるいは、圧縮の質を高めるために適用することができる。また、本発明は、ビデオ素材が３次元モデルから合成的に形成される場合に特に適している。
【０００２】
【従来技術】
動画ビデオは、動く感覚を形成できるだけの十分な速度で、観察者に対して連続的に表示される個々の静止画像から成る。画像圧縮の目的は、動画ビデオ画像に関する情報が記憶され、あるいは送信される際に、動画ビデオ画像を表わすために必要なデータ量を減らすことである。
【０００３】
今日において主に使用されている周知の全ての画像圧縮方法は、画像に含まれる反復情報を検出して除去することにより、この目的を達成する。実際に、このことは、像間の変化が検出され、先の画像（あるいは、幾つかの他の先の圧縮画像）を基準として使用することによって次の画像を構成する方法を受信側に知らせることを意味している。
【０００４】
先の画像に基づいて新たな画像を構成する一つの方法は、画像の一部が基準画像とその次画像との間でどのようにして移動したかを特定することである。移動パラメータを見出すプロセスは、動作予測と称されており、通常、ブロック単位ごとに、基準画像の近くの領域内で同様のブロックを検索することによりおこなわれる。画像は、一般に、所定の方法により、複数のブロックに分割される。しかし、このような分割（すなわち、ブロックサイズおよびブロックの配置）は、代わりに、たとえば動作評価と同時におこなわれても良い。そのため、分割時に、検出された移動を考慮する。その後、解凍器は、運動ベクトルを使用して、次画像内のブロックの移動方向および移動量を知らせる。ブロック分割およびブロックの運動ベクトルに関する情報により、解凍器は、先の再構成された基準画像を使用して、オリジナルの次画像を予測することができる。解凍器によるこのような働きは、動き補償と称される。動きが補償された次画像の予測においては、オリジナルの次画像における動きが模倣される。
【０００５】
動き補償は、通常、次画像の正確な再現を形成しないため、動きが補償された画像に対する補正は、圧縮器によっておこなわれる。一般に、圧縮器は、動きが補償された予測とオリジナルの次画像との間の差として補正画像を決定する。この補正画像は、差分画像と称される。
【０００６】
圧縮器側での動作評価は、２次元検索空間内での反復検索を必要とする。最も標準的な画像圧縮アルゴリズムにおいては、次画像のブロック一つが取得された後、このブロックが基準画像内の近くのブロックと比較される。その後、見出される最も類似したブロックと検索されたブロックとの間の位置の差が、運動ベクトルであると仮定される。反復検索プロセスで必要な多量の演算により、現在のコンピュータやハードウエア・ビデオ圧縮システムにおいては、理想的な運動ベクトルのための徹底した検索は現実的ではない。
【０００７】
現在利用可能なビデオ圧縮システムは、幾つかの賢明な技術を使用することにより、また、幾つかの妥協を成すことにより、高い計算負荷を回避しようとするそのような方法の一つは、検索をおこなう領域を制限すること、すなわち、表現できる運動ベクトルの最大長を制限することである。他の方法は、隣のブロックの運動ベクトルに基づいてブロックの運動ベクトルを予測することである。しかしながら、これらの方法は、圧縮プロセスの効率および質において妥協が必要である。
【０００８】
【発明が解決しようとする課題】
本発明の目的は、画像圧縮のための効率的な方法を提供することである。この方法によって、質を悪化させることなく、現在周知の方法よりも非常に効率良くビデオを圧縮できる。
【０００９】
本発明のこれらおよび他の目的は、カメラの動きにより生じる運動ベクトルを決定して、これらの運動ベクトルを画像圧縮で使用することにより達成される。
【００１０】
【課題を解決するための手段】
本発明に係る方法は、方法に関する独立請求項の特徴部分に記載されたものによって特徴付けられる。本発明に係るコンピュータプログラムは、コンピュータプログラムに関する独立請求項の特徴部分に記載されたものによって特徴付けられる。本発明に係るビデオ情報圧縮装置は、そのような装置に関する独立請求項の特徴部分に記載されたものによって特徴付けられる。
【００１１】
従属請求項は、本発明の幾つかの好適な実施形態を記載している。
【００１２】
本発明の基本的な原理は、圧縮されるビデオが周知の合成モデルからできている場合、または、ビデオ内の景色のデプスマップモデルを形成することができる場合に、動作評価プロセスにおいて新たな可能性が生じるということである。
【００１３】
ビデオ内の景色のデプスマップが分かっている場合、このことは、直感的に、景色の中に存在する物体の３次元空間における位置を決定できることを意味する。更に正確に言うと、像面内の点が３次元空間に投影される。３次元空間は、合成モデルまたは現実の世界のいずれかに対応していても良い。カメラの位置と方向との間の変化が基準画像と次画像との間で分かっている場合には、カメラの動きから、３次元空間内における物体の周知の位置（３次元空間への投影）を使用して、カメラの動きを考慮に入れた次画像におけるそのような運動ベクトルを決定することができる。カメラの動きに関連する変化の他に景色の変化がない場合（すなわち、基準画像および次画像に関与する時刻間で物体が移動していない場合）、これらの運動ベクトルは、基準画像に対して次画像を正確に表わす。
【００１４】
圧縮されるビデオ画像は、現実の３次元世界の画像であっても良い。この場合、画像それ自体が平面に投影される物体の位置に関する情報を明らかにすると、カメラに対する物体の位置を決定もしくは評価することができる。また、カメラからの物体の距離に関する情報は、たとえばレンジセンサを使用することにより得られても良い。また、ビデオ画像が合成モデルからできても良い。コンピュータグラフィックにおいて、合成モデルの景色が決定される場合には、モデル内のどの物体が目に見え、どの物体が目で見えないかを見出す必要がある。一般に、ｚバッファが使用される。すなわち、表示される各ピクセルのデプス値（ｚ値）がｚバッファに記憶され、そのｚ値が既に同じ位置にあるピクセルよりも小さい場合には、新たなピクセルだけが引き出される。ｚバッファは、景色のデプスマップであり、そのようなデプスマップは、一般に、合成モデルの景色がコンピュータグラフィックによって形成される度に形成される。
【００１５】
カメラの動きに関連する運動ベクトルは、ブロックにおいて決定されても良く、ブロックの運動ベクトルとして画像圧縮で直接に使用されても良い。また、カメラの動きに関連する運動ベクトルは初期値として使用されても良く、ブロックにおけるより正確な運動ベクトルは、たとえば、カメラの動きの運動ベクトルが指す近くの領域で同様のブロックを検索することにより決定されても良い。
【００１６】
次画像におけるブロックにおいて運動ベクトルを決定する以外に、次画像に関して運動ベクトル場を決定することができる。運動ベクトル場は、一般に、ブロックよりも細かいスケールの運動ベクトル情報を参照する。運動ベクトル場は、一般に、ピクセルスケールの動きを表わす。運動ベクトル場は、ブロックの場合と同様なピクセルレベルで直接に決定されても良い。これは、デプスマップが一般に画像ピクセルのための距離情報を規定するため、簡単である。また、ブロックレベルに基づき運動ベクトル場を決定することができ、ブロック固有の運動ベクトルを使用して、ピクセル固有の運動ベクトル場を内挿することができる。
【００１７】
運動ベクトル場は、基準画像ワーピング場として使用されても良い。このことは、基準画像の一部を簡単に変換する以外に、次画像の動きが補償された概算を形成するときに基準画像の一部を縮小／拡大したり回転したりできることを意味している。動き補償において運動ベクトル場を使用するには、解凍器は、受けた情報から運動ベクトル場を形成できるとともに、基準画像にしたがって基準画像をワープできることが必要である。解凍器は、たとえば、圧縮された情報が流れ始めるときに必要とする内挿法を使用しても良い。あるいは、圧縮器および解凍器は、これらの両方によって与えられる内挿法を取り決めても良い。一般に、画像シーケンスの圧縮中に内挿法を変更する必要はないが、解凍器に新たな内挿法が知らされた場合には、内挿法の変更をおこなうことができる。
【００１８】
画像再構成の正確を期すため、圧縮器は、一般に、以前の画像自体を基準画像として使用しない。一般に、圧縮器は、解凍器に利用できる情報と同じ情報を使用して、基準画像を再構成する。この再構成された基準画像は、その後、動作評価決定および画像修正に使用される。本発明の以下の詳細な説明において、「基準画像」という用語は、画像圧縮の詳細に応じて、以前のオリジナル画像であっても良く、あるいは、再構成された以前の画像であっても良い。
【００１９】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の一例を説明する。以下、図１〜図４を参照しながら本発明について説明する。
【００２０】
本発明に係る方法は、基準画像および次画像の両方において圧縮を開始するために、以下のデータ、すなわち、実画像および実画像におけるカメラパラメータを必要とする。また、次画像に対応するデプスマップも必要である。デプスマップは、一般に、実画像の各ピクセルにおける可視物体がカメラからどの程度離れているかを示す数の２次元配列である。
【００２１】
図１ａおよび図２ａは、たとえば２つのビデオ画像を示している。この場合、図１ａには、ビデオ画像Ｉ０が示されており、図２ａには、ビデオ画像Ｉ１が示されている。画像Ｉ０，Ｉ１は同じ風景（シーン）に関するものであるが、風景を見るカメラの位置および方向が画像Ｉ０，Ｉ１間で異なっている。図３は、画像Ｉ０，Ｉ１におけるカメラの位置および方向を示している。
【００２２】
画像に関するカメラパラメータは、カメラ位置、カメラ方向、カメラの観察距離を規定する。カメラ位置Ｋは、一般に、３次元空間内の点（または、この位置に向かうベクトル）として与えられる。カメラ方向は、一般に、３つのカメラ方向ベクトルＫｘ，Ｋｙ．Ｋｚで与えられる。観察距離Ｄｖは、画像面（像平面）からのカメラの距離である。図４は、これらのカメラパラメータＫ，Ｋｘ，Ｋｙ，Ｋｚ，Ｄｖを示している。
【００２３】
画像面内の点のｘ座標およびｙ座標は、一般にベクトルＫｚによって規定される方向が像面と交差するところ、画像面内の点からの距離（方向ベクトルＫｘ，Ｋｙによって規定される方向での距離）として規定される。一般に、この点は、画像の中心点である。図４は、座標ｘの前記定義を示している。図４においては、この図４が特に画像Ｉ１に関するものであるとして、座標がｘ１でマーク付けされている。
【００２４】
図１ｂおよび図２ｂは、画像Ｉ０，Ｉ１のデプスマップＺ０，Ｚ１を示している。グレーの影が暗くなればなるほど、画像のその点における物体のカメラからの距離は大きい。デプスマップＺは、ベクトルＫｚの方向でのカメラからの物体Ｏの距離を特定する。図４は、画像Ｉ１のカメラパラメータおよびｘ１、ｙ１、ｚ１（ｚ１、ｙ１）を使用して、画像Ｉ１内の点（ｘ１、ｙ１）に示される物体Ｏの３次元空間内における位置をどのように決定することができるかを示している。すなわち、図４は、３次元空間Ｐ’の点に対する像面内の点（ｘ１、ｙ１）の投影を示している。
【００２５】
画像が合成モデルから形成される景色である場合、デプスマップＺは、前述したように、通常は画像形成プロセスの副産物として形成される。画像が現実世界の画像である場合、たとえばレンジセンサを使用してデプスマップを決定することができる。
【００２６】
次に、一例として、図１ａのビデオ画像Ｉ０が図２ａに示されるビデオ画像Ｉ１のための基準画像として機能する場合について考えてみる。また、一例として、画像Ｉ０，Ｉ１内の人間の頭部を含む画像ブロックを考えてみる。
【００２７】
検討中のブロックの運動ベクトルに有用な近似値を計算するためには、画像Ｉ０，Ｉ１間の全ての変化がカメラパラメータの変化によるものであると仮定して、ピクセルｐ１（図２ａ）が基準画像Ｉ０内のどこにあったかを見出す必要がある。前回の位置をｐ０（図１ａ）とする。ｐ０のｘ成分およびｙ成分（すなわち、ｘ０、ｙ０）を見出すため、最初に、図１１のカメラパラメータ（図４）を使用して、元の３次元空間Ｐ’に像点ｐ１を投影し、その後、基準画像のカメラパラメータを使用して、３次元空間内の点を基準画像Ｉ０の表面に投影する。２つの画像内の点の位置の違いは、一般に符号付き差異ｐ０−ｐ１として規定され、画像圧縮で使用される運動ベクトルである。
【００２８】
像面Ｉから３次元空間への投影は、以下の式で処理される。
【００２９】
【数１】

【００３０】
ここで、ｘおよびｙは、像面内の点の座標であり、Ｚ（ｘ，ｙ）は、点（ｘ、ｙ）のデプスマップ値である。３次元空間から画像空間への投影は、前記式からｘ、ｙ、Ｚ（ｘ，ｙ）を解くことによって得られる式で処理できる。両方の式は、３次元コンピュータグラフィックにおける基本的な式として知られている。座標、カメラパラメータ、デプスマップは、前述したものとは若干異なる方法で規定されても良い。しかし、当業者であれば分かるように、投影式を適宜に修正することができる。
【００３１】
運動ベクトルを計算するこの方法は、カメラパラメータの変化に伴うビデオ画像の変化の全てを考慮に入れている。カメラによって見える景色の変化とは無関係に、次画像のピクセル／ブロックは、最初に、次画像のカメラパラメータを使用して３次元空間に投影された後、基準画像のカメラパラメータを使用して基準画像の表面に投影されても良い。以下、次画像内においてある物体に対応する点をｐ１とし、基準画像内において対応する点をｐ_refとする。しかしながら、ｐ_refの値は、一般に、次画像が圧縮されるときは未知であり、すなわち、動き補償の目的はまさにｐ_refの予測値を決定することである。
【００３２】
１回投影された次画像の点ｐ１をｐ１’（これは、３次元空間の点である）で表わし、２回投影された次画像の点をｐ１”（これは、基準画像の像面内の点（ｘ１”，ｙ１”）であり、デプス値ｚ１”を有している）で表わす。ｐ１およびｐ１”がある領域内のビデオ画像の変化がカメラパラメータの変化のみによって生じる場合、ｐ１”はｐ_refと同一もしくはそれに近い。図１〜図３は、この場合を示している。ｐ１”がｐ_refと同一もしくはそれに近いか否かを評価する方法は、デプス値ｚ１”と基準画像のデプスマップ値Ｚ０（ｘ１”，ｙ１”）とを比較することである。これらの値は、画像の変化がカメラパラメータの変化によって生じる場合、きっちりと一致する。この場合、一般に、ｐ１に関してｐ１”−ｐ１よりも正確な運動ベクトルを見出す必要はない。
【００３３】
カメラによって見える景色が変化する場合に、前述したように次画像の点を２回投影すると、その画像領域で不正確な運動ベクトルが得られる。前述したように、より正確な運動ベクトルを決定する必要があるか否かを評価するための安価な計算方法は、デプス値ｚ１”とデプスマップ値Ｚ０（ｘ１”，ｙ１”）とを比較することである。この比較によってきっちりと一致しない場合には、従来の検索方法を使用して、より正確な動き補償ベクトルを決定しても良い。値ｐ１”−ｐ１は、これらの従来の運動ベクトル検索方法のための初期値として使用されても良い。標準的な画像圧縮方法において、運動ベクトルは、通常、各ピクセルごとに別個に計算せず、８×８ピクセルや１６×１６ピクセル等の所定サイズのブロックごとに計算する。このため、本発明の投影方法は、計算労力を省くため、そのようなブロックにも適用されることが好ましい。これは、たとえば、ブロックの内側のデプス値を平均化するとともに、平均デプス値を使用し且つ投影時の点座標としてブロックの中心のｘ、ｙ座標を使用することによりおこなうことができる。
【００３４】
図５，６，７はそれぞれ、周知のコンピュータゲームからのビデオフレームに関してこの投影方法を用いて計算された運動ベクトル場を示している。このコンピュータゲームにおいて、仮想カメラは、武器に取り付けられるとともに、プレーヤーと共に動き回って回転することができる。図は、動作評価プロセスで使用される複数のブロックに分割されたゲームからのビデオフレームを示している。図５〜図７は、ゲームのためのビデオフレームを示しており、ビデオフレームは複数のブロックに分割される。
【００３５】
図５において、カメラは固定されており、したがって、投影方法を使用して計算される運動ベクトルは存在しない。図６は、プレーヤーが前進している状態を示している。また、図７は、プレーヤーが右から左に回転している状態を示している。図５〜図７から分かるように、前述した投影方法を使用して形成される運動ベクトルは、直感的な動作感を与える。
【００３６】
前述した投影方法を使用して計算された運動ベクトルは、ブロックを基本とする画像圧縮のための入力データとして使用する代わりに、基準画像ワーピング領域として使用することができる。一般に、基準画像内の各ピクセルにおける運動ベクトルは、ブロックを基本とするベクトル場の内挿法（たとえば、２次元線形）によって計算される。また、１ピクセルずつピクセルを投影する運動ベクトル場を形成することができる。無論、この方法を使用するには、圧縮データと併せて運動ベクトル場を表わす情報の送信／記憶が必要である。画像圧縮および画像解凍時に基準画像ワーピングがおこなわれる場合、実際の画像圧縮アルゴリズムの一部は、ワープされた基準画像と次画像との間の差異を補正する。
【００３７】
ワープ方法の使用は、圧縮比およびビデオの画質にとって有益である。これは、この方法が運動ベクトルで表わすことができる演算の組を増やすためである。通常のブロックを基本とする画像圧縮において、基準画像から次画像を形成するために使用できる演算は変換されたブロックコピーだけである場合、ワープ方法は、カメラの動きによって生じる画像のスケーリングおよび回転を正確に再生する。従来の反復検索法を用いて回転パラメータおよびスケーリングパラメータを求めると、画像圧縮の計算が非常に高価になる。これは、２つの新たな次元が検索空間に効果的に加わるためである。
【００３８】
図８は、２つの例として、本発明の２つの実施形態に係る画像圧縮方法８００，８２０のフローチャートを示している。ステップ８０１では、次画像が受けられるとともに、次画像のカメラパラメータに関する情報が形成される。ステップ８０２では、次画像のデプスマップに関する情報が形成される。ステップ８０３では、次画像のデプスマップおよびカメラパラメータを使用して、次画像のブロックが３次元空間に投影される。ステップ８０４では、基準画像のカメラパラメータに関する情報が形成され、ステップ８０５では、３次元空間に投影された点が基準画像の像面に投影される。
【００３９】
ステップ８０６では、前述したように、投影の結果を使用して運動ベクトルが決定される。ステップ８０７では、カメラパラメータに関係する運動ベクトルが十分に正確であるか否かが判断される。これは、前述したように、基準画像デプスマップ値Ｚ０（ｘ１”，ｙ１”）を２回投影した像点ｐ１”のデプス値ｚ１”と比較することによりおこなうことができる。一般には、この差に関する閾値が決定され、デプスマップ値が互いに十分に近い場合には、より正確な運動ベクトルは不要となる。ステップ８０８では、必要に応じて、カメラパラメータに関連する運動ベクトルを初期値として使用することにより、より正確な運動ベクトルが検索される。ここでは、動き補償ベクトルを検索するための任意の方法を適用することができる。検索は、運動ベクトルが十分に正確でなかった画像領域でのみおこなわれることが好ましい。
【００４０】
図８ｂは、画像圧縮方法８００がどのように続行するかを示している。この方法において、運動ベクトルは、従来の画像圧縮方法で使用される。ステップ８０９では、運動ベクトルを使用して、次画像における動きが補償された予測を決定する。その後、ステップ８１０では、次画像と動きが補償された予測とを用いて、差画像が生成される。ステップ８１１では、その後の使用のために、運動ベクトルを表わす情報が送信／記憶される。ステップ８１２では、差画像を示す情報が送信／記憶される。ステップ８１３では、送信／記憶された情報を使用して、新たな基準画像が形成される。この場合、各圧縮画像に関して新たな基準画像が形成されても良く、あるいは、多くの圧縮画像において一つの同じ基準画像が使用されても良い。その後、方法８００はステップ８０１から続く。
【００４１】
図８ｃは、方法８２０がどのように続行するかを示している。方法８２０では、ステップ８２１で運動ベクトル場が決定される。前述したように、運動ベクトル場を決定する一つの考えられる方法は、ピクセル固有の値をブロック固有の運動ベクトルから内挿することである。ステップ８２２では、運動ベクトル場をワーピング場として使用することにより、次画像の動きが補償された予測を決定する。その後、方法８２０は、方法８００と同様に続けられる。
【００４２】
画像の周縁において、新たな素材が視野に入る場合、動きが補償された概算は不正確である。この状況は、この方法にしたがって計算された運動ベクトルが基準画像の外側を指している場合に、観察することができる。しかしながら、この場合も、差画像は、動きが補償された概算の不正確さに対処できる。
【００４３】
図９は、一例として、本発明の一実施形態に係る画像圧縮器９００のブロック図を概略的に示している。画像圧縮器は、基準画像を記憶するための手段９０１と、次画像を受けるための手段９０２と、運動ベクトルを決定して次画像と基準画像との間の変化を評価する手段９０３とを有している。また、画像圧縮器は、次画像のカメラパラメータおよびデプスマップに関する情報を形成する手段９０４と、基準画像のカメラパラメータを記憶する手段９０５とを備えている。手段９０４は、たとえば、レンジセンサから距離情報を受けるように設けられていても良く、あるいは、３−Ｄディスプレイコントローラのメモリから情報を受信／フェッチするように設けられていても良い。運動ベクトル評価を決定するための手段９０３は、次画像の点の３次元空間への投影および３次元空間内の点の基準画像への投影を計算するように設けられている。
【００４４】
また、画像圧縮器は、基準画像のデプスマップに関する情報を記憶するための手段（カメラパラメータを記憶するために使用される同じメモリ手段９０５を使用して実施されても良い）と、運動ベクトルの精度を評価するための手段９０６とを備えていても良い。運動ベクトルの精度を評価するための手段は、必要に応じて、従来の検索方法を用いて、より正確な運動ベクトルを決定するように設けられていても良い。
【００４５】
また、画像圧縮器は、一般に、次画像において動きが補償された概算を構成するための手段９０７と、次画像と動きが補償された概算との間の差画像を判断するための手段９０８とを備えている。動きが補償された概算を構成するための手段９０７は、運動ベクトルを使用するように設けられていても良く、あるいは、運動ベクトル場を構成し且つ運動ベクトル場にしたがって基準画像をワープするように設けられていても良い。
【００４６】
また、画像圧縮器は、一般に、運動ベクトルおよび差画像を表わす情報を送信／記憶するための手段９０９を備えている。また、一般に、送信／記憶された情報を使用して新たな基準画像を構成するための手段９１０も画像圧縮器の一部である。
【００４７】
本発明に係る装置またはコンピュータプログラムは、本発明に係る任意の方法にしたがって機能するように設けられていても良い。
【００４８】
前述した方法は、圧縮されたビデオの使用の新たな可能性を広げる。これは、一般に従来の動き補償画像圧縮によって必要とされるプロセッサおよび他のリソースにより、非常に多くの要件が、リアルタイム画像圧縮による装置に突き付けられるためである。ここでは、リアルタイム圧縮ビデオストリームに必要な計算能力を使用して、結果の質を高め、複数のビデオストリームを同時に圧縮することができ、あるいは、適当な場合には、画像圧縮と同時に他の仕事をおこなうことができる。
【００４９】
以上のことから、当業者であれば分かるように、本発明の範囲内で様々な変更を成すことができる。本発明の幾つかの好適な実施形態を詳細に説明してきたが、多くの修正や変形をそれに加えることができ、その全てが請求項によって規定される本発明の範囲内に入ることは言うまでもない。
【図面の簡単な説明】
【図１ａ】 架空のビデオ画像を示す説明図である。
【図１ｂ】 図１ａの画像に対応するデプスマップを示す説明図である。
【図２ａ】 カメラが移動した場合の同じ景色の新たな画像を示す説明図である。
【図２ｂ】 新たなビデオ画像のデプスマップを示す説明図である。
【図３】 図１ａおよび図２ａのビデオ画像におけるカメラ位置を示す説明図である。
【図４】 デプスマップ情報を使用してビデオ画像内の点を３次元空間に投影し戻すことができる投影に関する幾何学的構成を示す説明図である。
【図５】 カメラが固定されている状況で周知のコンピュータゲームに本発明を適用した状態を示す説明図である。
【図６】 ほぼ真っ直ぐに前進するカメラを示す説明図である。
【図７】 左右に回転するカメラを示す説明図である。
【図８ａ】 本発明の一実施形態に係る方法の内容を示すフローチャートである。
【図８ｂ】 本発明の一実施形態に係る方法の内容を示すフローチャートである。
【図８ｃ】 本発明の一実施形態に係る方法の内容を示すフローチャートである。
【図９】 本発明の更なる実施形態に係る画像圧縮器を示す説明図である。

Claims (9)

1. カメラ位置、カメラ方向ならびにカメラの観察距離を規定するカメラパラメータおよびデプスマップを使用して次画像の点を３次元空間に投影する（８０３）ステップと、
   ３次元空間に投影された点を基準画像の前記パラメータを使用して当該基準画像の像面に投影し（８０５）、当該基準画像の像面に投影した点と前記次画像の点とに基づいて運動ベクトルを取得することによって、次画像と基準画像との間の変化を予測するステップと、
   ３次元空間に投影された点のデプス値を、基準画像の像面に投影された点のデプスマップ値と比較することにより、得られた運動ベクトルの精度を評価する（８０７）ステップと、
   を含み、
   前記デプスマップは、コンピュータのディスプレイコントローラのメモリ内にあるデプスマップから得られ、
   得られた運動ベクトルは、その評価された精度に応じて、それ自体が画像圧縮運動ベクトルとして使用され、あるいは、画像圧縮運動ベクトル検索（８０８）のための初期値として使用されることを特徴とするビデオ情報圧縮方法（８００，８２０）。
2. 得られた運動ベクトルは、圧縮速度を上げるために適用されることを特徴とする請求項１に記載のビデオ情報圧縮方法。
3. 得られたおよび／または検索された運動ベクトルを使用して、次画像における運動ベクトル場を決定する（８２１）ステップと、
   基準画像のワーピング場として運動ベクトル場を使用することにより、動きが補償された次画像の予測を決定する（８２２）ステップと、
   を含んだことを特徴とする請求項１に記載のビデオ情報圧縮方法。
4. 前記運動ベクトルは、所定サイズの画像ブロックに関して決定され、各ブロック毎に一つの運動ベクトルのみが決定されることを特徴とする請求項１〜３のいずれか一つに記載のビデオ情報圧縮方法。
5. デプスマップを使用して各画像ブロック毎に平均デプスが決定され、ブロックの中心点が投影された点であることを特徴とする請求項４に記載のビデオ情報圧縮方法。
6. コンピュータ上で実行される時に、請求項１のステップの全てをおこなうようになっているコンピュータプログラムコード手段を備えているコンピュータプログラム。
7. コンピュータで読み取ることができる媒体上に具現化された請求項６に記載のコンピュータプログラム。
8. 基準画像を記憶するための手段（９０１）と、
   次画像を受けるための手段（９０２）と、
   運動ベクトルを決定して次画像と基準画像との間の変化を評価する手段（９０３）と、
   を備えたビデオ情報の動き補償圧縮のための装置（９００）において、
   前記次画像を受けるための手段（９０２）によって受けた次画像に基づいて、当該次画像の、カメラ位置、カメラ方向ならびにカメラの観察距離を規定するカメラパラメータおよびデプスマップに関する情報を形成するための手段（９０４）と、
   基準画像のカメラパラメータに関する情報を記憶するための手段（９０６）と、
   前記基準画像のデプスマップに関する情報を記憶するための手段（９０６）と、
   ３次元空間に投影された点のデプス値を、基準画像の像面に投影された点のデプスマップ値と比較することにより前記運動ベクトルの精度を評価するための手段（９０５）と、
   前記運動ベクトルを、その評価された精度に応じて、画像圧縮運動ベクトルとして使用し、あるいは、画像圧縮運動ベクトル検索（８０８）のための初期値として使用するための手段と、
   を備え、
   前記次画像と基準画像との間の変化を評価する手段（９０３）は、次画像の前記カメラパラメータおよびデプスマップを使用して次画像の点の３次元空間への投影を計算するとともに、基準画像のカメラパラメータを使用して３次元空間内の点の基準画像に対する投影を計算し、当該基準画像の像面に投射した点と前記次画像の点とに基づいて前記運動ベクトルを決定するように設けられていることを特徴とするビデオ情報圧縮装置。
9. カメラ位置、カメラ方向ならびにカメラの観察距離を規定するカメラパラメータおよびデプスマップを使用して次画像の点を３次元空間に投影する手段と、
   ３次元空間に投影された点を基準画像の前記パラメータを使用して当該基準画像の像面に投影し（８０５）、当該基準画像の像面に投影した点と、前記次画像の点とに基づいて運動ベクトルを取得することによって、次画像と基準画像との間の変化を予測する手段と
   前記基準画像のデプスマップに関する情報を記憶するための手段（９０６）と、
   ３次元空間に投影された点のデプス値を、基準画像の像面に投影された点のデプスマップ値と比較することにより前記運動ベクトルの精度を評価するための手段（９０５）と、
   前記運動ベクトルを、その評価された精度に応じて、画像圧縮運動ベクトルとして使用し、あるいは、画像圧縮運動ベクトル検索（８０８）のための初期値として使用するための手段と、
   を備え、
   前記デプスマップは、コンピュータのディスプレイコントローラのメモリ内にあるデプスマップから得られることを特徴とするビデオ情報圧縮装置。

Images