JP3592168B2 - 画像データの符号化復号化方法及び装置 - Google Patents

画像データの符号化復号化方法及び装置 Download PDF

Info

Publication number
JP3592168B2
JP3592168B2 JP36503299A JP36503299A JP3592168B2 JP 3592168 B2 JP3592168 B2 JP 3592168B2 JP 36503299 A JP36503299 A JP 36503299A JP 36503299 A JP36503299 A JP 36503299A JP 3592168 B2 JP3592168 B2 JP 3592168B2
Authority
JP
Japan
Prior art keywords
image data
data
image
pixel
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36503299A
Other languages
English (en)
Other versions
JP2001186516A (ja
Inventor
昭宏 片山
大輔 小竹
幸雄 坂川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP36503299A priority Critical patent/JP3592168B2/ja
Priority to US09/653,002 priority patent/US6757441B1/en
Publication of JP2001186516A publication Critical patent/JP2001186516A/ja
Application granted granted Critical
Publication of JP3592168B2 publication Critical patent/JP3592168B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像データの符号化復号化方法及び装置に関し、特に符号化データを画素単位で復号化可能な画像データの符号化復号化方法及び装置に関する。
【0002】
【従来の技術】
従来、任意の視点位置の3次元画像を生成する方法として、3次元物体を複数の3角形状の小平面(ポリゴン)で表現し、与えられた視点を元に各ポリゴンの輝度値を計算する方法が良く知られている。
【0003】
しかしながら、3次元物体の形状が複雑になると、ポリゴンを用いた表現は困難になり、ポリゴンを小型化しても視覚的な違和感を消すまでには至らない。また、ポリゴンを小型化するに連れて物体を表現するためのデータ量も、任意視点の3次元画像を生成するために必要な計算量も増加する。
【0004】
一方、データ量が物体の形状に依存しない3次元画像の生成方法として、光線空間を用いた方法がある。この方法は、複数の視点位置で撮像された実写画像群を用いて、任意の視点位置における画像を生成・表示する方法の1つであり、3次元物体を3次元空間中を飛来する光線の集合としてとらえるという光線空間の概念に基づく。
【0005】
この概念によれば、3次元物体の可視領域を構成する各画素の輝度値を計算することによって、3次元物体の任意視点からの画像が生成されるため、物体を表現する際の計算量はその可視領域を表す画素数のみに依存し、形状には依存しない。また、画素により形状を表現できるため、複雑な形状の物体であっても正確な形状を再現できる上、実写画像を用いるため、3次元幾何形状を基にする手法からは得られない写実性の高い仮想空間を表現できる。
【0006】
ここで、光線空間の概念についてさらに説明する。3次元空間内には、光源からの光線や物体の反射光等による光線が存在している。3次元空間内のある1点を横切る光線は、その位置(x、 y、 z)と方向(θ、 φ)を表す5つの変数により一意に定められる。この光線の光強度を表す関数をfと定義すると、3次元空間内の光線群データはf(x、 y、 z、 θ、 φ )と表される。さらに、光線群データの時間変化を考慮すると、f (x、 y、 z、 θ、 φ 、t )となり、3次元空間内の光線群は6次元の空間として記述される。この空間が光線空間と呼ばれている。
【0007】
ここで、t =0においてZ =0 という平面(基準面)を通過する光線群に着目する。Y 軸に垂直な水平面(X−Z 平面)を考え、上下方向の視差を考慮しないことにすると(y =0)、φの各値に対して実空間は図13に示すようになる。基準面から発せられる光線群は、位置xと角度θ の2変数でf (x、 θ )と記述される。従って、実空間中のある一点P(X,0, Z )を通過する光線群には、各φに対して,
X = x +Z tanθ (1)
という関係が成り立つ。
【0008】
ここで、u = tanθ という変数を定義すると、式(1)は、
X = x +uZ (2)
となる。従って、光線空間上では、実空間内の1本の光線が1点として写像され、そこに光強度すなわち色情報が記録される。また、式(2)から、実空間内のある1点を通過する光線群は、x−u空間上で直線に写像されることがわかる。
【0009】
図14には、実空間内の P(X、0, Z) の視点位置で観察された光線及び、他の視点位置から観察された光線がx−u空間に写像された様子を示す。なお、x−u空間は、前に述べた5次元の光線空間の部分空間をなすものである。このように、十分に多数の視点からの撮影を行うことによって、x−u空間を密にデータで埋めていくことができる。
【0010】
この光線空間から任意の視点位置の画像を精度良く再構成するためには、本来はy軸方向すなわち、上下方向の次元も必要である。しかし、その場合、光線空間データは少なくともx−y−θ−φ という4次元空間を形成しなければならず、非常に大きなデータ量を持つことになる。そこで今までは、光線空間の部分空間であるx−u空間のみを考えていた。またさらに、光線空間の座標全体に色情報を持たせることは、非常に冗長であると考えられる。
【0011】
なぜなら、たとえx−u空間だけを考えるとしても、画像を再構成するためにはy軸方向の画素情報が必要となるため、光線空間は3次元となり、そこに各光線の光強度を記録しなければならないからである。そこで、再構成する画像のすべての画素について光線空間演算を行い、メモリ上に読み込んだ多視点画像(複数の異なる視点位置から撮像した画像)から輝度値を得る方法があった。なお、光線空間演算とは、多視点画像を基に任意の視点位置の画像を再構成するために、x−u空間で式(2)に基づいて行う計算のことである。
【0012】
しかしながら、上記従来例では、x−u空間はx軸方向(横方向)の視差だけを考えたものであるから、y軸方向については、すべてのスキャンラインで同じ光線空間演算を繰り返さなければならなかった。また、操作者の動きに応じてリアルタイムに、任意の視点位置における画像を生成・表示するためには、高速な光線空間演算を行わなければならない。その演算を行うためには、多視点画像にランダムにアクセスし、画素データを読み込む操作を行わなければならない。すなわち、多視点画像への高速なランダムアクセスが要求される。そこで上記の例では、x−u空間と多視点画像を演算前にメモリ上に読み込んでおく、という手法をとっていた。
【0013】
このように、今までは、任意の視点位置の画像を生成・表示する際に、同じ光線空間演算を何度も繰り返す必要があり、さらに、非常に大きなワークメモリ容量を使用する必要があった。画素データを得るための計算回数が多いということは、リアルタイムな動きを損なう原因となってしまう。また、物体を記述した光線空間データが膨大なデータ容量を持ち、それをすべてメモリ上に読み込んでおかなければならないとなると、光線空間を用いて3次元仮想環境内に表現できる物体の数も限られたものとなってしまう。リアルタイムに画像表示を行うためにも、計算の繰り返しは避ける必要があるし、3次元仮想環境内に光線空間データで記述した物体をたくさん配置できるようにするためにも、光線空間データが占めるワークメモリ容量はできる限り小さくする必要がある。
【0014】
そのため、例えば特開平10ー111951号公報に記載されるように、ある3次元物体の任意視点画像を生成するために撮影した多視点画像データを符号化して、そのデータ量を削減する方法が提案されている。
【0015】
光線空間理論を用いて任意視点の3次元物体画像データを生成するには、その物体の全周を撮影した多視点画像データが必要である。例えば、3次元物体を回転台に乗せ、水平方向に所定の角度ずつ回転させながら都度撮影し、360°分の多視点画像データを用意する。物体の上方及び下方から見たデータを作成する場合には、更に垂直方向にも物体を回転させて多視点画像を撮影する。
【0016】
そのため、所定の角度が小さければ小さいほど、互いに相関性の高い画像が連続して撮影されることになる。特開平10−111951号公報に記載の方法はこの相関性の高さを利用して、圧縮(符号化)前の多視点画像データのうち、符号化しないリファレンス画像を周期的に設定し、残りの画像データについては、その画像データに相関の強い(撮影角度の近い)2枚のリファレンス画像に含まれる画素データのうち、最も近い値を有する画素を示すポインタ値に符号化することにより、画像データの総量を削減している。
【0017】
【発明が解決しようとする課題】
しかしながら、特開平10−111951号公報記載の符号化方法においては、リファレンス画像は符号化されない生データであるため、リファレンス画像を多く設定すると画像データ量の削減効果は小さくなる。しかしながら、リファレンス画像を少なくすると、リファレンス画像と相関性の小さい画像データが増加するため、復号化した画像の品質が劣化するため、実質的なデータ量削減効果はそれほど大きくない。
【0018】
また、相互に相関性が強く、かつ連続した画像データはテレビジョン信号やビデオ信号のような動画データと見なすことも可能であるため、公知の動画データ符号化方法を適用することも考えられる。しかしながら動画データの符号化方法として標準的に用いられるMPEG方式では、画像データをブロック毎に符号化し、復号化もブロック単位であるため、異なる多視点画像から復号結果を画素単位にかつ高速に取り出す必要のある光線空間理論に基づく画像生成にそのまま適用することはできない。
【0019】
本発明はこのような従来技術の問題点に鑑みなされたものであり、その目的は、同一物体を多視点から撮影した多視点画像データを高能率に符号化可能であり、かつ画素単位での復号化データを高速に得ることが可能な画像データの符号化復号化方法及び装置を提供することにある。
【0020】
【課題を解決するための手段】
すなわち、本発明の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、リファレンス画像以外の画像データのそれぞれについて所定の大きさを有するブロックに分割するステップと、分割したブロックのそれぞれについて、リファレンス画像中に含まれる同じ大きさの領域で、ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出するステップと、ブロックの画素データと、位置関係を検出した領域の画素データとの差分データを算出するステップと、差分データに直交変換を行なう直交変換ステップと、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法に存する。
また、本発明の別の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換ステップと、ブロックを構成する画素毎に、直交変換の逆変換式を生成するステップと、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法に存する。
【0021】
また、本発明の別の要旨は、所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、ブロック内の画素毎に予め用意された直交変換の逆変換用演算式とから、符号化画像データを画素単位で復号化する画像データの復号化方法であって、復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出しステップと、読み出された符号化画像データを復号化する第1の復号化ステップと、復号化ステップで得られた直交変換の係数のうち、演算式に適用する係数の数を決定する個数決定ステップと、個数決定ステップで決定された数の係数を逆変換用演算式に適用して、画素データを復号化する第2の復号化ステップとを有し、個数決定ステップが、動的に決定する数を変更することを特徴とする画像データの復号化方法に存する。
【0022】
また、本発明の別の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、リファレンス画像以外の画像データのそれぞれについて所定の大きさを有するブロックに分割する分割手段と、分割したブロックのそれぞれについて、リファレンス画像中に含まれる同じ大きさの領域で、ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出する検出手段と、ブロックの画素データと、位置関係を検出した領域の画素データとの差分データを算出する算出手段と、差分データに直交変換を行なう直交変換手段と、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置に存する。
【0023】
また、本発明の別の要旨は、所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、ブロック内の画素毎に予め用意された直交変換の逆変換用演算式とから、符号化画像データを画素単位で復号化する画像データの復号化装置であって、復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出し手段と、読み出された符号化画像データを復号化する第1の復号化手段と、復号化手段で得られた直交変換の係数のうち、演算式に適用する係数の数を決定する個数決定手段と、個数決定手段で決定された数の係数を逆変換用演算式に適用して、画素データを復号化する第2の復号化手段とを有し、個数決定手段が、動的に決定する数を変更することを特徴とする画像データの復号化装置に存する。
また、本発明の別の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換手段と、ブロックを構成する画素毎に、直交変換の逆変換式を生成する逆変換式生成手段と、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置に存する。
【0026】
また、本発明の別の要旨は、本発明による画像データの符号化方法及び/又は画像データの符号化方法を、コンピュータ装置が実行可能なプログラムとして格納したことを特徴とする記憶媒体に存する。
【0027】
【発明の実施の形態】
以下、図面を参照して、本発明をその好適な実施形態に基づき説明する。
(システム構成)
図1は、本発明による符号化復号化方法を適用可能な複合現実空間提示システムの構成例を示すブロック図である。以下の説明において、本実施形態における複合現実空間提示システムは、ユーザが装着する光学シースルー型HMD等の表示装置に、光線空間理論を用いて生成した3次元物体画像を重畳表示することにより、ユーザに複合現実空間を提示するシステムとして述べるが、本発明による符号化復号化方法は相関性の比較的高い画像データが連続する画像データ群(動画を含む)に対する汎用的な方法であり、これ以外の用途にも応用可能であることは言うまでもない。
【0028】
図1において、入力装置1は、キーボード、マウス等からなり、システムに対して設定等の入力を行なったり、指示を入力する際に用いる。RAM2は、CPU3が実行するプログラムを読み込んだり、ワークエリアとして使用される。CPU3は本システム全体の制御を行なう。以下に説明する画像データの符号化及び復号化処理は、CPU3がプログラムを実行することにより実現される。
【0029】
ROM4は、CPU3が実行するプログラム等を記憶する。VRAM5は、表示用のビデオRAMである。画像データベース7は予め取得した多値視点画像データを符号化した符号化画像データを蓄積する。光線空間データベース8は、予め取得した多値視点画像データと、2次元対応関係テーブルとの対応を示す光線空間データを蓄積する。外部記憶装置9は、CPU3が実行するプログラムや、符号化前の多値視点画像データ等を記憶する。
【0030】
画像データベース7、光線空間データベース8及び外部記憶装置9は、それぞれインタフェース12、13及び14を介してCPUバス15に接続される。また、いずれもハードディスクドライブ(HDD)やDVD−RAMドライブなど、書き換え可能な記憶装置で構成することができ、1つの装置の一領域として構成しても良い。表示装置6は本実施形態においてはユーザが装着するHMDであり、インタフェース11を介してVRAM5に接続される。図1のシステムにおいて、表示装置6以外の表示装置をさらに有していても良い。
【0031】
本実施形態におけるシステムは、多値画像データを光線空間に射影した状態で保持するのではなく、光線空間データを多視点画像と2次元対応関係テーブルの組としてとらえ、多視点画像を符号化(圧縮)することで全体のデータ量を削減することを特徴とする。
【0032】
すなわち、多視点画像データを光線空間へ射影する式は、前述の式(2)の通りであり、この式には画像の高さ方向(Y軸方向)の成分は含まれない。従って、図に示すように、多視点画像データの1画像データに含まれる同列の画素データのx−u空間における写像は、同一の点になる。そこで、このときに光線空間f(x,u)に画素値を記録するのではなく、その画素が存在する画像と、画像中の列位置を記録した対応関係テーブルを生成する。
【0033】
一方、多視点画像データを画素単位でランダムに復号化可能に符号化しておくことによって、対応関係テーブルと符号化した多視点画像データの組を記憶しておけば、再構成時の光線空間から多視点画像への逆射影演算は、テーブルを参照することで実現でき、高速に処理可能である。また、対応関係テーブルと符号化によりデータ量が圧縮された入力多視点画像のみを用いればよいので、全ての多視点画像データを光線空間へ射影し、画素値を記憶する場合に比べて必要なデータ量が削減される。
【0034】
すなわち、本実施形態におけるシステムでは、対応関係テーブルの作成及び多視点画像データの圧縮符号化を事前に行なってその結果を記憶しておき、その後実時間で与えられる視点位置(姿勢)情報を元に対応関係テーブルを参照し、必要な多視点画像データの画素データを復号して画像生成を行なう。
【0035】
(全体処理)
図2は、本実施形態のシステムにおける処理の全体の流れを示すフローチャートである。
まず、ステップS100において、CCDスチルカメラ等を用い、画像生成対象となる3次元物体の多視点画像(E枚とする)を撮影し、画像データベース7に記憶する。次いでステップS101では、画像データベース7に記憶したE枚の画像データから、光線空間と多視点画像データとの対応関係テーブルを生成する。対応関係テーブルの生成方法については後で詳述する。
【0036】
光線空間データを画像データとの対応を示す対応関係テーブルの形で保持しておくと、後で述べる任意視点画像生成が対応関係テーブルを参照する形で行えるので、高速処理が可能となる。このようにして生成した対応関係テーブルは、光線空間データベース8に記憶する。
【0037】
対応関係テーブルの生成が終わると、多視点画像データの圧縮符号化を行なう(図2、ステップS102)。本発明はこの圧縮符号化において、画素単位での復号が容易で、かつ十分なデータ量の圧縮が可能な符号化を実現することを目的とするものである。符号化処理については後で詳述する。圧縮符号化された多視点画像データは画像データベース7に記憶される。
【0038】
ステップS100〜S102までの処理は、視点位置姿勢情報に基づく画像生成処理前に行なっておく。
ステップS103において、ユーザが装着したHMD6に装着したセンサ等からの入力により、ユーザの視点位置・方向を検出する(ステップS103)。ついで、この視点位置、方向情報に基づき、光線空間データベース8を検索し、対応する多視点画像中の画素データを調べる。そして、画像データベース7に記憶してある符号化多値視点画像データから、所望のデータを画素毎に復号化して仮想空間画像を生成(ステップS104)して、HMD6の適切な位置に表示する(ステップS105)。画像生成処理についても後で詳述する。
【0039】
ステップS106において、複合現実空間提示システムのアプリケーションを終了するか否かを判定し、処理を継続する場合にはステップS103へもどる。処理を終了する場合には全体の処理を終了する。
【0040】
(対応関係テーブル作成処理)
ここで、光線空間と多視点画像データとの対応関係テーブルの生成処理について図3〜図6を用いてさらに説明する。図3は、Z軸に対する光軸のずれ角α、レンズ中心の位置Q(x0、 z0)(これを視点位置とする)にカメラを置いて画像を撮影している状況を示したものである。図中、301は視点位置Q(x0、 z0)、302は撮像面、303は撮像面中の任意ラインのj番目の画素、304はX軸、305はZ軸、306は光軸がZ軸となす角α、307は視点位置301と画素303を通過する光線がZ軸となす角度θ、308はカメラの画角ω、309はj番目の画素を通過する光線がX軸と交差する点を表している。撮像面中の各ラインの画素数をmとすれば、角度θ307は、以下の式を解くことにより求めることができる。
(m/2) tan(θ−α) = ( j − m/2) tan(ω/2) (3)
【0041】
式(3)を使って、画像データベース7に記憶した各画像データ中の先頭1ライン分のデータ(E枚×m画素分)の光線方向をそれぞれ求め、これらの光線群を式(1)(2)に従って光線空間に射影する。
【0042】
光線空間に記録されるデータは、k 番目(1≦k≦E)の画像中の、1ライン目に含まれる主走査方向h番目(1≦h≦m)の画素から生成された光線が光線空間(x−u空間)中の(x1、 u1)の位置に射影されたとすると、光線空間中の座標(x1,u1)に(k、 h)という値が記録される。すなわち、光線空間の位置と、多視点画像データ中の画素データとの対応関係を示す値が記録されることになる。
【0043】
ここで、多視点画像データを構成する各画像データ中の先頭1ライン分のデータのみを光線空間に射影する理由であるが、式(1)(2)から分かるように、これらの式には、画像の高さ(y)方向の項が入っていない。そのため、図4に示すように、各画像データの2ライン目以降のデータも先頭ラインのデータと同じ(光線空間中の)位置に射影される。従って、各画像中の先頭ラインのみを計算しておけば、その他のデータは計算しなくても自動的に光線空間中のどの位置に射影されるかを求めることができる。
【0044】
このように先頭ラインのみを計算することにより、対応関係テーブルの生成処理の高速化を図ることができる。また、射影された光線空間データが、多視点画像データの解像度と同等の解像度を維持するよう、x軸、u軸を量子化する。
【0045】
図5に、光線空間と多値画像データとの関係対応テーブルの一例を示す。説明を簡単にするためにこの例では、x軸、u軸は量子化されて、11×5 個の要素になっている。そして、それぞれの要素には、それぞれの光線に対応する〔画像番号、画素番号〕の組が記録されている。
【0046】
しかしながら、離散的な視点位置(カメラ位置)において多視点画像を撮影しているため、テーブルには値が未定の要素(図5中の空白部)が存在する。そのため、値が未定な要素の値を推定する。推定方法には種々の方法があり、任意の方法を用いることができるが、例えばnearest neighbor法を採用することができる。推定した値は、〔画像番号、画素番号〕の組として対応する要素に記録する。
【0047】
図6は、推定処理を行なって得られた最終的な対応関係テーブルの例を示す図である。テーブルの各要素に記載されている数値は、〔画像番号、主走査方向の画素番号〕の組み合わせである。各要素のx方向、u方向の位置を図のように与える。例えば、要素(0、0)の値は〔2、3〕であり、要素(1、2)の値は〔3、2〕である。
【0048】
(圧縮符号化処理)
次に、図2のステップS102で行なわれる多視点画像データの圧縮符号化処理について、図7に示すフローチャートを用いて説明する。
【0049】
前述の通り、本発明における圧縮符号化に必要な特性は、
【0050】
1)圧縮率が高いこと
2)画素単位で高速な復号化が可能なこと
の2点である。そのため、本発明においては、符号化を行なわないリファレンス画像以外の画像については、視差(動き)補償予測方式及びDCT符号化を用いて高能率符号化を行なうとともに、画素単位での復号化を可能にするためにベクトル符号化(固定長符号化)を行なっている。
まず、多視点画像を形成する複数の画像データから、符号化を行なわないリファレンス画像を選定する(ステップS701)。具体的には、隣接する画像データ間の相関が最も高くなるように並べ、所定枚数毎にリファレンス画像を選定すればよい。ただし、通常多視点画像を撮影する場合には、物体を回転台等に置いた状態で、所定角度ずつ回転させた状態で撮影を行なうため、基本的には撮影した順番に所定枚数毎にリファレンス画像を選定すればよい。
【0051】
リファレンス画像は符号化を行なわないため、リファレンス画像の枚数を増やすと全体の圧縮率は低下するが、少なすぎると復号化データの精度も低下するため、生成した画像データの品質と、システムで求められる品質とを比較して何枚間隔でリファレンス画像とするかを設定する。
【0052】
次に、リファレンス画像以外の画像データについて、圧縮符号化を行なう。まず、各画像を所定の大きさのブロックに分割し、ブロック毎にリファレンス画像とマッチングを行ない、二乗誤差が最小となるリファレンス画像のブロックとの相対位置情報(動きベクトル)を求める(ステップS702)。
【0053】
具体的には、画像データをYUVに変換し、Y:U:V=4:1:1にサブサンプリングして画素あたり12ビットのデータにしたのち、8×8画素のブロックに分割し、リファレンス画像に対して1画素単位でブロックマッチングを行なう。ただし、U,Vについてはサブサンプリングされているため、縦横2倍に拡大して画像サイズをYに合わせてからブロックマッチングを行なう。
【0054】
動きベクトルの検出は、その画像に近い2つのリファレンス画像に対してのみ行い、他のリファレンス画像や別の画像データとのマッチングは行なわない。すなわち、図8に示すように、4枚おきに1枚のリファレンス画像(#1、#6、#11・・・)を設定した場合、隣接する2枚のリファレンス画像#1及び#6の間にある圧縮符号化の対象となる画像データ#2〜#5は、それぞれリファレンス画像#1及び#6とのみブロックマッチングを行なう。このように、符号化されないリファレンス画像との関係を検出することにより、復号化する画素を含む画像データ以外の画像データを復号化する必要が無くなるため、復号化処理を高速に行なうことができる。
【0055】
動きベクトルは、例えばブロックマッチングを行なった2枚のリファレンス画像のどちらかを示す1ビットの情報と、そのリファレンス画像においてマッチングした8×8画素ブロックとの相対位置を示す情報(縦方向7ビット、横方向8ビット)の計16ビットで表現することができる。
【0056】
次に、圧縮符号化対象の画像データと、動きベクトルの対象としたリファレンス画像との差分(フレーム間差分)を求め(ステップS703)、求めた差分(誤差)データをDCT符号化する(ステップS704)。
【0057】
DCT演算を高速化するため、整数係数方式によるDCT演算を採用することもできる。整数係数方式によるDCT演算については、たとえば宮本らの、”簡略化した逆変換によるDCT圧縮動画像データの復号”、電子通信学会、’94年春季大会 D−308,1994を参照のこと。
【0058】
また、DCT演算を行なった際、各ブロックを構成する64の画素のそれぞれに対し、復号化時に行なうDCT係数とのマトリックス演算式を予め展開して保存しておく。その際、演算式は64個のDCT係数のうち、DC成分から高周波成分へ順に、所謂ジグザグスキャンの順番で展開する。また、高周波領域の所定数の係数については演算式から省くことにより、復号時の演算量を削減することができる。また、DCT成分は通常MPEG符号化で用いられている量子化テーブルを用いて量子化する。
【0059】
次に、量子化されたDCT係数をYUVの各成分毎にベクトル量子化する(ステップS705)。これは、可変長符号化を行なうと、復号化時に各ブロック(画素)毎のランダムアクセスが困難になるため固定長符号化であるベクトル量子化を採用したものである。
【0060】
ベクトル量子化はYUVの各成分毎に行なう。この際、DCT係数の高周波成分については省略することができる。省略の程度は物体形状の複雑さや、システムに要求される画質の程度に応じて適宜設定すればよい。発明者がいくつかのサンプルについて実験的に求めた結果では、ジグザグスキャンの順番でいうと、Y成分については約30番目以降、U,V成分については約15番目以降の成分について省略しても、静止状態で視覚的に問題となる画質劣化は認められなかった。
【0061】
この場合、Y成分については64のDCT係数のうち最初の30個を、U,V成分については同じく15個をそれぞれベクトルとして取り扱ってベクトル量子化を行なえばよい。
【0062】
ベクトル量子化における代表ベクトルの決定は、種々の方法を適用することができるが、例えばY. Lindeらが”An algorithm for vector quantizer design” (IEEE Trans. Comm.,Vol. COM−28, No. 1, pp. 84−95, 1980)において提案したLBGアルゴリズムを用いることができる。なお、初期値として設定した代表ベクトルの数以下の場合には、出現したベクトルを全て代表ベクトルとして扱えばよい。
【0063】
最後に、リファレンス画像のデータ及びベクトル量子化結果である符号化画像データ、ステップS702で検出した動きベクトル、ステップS704で求めた画素毎の展開式を、画像データベース7に記憶して、符号化処理を終了する(ステップS706)。
【0064】
(画像生成処理)
次に、図2におけるステップS104で行なわれる画像生成処理について、図11及び図12に示すフローチャートを用いて詳細に説明する。
【0065】
ステップS103(図2)において、HMD6等に装着されたセンサなどにより、ユーザの視点位置及び方向を検出したら、検出した視点位置・方向に仮想カメラを設定し、仮想カメラ画像の先頭ラインの各画素を光線群に分解する(ステップS901)。
【0066】
次にステップS902において、ステップS901で求まった光線群の各光線について、光線空間中のどの位置に射影されるかを前述の式(1)(2)を用いて求める。このとき符号化時と同様に、解像度の互換性を保つためにx軸、u軸を量子化する。そして、光線空間データベース7から、各光線が射影された光線空間の位置に相当する対応関係テーブルの要素、すなわち多値画像データの画像番号と画素位置の組を読み出す(ステップS903)。
【0067】
例えば、5本の光線が図6に示す対応関係テーブルにおいて、光線空間中の要素(−2、2)、(−1、1)、(0、0)、(1、−1)、(2、−2)の位置に射影されたとすると、その要素に記録されている値、〔5、1〕、〔2、2〕、〔2、3〕、〔4、5〕、〔3、4〕を読み出すことになる。
【0068】
ここで、図9に示すように、k番目の画像中の主走査方向h画素、副走査方向j画素の位置にある画素を{k、h、j}と表記するとすると、生成画像(x、y)の(1、1)画素は{5、1、1}、(2、1)画素は{2、2、1}、・・・、(5、1)画素は{3、4、1}として1ライン目の画像を生成したら、2ライン目の(1、2)画素は{5、1、2}、(2、2)画素は{2,2,2}、(3、2)画素は{2、3、2}のように同じ列の値を順次与えれば良いように感じる。しかし、対応関係テーブルはデータ量を削減するため、光線空間への射影時に上下視差を無視した一ライン目のみの射影結果であるため、このように処理すると生成画像が大きく歪む。したがって、画像生成時にこの歪みを補正する必要がある。以下補正方法について説明する。
【0069】
図10は生成された画像の歪みを補正する原理を示す図である。図中、701は被写体、702は生成したい視点位置Pの画像、703は視点位置Sの入力画像である。
【0070】
被写体701中の一点Bについて考える。点BがY軸に近いか、生成したい視点位置Pの画像702、視点位置Sの画像703のz座標値が十分に大きい、または、生成したい視点位置Pの画像702、視点位置Sの画像703のz座標値がほぼ同じ値であると仮定する。このとき、点Bから発する光線は生成したい視点位置Pの画像702中のm’ライン目と視点位置Sの画像703中のn’ライン目に記録される。
【0071】
そこで、仮想カメラの画素ピッチをd、焦点距離をf、総ライン数をn、入力画像の撮影地点と基準面までの距離Sz、生成画像の位置と基準面までの距離Pzとすれば、
Pz・tanγ= Sz・tanβ (4)
tanγ= d・(n/2−m’)/f (5)
tanβ= d・(n/2−n’)/f (6)
【0072】
となる。そして、(4)式、(5)式、(6)式より、
n’ = n/2 + (m’ − n/2)・Sz/Pz (7)
が得られる。
このように、生成したい視点位置Pの画像702のm’番目のスキャンラインの値は、視点位置Sの画像703の(7)式で与えられるn’番目のスキャンラインの値と等価になる。故に、生成画像の(1、1)画素は{5、1、R_5_1}、(2、1)画素は{2、2、R_2_1}、・・・、(5、1)画素は{3、4、R_3_1}と同じ画素値を与えれば良い。
【0073】
但し、R_i_jはi番目の入力画像位置と生成画像位置と生成画像中の求めようとするライン位置から(7)式により計算される値である。また、生成画像の2ライン目以降の画素についても、例えば(2、4)画素ならば{2、2、R_2_4}、(3、7)画素ならば{2、3、R_2_7}で与えられる画素の値と等価になる。従って、すべての画素について上記のように画素値を求めれば歪みの補正された画像を生成することができる。但し、(7)式で与えられるn’の値が、n’≦0またはn’>nのときは予め決められた画素値を用いる。
【0074】
このように補正された画素位置に基づき、ステップS904において、該当する画像データの該当する画素値を復号化して、任意視点位置、方向からの画像を生成する。
【0075】
(復号化処理)
次に、図11のステップS904における画素データ復号化処理について、図12に示すフローチャートを用いて更に詳しく説明する。
【0076】
まず、読み出すべき画素が含まれる画像データが、リファレンス画像であるかどうかを調べる(ステップS1001)。リファレンス画像であれば復号化の必要はないので、画像データベース7から対応する画素の値をそのまま取り出し(ステップS1009)、ステップS1007へ移行する。
【0077】
一方、リファレンス画像以外の画像データ、即ち圧縮符号化されている画像データに含まれる画素値を得る場合、復号化処理が必要となる。その場合、まず復号化すべき画素を含むブロックを特定し、そのブロックに対応する符号化データ(インデックスデータ)を画像データベース7から読み出す(ステップS1002)。
【0078】
次に、ベクトル量子化テーブル(コードブック)から、インデックスデータに対応するセットを調べ、YUVの各成分毎のDCT成分を取り出す(ステップS1003)。本実施形態においては、符号化時にY成分は28番目、U,V成分についてはそれぞれ10番目までのDCT係数をベクトル量子化したので、同数の係数がベクトル量子化データの復号結果として得られる。
【0079】
次いで、画素値の復号、即ち展開式を用いて演算する際に用いるDCT係数の数を決定する(ステップS1004)。前述したように、展開式はDCT係数をDC成分からジグザグスキャンの順番で積和演算がなされるように形成されているため、演算時に用いる係数の数を変化させることにより、復号して得られる画素値の精度を制御することができる。精度が要求される場合や、演算時間に余裕がある場合には使用する係数の数を多く、逆に精度よりは演算時間を優先する場合には少なく設定すればよい。
【0080】
使用するDCT係数の数は固定である必要はなく、動的に変化させることもできる。例えばウォークスルータイプの復号現実感提示アプリケーションのように、ユーザが移動している場合には精度よりも演算速度を優先するように使用する係数の数を減らし、ユーザが移動していない場合には演算速度よりも画質を優先するように係数の数を増やすことにより、状況に応じた適切な処理が可能になる。
【0081】
係数の数を決定したら、予め用意してある画素毎の展開式に係数を代入し、演算を行なう(ステップS1005)。この結果は、視差補償(動き補償)符号化による誤差成分であるから、該当するブロックの動きベクトルを参照して、視差補償符号化の対象としたリファレンス画像から対応する画素値を取りだし、誤差成分を加えて最終的な画素値を得る(ステップS1006)。
【0082】
次に、YUVで表される画素値を画像表示のためにRGB形式に変換する(ステップS1007)。ステップS1008において全ての必要な画素について復号化が終了したかどうかを調べ、未処理画素が残っている場合にはステップS100へ戻って上述の処理を繰り返す。全ての画素について復号が終了したら、画像生成処理を終了する。
【0083】
(データ圧縮効果)
上述の符号化復号化条件を用い、圧縮率について検証した。撮影の被写体としてはポリゴンで表現するのが困難な形状を有する物体として、生花の入った篭と、動物のぬいぐるみを選定した。
【0084】
多視点画像として、被写体を水平な回転台に置いた状態で、周囲から計90枚の画像を撮影した。撮影時の水平画角は40°、1枚あたりの解像度は640×480画素である。また、ブルーバックを用いて撮影し、撮影後のデータから被写体部分のみを切り出した。
【0085】
このような多視点画像から、90枚中10枚をリファレンス画像として選択し、上述の条件で圧縮したところ、圧縮前と比較してデータ量が1/15〜1/20に減少した。ただし、この値は多視点画像データとの比較による値であり、多視点画像データを全て光線空間に射影した状態と比較した場合には圧縮率はさらに大きくなることは言うまでもない。
【0086】
【他の実施形態】
なお、上述の実施形態においては、データ量を削減するために動きベクトルを用いたが、他の方法を用いることもできる。同様に、固定長符号化方法としてベクトル量子化を用いた例を説明したが、他の方法を用いても良い。
【0087】
また、符号化時に逆DCT演算用の展開式を生成する場合を説明したが、復号化時に展開式が使用できれば、他のタイミングで生成しても良い。
【0088】
また、リファレンス画像に指定する画像は、各入力画像の相関を利用して求めてもよい。即ち、等間隔にリファレンス画像を指定する必要はなく、局所的にリファレンス画像の密度(この場合の密度とは、何枚おきにリファレンス画像を指定するかを表す)を変えてもよい。例えば、画像中に高周波成分を多く含むもの(写っているものの形状が複雑、色数が多いなど)に対しては、リファレンス画像を密に指定し、低周波成分が多い(画像間での変化が少ない)場合には、リファレンス画像を疎に指定することができる。
【0089】
具体的に言えば、入力画像に対して、0からNまでの番号を付加した場合、画像0から20までは高周波成分が多いとすると、リファレンス画像として、0、3、6,9,12,15,18,21番の画像を指定し、画像21からNまでは、リファレンス画像として,30,40,・・・,Nというように指定すればよい。但し、これはあくまでも一例であり、これに限るものではない。
【0090】
さらに、上述の実施形態では、一例として、各ブロックごとにDCT変換後の成分を、Yに対しては28個、UVに対しては10個保持している。このとき、例えばYの28個の成分を各1バイトで表現した場合、ベクトル量子化のテーブルは、各インデックスに対して28バイトの容量が必要となる。
【0091】
通常、高周波成分は、画像の復元に影響を及ぼす割合が小さいため、各成分を1バイトで表現するのではなく、画像復元に寄与する割合が大きいもの、即ち、低周波成分ほど割り当てるビット数を大きくし、逆に高周波成分には、ビットの割り当てを少なくすることにより、ベクトル量子化テーブルの大きさを削減することができる。
【0092】
例えば、28個の成分をジグザグスキャン順に並べた場合、上位6個には各8ビットを割り当て、次の4個には各6ビット、残り18個には各4ビットを割り当てる。このようにすると、28個の成分を18バイトで表現することが可能となり、ベクトル量子化のテーブルサイズを小さくすることが可能となる。UV成分に関しても、同様の考え方で、ビット割り当てを適用することにより、テーブルサイズを小さくすることができる。
【0093】
また、上述の実施形態においては、レファレンス画像は符号化しない非圧縮のデータとして扱う場合のみを説明したが、ハードディスクなどに蓄積する場合は圧縮していてもよい。データを圧縮している場合は、ディスクなどからデータをコンピュータに読み込んだ時点で伸長し、その後実施形態で説明した方法を適用すればよい。
【0094】
また、リファレンス画像および符号化されたデータをひとまとめにして、再度、可逆圧縮、例えば、Lempel−Ziv符号化などのエントロピー符号化を適用し、さらにデータ量を削減することも可能である。このようなデータ圧縮を適用するかしないかは、データを伸長する計算コストと、データを記憶するための容量あるいは通信のコストとの兼ね合いで決定すればよい。
【0095】
例えば、帯域の狭い通信回線を使ってデータを送る場合は、計算コストよりもデータ量が多いことによる通信時間の増大のほうが問題となるから、その場合は、上記の再圧縮を適用する。また、十分にディスク容量があったり、帯域の広い通信回線を使用してデータ転送する場合は、転送時間よりも伸長に必要となる計算時間のほうが問題となるから、このような場合は、再圧縮は行わないというように、場合に応じて、圧縮手法を使い分ければよい。
【0096】
【発明の効果】
以上説明したように、本発明の符号化復号化方法及び装置によれば、画素毎に逆DCT演算式を予め展開しておき、またDCT係数を固定長符号化することにより、高能率な圧縮符号化が可能な上、画素単位での復号化が容易であるという効果を有する。
【図面の簡単な説明】
【図1】本発明の実施形態に係る複合現実空間提示システムの構成を示すブロック図である。
【図2】図1のシステムにおける全体の処理の流れを示すフローチャートである。
【図3】多視点画像の撮影について説明する図である。
【図4】多視点画像データと光線空間との関係を示す図である。
【図5】補間前の対応関係テーブルの様子を示す図である。
【図6】補間後の対応関係テーブルの様子を示す図である。
【図7】符号化処理を説明するフローチャートである。
【図8】リファレンス画像の利用について説明する図である。
【図9】画素の位置表記について説明する図である
【図10】Y軸方向の視差補正方法を説明する図である。
【図11】任意視点位置、方向からの画像生成処理の全体の流れを説明するフローチャートである。
【図12】図11における復号処理ステップの処理を説明するフローチャートである。
【図13】光線空間理論における実空間を示す図である。
【図14】実空間における光線を光線空間に射影した状態を示す図である。

Claims (9)

  1. 同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、
    前記画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、前記各画素について、光線空間における座標と前記画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、
    前記複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、
    前記リファレンス画像以外の画像データのそれぞれについて前記所定の大きさを有するブロックに分割するステップと、
    前記分割したブロックのそれぞれについて、前記リファレンス画像中に含まれる同じ大きさの領域で、前記ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出するステップと、
    前記ブロックの画素データと、前記位置関係を検出した前記領域の画素データとの差分データを算出するステップと、
    前記差分データに直交変換を行なう直交変換ステップと、
    前記直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、
    前記符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法。
  2. 前記複数の画像データが所定の条件により番号付けされるとともに、前記リファレンス画像が前記番号の連続する複数の前記画像データの相関及び/又は周波数成分の分布に応じて動的に決定される間隔で選定されることを特徴とする請求項記載の画像データの符号化方法。
  3. 前記固定長符号化ステップが、前記符号化対象のデータが表す周波数成分に応じて割り当てる符号化長を変化させることを特徴とする請求項1又は請求項2に記載の画像データの符号化方法。
  4. 同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、
    前記画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、前記各画素について、光線空間における座標と前記画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、
    前記複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、
    前記リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換ステップと、
    前記ブロックを構成する画素毎に、前記直交変換の逆変換式を生成するステップと、
    前記直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、
    前記符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法。
  5. 所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、前記ブロック内の画素毎に予め用意された前記直交変換の逆変換用演算式とから、前記符号化画像データを画素単位で復号化する画像データの復号化方法であって、
    復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出しステップと、
    前記読み出された符号化画像データを復号化する第1の復号化ステップと、
    前記復号化ステップで得られた前記直交変換の係数のうち、前記演算式に適用する係数の数を決定する個数決定ステップと、
    前記個数決定ステップで決定された数の係数を前記逆変換用演算式に適用して、画素データを復号化する第2の復号化ステップとを有し、
    前記個数決定ステップが、動的に決定する数を変更することを特徴とする画像データの復号化方法。
  6. 同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、
    前記画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、前記各画素について、光線空間における座標と前記画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、
    前記複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、
    前記リファレンス画像以外の画像データのそれぞれについて前記所定の大きさを有するブロックに分割する分割手段と、
    前記分割したブロックのそれぞれについて、前記リファレンス画像中に含まれる同じ大きさの領域で、前記ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出する検出手段と、
    前記ブロックの画素データと、前記位置関係を検出した前記領域の画素データとの差分データを算出する算出手段と、
    前記差分データに直交変換を行なう直交変換手段と、
    前記直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、
    前記符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置。
  7. 所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、前記ブロック内の画素毎に予め用意された前記直交変換の逆変換用演算式とから、前記符号化画像データを画素単位で復号化する画像データの復号化装置であって、
    復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出し手段と、
    前記読み出された符号化画像データを復号化する第1の復号化手段と、
    前記復号化手段で得られた前記直交変換の係数のうち、前記演算式に適用する係数の数を決定する個数決定手段と、
    前記個数決定手段で決定された数の係数を前記逆変換用演算式に適用して、画素データを復号化する第2の復号化手段とを有し、
    前記個数決定手段が、動的に決定する数を変更することを特徴とする画像データの復号化装置。
  8. 請求項1乃至請求項のいずれか1項に記載の画像データの符号化方法及び/又は請求項に記載の画像データの復号化方法を、コンピュータ装置が実行可能なプログラムとして格納したことを特徴とする記憶媒体。
  9. 同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、
    前記画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、前記各画素について、光線空間における座標と前記画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、
    前記複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、
    前記リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換手段と、
    前記ブロックを構成する画素毎に、前記直交変換の逆変換式を生成する逆変換式生成手段と、
    前記直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、
    前記符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置。
JP36503299A 1999-12-22 1999-12-22 画像データの符号化復号化方法及び装置 Expired - Fee Related JP3592168B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP36503299A JP3592168B2 (ja) 1999-12-22 1999-12-22 画像データの符号化復号化方法及び装置
US09/653,002 US6757441B1 (en) 1999-12-22 2000-08-31 Image data encoding/decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36503299A JP3592168B2 (ja) 1999-12-22 1999-12-22 画像データの符号化復号化方法及び装置

Publications (2)

Publication Number Publication Date
JP2001186516A JP2001186516A (ja) 2001-07-06
JP3592168B2 true JP3592168B2 (ja) 2004-11-24

Family

ID=18483272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36503299A Expired - Fee Related JP3592168B2 (ja) 1999-12-22 1999-12-22 画像データの符号化復号化方法及び装置

Country Status (2)

Country Link
US (1) US6757441B1 (ja)
JP (1) JP3592168B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234476A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 画像データ符号化方式、画像データ復号化方式、および画像データ復号化装置
US8007656B2 (en) * 2003-10-24 2011-08-30 Bayer Healthcare Llc Enzymatic electrochemical biosensor
KR100579135B1 (ko) * 2004-11-11 2006-05-12 한국전자통신연구원 수렴형 3차원 다시점 영상 획득 방법
CN101099392B (zh) * 2005-01-07 2010-10-13 富士通株式会社 压缩编码装置、解压缩解码装置
WO2006072993A1 (ja) 2005-01-07 2006-07-13 Fujitsu Limited 圧縮符号化装置、伸張復号化装置
US20070092149A1 (en) * 2005-10-24 2007-04-26 Sung Chih-Ta S Method and apparatus of high quality video compression
JP4605400B2 (ja) * 2006-12-01 2011-01-05 富士フイルム株式会社 画像出力システム、画像生成装置および画像生成方法
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
KR20110025123A (ko) * 2009-09-02 2011-03-09 삼성전자주식회사 비디오 영상 배속 재생 방법 및 장치
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP4823349B2 (ja) 2009-11-11 2011-11-24 パナソニック株式会社 三次元映像復号装置及び三次元映像復号方法
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
US9094667B1 (en) * 2013-10-31 2015-07-28 Electronic Arts Inc. Encoding of computer-generated video content
JP6609098B2 (ja) * 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Cygames 複合現実環境を作成するためのシステム等

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104754A (en) * 1995-03-15 2000-08-15 Kabushiki Kaisha Toshiba Moving picture coding and/or decoding systems, and variable-length coding and/or decoding system
JPH10111951A (ja) 1996-10-04 1998-04-28 Canon Inc 画像処理方法および装置および記憶媒体
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel

Also Published As

Publication number Publication date
US6757441B1 (en) 2004-06-29
JP2001186516A (ja) 2001-07-06

Similar Documents

Publication Publication Date Title
JP7303992B2 (ja) 点群表現を介したメッシュ圧縮
JP6501240B2 (ja) 点群を圧縮する方法
JP3592168B2 (ja) 画像データの符号化復号化方法及び装置
Briceño Pulido Geometry videos: a new representation for 3D animations
JP4759284B2 (ja) 3次元体積データの符号化/復号化方法及び装置
JP4572010B2 (ja) マスクおよび丸め平均値を使用したオブジェクトベースの符号化システムのためのスプライト生成に関する方法
EP3043320B1 (en) System and method for compression of 3d computer graphics
JP4166679B2 (ja) 3次元オブジェクトデータの符号化及び復号化方法、並びに、その装置
JP7425899B2 (ja) 点群の符号化及び復号方法
CN117178297A (zh) 微网格,用于计算机图形的结构化几何体
JPH11502043A (ja) フラクタル変換を使用するデジタルデータの圧縮伸張方法および装置
KR19980024801A (ko) 화상 데이터 전송 및 화상 처리를 위한 방법 및 장치와 기록 매체
US12058370B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7564348B2 (ja) 2次元正則化平面投影に基づくポイントクラウド符号化及び復号方法並びに装置
KR20010053286A (ko) 화상부호/복호방법 및 그 프로그램을 기록한 기록매체
KR20210096234A (ko) 호모그래피 변환을 사용하는 포인트 클라우드 코딩
JP2004272590A (ja) データ符号化装置及びデータ符号化方法、並びにコンピュータ・プログラム
KR20220011180A (ko) 체적 비디오 인코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
Chou et al. Dynamic polygon clouds: Representation and compression for VR/AR
JP2001283201A (ja) 3次元画像データ作成方法及び3次元画像データを用いた任意視点画像作成方法
JP2024503527A (ja) 大規模点群指向の2次元正則化平面投影並びに符号化及び復号化方法
WO2012128209A1 (ja) 画像符号化装置、画像復号装置、プログラムおよび符号化データ
EP0911760B1 (en) Iterated image transformation and decoding apparatus and methods
JP2882285B2 (ja) カラー画像の圧縮伸張方法
CN112806015A (zh) 全向视频的编码和解码

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040611

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040824

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110903

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110903

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120903

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120903

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees