JP4605715B2 - 多視点画像圧縮符号化方法、装置及びプログラム - Google Patents
多視点画像圧縮符号化方法、装置及びプログラム Download PDFInfo
- Publication number
- JP4605715B2 JP4605715B2 JP2006164927A JP2006164927A JP4605715B2 JP 4605715 B2 JP4605715 B2 JP 4605715B2 JP 2006164927 A JP2006164927 A JP 2006164927A JP 2006164927 A JP2006164927 A JP 2006164927A JP 4605715 B2 JP4605715 B2 JP 4605715B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- camera
- arbitrary point
- depth distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
被写体上の任意点を決定する第1のステップと、
任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する第2のステップと、
第1の画像について任意点を含む第1のブロックを選択する第3のステップと、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定する第4のステップと、
第1のブロックを、相対的位置(tx,ty,0)及び奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、相対的位置(tx,ty,0)、奥行き距離Z、単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせる第5のステップと、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、第4及び第5のステップを繰り返し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する第6のステップと、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する第7のステップと、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加する第8のステップと
を有することを特徴とする。
第7のステップは、MPEG(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第1の画像はPピクチャであり、第2の画像はIピクチャであることも好ましい。
被写体上の任意点を決定する第1のステップと、
任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する第2のステップと、
第2の画像について任意点を含む第2のブロックを選択する第3のステップと、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定する第4のステップと、
第1の画像を、相対的位置(tx,ty,0)及び奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、相対的位置(tx,ty,0)、奥行き距離Z、単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせる第5のステップと、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、第4及び第5のステップを繰り返し、第2の画像の第2のブロックに最も類似する第1の画像の第1のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する第6のステップと、
第2の画像の第2のブロックと最も類似する第1の画像の第1のブロックとの予測誤差を導出し且つ符号化する第7のステップと、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加する第8のステップと
を有することを特徴とする。
第7のステップは、MPEGの予測誤差符号化方式を用いており、
第1の画像はIピクチャであり、第2の画像はPピクチャであることも好ましい。
第1から第8のステップを繰り返すと共に、
その繰り返しの中で、第1のステップは、以前に第3のステップによって選択されたブロック以外の部分について被写体上の任意点を更に決定し、
最終的に、第1の画像及び第2の画像の全ての部分を圧縮符号化することも好ましい。
第1のステップについて、任意点の画像座標は、正規化画像座標であり、
第5のステップについて、視差ベクトルは、以下のものであり、
第1のカメラ及び/又は第2のカメラの光軸がZ軸に平行でない場合に、第1のステップの前段にあって、
第1のカメラと第2のカメラの光軸がZ軸に平行となるように、カメラ内部パラメータを用いて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するステップを有することも好ましい。
被写体上の任意点を決定する任意点選択手段と、
任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する画像座標算出手段と、
第1の画像について任意点を含む第1のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定するパラメータ決定手段と、
第1のブロックを、相対的位置(tx,ty,0)及び奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、相対的位置(tx,ty,0)、奥行き距離Z、単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
予測誤差符号化手段は、MPEGの予測誤差符号化方式を用いており、
第1の画像はPピクチャであり、第2の画像はIピクチャであることも好ましい。
被写体上の任意点を決定する任意点選択手段と、
任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する画像座標算出手段と、
第2の画像について任意点を含む第2のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定するパラメータ決定手段と、
第1の画像を、相対的位置(tx,ty,0)及び奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、相対的位置(tx,ty,0)、奥行き距離Z、単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、第2の画像の第2のブロックに最も類似する第1の画像の第1のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
第2の画像の第2のブロックと最も類似する第1の画像の第1のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
予測誤差符号化手段は、MPEGの予測誤差符号化方式を用いており、
第1の画像はIピクチャであり、第2の画像はPピクチャであることも好ましい。
任意点選択手段と、画像座標算出手段と、ブロック選択手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、予測誤差符号化手段と、パラメータ付加手段との処理を繰り返すブロック制御手段を更に有し、
その繰り返しの中で、任意点選択手段は、以前にブロック選択手段によって選択されたブロック以外の部分について被写体上の任意点を更に決定し、
最終的に、第1の画像及び第2の画像の全ての部分を圧縮符号化することも好ましい。
画像座標算出手段は、任意点の画像座標として正規化画像座標を導出し、
ブロックマッチング手段は、視差ベクトルを以下のものとし、
第1のカメラ及び/又は第2のカメラの光軸がZ軸に平行でない場合に、
第1のカメラと第2のカメラの光軸がZ軸に平行となるように、カメラ内部パラメータを用いて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換することも好ましい。
被写体上の任意点を決定する任意点選択手段と、
任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する画像座標算出手段と、
第1の画像について任意点を含む第1のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定するパラメータ決定手段と、
第1のブロックを、相対的位置(tx,ty,0)及び奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、相対的位置(tx,ty,0)、奥行き距離Z、単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
被写体上の任意点を決定する任意点選択手段と、
任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する画像座標算出手段と、
第2の画像について任意点を含む第2のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定するパラメータ決定手段と、
第1の画像を、相対的位置(tx,ty,0)及び奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、相対的位置(tx,ty,0)、奥行き距離Z、単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、第2の画像の第2のブロックに最も類似する第1の画像の第1のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
第2の画像の第2のブロックと最も類似する第1の画像の第1のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
θ=π/2:座標軸の角度
u0、v0:画像中心
M=M'+t 式(1)
M:カメラCにおける被写体の任意点Pのカメラ座標系座標
M':カメラC'における被写体の任意点Pのカメラ座標系座標
nT・M'=d
n(|n|=1):カメラC'のカメラ座標系における平面の法線ベクトル
d:カメラC'のカメラ座標系の原点から平面までの距離
nT・M'=d
nT・M'/d=1 式(2)
x:任意点PのカメラCにおける正規化画像座標
x':任意点PのカメラC'における正規化画像座標
X=(1−dx)(1−dy)A+dx(1−dy)B+(1−dy)dyC+dxdyD
f=810.8 (カメラの焦点距離のピクセル数)
ku=kv=1.0 (近年のカメラのCCDセルは正方形)
θ=π/2 (近年のカメラのCCDセルは正方形)
u0=319.5 (画像の横幅が640pixelである場合)
v0=239.5 (画像の高さが480pixelである場合)
(S904)任意点をPピクチャに射影した第1の画像座標(x,y)と、該任意点をIピクチャに射影した第2の画像座標(x',y')とを導出する。ここで、任意点の画像座標は、正規化画像座標である。
(S905)Pピクチャについて任意点を含む第1のブロックを選択する。
(S907)任意点の奥行き距離Zを任意に決定する。
(S908)被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)を任意に決定する。
(S912)奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を、符号化データに付加する。
2 多視点画像圧縮符号化装置
201 位置情報取得部
202 画像取得部
203 任意点選択部
204 正規化画像座標導出部
205 ブロック選択部
206 ブロックマッチング部
207 パラメータ決定部
208 マッチング制御部
209 ブロック制御部
210 予測誤差符号化部
211 パラメータ付加部
3 被写体
Claims (16)
- 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、XY平面上に相対的位置(tx,ty,0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いた多視点画像圧縮符号化方法であって、
前記被写体上の任意点を決定する第1のステップと、
前記任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する第2のステップと、
第1の画像について前記任意点を含む第1のブロックを選択する第3のステップと、
前記任意点の奥行き距離Zと、前記被写体の表面の前記任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定する第4のステップと、
第1のブロックを、前記相対的位置(tx,ty,0)及び前記奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、前記相対的位置(tx,ty,0)、前記奥行き距離Z、前記単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせる第5のステップと、
前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を任意に変更しながら、第4及び第5のステップを繰り返し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を導出する第6のステップと、
前記移動させ且つ変形させた第1の画像の第1のブロックと前記最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する第7のステップと、
導出された前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を符号化データに付加する第8のステップと
を有することを特徴とする多視点画像圧縮符号化方法。 - 第7のステップは、MPEGの予測誤差符号化方式を用いており、
第1の画像はPピクチャであり、第2の画像はIピクチャである
ことを特徴とする請求項1に記載の多視点画像圧縮符号化方法。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、XY平面上に相対的位置(tx,ty,0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いた多視点画像圧縮符号化方法であって、
前記被写体上の任意点を決定する第1のステップと、
前記任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する第2のステップと、
第2の画像について前記任意点を含む第2のブロックを選択する第3のステップと、
前記任意点の奥行き距離Zと、前記被写体の表面の前記任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定する第4のステップと、
第1の画像を、前記相対的位置(tx,ty,0)及び前記奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、前記相対的位置(tx,ty,0)、前記奥行き距離Z、前記単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせる第5のステップと、
前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を任意に変更しながら、第4及び第5のステップを繰り返し、第2の画像の第2のブロックに最も類似する第1の画像の第1のブロックを探索し、前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を導出する第6のステップと、
第2の画像の第2のブロックと前記最も類似する第1の画像の第1のブロックとの予測誤差を導出し且つ符号化する第7のステップと、
導出された前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を符号化データに付加する第8のステップと
を有することを特徴とする多視点画像圧縮符号化方法。 - 第7のステップは、MPEGの予測誤差符号化方式を用いており、
第1の画像はIピクチャであり、第2の画像はPピクチャである
ことを特徴とする請求項3に記載の多視点画像圧縮符号化方法。 - 第1から第8のステップを繰り返すと共に、
その繰り返しの中で、第1のステップは、以前に第3のステップによって選択されたブロック以外の部分について前記被写体上の任意点を更に決定し、
最終的に、第1の画像及び第2の画像の全ての部分を圧縮符号化する
ことを特徴とする請求項1から4のいずれか1項に記載の多視点画像圧縮符号化方法。 - 第1のカメラ及び/又は第2のカメラの光軸がZ軸に平行でない場合に、第1のステップの前段にあって、
第1のカメラと第2のカメラの光軸がZ軸に平行となるように、カメラ内部パラメータを用いて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するステップを有することを特徴とする請求項1から6のいずれか1項に記載の多視点画像圧縮符号化方法。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、XY平面上に相対的位置(tx,ty,0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いた多視点画像圧縮符号化装置であって、
前記被写体上の任意点を決定する任意点選択手段と、
前記任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する画像座標算出手段と、
第1の画像について前記任意点を含む第1のブロックを選択するブロック選択手段と、
前記任意点の奥行き距離Zと、前記被写体の表面の前記任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定するパラメータ決定手段と、
第1のブロックを、前記相対的位置(tx,ty,0)及び前記奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、前記相対的位置(tx,ty,0)、前記奥行き距離Z、前記単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせるブロックマッチング手段と、
前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
前記移動させ且つ変形させた第1の画像の第1のブロックと前記最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
を有することを特徴とする多視点画像圧縮符号化装置。 - 前記予測誤差符号化手段は、MPEGの予測誤差符号化方式を用いており、
第1の画像はPピクチャであり、第2の画像はIピクチャである
ことを特徴とする請求項8に記載の多視点画像圧縮符号化装置。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、XY平面上に相対的位置(tx,ty,0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いた多視点画像圧縮符号化装置であって、
前記被写体上の任意点を決定する任意点選択手段と、
前記任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する画像座標算出手段と、
第2の画像について前記任意点を含む第2のブロックを選択するブロック選択手段と、
前記任意点の奥行き距離Zと、前記被写体の表面の前記任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定するパラメータ決定手段と、
第1の画像を、前記相対的位置(tx,ty,0)及び前記奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、前記相対的位置(tx,ty,0)、前記奥行き距離Z、前記単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせるブロックマッチング手段と、
前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、第2の画像の第2のブロックに最も類似する第1の画像の第1のブロックを探索し、前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
第2の画像の第2のブロックと前記最も類似する第1の画像の第1のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
を有することを特徴とする多視点画像圧縮符号化装置。 - 前記予測誤差符号化手段は、MPEGの予測誤差符号化方式を用いており、
第1の画像はIピクチャであり、第2の画像はPピクチャである
ことを特徴とする請求項10に記載の多視点画像圧縮符号化装置。 - 前記任意点選択手段と、前記画像座標算出手段と、前記ブロック選択手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、予測誤差符号化手段と、パラメータ付加手段との処理を繰り返すブロック制御手段を更に有し、
その繰り返しの中で、前記任意点選択手段は、以前に前記ブロック選択手段によって選択されたブロック以外の部分について前記被写体上の任意点を更に決定し、
最終的に、第1の画像及び第2の画像の全ての部分を圧縮符号化する
ことを特徴とする請求項8から11のいずれか1項に記載の多視点画像圧縮符号化装置。 - 第1のカメラ及び/又は第2のカメラの光軸がZ軸に平行でない場合に、
第1のカメラと第2のカメラの光軸がZ軸に平行となるように、カメラ内部パラメータを用いて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換することを特徴とする請求項8から12のいずれか1項に記載の多視点画像圧縮符号化装置。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、XY平面上に相対的位置(tx,ty,0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
前記被写体上の任意点を決定する任意点選択手段と、
前記任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する画像座標算出手段と、
第1の画像について前記任意点を含む第1のブロックを選択するブロック選択手段と、
前記任意点の奥行き距離Zと、前記被写体の表面の前記任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定するパラメータ決定手段と、
第1のブロックを、前記相対的位置(tx,ty,0)及び前記奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、前記相対的位置(tx,ty,0)、前記奥行き距離Z、前記単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせるブロックマッチング手段と、
前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
前記移動させ且つ変形させた第1の画像の第1のブロックと前記最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、XY平面上に相対的位置(tx,ty,0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
前記被写体上の任意点を決定する任意点選択手段と、
前記任意点を第1の画像に射影した第1の画像座標(x,y)と、該任意点を第2の画像に射影した第2の画像座標(x',y')とを導出する画像座標算出手段と、
第2の画像について前記任意点を含む第2のブロックを選択するブロック選択手段と、
前記任意点の奥行き距離Zと、前記被写体の表面の前記任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定するパラメータ決定手段と、
第1の画像を、前記相対的位置(tx,ty,0)及び前記奥行き距離Zに基づく視差ベクトルで移動させ、第1の画像座標(x,y)を原点として、前記相対的位置(tx,ty,0)、前記奥行き距離Z、前記単位法線ベクトル(nx,ny,nz)及び第2の画像座標(x',y')に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせるブロックマッチング手段と、
前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を任意に変更しながら、前記パラメータ決定手段及び前記ブロックマッチング手段を繰り返し制御し、第2の画像の第2のブロックに最も類似する第1の画像の第1のブロックを探索し、前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
第2の画像の第2のブロックと前記最も類似する第1の画像の第1のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された前記奥行き距離Z及び前記単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006164927A JP4605715B2 (ja) | 2006-06-14 | 2006-06-14 | 多視点画像圧縮符号化方法、装置及びプログラム |
US11/808,818 US8311089B2 (en) | 2006-06-14 | 2007-06-13 | Multi-view video compression coding method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006164927A JP4605715B2 (ja) | 2006-06-14 | 2006-06-14 | 多視点画像圧縮符号化方法、装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007336188A JP2007336188A (ja) | 2007-12-27 |
JP4605715B2 true JP4605715B2 (ja) | 2011-01-05 |
Family
ID=38861525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006164927A Expired - Fee Related JP4605715B2 (ja) | 2006-06-14 | 2006-06-14 | 多視点画像圧縮符号化方法、装置及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8311089B2 (ja) |
JP (1) | JP4605715B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101785317B (zh) * | 2007-08-15 | 2013-10-16 | 汤姆逊许可证公司 | 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置 |
CN101911700A (zh) * | 2008-01-11 | 2010-12-08 | 汤姆逊许可证公司 | 视频和深度编码 |
US8811499B2 (en) * | 2008-04-10 | 2014-08-19 | Imagine Communications Corp. | Video multiviewer system permitting scrolling of multiple video windows and related methods |
CN102017627B (zh) * | 2008-04-25 | 2013-05-01 | 汤姆森许可贸易公司 | 使用基于深度信息的视差估计的多视点视频编码 |
WO2009131703A2 (en) * | 2008-04-25 | 2009-10-29 | Thomson Licensing | Coding of depth signal |
CN102124742B (zh) | 2008-08-20 | 2013-09-11 | 汤姆逊许可公司 | 精制深度图 |
US8913105B2 (en) | 2009-01-07 | 2014-12-16 | Thomson Licensing | Joint depth estimation |
US20140241434A1 (en) * | 2011-10-11 | 2014-08-28 | Mediatek Inc | Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc |
WO2014005548A1 (en) * | 2012-07-05 | 2014-01-09 | Mediatek Inc. | Method and apparatus of unified disparity vector derivation for 3d video coding |
US8867826B2 (en) * | 2012-11-26 | 2014-10-21 | Mitusbishi Electric Research Laboratories, Inc. | Disparity estimation for misaligned stereo image pairs |
JP2016506195A (ja) * | 2013-01-07 | 2016-02-25 | 聯發科技股▲ふん▼有限公司Mediatek Inc. | 3次元ビデオ符号化の深度から視差ベクトルを導出する方法および装置 |
CN105230011B (zh) * | 2013-04-05 | 2018-05-22 | 皇家飞利浦有限公司 | 重瞄准三维图像信号 |
CN104104961B (zh) * | 2013-04-10 | 2018-09-21 | 华为技术有限公司 | 一种视频编码方法、解码方法和装置 |
WO2015006900A1 (en) * | 2013-07-15 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | A disparity derived depth coding method |
US9426365B2 (en) * | 2013-11-01 | 2016-08-23 | The Lightco Inc. | Image stabilization related methods and apparatus |
JP2016127372A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム |
JP6485160B2 (ja) * | 2015-03-27 | 2019-03-20 | セイコーエプソン株式会社 | インタラクティブプロジェクター、及び、インタラクティブプロジェクターの制御方法 |
JP2017060008A (ja) * | 2015-09-16 | 2017-03-23 | キヤノン株式会社 | 多視点画像符号化装置、多視点画像符号化方法およびプログラム |
WO2018057866A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Multi-perspective imaging system and method |
US10535190B2 (en) | 2017-12-28 | 2020-01-14 | Rovi Guides, Inc. | Systems and methods for changing a users perspective in virtual reality based on a user-selected position |
JP7316130B2 (ja) * | 2019-07-16 | 2023-07-27 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02100591A (ja) * | 1988-10-07 | 1990-04-12 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ画像符号化方法 |
JPH07218251A (ja) * | 1994-02-04 | 1995-08-18 | Matsushita Electric Ind Co Ltd | ステレオ画像計測方法およびステレオ画像計測装置 |
WO2005053321A1 (en) * | 2003-11-26 | 2005-06-09 | Mitsubishi Denki Kabushiki Kaisha | System for encoding plurality of videos acquired of moving object in scene by plurality of fixed cameras |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10145674A (ja) * | 1996-11-12 | 1998-05-29 | Sony Corp | ビデオ信号処理装置及びビデオ信号処理方法 |
ATE318484T1 (de) * | 2000-03-24 | 2006-03-15 | Reality Commerce Corp | Verfahren und vorrichtung zur parallelen mehrfachblickwinkelbildaufnahme und -kompression |
KR100481732B1 (ko) * | 2002-04-20 | 2005-04-11 | 전자부품연구원 | 다 시점 동영상 부호화 장치 |
JP2005260464A (ja) | 2004-03-10 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化装置,画像復号装置,画像符号化方法,画像復号方法,画像符号化プログラム,画像復号プログラム,画像符号化プログラム記録媒体および画像復号プログラム記録媒体 |
US20060023782A1 (en) * | 2004-07-27 | 2006-02-02 | Microsoft Corporation | System and method for off-line multi-view video compression |
US20060023066A1 (en) * | 2004-07-27 | 2006-02-02 | Microsoft Corporation | System and Method for Client Services for Interactive Multi-View Video |
KR100779875B1 (ko) * | 2005-01-14 | 2007-11-27 | 주식회사 휴맥스 | 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체 |
-
2006
- 2006-06-14 JP JP2006164927A patent/JP4605715B2/ja not_active Expired - Fee Related
-
2007
- 2007-06-13 US US11/808,818 patent/US8311089B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02100591A (ja) * | 1988-10-07 | 1990-04-12 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ画像符号化方法 |
JPH07218251A (ja) * | 1994-02-04 | 1995-08-18 | Matsushita Electric Ind Co Ltd | ステレオ画像計測方法およびステレオ画像計測装置 |
WO2005053321A1 (en) * | 2003-11-26 | 2005-06-09 | Mitsubishi Denki Kabushiki Kaisha | System for encoding plurality of videos acquired of moving object in scene by plurality of fixed cameras |
Also Published As
Publication number | Publication date |
---|---|
JP2007336188A (ja) | 2007-12-27 |
US8311089B2 (en) | 2012-11-13 |
US20070291850A1 (en) | 2007-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4605715B2 (ja) | 多視点画像圧縮符号化方法、装置及びプログラム | |
JP4737763B2 (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
TWI502968B (zh) | 預測參照資訊產生方法、動畫像編碼及解碼方法、該等之程式以及記錄程式之記憶媒體 | |
JP4414379B2 (ja) | 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
EP2668634B1 (en) | Method and system for acquisition, representation, compression, and transmission of three-dimensional data | |
US10841558B2 (en) | Aligning two images by matching their feature points | |
JP5883153B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 | |
CN104662910A (zh) | 3d视频编码中的虚拟深度值的方法和装置 | |
JP4605716B2 (ja) | 多視点画像圧縮符号化方法、装置及びプログラム | |
EP2061005A2 (en) | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
WO2019124248A1 (ja) | 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法 | |
JP2004362572A (ja) | 較正された多視点画像シーケンスの圧縮のための動き推定 | |
KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
JP4944046B2 (ja) | 映像符号化方法,復号方法,符号化装置,復号装置,それらのプログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP4775903B2 (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
KR102196025B1 (ko) | 3차원 포인트 클라우드 시퀀스의 압축 시스템 및 방법 | |
CN109272445B (zh) | 基于球面模型的全景视频拼接方法 | |
CN105122808B (zh) | 三维或多视图视频编码或解码的方法及装置 | |
JP4660463B2 (ja) | ステレオ画像符号化装置 | |
CN102263953A (zh) | 一种基于对象的快速多目立体视频分形压缩与解压缩方法 | |
JP2013196160A (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
KR20200053498A (ko) | 전방위 비디오를 위한 움직임 벡터 예측기의 적응을 위한 방법 및 장치 | |
JP4410521B2 (ja) | 画像処理装置および画像処理方法 | |
KR101126294B1 (ko) | 다시점 영상의 부호화 장치 및 방법 | |
Wang et al. | Low Pixel Rate 3DoF+ Video Compression Via Unpredictable Region Cropping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100804 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101001 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101001 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |