JPH06153239A - Coding system for picture - Google Patents
Coding system for pictureInfo
- Publication number
- JPH06153239A JPH06153239A JP32728892A JP32728892A JPH06153239A JP H06153239 A JPH06153239 A JP H06153239A JP 32728892 A JP32728892 A JP 32728892A JP 32728892 A JP32728892 A JP 32728892A JP H06153239 A JPH06153239 A JP H06153239A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- parameter
- vector
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、視点が少しずつ異なる
複数台のカメラで撮影して得られた複数の画像の符号化
方式に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a coding system for a plurality of images obtained by shooting with a plurality of cameras whose viewpoints are slightly different from each other.
【０００２】[0002]
【従来の技術】従来の技術では、１台のカメラで撮影さ
れた画像を符号化するか、あるいは複数台のカメラで撮
影して得られた複数の画像のうち何れか１つを選択して
符号化することが一般的であった。１台カメラのみ用い
ている場合に符号化する被写体を変えたり画像の一部分
を拡大する為にはパンニングやズーミングなどのカメラ
操作を送信側でおこなっていた。また複数台のカメラを
用いている場合には、送信側あるいは受信側の意図に応
じて符合化装置に供給する画像を切り替えていた。さら
に複数の画像を同時に符号化する場合には、各画像を別
々に独立した符号化装置で処理していた。2. Description of the Related Art In the prior art, an image taken by a single camera is coded, or one of a plurality of images obtained by shooting with a plurality of cameras is selected. It was common to encode. When only one camera is used, camera operations such as panning and zooming are performed on the transmitting side in order to change the subject to be encoded or to enlarge a part of the image. Further, when a plurality of cameras are used, the images supplied to the encoding device are switched according to the intention of the transmitting side or the receiving side. Further, when encoding a plurality of images at the same time, each image is processed by an independent encoding device.
【０００３】[0003]
【発明が解決しようとする課題】テレビ会議システムな
どで画像を符号化して伝送する場合に、１台のカメラで
はカバーしきれない広い被写体範囲を同時に符号化した
い場合がある。この場合は図４（ａ）に示すように送信
側で視点位置あるいは視線方向の少しずつ異なる複数台
のカメラで撮影して複数の画像を得て、これらを全て符
号化すればよい。受信側では必要に応じてこれら複数の
画像を同時あるいは選択して復号し表示することができ
る。この様にすることで伝送する画像を切り替えるため
に従来行ってきたカメラの切り替えやズーミング・パン
ニング等のカメラ操作に伴う煩わしさを回避することが
できる。また図４（ｂ）に示すように同一被写体を異な
る視点から同時に撮影して得た複数の画像を符号化すれ
ば、受信側では各観察者が自分専用のモニタに自分の視
線方向に近い画像を選択して表示することが可能とな
る。これにより送信側の被写体位置と受信側での観察者
の視線方向を考慮した、より自然で臨場感のある画像通
信を実現することがてきる。When an image is encoded and transmitted in a video conference system or the like, there are cases where it is desired to simultaneously encode a wide subject range that cannot be covered by one camera. In this case, as shown in FIG. 4 (a), a plurality of images may be obtained by shooting with a plurality of cameras having slightly different viewpoint positions or line-of-sight directions on the transmission side, and all of them may be encoded. On the receiving side, these plural images can be simultaneously or selected and decoded and displayed as required. By doing so, it is possible to avoid the troublesomeness involved in camera operations such as camera switching and zooming / panning, which have been conventionally performed for switching images to be transmitted. Further, as shown in FIG. 4B, if a plurality of images obtained by simultaneously photographing the same subject from different viewpoints are encoded, each observer on the receiving side can obtain an image close to his / her line-of-sight direction on his / her own monitor. Can be selected and displayed. This makes it possible to realize more natural and realistic image communication in consideration of the subject position on the transmission side and the line-of-sight direction of the observer on the reception side.
【０００４】以上のような視点の異なる複数台のカメラ
で撮影して得られた複数の画像を符号化する場合に、従
来の符号化方式では各画像を別々に独立して処理し、画
像間に存在する相関を利用していないため、符号化する
画像の数が増加するのに比例して全体での符号量が増大
していた。従って通信コストが増大したり、あるいは通
信回線容量の制約から同時に伝送できる画像の数を制限
しなければならない等の問題があった。In the case of encoding a plurality of images obtained by photographing with a plurality of cameras having different viewpoints as described above, the conventional encoding method processes each image independently and Since the correlation existing in 1 is not used, the total code amount increases in proportion to the increase in the number of images to be encoded. Therefore, there are problems that the communication cost increases, or the number of images that can be transmitted at the same time must be limited due to the limitation of the communication line capacity.
【０００５】本発明の目的は、視点が少しずつ異なる複
数台のカメラで撮影して得られた複数の画像を符号化す
るに際して、これら画像間に存在する相関を利用するこ
とで全体としての符号量を削減した画像の符号化方式を
提供することにある。An object of the present invention is to encode a plurality of images obtained by photographing with a plurality of cameras whose viewpoints are slightly different from each other, and to utilize the correlation existing between these images to obtain a code as a whole. An object is to provide an image coding method with a reduced amount.
【０００６】[0006]
【課題を解決するための手段】本発明の第１の画像の符
号化方式は、視点の少しずつ異なる複数台のカメラで撮
影して得られた複数の入力画像を符号化するにおいて、
前記複数の入力画像から１つ選択された代表画像に対し
ては該画像の符号化信号と局所再生画像とを生成する手
段と、その他の複数の入力画像に対しては各入力画像毎
に前記代表画像を参照画像としたときに視差により生じ
た入力画像の変位を記述する視差パラメータを検出し、
前記視差パラメータを用いて前記局所再生画像から予測
画像を生成し、入力画像と前記予測画像との差分信号を
検出して、前記差分信号と前記視差パラメータとを符号
化する手段とを備えることを特徴とする。According to a first image coding method of the present invention, in coding a plurality of input images obtained by a plurality of cameras having slightly different viewpoints,
Means for generating a coded signal of the image and a locally reproduced image for a representative image selected one from the plurality of input images, and for each of the other input images, for each input image Detects the parallax parameter that describes the displacement of the input image caused by the parallax when the representative image is the reference image,
Generating a predicted image from the locally reproduced image using the parallax parameter, detecting a difference signal between the input image and the predicted image, and encoding the difference signal and the parallax parameter. Characterize.
【０００７】本発明の第２の画像の符号化方式は、前記
視差パラメータの検出において、入力画像の画素毎ある
いは複数画素からなる小ブロック毎に参照画像上での対
応する位置を検出してその座標位置の差分を視差ベクト
ルとし、前記視差ベクトルから最小２乗誤差法を用いて
視差パラメータを推定することを特徴とする。In the second image coding method of the present invention, in detecting the parallax parameter, a corresponding position on the reference image is detected for each pixel of the input image or for each small block of a plurality of pixels, The difference between coordinate positions is used as a parallax vector, and the parallax parameter is estimated from the parallax vector by using the least square error method.
【０００８】本発明の第３の画像の符号化方式は、前記
視差パラメータの検出および前記視差パラメータを用い
た予測画像の生成において、入力画像がカメラとの距離
が異なる複数の被写体領域で構成される場合に、画素毎
または複数画素からなる小ブロック毎に視差ベクトルを
検出する手段と、前記視差ベクトルを用いて画像領域全
体を複数の領域に分割する手段と、前記分割された領域
毎に前記視差ベクトルから視差パラメータを推定する手
段と、前記分割された領域毎に前記検出された視差パラ
メータを用いて前記局所再生画像から予測画像を生成す
る手段とを備えることを特徴とする。According to a third image coding method of the present invention, in the detection of the parallax parameter and the generation of the predicted image using the parallax parameter, the input image is composed of a plurality of subject regions having different distances from the camera. In this case, means for detecting a parallax vector for each pixel or each small block consisting of a plurality of pixels, means for dividing the entire image area into a plurality of areas using the parallax vector, and It is characterized by further comprising means for estimating a parallax parameter from the parallax vector, and means for generating a predicted image from the locally reproduced image using the detected parallax parameter for each of the divided regions.
【０００９】[0009]
【作用】本発明の第１の画像の符号化方式を図１を用い
て説明する。図１のブロック図では入力画像が１０１，
１０２，１０３の３つである場合を示したが、入力画像
が更に増えた場合には入力画像１０２または１０３に対
してと同様な処理を行うブロックを増設するだけでよ
い。まず複数の入力画像の中から代表画像として１０１
を選択したとする。入力画像１０１は動き補償フレーム
間予測符号化方式などの方法により符号化回路１１で符
号化され、受信側では復号化回路１６で再生画像１１０
に復号化される。同時に符号化回路１１は再生画像１１
０と同じ画像である局所再生画像１０５を生成して出力
する。The first image coding method of the present invention will be described with reference to FIG. In the block diagram of FIG. 1, the input image is 101,
Although three cases of 102 and 103 are shown, if the number of input images further increases, it is only necessary to add a block that performs the same processing as that of the input image 102 or 103. First, 101 is selected as a representative image from a plurality of input images.
Is selected. The input image 101 is encoded by the encoding circuit 11 by a method such as a motion-compensated inter-frame predictive encoding method, and on the receiving side, the reproduced image 110 is obtained by the decoding circuit 16.
Will be decrypted. At the same time, the encoding circuit 11 reproduces the reproduced image 11
A locally reproduced image 105, which is the same image as 0, is generated and output.
【００１０】一方、その他の入力画像１０２、１０３は
各入力画像毎に前記代表画像１０１を参照画像とした場
合の画像間の相関を利用した符号化を行う。まず入力画
像１０２の符号化に際しては、視差パラメータ検出回路
１２で入力画像１０２と参照画像１０１とから２つの画
像間の変位量を記述する視差パラメータ１０６を検出す
る。この視差パラメータ検出回路１２の作用を以下に説
明する。入力画像１０２と視点のわずかに異なるカメラ
で撮影された参照画像１０１との間では被写体とカメラ
との位置関係が異なるため、２つの画像間で対応する画
素の座標位置が異なる。この座標位置の変位量は入力画
像１０２上の位置の関数として記述することが可能であ
る。この関数の一例として、被写体全体を２次元平面で
近似できる場合には、前記２つの画像間で対応する画素
の座標位置の変位量を示すベクトル（ｖx ，ｖy ）は式
（１）（２）の形で記述できる。 ｖx ＝ａｘ＋ｂｙ＋（ｇｘ＋ｈｙ）ｘ＋ｅ （１） ｖy ＝ｃｘ＋ｄｙ＋（ｇｘ＋ｈｙ）ｙ＋ｆ （２）On the other hand, the other input images 102 and 103 are coded for each input image using the correlation between the images when the representative image 101 is used as a reference image. First, when encoding the input image 102, the parallax parameter detection circuit 12 detects the parallax parameter 106 that describes the displacement amount between the two images from the input image 102 and the reference image 101. The operation of the parallax parameter detection circuit 12 will be described below. Since the positional relationship between the subject and the camera is different between the input image 102 and the reference image 101 captured by a camera having a slightly different viewpoint, the coordinate positions of the corresponding pixels are different between the two images. The displacement amount of this coordinate position can be described as a function of the position on the input image 102. As an example of this function, when the entire subject can be approximated by a two-dimensional plane, the vector (v x , v y ) indicating the displacement amount of the coordinate position of the corresponding pixel between the two images is given by the equation (1) ( It can be described in the form of 2). v x = ax + by + (gx + hy) x + e (1) v y = cx + dy + (gx + hy) y + f (2)
【００１１】式（１）（２）で（ｖx ，ｖy ）は入力画
像１０２上の位置（ｘ，ｙ）におけるｘ軸（水平）方向
とｙ軸（垂直）方向の各々の変位量を示す。これを視差
ベクトルとよぶことにする。また式（１）（２）を特徴
付ける８つの係数（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）
を視差パラメータとよぶことにする。図５は式（１）
（２）で記述される視差ベクトルと視差パラメータとの
関係を具体的な例により説明するものであり、被写体２
次元平面のｙ（垂直）軸がカメラの光軸に直角である場
合について示している。図５（ａ）は入力画像１０２で
の視点位置が参照画像１０１のものより左に平行移動し
た場合で、視差ベクトルは全て右向きで同じ大きさにな
ることを示しているる。ただし、斜線部は視点位置の変
化により入力画像１０２上に新たに現れた画像部分で、
参照画像１０１との間に相関が無いため視差ベクトルは
検出できない。図５（ａ）の様な視差ベクトルに対して
は、式（１）（２）で有効な視差パラメータはｅのみで
ある。図５（ｂ）は入力画像１０２の視線方向が参照画
像１０１の場合より被写体に対して斜めになった場合
で、視差ベクトルから画像が扇状変位していることがわ
かる。この場合には視差パラメータｇが有効である。さ
らに図５（ｃ）は入力画像１０２の視点位置が参照画像
１０１の場合より被写体へ近づいた場合かあるいはズー
ミング操作をおこなった場合で、視差ベクトルは放射状
に検出される。この場合に有効な視差パラメータはａ，
ｄである。その他にもカメラが光軸周りに回転した場合
にはパラメータｂ，ｃが有効であり、カメラのチルトや
上下動がある場合にはパラメータｈ，ｆが有効となる。
すなわち式（１）（２）はさまざまな視点位置の変化に
伴う画像上の座標位置の変位量を記述できることがわか
る。なお式（１）（２）は被写体全体を２次元平面で近
似した場合の関数であるが被写体全体が曲面に近似され
る場合には座標位置（ｘ，ｙ）に関するより高次な関数
を用いればよい。また図１の視差パラメータ検出回路１
２では正確な視差検出のために入力画像１０１を参照画
像として用いたが、前記局所再生画像１０５を参照画像
として用いることも可能である。In equations (1) and (2), (v x , v y ) are displacement amounts in the x-axis (horizontal) direction and the y-axis (vertical) direction at the position (x, y) on the input image 102. Show. This is called a disparity vector. Also, eight coefficients (a, b, c, d, e, f, g, h) that characterize equations (1) and (2)
Is called a parallax parameter. Figure 5 is the formula (1)
The relationship between the parallax vector and the parallax parameter described in (2) will be described using a specific example.
The case where the y (vertical) axis of the dimensional plane is perpendicular to the optical axis of the camera is shown. FIG. 5A shows that the viewpoint position in the input image 102 is translated to the left from that of the reference image 101, and the parallax vectors are all rightward and have the same magnitude. However, the shaded portion is an image portion newly appearing on the input image 102 due to a change in the viewpoint position,
Since there is no correlation with the reference image 101, the parallax vector cannot be detected. For a disparity vector as shown in FIG. 5A, the only effective disparity parameter in equations (1) and (2) is e. FIG. 5B shows a case where the line-of-sight direction of the input image 102 is more oblique to the subject than the case of the reference image 101, and it can be seen from the parallax vector that the image is fan-shaped displaced. In this case, the parallax parameter g is effective. Further, FIG. 5C shows a case where the viewpoint position of the input image 102 is closer to the subject than that of the reference image 101 or a zooming operation is performed, and the parallax vector is radially detected. In this case, the effective parallax parameter is a,
d. In addition, the parameters b and c are effective when the camera is rotated around the optical axis, and the parameters h and f are effective when the camera is tilted or vertically moved.
That is, it is understood that the expressions (1) and (2) can describe the displacement amount of the coordinate position on the image due to various changes in the viewpoint position. Equations (1) and (2) are functions when the entire subject is approximated by a two-dimensional plane, but when the entire subject is approximated by a curved surface, a higher-order function regarding the coordinate position (x, y) is used. Good. Also, the parallax parameter detection circuit 1 of FIG.
In 2, the input image 101 is used as a reference image for accurate parallax detection, but it is also possible to use the locally reproduced image 105 as a reference image.
【００１２】次に図１において予測画像生成回路１３で
は前記検出された視差パラメータ１０６を用いて局所再
生画像１０５から入力画像１０２に対する予測画像１０
７を生成する。検出された視差パラメータを式（１）
（２）に代入すれば画像間で対応する画素の位置の変位
量を計算で求めることが可能である。そこで入力画像１
０２の画素毎に前記変位量の補償をおこなった座標位置
を求め、局所再生画像１０５の該当座標位置から画素の
値を読み出して予測値とすることで予測画像１０７を生
成する。さらに減算器１４でこの予測画像１０７と入力
画像１０２との差分をとって予測差分画像１０８として
出力する。Next, in FIG. 1, the predicted image generation circuit 13 uses the detected parallax parameter 106 to predict the predicted image 10 from the locally reproduced image 105 to the input image 102.
7 is generated. The detected parallax parameter is expressed by the formula (1).
By substituting in (2), it is possible to calculate the displacement amount of the position of the corresponding pixel between the images. So input image 1
A predicted image 107 is generated by obtaining a coordinate position in which the displacement amount is compensated for each pixel of 02, and reading a pixel value from the corresponding coordinate position of the local reproduction image 105 as a predicted value. Further, the subtractor 14 takes the difference between the predicted image 107 and the input image 102 and outputs it as a predicted difference image 108.
【００１３】符号化回路１５では予測差分画像１０８と
視差パラメータ１０６とを符号化して伝送し、受信側の
復号化回路１７では再生差分画像１１１と視差パラメー
タ１１２に復号化する。予測画像生成回路１８では視差
パラメータ１１２を用いて再生画像１１０から予測画像
１１３を生成し、加算器１９で予測画像１１３に再生差
分画像１１１を加算することで再生画像１１４を出力す
る。The encoding circuit 15 encodes and transmits the predicted difference image 108 and the parallax parameter 106, and the decoding circuit 17 on the receiving side decodes the reproduced difference image 111 and the parallax parameter 112. The predicted image generation circuit 18 generates a predicted image 113 from the reproduced image 110 using the parallax parameter 112, and the adder 19 adds the reproduced difference image 111 to the predicted image 113 to output the reproduced image 114.
【００１４】以上に説明した画像の符号化方式では、代
表画像として選択した入力画像１０１は従来方式と同様
に符号化されるが、第２の入力画像１０２は入力画像１
０１との間に存在する相関を差し引いた成分のみ符号化
されるため、全体としての伝送符号量を削減することが
可能となる。また第３番目の入力画像１０３に対しても
入力画像１０２と同様な方法を用いることで、入力画像
１０１との相関を差し引いた効率的な符号化を実現する
ことが可能である。In the image coding method described above, the input image 101 selected as the representative image is coded in the same manner as in the conventional method, but the second input image 102 is the input image 1.
Since only the component excluding the correlation existing between 01 and 01 is encoded, it is possible to reduce the transmission code amount as a whole. Also, by using the same method as the input image 102 for the third input image 103, it is possible to realize efficient encoding by subtracting the correlation with the input image 101.
【００１５】本発明の第２の方式は、入力画像の画素毎
あるいは小ブロック毎に参照画像との座標位置の変位量
を示す視差ベクトルを検出して、前記視差ベクトルの最
小２乗誤差法を用いて画像全体における前記変位量を記
述する関数を特徴付ける視差パラメータを推定する方式
である。本発明では被写体全体が２次元平面で近似でき
るとし、前記関数が式（１）（２）で記述できる場合を
対象とする。この視差パラメータ推定方式の原理を図２
を用いて説明する。まず視差ベクトル検出回路２１に参
照画像２０１と入力画像２０２が供給される。ここで参
照画像２０１としては図１に示したように代表画像に選
択された入力画像１０１を用いてもよいし、あるいは入
力画像１０１を符号復号化した局所再生画像１０５を用
いてもよい。視差ベクトル検出回路２１では入力画像２
０２の画素毎あるいは小ブロック毎に、参照画像２０１
上での対応座標位置を検出してその座標位置の変位量を
該画素あるいは該小ブロックの視差ベクトルと定義す
る。前記変位量の検出はブロックマッチング法や輝度勾
配法などにより実現できる。画素あるいは小ブロック毎
に検出された視差ベクトル（ｖx ，ｖy ）の値２０３は
該画素あるいは該小ブロックの座標位置（ｘ，ｙ）の値
２０４とともに視差パラメータ推定回路２２に供給され
る。A second method of the present invention detects a parallax vector indicating a displacement amount of a coordinate position with respect to a reference image for each pixel or each small block of an input image, and uses the least square error method of the parallax vector. This is a method of estimating a parallax parameter that characterizes a function that describes the displacement amount in the entire image by using the method. In the present invention, it is assumed that the entire subject can be approximated by a two-dimensional plane, and the function can be described by equations (1) and (2). The principle of this parallax parameter estimation method is shown in FIG.
Will be explained. First, the parallax vector detection circuit 21 is supplied with the reference image 201 and the input image 202. Here, as the reference image 201, the input image 101 selected as the representative image as shown in FIG. 1 may be used, or the locally reproduced image 105 obtained by encoding and decoding the input image 101 may be used. In the parallax vector detection circuit 21, the input image 2
The reference image 201 for each 02 pixel or for each small block.
The corresponding coordinate position above is detected, and the displacement amount of the coordinate position is defined as the parallax vector of the pixel or the small block. The displacement amount can be detected by a block matching method, a brightness gradient method, or the like. The value 203 of the parallax vector (v x , v y ) detected for each pixel or small block is supplied to the parallax parameter estimation circuit 22 together with the value 204 of the coordinate position (x, y) of the pixel or small block.
【００１６】次に視差パラメータ推定回路２２では入力
画像２０２内で多数検出された視差ベクトル（ｖi x ，
ｖi y ）の値２０３とその座標位置（ｘi ，ｙi ）の値
２０４とを用いた式（１）（２）に関する最小２乗誤差
法をおこなって、視差パラメータ（ａ，ｂ，ｃ，ｄ，
ｅ，ｆ，ｇ，ｈ）の値２０５を推定する。いまＮ個の実
測値ｖi x ，ｖi y ，ｘi ，ｙi に対して式（１）
（２）の視差パラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，
ｇ，ｈ）を仮定した場合に、ｖx ，ｖy の実測値との平
均２乗誤差ＭＳＥは式（３）（４）で与えられる。Next, the parallax parameter estimation circuit 22 detects a large number of parallax vectors (v i x ,
The least-squares error method for equations (1) and (2) using the value 203 of v i y ) and the value 204 of its coordinate position (x i , y i ) is performed to obtain the parallax parameters (a, b, c). , D,
Estimate the value 205 of e, f, g, h). Now, for N measured values v i x , v i y , x i , y i , equation (1)
Parallax parameters (a, b, c, d, e, f, of (2)
When g, h) is assumed, the mean square error MSE between the measured values of v x and v y is given by equations (3) and (4).
【数１】 [Equation 1]
【００１７】ここで式（３）（４）をパラメータａ，
ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈそれぞれで微分してその結
果を０に等しいとおけば平均２乗誤差ＭＳＥを最小にす
るパラメータの値が求められる。以上に説明した方法を
用いれば、入力画像と参照画像のみから簡単な方法で画
像間の変位を記述する視差パラメータを知ることが可能
となる。また視点位置や視線方向の変動などがある程度
わかっていれば、検出される視差パラメータも限定され
るので検出のための計算を省略することが可能である。
図５に示したように被写体２次元平面のｙ（垂直）軸が
カメラ光軸に直角な場合で、かつカメラ光軸周りの回転
が無視できるならば式（３）（４）におけるパラメータ
ｂ，ｃ，ｈを全て０として簡略化することがてきる。な
お図５に示すような視差ベクトルから視差パラメータを
推定する場合に、図５（ａ）（ｂ）の斜線部は画像間に
相関が無い部分なのでパラメータ推定の計算には用いな
い。前記斜線部分はブロックマッチングにより視差ベク
トルを検出した際に、画像間の相関が無いためにマッチ
ング誤差が大きくなることから容易に判別できる。Here, the equations (3) and (4) are expressed by the parameter a,
Differentiating each of b, c, d, e, f, g, and h and setting the result equal to 0, the value of the parameter that minimizes the mean square error MSE can be obtained. By using the method described above, it is possible to know the parallax parameter describing the displacement between images by a simple method only from the input image and the reference image. Further, if the change in the viewpoint position or the line-of-sight direction is known to some extent, the parallax parameter to be detected is also limited, and therefore the calculation for detection can be omitted.
As shown in FIG. 5, when the y (vertical) axis of the two-dimensional plane of the subject is at right angles to the camera optical axis and the rotation around the camera optical axis can be ignored, the parameters b in equations (3) and (4), It can be simplified by setting c and h to all 0. When the parallax parameter is estimated from the parallax vector as shown in FIG. 5, the shaded areas in FIGS. 5A and 5B are the portions where there is no correlation between the images and therefore are not used in the parameter estimation calculation. When the parallax vector is detected by block matching in the shaded area, since there is no correlation between the images, the matching error becomes large, so that it can be easily identified.
【００１８】本発明の第３の画像の符号化方式において
は、画像内の複数の被写体領域毎に視差パラメータの検
出と予測画像の生成を行う。この被写体領域毎の処理の
原理を図３と図６とを用いて説明する。カメラからの距
離が大きく異なる複数の被写体からなる画像では、被写
体毎に異なる視差パラメータが検出されることがある。
図６はカメラとの距離が大きく異なる２つの被写体を視
点の異なる２台のカメラで撮影した画像において、検出
される視差ベクトルが被写体間で異なることを説明する
図である。視点Ａから撮影した画像（ａ）に対して視点
Ｂから撮影した画像（ｂ）を参照画像とする。このとき
両方の画像でカメラにより近い被写体Ｃは画像のほぼ中
央に来ている。このため被写体Ｃ上での視差ベクトルは
ほとんど零となる。一方、カメラから遠い被写体Ｄに対
しては視点Ｂからの方がより左側を撮影しているため、
被写体Ｄ上での視差ベクトルは右向きのものが検出され
る。つまりカメラとの距離が大きく異なる被写体間では
視差ベクトルが異なるため、対応する視差パラメータも
異なることがわかる。そこで視差ベクトルが不連続に変
化する部分を被写体の境界とみなして画像を複数の領域
に分割する。次に分割された領域毎に該領域内で検出さ
れた視差ベクトルを用いて視差パラメータを推定すれば
よい。In the third image coding method of the present invention, the parallax parameter is detected and the predicted image is generated for each of a plurality of subject areas in the image. The principle of processing for each subject area will be described with reference to FIGS. 3 and 6. In an image including a plurality of subjects whose distances from the camera are greatly different, different parallax parameters may be detected for each subject.
FIG. 6 is a diagram for explaining that the parallax vectors detected in images captured by two cameras having different viewpoints from two subjects whose distances from the camera are significantly different are different between the subjects. The image (b) captured from the viewpoint B with respect to the image (a) captured from the viewpoint A is used as a reference image. At this time, in both images, the subject C closer to the camera is located at approximately the center of the images. Therefore, the parallax vector on the subject C becomes almost zero. On the other hand, for the subject D far from the camera, the left side is taken from the viewpoint B,
A rightward parallax vector on the subject D is detected. That is, it can be seen that since the parallax vectors differ between subjects whose distances to the camera are greatly different, the corresponding parallax parameters are also different. Therefore, the image is divided into a plurality of areas by regarding the portion where the disparity vector changes discontinuously as the boundary of the subject. Next, the parallax parameter may be estimated for each of the divided regions using the parallax vector detected in the region.
【００１９】図３は被写体領域毎に視差パラメータの検
出と予測画像生成を行う予測画像生成方式を実現する一
実施例を示すブロック図である。まず視差ベクトル検出
回路３１に参照画像３０１と入力画像３０２が供給さ
れ、画素毎あるいは小ブロック毎に視差ベクトル３０３
を検出して、その検出座標位置３０４とともに出力す
る。次に領域分割回路３２では供給された視差ベクトル
３０３から入力画像３０２を複数領域に分割するための
領域分割情報３０５を生成する。ここでは入力画像３０
２が複数の被写体で構成される場合に被写体間の境界部
では検出される視差ベクトルが不連続になることを利用
する。すなわち隣接する視差ベクトル間での値の差分が
あらかじめ定めたしきい値より大きければ該視差ベクト
ルの検出座標位置を領域境界点とする。この処理を画像
全体で検出された視差ベクトルに対して行い、前記検出
された領域境界点を連続的に接続して境界線を引くこと
で画像全体を複数領域に分割した結果を得る。この結果
に基づき入力画像３０２を構成する各画素あるいは各小
ブロックが前記分割された複数領域の何れに属するかを
示す領域分割情報３０５を出力する。FIG. 3 is a block diagram showing an embodiment for realizing a predictive image generating method for detecting a parallax parameter and generating a predictive image for each subject area. First, the reference image 301 and the input image 302 are supplied to the parallax vector detection circuit 31, and the parallax vector 303 is provided for each pixel or each small block.
Is detected and output together with the detected coordinate position 304. Next, the area division circuit 32 generates area division information 305 for dividing the input image 302 into a plurality of areas from the supplied parallax vector 303. Here, the input image 30
When 2 is composed of a plurality of subjects, the disparity vector detected at the boundary between the subjects is used. That is, if the difference in value between adjacent parallax vectors is larger than a predetermined threshold value, the detected coordinate position of the parallax vector is set as the area boundary point. This process is performed on the parallax vector detected in the entire image, and the detected region boundary points are continuously connected to draw a boundary line to obtain the result of dividing the entire image into a plurality of regions. Based on this result, area division information 305 indicating which of the divided areas each pixel or each small block forming the input image 302 belongs to is output.
【００２０】次に視差パラメータ推定回路３３では前記
領域分割情報３０５を参照しながら前記検出された視差
ベクトル３０３から領域毎に視差パラメータ３０６を推
定する。視差パラメータの推定は本発明の第２の方式に
示した最小２乗誤差法を用いて実現することが可能であ
る。予測画像生成回路３４では前記領域分割情報３０５
を参照することで入力画像３０２の画素毎あるいは小ブ
ロック毎に何れの領域に属するかを判別して視差パラメ
ータを選択し、参照画像３０１上での対応座標位置を前
記選択されたパラメータから計算する。そして参照画像
３０１を符号復号化した局所再生画像３０７上の前記対
応座標位置から画素の値を読み出して、該画素あるいは
該小ブロックの予測値とすることで予測画像３０８を生
成する。減算器３５では入力画像３０２からこの予測画
像３０８を差し引いて予測差分画像３０９を出力する。
また複数の視差パラメータ３０６と領域分割情報３０５
も符号化すべき情報として出力される。Next, the parallax parameter estimation circuit 33 estimates the parallax parameter 306 for each area from the detected parallax vector 303 while referring to the area division information 305. The parallax parameter estimation can be realized by using the least square error method shown in the second method of the present invention. In the prediction image generation circuit 34, the area division information 305
By referring to, it is determined which region each pixel or small block of the input image 302 belongs to, the parallax parameter is selected, and the corresponding coordinate position on the reference image 301 is calculated from the selected parameter. . Then, the value of the pixel is read from the corresponding coordinate position on the locally reproduced image 307 obtained by encoding and decoding the reference image 301, and the predicted value of the pixel or the small block is set to generate the predicted image 308. The subtractor 35 subtracts the predicted image 308 from the input image 302 and outputs the predicted difference image 309.
Also, a plurality of parallax parameters 306 and area division information 305
Is also output as information to be encoded.
【００２１】[0021]
【実施例】本願発明について図面を参照して説明する。
図１は本発明の第１の画像の符号化方式を実現する一実
施例のブロック図である。図１において、符号化回路１
１は入力画像１０１を符号化した符号化信号１０４と、
これを復号再生した局所再生画像１０５を出力する。ま
た視差パラメータ検出回路１２では入力画像１０１，１
０２から視差パラメータ１０６を検出する。予測画像生
成回路１３ではこの視差パラメータ１０６を用いて局所
再生画像１０５から予測画像１０７を生成し、減算器１
４で入力画像１０２と予測画像１０７との差分を求めて
予測差分画像１０８を出力する。符号化回路１５では予
測差分画像１０８と視差パラメータ１０６とを符号化し
た符号化信号１０９を出力する。復号化回路１７では符
号化信号１０９を復号して、予測差分画像１１１と視差
パラメータ１１２を出力する。予測画像生成回路１８で
は視差パラメータ１１２を用いて再生画像１１０から予
測画像１１３を生成し、加算器１９で予測画像１１３に
予測差分画像１１１を加算して再生画像１１４を出力す
る。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of an embodiment for realizing the first image coding system of the present invention. In FIG. 1, the encoding circuit 1
1 is an encoded signal 104 obtained by encoding the input image 101,
A locally reproduced image 105 obtained by decoding and reproducing this is output. In the parallax parameter detection circuit 12, the input images 101, 1
The parallax parameter 106 is detected from 02. The predicted image generation circuit 13 generates a predicted image 107 from the locally reproduced image 105 using the parallax parameter 106, and the subtractor 1
In step 4, the difference between the input image 102 and the predicted image 107 is obtained, and the predicted difference image 108 is output. The encoding circuit 15 outputs an encoded signal 109 obtained by encoding the prediction difference image 108 and the parallax parameter 106. The decoding circuit 17 decodes the coded signal 109 and outputs the prediction difference image 111 and the parallax parameter 112. The predicted image generation circuit 18 generates a predicted image 113 from the reproduced image 110 using the parallax parameter 112, and the adder 19 adds the predicted difference image 111 to the predicted image 113 and outputs the reproduced image 114.
【００２２】図２は本発明の第２の方式における、最小
２乗誤差法を用いたパラメータ検出方式を実現する一実
施例のブロック図である。図２では視差ベクトル検出回
路２１において参照画像２０１と入力画像２０２から画
素毎あるいは小ブロック毎に視差ベクトル２０３を検出
して、該画素あるいは該小ブロックの座標位置２０４と
共に出力する。視差パラメータ推定回路２２では視差ベ
クトル２０３とその検出座標位置２０４から最小２乗誤
差法を用いて視差パラメータ２０５を推定して出力す
る。FIG. 2 is a block diagram of an embodiment for realizing the parameter detection method using the least square error method in the second method of the present invention. In FIG. 2, the parallax vector detection circuit 21 detects the parallax vector 203 for each pixel or each small block from the reference image 201 and the input image 202, and outputs it together with the coordinate position 204 of the pixel or the small block. The parallax parameter estimation circuit 22 estimates and outputs the parallax parameter 205 from the parallax vector 203 and its detected coordinate position 204 using the least square error method.
【００２３】図３は本発明の第３の画像の符号化方式に
おける、被写体領域毎に視差パラメータの検出と予測画
像生成を行う予測画像生成方式を実現する一実施例のブ
ロック図である。図３では視差ベクトル検出回路３１に
おいて参照画像３０１と入力画像３０２から画素毎ある
いは小ブロック毎に視差ベクトル３０３を検出して、該
画素あるいは該小ブロックの座標位置３０４と共に出力
する。次に領域分割回路３２では視差ベクトル３０３の
不連続性を検出して、入力画像３０２を複数の領域に分
割するための領域分割情報３０５を出力する。視差パラ
メータ推定回路３３では領域分割情報３０５を参照しな
がら分割領域毎に視差ベクトル３０３から視差パラメー
タ３０６を推定して出力する。予測画像生成回路３４領
域分割情報３０５を参照しながら画素毎あるいは小ブロ
ック毎に視差パラメータ３０６を選択して、この選択さ
れた視差パラメータ３０６を用いて局所再生画像３０７
から予測画像３０８を生成して出力する。減算器３５で
は入力画像３０２から予測画像３０８を差し引いて予測
差分画像３０９を出力する。FIG. 3 is a block diagram of an embodiment for realizing a predictive image generating method for detecting a parallax parameter and generating a predictive image for each subject area in the third image encoding method of the present invention. In FIG. 3, the parallax vector detection circuit 31 detects the parallax vector 303 for each pixel or each small block from the reference image 301 and the input image 302, and outputs the parallax vector 303 together with the coordinate position 304 of the pixel or the small block. Next, the area division circuit 32 detects discontinuity of the parallax vector 303 and outputs area division information 305 for dividing the input image 302 into a plurality of areas. The parallax parameter estimation circuit 33 estimates the parallax parameter 306 from the parallax vector 303 for each divided area while referring to the area division information 305 and outputs it. The parallax parameter 306 is selected for each pixel or each small block while referring to the prediction image generation circuit 34 region division information 305, and the locally reproduced image 307 is used by using the selected parallax parameter 306.
A predicted image 308 is generated from the output and output. The subtractor 35 subtracts the predicted image 308 from the input image 302 and outputs the predicted difference image 309.
【００２４】[0024]
【発明の効果】以上に説明したように本発明では、視点
の少しずつ異なる複数台のカメラで撮影した複数の画像
を符号化するにおいて、１つの画像を代表画像として選
択して符号化すると共に、残りの画像を符号化するに際
しては前記選択された代表画像から予測画像を生成して
これとの差分画像のみ符号化するので、複数の画像全体
としての符号量を削減するのに効果がある。また参照画
像から予測画像を生成するに際して視差パラメータを用
いた画像の変換を行っているので高い予測効率を実現し
ている。As described above, according to the present invention, in encoding a plurality of images captured by a plurality of cameras having slightly different viewpoints, one image is selected as a representative image and encoded. , When a remaining image is encoded, a predicted image is generated from the selected representative image and only a difference image from the predicted image is encoded, which is effective in reducing the code amount of the plurality of images as a whole. . In addition, when a predicted image is generated from a reference image, the image is converted using a parallax parameter, so that high prediction efficiency is realized.
【図１】本発明に係わる第１の実施例の基本ブロック図
である。FIG. 1 is a basic block diagram of a first embodiment according to the present invention.
【図２】本発明に係わる第２の実施例の基本ブロック図
である。FIG. 2 is a basic block diagram of a second embodiment according to the present invention.
【図３】本発明に係わる第３の実施例の基本ブロック図
である。FIG. 3 is a basic block diagram of a third embodiment according to the present invention.
【図４】視点の少しずつ異なる複数台のカメラで撮影し
て得られた複数の画像の関係を説明する図である。FIG. 4 is a diagram illustrating a relationship between a plurality of images captured by a plurality of cameras having slightly different viewpoints.
【図５】視点の異なるカメラで撮影して得られた２つの
画像間において検出される視差ベクトルの例を説明する
図である。[Fig. 5] Fig. 5 is a diagram illustrating an example of a parallax vector detected between two images obtained by shooting with cameras having different viewpoints.
【図６】カメラからの距離が異なる複数の被写体を異な
る視点から撮影した場合に被写体毎に検出される視差ベ
クトルが異なることを説明する図である。[Fig. 6] Fig. 6 is a diagram for describing that the parallax vectors detected for each subject are different when a plurality of subjects having different distances from the camera are photographed from different viewpoints.
１１，１５ 符号化回路 １２ 視差パラメータ検出回路 １３，１８，３４ 予測画像生成回路 １４，３５ 減算器 １６，１７ 復号化回路 １９ 加算器 ２１，３１ 視差ベクトル検出回路 ２２，３３ 視差パラメータ推定回路 ３２ 領域分割回路 １０１，１０２，１０３，２０２，３０２ 入力画像 １１０，１０９ 符号化信号 １０５，３０７ 局所再生画像 １０６，１１２，２０５，３０６ 視差パラメータ １０７，１１３，３０８ 予測画像 １０８，１１１，３０９ 予測差分画像 １０４，１１４ 再生画像 ２０１，３０１ 参照画像 ２０３，３０３ 視差べクトル ２０４，３０４ 視差ベクトル検出座標位置 ３０５ 領域分割情報 11, 15 Coding circuit 12 Disparity parameter detection circuit 13, 18, 34 Prediction image generation circuit 14, 35 Subtractor 16, 17 Decoding circuit 19 Adder 21, 31 Disparity vector detection circuit 22, 33 Disparity parameter estimation circuit 32 Area Split circuit 101, 102, 103, 202, 302 Input image 110, 109 Encoded signal 105, 307 Local reproduction image 106, 112, 205, 306 Parallax parameter 107, 113, 308 Predicted image 108, 111, 309 Predicted difference image 104 , 114 Reproduced image 201, 301 Reference image 203, 303 Parallax vector 204, 304 Parallax vector detection coordinate position 305 Area division information
Claims (3)
撮影して得られた複数の入力画像を符号化するにおい
て、前記複数の入力画像から１つ選択された代表画像に
対しては該画像の符号化信号と局所再生画像とを生成す
る手段と、その他の複数の入力画像に対しては各入力画
像毎に前記代表画像を参照画像としたときに視差により
生じた入力画像の変位を記述する視差パラメータを検出
し、前記視差パラメータを用いて前記局所再生画像から
予測画像を生成し、入力画像と前記予測信号との差分信
号を検出して、前記差分信号と前記視差パラメータとの
符号化信号を生成する手段とを備えることを特徴とした
画像の符号化方式。1. When encoding a plurality of input images obtained by shooting with a plurality of cameras having slightly different viewpoints, the image is selected for a representative image selected from the plurality of input images. Means for generating a coded signal and a locally reproduced image, and for other input images, the displacement of the input image caused by the parallax when the representative image is used as a reference image is described for each input image. Detecting a parallax parameter to generate a prediction image from the locally reproduced image using the parallax parameter, detects a difference signal between the input image and the prediction signal, encoding the difference signal and the parallax parameter An image coding method comprising: a means for generating a signal.
力画像の画素毎あるいは複数画素からなる小ブロック毎
に参照画像上での対応する位置を検出してその座標位置
の差分を視差ベクトルとし、前記視差ベクトルから最小
２乗誤差法を用いて視差パラメータを推定することを特
徴とする請求項１に記載の画像の符号化方式。2. In the detection of the parallax parameter, the corresponding position on the reference image is detected for each pixel of the input image or for each small block composed of a plurality of pixels, and the difference between the coordinate positions is set as the parallax vector, and the parallax vector is set. The image coding method according to claim 1, wherein the parallax parameter is estimated from the vector using a least square error method.
差パラメータを用いた予測画像の生成において、入力画
像がカメラとの距離が異なる複数の被写体領域で構成さ
れる場合に、画素毎または複数画素からなる小ブロック
毎に視差ベクトルを検出する手段と、前記視差ベクトル
を用いて画像領域全体を複数の領域に分割する手段と、
前記分割された領域毎に前記視差ベクトルから視差パラ
メータを推定する手段と、前記分割された領域毎に前記
検出された視差パラメータを用いて前記局所再生画像か
ら予測画像を生成する手段とを備えることを特徴とした
請求項１に記載の画像の符号化方式。3. In the detection of the parallax parameter and the generation of the prediction image using the parallax parameter, when the input image is composed of a plurality of subject regions having different distances from the camera, each pixel or a plurality of pixels are used. Means for detecting a parallax vector for each small block, means for dividing the entire image region into a plurality of regions using the parallax vector,
A unit for estimating a parallax parameter from the parallax vector for each of the divided regions; and a unit for generating a predicted image from the local reproduction image using the detected parallax parameter for each of the divided regions. The image coding method according to claim 1, wherein
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32728892A JP3194258B2 (en) | 1992-11-12 | 1992-11-12 | Image coding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32728892A JP3194258B2 (en) | 1992-11-12 | 1992-11-12 | Image coding method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06153239A true JPH06153239A (en) | 1994-05-31 |
| JP3194258B2 JP3194258B2 (en) | 2001-07-30 |
Family
ID=18197455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32728892A Expired - Lifetime JP3194258B2 (en) | 1992-11-12 | 1992-11-12 | Image coding method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3194258B2 (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0993614A (en) * | 1995-09-27 | 1997-04-04 | Nec Corp | Three-dimension image coder |
| US5767898A (en) * | 1994-06-23 | 1998-06-16 | Sanyo Electric Co., Ltd. | Three-dimensional image coding by merger of left and right images |
| WO1999011073A1 (en) * | 1997-08-25 | 1999-03-04 | Sony Corporation | Stereoscopic image video signal generator, stereoscopic image video signal transmitter, stereoscopic image video signal receiver, and stereoscopic image video signal transmission switching device |
| WO2000027132A1 (en) * | 1998-11-02 | 2000-05-11 | Sukuld Enterprise Yuugen Kaisha | Encoding/decoding of video signal |
| US6111979A (en) * | 1996-04-23 | 2000-08-29 | Nec Corporation | System for encoding/decoding three-dimensional images with efficient compression of image data |
| US6163337A (en) * | 1996-04-05 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Multi-view point image transmission method and multi-view point image display method |
| JP2006074743A (en) * | 2004-07-27 | 2006-03-16 | Microsoft Corp | Multi-view video format |
| JP2007184741A (en) * | 2006-01-06 | 2007-07-19 | Kddi Corp | Multi-viewpoint video encoding method, device, and program |
| JP2008271217A (en) * | 2007-04-20 | 2008-11-06 | Kddi Corp | Multi-viewpoint video encoder |
| JP2009207183A (en) * | 2009-06-15 | 2009-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Video coding method, video decoding method, video coding program, video decoding program, and computer-readable recording medium for recording the programs |
| JP2009213161A (en) * | 2009-06-15 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | Video coding method, video decoding method, video coding program, video decoding program, and computer-readable recording medium with the programs recorded thereon |
| US7705886B2 (en) | 2004-03-19 | 2010-04-27 | Sony Corporation | Information processing apparatus and method, recording medium, program, and display device |
| JP2010233257A (en) * | 1996-02-28 | 2010-10-14 | Panasonic Corp | Optical disk for high resolution and stereoscopic video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
| WO2012029301A1 (en) * | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | Image capturing apparatus, playback apparatus, and image processing method |
| US9042709B2 (en) | 2010-08-31 | 2015-05-26 | Panasonic Intellectual Property Management Co., Ltd. | Image capture device, player, and image processing method |
| US9357231B2 (en) | 2008-07-31 | 2016-05-31 | Mitsubishi Electric Corporation | Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream |
-
1992
- 1992-11-12 JP JP32728892A patent/JP3194258B2/en not_active Expired - Lifetime
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6075556A (en) * | 1994-06-23 | 2000-06-13 | Sanyo Electric Co., Ltd. | Three-dimensional image coding by merger of left and right images |
| US5767898A (en) * | 1994-06-23 | 1998-06-16 | Sanyo Electric Co., Ltd. | Three-dimensional image coding by merger of left and right images |
| JPH0993614A (en) * | 1995-09-27 | 1997-04-04 | Nec Corp | Three-dimension image coder |
| US8391690B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8391689B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| JP2011010302A (en) * | 1996-02-28 | 2011-01-13 | Panasonic Corp | Optical disk for recording high-resolution and three-dimensional image, optical disk reproducing apparatus and optical disk recording apparatus |
| JP4605312B1 (en) * | 1996-02-28 | 2011-01-05 | パナソニック株式会社 | High resolution and stereoscopic image recording optical disc, optical disc playback device, optical disc recording device |
| US8391686B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| JP4618393B2 (en) * | 1996-02-28 | 2011-01-26 | パナソニック株式会社 | High resolution and stereoscopic image recording optical disc, optical disc playback device, optical disc recording device |
| US8391693B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8391691B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8391692B2 (en) | 1996-02-28 | 2013-03-05 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8200064B2 (en) | 1996-02-28 | 2012-06-12 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8184961B2 (en) | 1996-02-28 | 2012-05-22 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US8150240B2 (en) | 1996-02-28 | 2012-04-03 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| JP2010233257A (en) * | 1996-02-28 | 2010-10-14 | Panasonic Corp | Optical disk for high resolution and stereoscopic video recording, optical disk reproduction apparatus, and optical disk recording apparatus |
| US8139929B2 (en) | 1996-02-28 | 2012-03-20 | Panasonic Corporation | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device |
| US6163337A (en) * | 1996-04-05 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Multi-view point image transmission method and multi-view point image display method |
| US6111979A (en) * | 1996-04-23 | 2000-08-29 | Nec Corporation | System for encoding/decoding three-dimensional images with efficient compression of image data |
| US6697100B2 (en) | 1997-08-25 | 2004-02-24 | Sony Corporation | Solid-pictorial video signal generating apparatus, solid-pictorial video signal transmitting apparatus, solid-pictorial video signal receiving apparatus and solid-pictorial video signal transmission switching apparatus |
| WO1999011073A1 (en) * | 1997-08-25 | 1999-03-04 | Sony Corporation | Stereoscopic image video signal generator, stereoscopic image video signal transmitter, stereoscopic image video signal receiver, and stereoscopic image video signal transmission switching device |
| US6441844B1 (en) | 1997-08-25 | 2002-08-27 | Sony Corporation | Solid-pictorial video signal generating apparatus, solid-pictorial video signal transmitting apparatus, solid-pictorial video signal receiving apparatus and solid-pictorial video signal transmission switching apparatus |
| WO2000027132A1 (en) * | 1998-11-02 | 2000-05-11 | Sukuld Enterprise Yuugen Kaisha | Encoding/decoding of video signal |
| US7705886B2 (en) | 2004-03-19 | 2010-04-27 | Sony Corporation | Information processing apparatus and method, recording medium, program, and display device |
| JP2006074743A (en) * | 2004-07-27 | 2006-03-16 | Microsoft Corp | Multi-view video format |
| JP2007184741A (en) * | 2006-01-06 | 2007-07-19 | Kddi Corp | Multi-viewpoint video encoding method, device, and program |
| JP4570159B2 (en) * | 2006-01-06 | 2010-10-27 | Ｋｄｄｉ株式会社 | Multi-view video encoding method, apparatus, and program |
| JP2008271217A (en) * | 2007-04-20 | 2008-11-06 | Kddi Corp | Multi-viewpoint video encoder |
| US9357231B2 (en) | 2008-07-31 | 2016-05-31 | Mitsubishi Electric Corporation | Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream |
| JP2009207183A (en) * | 2009-06-15 | 2009-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Video coding method, video decoding method, video coding program, video decoding program, and computer-readable recording medium for recording the programs |
| JP2009213161A (en) * | 2009-06-15 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | Video coding method, video decoding method, video coding program, video decoding program, and computer-readable recording medium with the programs recorded thereon |
| WO2012029301A1 (en) * | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | Image capturing apparatus, playback apparatus, and image processing method |
| JP5204350B2 (en) * | 2010-08-31 | 2013-06-05 | パナソニック株式会社 | Imaging apparatus, playback apparatus, and image processing method |
| US8970675B2 (en) | 2010-08-31 | 2015-03-03 | Panasonic Intellectual Property Management Co., Ltd. | Image capture device, player, system, and image processing method |
| US9042709B2 (en) | 2010-08-31 | 2015-05-26 | Panasonic Intellectual Property Management Co., Ltd. | Image capture device, player, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3194258B2 (en) | 2001-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101010960B (en) | Method and device for motion estimation and compensation for panorama image | |
| JP3194258B2 (en) | Image coding method | |
| Grammalidis et al. | Disparity and occlusion estimation in multiocular systems and their coding for the communication of multiview image sequences | |
| EP1779662B1 (en) | Method and device for motion estimation and compensation for panorama image | |
| EP0765087B1 (en) | Video coding device | |
| JP5970609B2 (en) | Method and apparatus for unified disparity vector derivation in 3D video coding | |
| KR100902353B1 (en) | Device and Method for estimating death map, Method for making intermediate view and Encoding multi-view using the same | |
| JPS63198498A (en) | Method and apparatus for transmitting three-dimensional video signal | |
| EP0734178A2 (en) | Method and apparatus for determining true motion vectors for selected pixels | |
| US7224733B1 (en) | Interpolation filtering method for accurate sub-pixel motion assessment | |
| US20150264397A1 (en) | Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3d video coding | |
| KR20100008677A (en) | Device and method for estimating death map, method for making intermediate view and encoding multi-view using the same | |
| JPH11112989A (en) | Motion vector encoding method and encoder therefor | |
| Meuel et al. | Analysis of affine motion-compensated prediction in video coding | |
| EP1929783A1 (en) | Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method | |
| KR20030049642A (en) | Camera information coding/decoding method for composition of stereoscopic real video and computer graphic | |
| WO2006114951A1 (en) | Image processing device and image processing program | |
| CN100481944C (en) | Method and device for the computer-assisted motion compensation of a digitalized image and computer program products and computer-readable storage media | |
| US5731851A (en) | Method for determining feature points based on hierarchical block searching technique | |
| JP4944046B2 (en) | Video encoding method, decoding method, encoding device, decoding device, program thereof, and computer-readable recording medium | |
| US5579050A (en) | Apparatus for encoding a video signal using a search grid | |
| JPH07240944A (en) | Stereoscopic image encoder | |
| JP2008042424A (en) | Image matching apparatus, and image matching method | |
| JPH0332185A (en) | Moving picture coder and moving picture decoder | |
| JP2616552B2 (en) | Video encoding / decoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090601 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100601 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100601 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 12 |