JP3150446B2 - Image efficient coding method - Google Patents

Image efficient coding method

Info

Publication number
JP3150446B2
JP3150446B2 JP25996492A JP25996492A JP3150446B2 JP 3150446 B2 JP3150446 B2 JP 3150446B2 JP 25996492 A JP25996492 A JP 25996492A JP 25996492 A JP25996492 A JP 25996492A JP 3150446 B2 JP3150446 B2 JP 3150446B2
Authority
JP
Japan
Prior art keywords
image
vector
disparity compensation
compensation vector
correction vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25996492A
Other languages
Japanese (ja)
Other versions
JPH06113335A (en
Inventor
真喜子 此島
映史 森松
章 中川
喜一 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP25996492A priority Critical patent/JP3150446B2/en
Publication of JPH06113335A publication Critical patent/JPH06113335A/en
Application granted granted Critical
Publication of JP3150446B2 publication Critical patent/JP3150446B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は画像高能率符号化方式に
関し、特に視差補償予測方式を用いた多眼式立体映像の
高能率符号化方式に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-efficiency image coding method, and more particularly to a high-efficiency coding method for multi-view stereoscopic images using a parallax compensation prediction method.

【0002】図15に多眼式立体映像を作る場合の既に
1992年NHK技術研究所で公開されたシステムの概
念構成が示されており、まず、静止或いは動いている被
写体(タコ)10を、位置をタテおよびヨコに少しづつ
ずらした複数のカメラ群11で撮影する。次に、複数の
カメラ群11から得られた画像データを符号器12で高
能率符号化し、多重化部13でマルチプレクスしたの
ち、伝送路14などを介して伝送し、受信側では分離部
14でデマルチプレクスした後、復号を行い、ディスプ
レイ16に映し出す。
FIG. 15 shows a conceptual configuration of a system disclosed in the NHK Technical Research Institute in 1992 for creating a multi-view stereoscopic image. First, a still or moving subject (octopus) 10 is Images are taken by a plurality of camera groups 11 whose positions are slightly shifted vertically and horizontally. Next, the image data obtained from the plurality of camera groups 11 is coded by the encoder 12 with high efficiency, multiplexed by the multiplexing unit 13 and then transmitted via the transmission path 14 or the like. After demultiplexing, decoding is performed and the result is displayed on the display 16.

【0003】この出力側のディスプレイ16は、一例と
してレンチキュラ・レンズ(ヨコ方向にのみ視差がある
場合)または、ハエの眼レンズ(タテ・ヨコ方向に視差
がある場合)が使用される。
As the display 16 on the output side, for example, a lenticular lens (when there is parallax only in the horizontal direction) or a fly's eye lens (when there is parallax in the vertical and horizontal directions) is used.

【0004】一例として、図16に、タコを被写体とし
たときの、タテ5眼、ヨコ5眼の、それぞれのカメラか
らの出力を分かり易く表示した例を示す。この例では、
上下方向にも視差が有る。
As an example, FIG. 16 shows an example in which the outputs from the respective cameras of five vertical eyes and five horizontal eyes when the octopus is set as a subject are displayed in an easy-to-understand manner. In this example,
There is also parallax in the vertical direction.

【0005】このように位置をタテおよびヨコに少しづ
つずらした複数のカメラを用いるのは、1つのカメラか
らの出力を片方の眼に対する入力として、両眼視差を形
成して立体視を行えるようにするためであり、また、カ
メラを多数用いた場合、出力系でディスプレイ16を見
る人間が頭を振っても自然な立体視を行えるようにする
ためである。このような自然な立体映像を与えるシステ
ムの発展が期待されている。
[0005] The use of a plurality of cameras whose positions are slightly shifted in the vertical and horizontal directions is such that the output from one camera is used as an input to one eye so that binocular parallax can be formed and stereoscopic vision can be performed. In addition, when a large number of cameras are used, even if a person who looks at the display 16 in the output system shakes his / her head, natural stereoscopic viewing can be performed. The development of a system for providing such a natural stereoscopic image is expected.

【0006】[0006]

【従来の技術】このような立体映像を符号化する場合、
従来より、二眼式の立体映像において、左右眼のどちら
か一方用の画像を圧縮対象画像とし、他方の画像を参照
画像として視差補償を行うことにより高能率符号化を実
現しようとする提案が成されており、これを多眼式の立
体映像にまで拡張した形での高能率符号化が考えられて
いる。
2. Description of the Related Art When encoding such a stereoscopic image,
Conventionally, in a binocular stereoscopic video, a proposal has been made to realize high-efficiency coding by performing an image for one of the left and right eyes as a compression target image and performing parallax compensation using the other image as a reference image. High-efficiency coding in a form extended to multi-view stereoscopic video is being considered.

【0007】即ち、図17に示すように、まず右眼側の
入力画像(原画、あるいは符号化済の画像を再生したロ
ーカルデコード画像)を参照画像として、左眼側の入力
画像とのブロックマッチングをブロックマッチング部2
1でとる。この後、視差補償ベクトル検出部22で視差
補償ベクトルを検出し、符号化部23で右眼側の入力画
像を符号化した後、該視差補償ベクトルに従って右眼側
の符号化済該当ブロックを可変遅延部24により切り出
して左眼側の入力画像との差分信号を求め、求まった差
分信号(予測誤差信号)に対して符号化部25で符号化
を行い、可変長符号化部(VLC)26、27で可変長
符号化を行い、多重化部28で多重化して伝送路へ送出
する。
That is, as shown in FIG. 17, first, block matching with an input image on the left eye side is performed using an input image on the right eye side (an original image or a locally decoded image reproduced from an encoded image) as a reference image. To block matching unit 2
Take 1 Thereafter, the disparity compensation vector detection unit 22 detects the disparity compensation vector, the encoding unit 23 encodes the input image on the right eye side, and varies the right-eye-side coded corresponding block according to the disparity compensation vector. The difference signal from the input image on the left eye side is cut out by the delay unit 24, the obtained difference signal (prediction error signal) is coded by the coding unit 25, and the variable length coding unit (VLC) 26 , 27, and multiplexes them by a multiplexing unit 28 and sends them out to a transmission path.

【0008】上記のブロックマッチングと視差補償ベク
トル検出の一連の操作の一例のフローチャートが図18
に示されており、この例では上記の通り右眼入力画像F
R を参照画像として左眼入力画像FL を視差補償するも
のである。
FIG. 18 is a flowchart showing an example of a series of operations for the above-described block matching and parallax compensation vector detection.
In this example, as described above, the right eye input image F
As a reference image R is for disparity compensation for left eye input image F L.

【0009】そして、サーチ範囲をx方向に対し±S
x、y方向に対し±Syとし、ブロックの大きさをx方
向に対しBx、y方向に対しByとし(ステップS
0)、左右入力画像の差分の絶対値をブロック全体に対
して評価関数を絶対値誤差(二乗誤差でもよい)として
積和した初期値SUM1を求め(ステップS1)、これ
を各ブロック毎に行うことにより(ステップS2)、ス
テップS3での比較を行って値が最小となるようなベク
トルを上記のサーチ範囲に渡ってサーチすることにより
上記の視差補償ベクトルVx,Vyを求めている(ステ
ップS4)。このブロックマッチングは、高能率符号化
における動き補償予測方式とほぼ同様であり、公知の方
式である。
Then, the search range is set to ± S with respect to the x direction.
± Sy for the x and y directions, Bx for the x direction, and By for the y direction (step S
0), an initial value SUM1 is obtained by summing the absolute value of the difference between the left and right input images as an absolute value error (or a square error) with respect to the entire block (step S1), and this is performed for each block. In this way (step S2), the parallax compensation vectors Vx and Vy are obtained by performing the comparison in step S3 and searching for the vector having the minimum value over the search range (step S4). ). This block matching is almost the same as the motion compensation prediction method in the high efficiency coding, and is a known method.

【0010】[0010]

【発明が解決しようとする課題】上記のような従来の視
差補償方式においては、(上下)左右のカメラの輝度・
色の変化(雑音等を含む)に耐性がなく、正確な視差補
償ベクトルの検出が困難であった。
In the above-described conventional parallax compensation method, the brightness of the (up / down) left and right cameras
It is not resistant to color changes (including noise and the like), and it is difficult to accurately detect a parallax compensation vector.

【0011】即ち、フリッカ、色や光の写り込み、個々
のカメラ自体の雑音に左右されるため、正確な視差補償
ベクトルの検出が困難となり、二眼式だけでなく多眼式
の立体映像についても高能率符号化の妨げとなってい
た。
That is, since it is influenced by flicker, color and light reflection, and noise of each camera itself, it is difficult to accurately detect a parallax compensation vector. Also hindered efficient coding.

【0012】従って本発明は、できるだけ正確な視差補
償ベクトルを検出できる画像高能率符号化を提供するこ
とを目的とする。
Accordingly, it is an object of the present invention to provide a high-efficiency image coding capable of detecting a parallax compensation vector as accurate as possible.

【0013】[0013]

【課題を解決するための手段及び作用】本発明では、ま
ず上記の問題点を解決するため、本発明(その1):
周囲の視差補償ベクトルの情報をも参照してできるだけ
正確なベクトルを得ること(二眼以上多眼)、本発明
(その2):同時刻の他の多眼画像の視差補償ベクトル
の情報をも参照してできるだけ正確なベクトルを得るこ
と(3眼以上多眼):に着目した。
According to the present invention, first, in order to solve the above problems, the present invention (part 1):
Obtaining as accurate a vector as possible with reference to surrounding disparity compensation vector information (two or more eyes), the present invention (part 2): also obtains information of disparity compensation vectors of other multiview images at the same time. Obtaining as accurate a vector as possible by reference (multiple eyes or more):

【0014】言い換えると、従来方式では、正確な視差
補償ベクトルを求めるために、評価パラメータとして、
該当するブロックの周囲のブロックの視差補償ベクトル
を用いることや、過去のフレームの同位置のブロックの
視差補償ベクトルを用いること、あるいは該当する同時
刻の他の多眼画像の視差補償ベクトルを用いる概念自体
が無かったわけである。
In other words, in the conventional method, in order to obtain an accurate disparity compensation vector, as an evaluation parameter,
Concept of using a disparity compensation vector of a block around the corresponding block, using a disparity compensation vector of a block at the same position in a past frame, or using a disparity compensation vector of another multiview image at the same time at the corresponding time There was no such thing.

【0015】本発明(その1):図1 そこで本発明に係る画像高能率符号化(その1)では、
その解決手段として図1に原理的に示すように、同期し
た一対のカメラ画像間で一方の画像を圧縮対象画像とし
他方の画像を参照画像としてブロックマッチング部1か
ら得られたブロックマッチング結果により各画像ブロッ
クの視差補償ベクトルの検出を行う視差補償ベクトル検
出部2と、該視差補償ベクトルを記憶するメモリ3と、
該メモリ3に記憶された視差補償ベクトルの内、該当す
るブロックとその周囲のブロックから最適な特性の補正
ベクトルを求める補正ベクトル検出部4とを備え、該補
正ベクトルにより該参照画像の符号化データのローカル
デコード画像を可変遅延部5で可変遅延させた後、圧縮
対象入力画像との予測誤差を求めて符号化し、更に該参
照画像の符号化データと共に可変長符号化して多重化し
た後、伝送路に送出するように構成している。
The present invention (No. 1): FIG. 1 In the image high efficiency coding (No. 1) according to the present invention,
As a solution to this, as shown in FIG. 1 in principle, one image is set as a compression target image between a pair of synchronized camera images, and the other image is used as a reference image. A disparity compensation vector detection unit 2 that detects a disparity compensation vector of an image block, a memory 3 that stores the disparity compensation vector,
And a correction vector detecting unit 4 for obtaining a correction vector having an optimum characteristic from a corresponding block and its surrounding blocks among the disparity compensation vectors stored in the memory 3. Of the local decoded image is variably delayed by the variable delay unit 5, a prediction error with respect to the input image to be compressed is obtained and coded, and further variably coded and multiplexed together with the coded data of the reference image, and then transmitted. It is configured to be sent to the road.

【0016】この図1の構成の動作を説明すると、まず
圧縮対象入力画像(例えば左眼用入力画像)と参照画像
(例えば右眼用入力画像)を同期させてブロックマッチ
ング部1に入力しブロックマッチングを行う。従って、
点線で示すようにブロックマッチング部1に入力するま
でに符号化を行い、参照画像のローカルデコード画像を
参照画像としてもよい。また、この場合、両入力画像の
同期を確保するために適宜遅延部を入れるのが普通であ
る。
The operation of the configuration shown in FIG. 1 will be described. First, an input image to be compressed (for example, an input image for the left eye) and a reference image (for example, an input image for the right eye) are synchronized and input to the block matching unit 1 to block the image. Perform matching. Therefore,
As shown by a dotted line, encoding may be performed before input to the block matching unit 1, and a locally decoded image of the reference image may be used as the reference image. Also, in this case, it is usual to appropriately add a delay unit in order to ensure synchronization of both input images.

【0017】ブロックマッチング部1から出力されたブ
ロックマッチング結果は、視差補償ベクトル検出部2に
入力される。視差補償ベクトル検出部2では、公知の評
価関数に従って各画像ブロックの視差補償ベクトルを検
出する。
The block matching result output from the block matching unit 1 is input to the disparity compensation vector detection unit 2. The disparity compensation vector detection unit 2 detects a disparity compensation vector of each image block according to a known evaluation function.

【0018】これを図2を用いて説明すると、この例で
は、カメラ画像(画面)K23を参照画像として得られ
たカメラ画像K22の各画像ブロックの視差補償ベクト
ルはベクトル「ア」〜「タ」となる。尚、図示の矢印は
ベクトルであることを示している。
This will be described with reference to FIG. 2. In this example, the disparity compensation vectors of each image block of the camera image K22 obtained by using the camera image (screen) K23 as a reference image are vectors "A" to "T". Becomes Note that the illustrated arrows indicate vectors.

【0019】このようにして検出した視差補償ベクトル
はメモリ3に蓄えておく。
The parallax compensation vector thus detected is stored in the memory 3.

【0020】補正ベクトル検出部4は、メモリ3から該
当するブロックおよび該当するブロックの周囲のブロッ
クの視差補償ベクトルと、好ましくは別のメモリ6に記
憶しておいた過去の同位置の該当するブロックおよび該
当するブロックの周囲のブロックの視差補償ベクトルと
を入力し、評価関数に従って最適な特性、即ち正確な視
差補償ベクトルの検出を行う。
The correction vector detecting section 4 detects the parallax compensation vector of the corresponding block from the memory 3 and a block around the corresponding block, and preferably stores the corresponding block at the same position in the past stored in another memory 6. And a parallax compensation vector of a block around the corresponding block are input, and an optimum characteristic, that is, an accurate parallax compensation vector is detected in accordance with the evaluation function.

【0021】即ち、図2の例では、例えばカメラ画像K
22のベクトル「カ」の視差補償ベクトルの補正ベクト
ルを得るため、その周囲のブロックの視差補償ベクトル
「ア」,「イ」,「ウ」,「オ」,「キ」,「ケ」,
「コ」,「サ」が補正ベクトル検出部4において用いら
れることとなる。
That is, in the example of FIG.
In order to obtain the correction vector of the disparity compensation vector of the vector “f” of 22, the disparity compensation vectors “a”, “i”, “u”, “o”, “ki”, “ke”,
“U” and “S” will be used in the correction vector detection unit 4.

【0022】そして、検出された補正ベクトルは、好ま
しくはメモリ6に入力されると共に、可変遅延部5に入
力される。可変遅延部5では、入力されたベクトルをも
とに参照画像を遅延させて出力する。出力結果は、圧縮
対象画像に対する予測値となるため、その差分をとるこ
とにより予測誤差を符号化する。この符号化の後、可変
長符号化(VLC)を行い、多重化して伝送路に送出す
る。
The detected correction vector is preferably input to the memory 6 and also to the variable delay unit 5. The variable delay unit 5 delays and outputs the reference image based on the input vector. Since the output result is a predicted value for the image to be compressed, the prediction error is encoded by taking the difference. After this coding, variable length coding (VLC) is performed, multiplexed and transmitted to the transmission path.

【0023】尚、図1では二眼画像を入力画像とする場
合について示しているが、図2に示したように、多眼画
像K11〜K44が存在する場合においても、その内の
2つの画像間において同様に処理することができる。例
えばカメラ画像K44を参照画像そして得られたカメラ
画像K34についても同様に、その内のベクトル「こ」
の視差補償ベクトルの補正ベクトルを得るため、その周
囲のブロックの視差補償ベクトル「お」,「か」,
「き」,「け」,「さ」,「す」,「せ」,「そ」が補
正ベクトル検出部4において用いられることとなる。但
し、基本的には二眼画像の処理方式となっている。
Although FIG. 1 shows a case where a two-lens image is used as an input image, as shown in FIG. 2, even when there are multi-view images K11 to K44, two images among them are displayed. Similar processing can be performed in between. For example, the camera image K44 is used as a reference image, and the obtained camera image K34 is similarly processed using the vector “this”.
In order to obtain the correction vector of the disparity compensation vector of, the disparity compensation vectors “O”, “KA”,
“Ki”, “ke”, “sa”, “su”, “se”, and “so” are used in the correction vector detection unit 4. However, it is basically a two-lens image processing method.

【0024】本発明(その2):図3 本発明(その2)は、図3に原理的に示すように、同期
した3つ以上の多眼カメラ画像F1〜Fnの内の隣接す
る複数組のカメラ画像対の間で一方の画像を圧縮対象画
像とし他方の画像を参照画像として各ブロックマッチン
グ部1−0〜1−nから得られたブロックマッチング結
果により該当ブロックの視差補償ベクトルの検出を行う
視差補償ベクトル検出部2−0〜2−nと、各視差補償
ベクトル検出部2−0〜2−nで得られた同時刻の視差
補償ベクトルを記憶するメモリ3と、該メモリ3の視差
補償ベクトルの内の最適な特性の補正ベクトルを求める
補正ベクトル検出部4とを備え、各補正ベクトルにより
該参照画像の符号化データのローカルデコード画像を各
可変遅延部5−0〜5−nで可変遅延させた後、圧縮対
象入力画像との予測誤差を求めて符号化し、更に該参照
画像の符号化データと共に可変長符号化して多重化した
後、伝送路に送出するように構成したものである。
The present invention ( No. 2): FIG. 3 The present invention (No. 2) is, as shown in principle in FIG. 3, a plurality of adjacent sets of three or more synchronized multi-view camera images F1 to Fn. One of the camera image pairs is used as a compression target image, and the other image is used as a reference image to detect a disparity compensation vector of a corresponding block based on block matching results obtained from each of the block matching units 1-0 to 1-n. A parallax compensation vector detecting unit 2-0 to 2-n to be performed, a memory 3 for storing the parallax compensation vector at the same time obtained by each of the parallax compensation vector detecting units 2-0 to 2-n, and a parallax of the memory 3 A correction vector detection unit 4 for obtaining a correction vector having an optimum characteristic among the compensation vectors, and a local decode image of the coded data of the reference image is obtained by each of the variable delay units 5-0 to 5-n using each correction vector. Variable delay After encodes seeking prediction error between the compression target input image, and further after multiplexed by a variable length coding together with the encoded data of the reference image, and configured to deliver to the transmission path.

【0025】次に図3の構成の動作を説明すると、ま
ず、同期した入力画像F1〜Fnを各ブロックマッチン
グ部1−0〜1−nに入力する。参照画像となっている
のは、F1に対してはF2、F2に対してはF3、…、
Fn−1に対してはFnである。入力画像Fnは、圧縮
対象とならない終端の画像である。
Next, the operation of the configuration shown in FIG. 3 will be described. First, synchronized input images F1 to Fn are input to the respective block matching units 1-0 to 1-n. The reference images are F2 for F1, F3 for F2,.
It is Fn for Fn-1. The input image Fn is the last image not to be compressed.

【0026】従って、図1の場合と同様に各ブロックマ
ッチング部1−0〜1−nに入力するまでに入力画像F
nで符号化を行い、この入力画像Fnのローカルデコー
ド画像を参照画面としてもよい。更には、入力画像F1
〜Fn−1 の中の幾つかを終端画像としてもよい。ま
た、入力画像F1〜Fn−1とFnとの同期を確保する
ために適宜遅延部を入れることも図1と同様普通のこと
である。
Therefore, as in the case of FIG. 1, the input image F is not changed until it is input to each of the block matching units 1-0 to 1-n.
n, and a local decoded image of the input image Fn may be used as a reference screen. Further, the input image F1
To Fn-1 may be used as the terminal images. It is also common to insert a delay unit appropriately to ensure synchronization between the input images F1 to Fn-1 and Fn, as in FIG.

【0027】各々のブロックマッチング部1−0〜1−
nから出力されたブロックマッチング結果は、それぞれ
に対応して設けられている視差補償ベクトル検出部2−
0〜2−nに入力され、公知の評価関数に従ってそれぞ
れ視差補償ベクトルを検出する。これらの視差補償ベク
トル検出部2−0〜2−nの各検出結果は、まとめてメ
モリ3に蓄えておく。
Each of the block matching units 1-0 to 1-
n, the block matching results output from the disparity compensation vector detection units 2-
The parallax compensation vector is input to each of 0 to 2-n and detected according to a known evaluation function. The detection results of these parallax compensation vector detection units 2-0 to 2-n are stored together in the memory 3.

【0028】これを図4を用いて説明すると、この例で
は、カメラ画像K11〜K44が入力画像となってお
り、K11に対してはカメラ画像K12、K12に対し
てはK13、…、K43に対してはK44、という関係
になっており、各カメラ画像のブロックの視差補償ベク
トルは図2と同様にして得られるが、図示の状態は図面
を分かりやすくするために各カメラ画像K11〜K44
の左から2番目で上から2番目のブロックのみの視差補
償ベクトル「a」,「b」,…,「p」を示している。
尚、図示の矢印はベクトルであることを示している。
This will be described with reference to FIG. 4. In this example, camera images K11 to K44 are input images, and camera images K12 for K11, K13,..., K43 for K12. The relationship is K44, and the parallax compensation vector of each camera image block is obtained in the same manner as in FIG. 2. However, the state shown in FIG.
, "P" of the second block from the left and only the second block from the top.
Note that the illustrated arrows indicate vectors.

【0029】このようにして検出した視差補償ベクトル
はメモリ3に蓄えておき、補正ベクトル検出部4は、メ
モリ3から該当するブロックの視差補償ベクトルおよび
周囲のカメラ画像中の該当するブロックの周囲のブロッ
クの視差補償ベクトルと、好ましくは別のメモリ6に記
憶しておいた過去の同位置の該当するブロックおよび周
囲のカメラ画像中の該当するブロックの視差補償ベクト
ルとを入力し、評価関数に従って最適な特性、即ち正確
な視差補償ベクトルの検出を行う。
The parallax compensation vector detected in this way is stored in the memory 3, and the correction vector detecting section 4 reads the parallax compensation vector of the corresponding block from the memory 3 and the surroundings of the corresponding block in the surrounding camera image. The disparity compensation vector of the block and the disparity compensation vector of the corresponding block at the same position in the past and the corresponding block in the surrounding camera image, which are preferably stored in another memory 6, are input, and are optimized according to the evaluation function. Characteristic, that is, accurate detection of the parallax compensation vector.

【0030】即ち、図4の例では、例えばカメラ画像K
22の視差補償ベクトル「f」の補正ベクトルを得るた
め、その水平成分に関しては同じ垂直方向のカメラ画像
K12,K32,K42の視差補償ベクトル「b」,
「j」,「n」を用いると共にその垂直成分に関しては
同じ水平方向のカメラ画像K21,K23,K24の視
差補償ベクトル「e」,「g」,「h」を補正ベクトル
検出部4において用いることとなる。
That is, in the example of FIG.
22 to obtain a correction vector of the disparity compensation vector “f”, the disparity compensation vectors “b”, “b” of the camera images K12, K32, and K42 in the same vertical direction with respect to the horizontal component.
Use “j” and “n” and use the parallax compensation vectors “e”, “g”, and “h” of the same horizontal camera images K21, K23, and K24 in the correction vector detection unit 4 for the vertical components. Becomes

【0031】そして、検出された補正ベクトルは、好ま
しくはメモリ6に入力されると共に、可変遅延部5−0
〜5−nに入力される。可変遅延部5では、入力された
ベクトルをもとに参照画像を遅延させて出力する。出力
結果は、圧縮対象画像に対する予測値となるため、その
差分をとることにより予測誤差を符号化する。この符号
化の後、可変長符号化(VLC)を行い、多重化して伝
送路に送出する。
The detected correction vector is preferably input to a memory 6 and a variable delay unit 5-0.
To 5-n. The variable delay unit 5 delays and outputs the reference image based on the input vector. Since the output result is a predicted value for the image to be compressed, the prediction error is encoded by taking the difference. After this coding, variable length coding (VLC) is performed, multiplexed and transmitted to the transmission path.

【0032】[0032]

【実施例】図5乃至図14は図1及び図3に示した補正
ベクトル検出部4の実施例を示し又は説明するためのも
のであり、以下に各実施例について説明する。但し、以
下の実施例では特に断らない限り図1の補正ベクトル検
出部4の説明とするが、図3の場合も基本的には同様で
ある。
5 to 14 show or explain embodiments of the correction vector detecting section 4 shown in FIGS. 1 and 3. Each embodiment will be described below. In the following embodiment, the correction vector detection unit 4 of FIG. 1 will be described unless otherwise specified. However, the case of FIG. 3 is basically the same.

【0033】実施例(その1):図5〜図6 まず、図5(a) には1つのカメラ画像中のブロック位置
と視差補償ベクトルとの関係が示されており、該当する
ブロックをB22、周りのブロックをB11〜B33と
する。従来方式に従って図1の視差補償ベクトル検出部
2で検出されたブロックB11〜B33に対して得られ
た視差補償ベクトルをSV11(Vx11,Vy1
1)、…、SV33(Vx33,Vy33)とする。
尚、Vx及びVyはそれぞれ水平成分及び垂直成分を示
している。
Embodiment (Part 1): FIGS. 5 to 6 First, FIG. 5A shows the relationship between the block position in one camera image and the disparity compensation vector. , And the surrounding blocks are denoted by B11 to B33. According to the conventional method, the disparity compensation vectors obtained for the blocks B11 to B33 detected by the disparity compensation vector detection unit 2 in FIG. 1 are represented by SV11 (Vx11, Vy1).
1),..., SV33 (Vx33, Vy33).
Vx and Vy indicate a horizontal component and a vertical component, respectively.

【0034】図6は図5に示した画像ブロックに関して
補正ベクトルを検出する補正ベクトル検出部4の実施例
を示したもので、この実施例では、同図(a) に示すフロ
ーチャートにより9個の視差補償ベクトルの水平成分V
x11〜Vx33の平均値をとっている。この際の回路
ブロック図は同図(b) となる。
FIG. 6 shows an embodiment of the correction vector detecting section 4 for detecting a correction vector for the image block shown in FIG. 5. In this embodiment, nine correction vectors are detected according to the flowchart shown in FIG. Horizontal component V of disparity compensation vector
The average value of x11 to Vx33 is taken. The circuit block diagram at this time is shown in FIG.

【0035】また、視差補償ベクトルの垂直成分Vyに
ついても図示していないが図6(a)及び(b) と同様にし
て求めることができ、最終的な補正ベクトルとしての視
差補償ベクトルSv(Vx,Vy)が得られる。
Although the vertical component Vy of the disparity compensation vector is not shown, it can be obtained in the same manner as in FIGS. 6A and 6B, and the disparity compensation vector Sv (Vx , Vy) are obtained.

【0036】尚、上記の実施例を図3の本発明(その
2)に適用したときは、ブロックB11〜B33を図4
に示したブロック(ベクトル「a」〜「p」のブロッ
ク)として処理すればよい。これについては図12及び
図13で後述する。
When the above embodiment is applied to the present invention (part 2) in FIG. 3, blocks B11 to B33 are
(Blocks of vectors “a” to “p”). This will be described later with reference to FIGS.

【0037】実施例(その2):図7 この実施例は、やはり図5に示した画像ブロックに関し
て補正ベクトルを検出する補正ベクトル検出部4の実施
例を示したもので、この実施例も図6の実施例と同様に
9個の視差補償ベクトルの水平成分Vx11〜Vx33
の平均値をとっているが、但し、図6の実施例と比較し
て、各々の視差補償ベクトルの平均値をとった値Vx’
(Vy’も同様)と、該当するブロックの値に、係数α
(0<α<1)による重みを付けて加算した点が異なっ
ている。この際の回路ブロック図が図7(b) に示されて
いる。
Embodiment (Part 2): FIG. 7 This embodiment also shows an embodiment of the correction vector detecting section 4 for detecting a correction vector for the image block shown in FIG. 5, and this embodiment is also shown in FIG. As in the sixth embodiment, the horizontal components Vx11 to Vx33 of the nine parallax compensation vectors are set.
However, as compared with the embodiment of FIG. 6, a value Vx ′ obtained by averaging the respective parallax compensation vectors is obtained.
(Similarly for Vy ′) and the value of the
The difference is that weighting according to (0 <α <1) is added. A circuit block diagram at this time is shown in FIG.

【0038】実施例(その3):図8〜図10 図8(a) には1つのカメラ画像中のブロック位置と視差
補償ベクトルとの関係が示されており、この実施例では
図5の実施例より多くのブロックを用い、該当するブロ
ックをB33、周りのブロックをB11〜B55とす
る。そして、従来方式に従って図1の視差補償ベクトル
検出部2で検出されたブロックB11〜B55に対して
得られた視差補償ベクトルをSV11(Vx11,Vy
11)、…、SV55(Vx55,Vy55)とする。
Embodiment (Part 3): FIGS. 8 to 10 FIG . 8A shows the relationship between the block position in one camera image and the disparity compensation vector. In this embodiment, FIG. More blocks are used than in the embodiment, the corresponding block is B33, and the surrounding blocks are B11 to B55. Then, according to the conventional method, the disparity compensation vectors obtained for the blocks B11 to B55 detected by the disparity compensation vector detection unit 2 in FIG. 1 are SV11 (Vx11, Vy
11),..., SV55 (Vx55, Vy55).

【0039】また、図1に点線で示したように入力画像
(又はそのローカルデコード画像)そのものを入力する
ので、ブロックの性質(平坦部、エッジ部、細かい模様
部)を示すパラメータを、公知の技術である分散等を用
いて求める。
Further, since the input image (or its local decoded image) itself is input as shown by the dotted line in FIG. 1, parameters indicating the properties of the block (flat portion, edge portion, fine pattern portion) can be changed by a known method. It is determined by using technology such as dispersion.

【0040】即ち、図8(b) の表に示すように、分散を
Hで表した場合、その値が小さければ平坦部、平均的な
値であれば、エッジ部、値が大さければ細かい模様部で
ある。すなわち、Hが小さいときは立体映像において、
概ね空等の遠くにある大きい平坦なもの(あるいは、遠
くにある非常に細かい模様がボケたもの)や、近くの平
坦なもの等である。Hが平均的な値であれば、概ね模様
の入った物体、あるいは遠近の境界等である。Hが大き
い時には、遠くにある大きい模様、あるいは、近くにあ
る細かい模様等を示すこととなる。尚、この分散Hは同
図(c) に示す式で表される。
That is, as shown in the table of FIG. 8B, when the variance is represented by H, if the value is small, the flat portion is obtained, if the value is average, the edge portion is obtained, and if the value is large, the value is large. It is a fine pattern part. That is, when H is small, in a stereoscopic image,
It is a large flat thing in the distance such as the sky or the like (or a very fine pattern in the distance is blurred), or a flat thing near. If H is an average value, it is a substantially patterned object or a near-far boundary. When H is large, it indicates a large pattern in the distance or a fine pattern in the vicinity. The variance H is represented by the equation shown in FIG.

【0041】このことを考慮して図9に示すフローチャ
ート及び図10の回路ブロック図によりこの実施例(そ
の3)の補正ベクトル検出部4を説明すると、最適な特
性の補正ベクトルを得るためには、分散Hが平均的な値
である場合が多い。
Taking this into consideration, the correction vector detecting section 4 of this embodiment (part 3) will be described with reference to the flowchart shown in FIG. 9 and the circuit block diagram of FIG. , The variance H is an average value in many cases.

【0042】そこで、まず、原画Bijから平均値Bij’
を求めて分散H(Hij)を求めた後、分散Hの平均値H
AVR を求める(ステップS1)。次に、各分散Hから平
均値HAVR との差の絶対値に1を加算した値の逆数を分
散H’とする(ステップS2)。この分散H’は、平均
値HAVR から値が遠ざかるほど小さくなる一種の重みで
ある。そして、この重みを正規化するために、各分散
H’の平均値をWAVR とし(ステップS3)、更に、H
/WAVR をWとする正規化を行う(ステップS4)。
Therefore, first, the average value Bij 'is calculated from the original image Bij.
And the variance H (Hij) is calculated, and then the average value H of the variance H is calculated.
AVR is obtained (step S1). Next, the reciprocal of the value obtained by adding 1 to the absolute value of the difference between each variance H and the average value HAVR is defined as the variance H '(step S2). This variance H ′ is a kind of weight that becomes smaller as the value goes away from the average value HAVR. Then, in order to normalize this weight, the average value of each variance H ′ is set to WAVR (step S3).
/ WAVR is normalized to W (step S4).

【0043】従って、求める水平成分Vxは、各Vx1
1〜Vx55に各Wを乗算して得られ(ステップS
5)、また垂直成分Vyは、各Vy11〜Vy55に各
Wを乗算して得られる(ステップS6)。
Accordingly, the horizontal component Vx to be obtained is Vx1
1 to Vx55 multiplied by each W (Step S
5) The vertical component Vy is obtained by multiplying each of Vy11 to Vy55 by each W (step S6).

【0044】実施例(その4):図11 この実施例では、2フレーム過去の補正ベクトルとして
の視差補償ベクトルをB2V、1フレーム過去の補正ベ
クトルとしての視差補償ベクトルをB1V、現在の補正
ベクトルとしての視差補償ベクトルをSVとして(ステ
ップS11)、過去の視差補償ベクトルの変位と比べ、
現在の視差補償ベクトルの変位が著しく異なる場合、ミ
スマッチしている可能性があるので、これを矯正しよう
とするものである。
Embodiment ( No. 4): FIG. 11 In this embodiment, the disparity compensation vector as the correction vector two frames past is B2V, the disparity compensation vector as the correction vector one frame past is B1V, and the current correction vector is B2V. Is set as SV (step S11), and compared with the displacement of the past disparity compensation vector,
If the displacement of the current disparity compensation vector is significantly different, there is a possibility that there is a mismatch, and therefore, an attempt is made to correct this.

【0045】但し、B1V,B2V,SVのいずれかの
視差補償ベクトルが0の場合(ステップS12)、ブロ
ック内において物体が消えたか或いは新たに現れたとい
う可能性があるため、SVに対し変更を加えず終了する
(ステップS13)。
However, if any one of the disparity compensation vectors B1V, B2V, and SV is 0 (step S12), there is a possibility that the object has disappeared or newly appeared in the block. The process ends without adding (step S13).

【0046】ステップ12において、いずれかの視差補
償ベクトルが0でない場合、過去の視差補償ベクトルの
変位B2V−B1V、現在の視差補償ベクトルの変位B
1V−SVを計算し(ステップS14)、過去の視差補
償ベクトルの変位の絶対値と現在の視差補償ベクトルの
変位の絶対値との差分の絶対値が閾値THより小さいか
否かを判定し(ステップS15)、小さければ許容変位
内として、SVに対し変更を加えず終了する(ステップ
S16)。
In step 12, if any of the disparity compensation vectors is not 0, the displacement B2V-B1V of the past disparity compensation vector and the displacement B2 of the current disparity compensation vector
1V-SV is calculated (Step S14), and it is determined whether or not the absolute value of the difference between the absolute value of the displacement of the past disparity compensation vector and the current absolute value of the displacement of the disparity compensation vector is smaller than the threshold value TH ( Step S15) If the value is smaller, it is determined that the displacement is within the allowable displacement, and the process ends without making any change to the SV (Step S16).

【0047】そうでない場合には、過去の変位分と1フ
レーム過去の視差補償ベクトルとを加算した値に係数α
を掛けて重み付けを行い、更に現在の視差補償ベクトル
にも係数(1−α)を掛けて重みを付け行い、両者を加
算し(ステップS17)、ミスマッチ時の視差補償ベク
トルの変更を行っている。
Otherwise, the coefficient α is added to the value obtained by adding the past displacement and the disparity compensation vector one frame past.
, And the current disparity compensation vector is also weighted by multiplying by a coefficient (1−α), the two are added (step S17), and the disparity compensation vector at the time of mismatch is changed. .

【0048】実施例(その5):図12〜図13 上述したように上記の実施例(その1)〜(その4)は
それぞれ図3の本発明(その2)にも適用可能である
が、図12はその最適な適用例を示しており、この実施
例では、カメラの配置によっては、縦一列のカメラのそ
れぞれのブロックのX方向の視差補償ベクトルVxはほ
ぼ同一であり、横一列のカメラのそれぞれのブロックの
Y方向の視差補償ベクトルVyはほぼ同一である、とい
うことに依拠して補正ベクトルである視差補償ベクトル
を検出しようとしている。
Embodiment (Part 5): FIGS. 12 to 13 As described above, the above embodiments (Part 1) to (Part 4) are also applicable to the present invention (Part 2) of FIG. FIG. 12 shows an optimal application example. In this embodiment, depending on the arrangement of the cameras, the disparity compensation vectors Vx in the X direction of the respective blocks of the cameras in the vertical column are substantially the same, and the horizontal Based on the fact that the parallax compensation vectors Vy in the Y direction of each block of the camera are substantially the same, an attempt is made to detect a parallax compensation vector that is a correction vector.

【0049】このため、まず図12に示すように、各カ
メラ画像K11〜K55(5×5の25眼の場合)中の
或る同一位置のブロックをそれぞれKB11〜KB5
5、ブロックの視差補償ベクトルSV11(Vx11,
Vy11)〜SV55(Vx55,Vy55)とする。
For this reason, as shown in FIG. 12, blocks at the same position in each of the camera images K11 to K55 (in the case of 25 eyes of 5 × 5) are respectively defined as KB11 to KB5.
5. The block disparity compensation vector SV11 (Vx11,
Vy11) to SV55 (Vx55, Vy55).

【0050】そして、縦一列のSxijの平均値をSx、
横一列のSyijの平均値をSyとし、図13(a) 及び
(b) にそれぞれ示すようにこれらの(Sx,Sy)で求
める補正ベクトルとしての視差補償ベクトルとなる。
Then, the average value of Sxij in one column is represented by Sx,
The average value of Syij in one horizontal row is defined as Sy, and FIG.
As shown in (b), a disparity compensation vector is obtained as a correction vector obtained from (Sx, Sy).

【0051】上記の図13(a) 及び(b) により図3の補
正ベクトル検出部4で演算されて得られる視差補償ベク
トルSVは縦方向又は横方向のベクトルが同じであり、
従って図12における同じ列又は行のカメラ画像間は共
通の視差補償ベクトルとなって図3の可変遅延部5−0
〜5−nに与えるが、図13(c) に示すようにSxij、
Syijの情報を多少残す方法も考えられる。
According to FIGS. 13A and 13B, the disparity compensation vector SV obtained by the calculation by the correction vector detection unit 4 in FIG. 3 has the same vertical or horizontal vector.
Therefore, a common parallax compensation vector is provided between camera images in the same column or row in FIG. 12 and the variable delay unit 5-0 in FIG.
To 5-n, as shown in FIG.
A method of leaving some Syij information is also conceivable.

【0052】何故なら、カメラの位置が、広い範囲にわ
たる場合、物体の凹凸等の変化によって、視差補償ベク
トルが変わる場合があるからである。
This is because when the position of the camera covers a wide range, the parallax compensation vector may change due to a change in the unevenness of the object.

【0053】実施例(その6):図13(c) 即ち、0<α<1とし、Sx×α+Sxij×(1−α)
を、求めるX方向の視差補償ベクトル、Sy×α+Sy
ij×(1−α)を、求めるY方向の視差補償ベクトル、
とすることにより全ての視差補償ベクトルを異なった値
にして各可変遅延部5−0〜5−nに与えることができ
る。
Embodiment ( No. 6): FIG. 13 (c), ie, 0 <α <1, and Sx × α + Sxij × (1-α)
Is calculated in the X-direction parallax compensation vector, Sy × α + Sy
ij × (1−α) is obtained by calculating a disparity compensation vector in the Y direction,
Thus, all the parallax compensation vectors can be set to different values and provided to the variable delay units 5-0 to 5-n.

【0054】実施例(その7):図14 上記の実施例により得られた視差補償ベクトルをより完
全なものにするために、この実施例では更に、評価関数
を設けて、正しい視差補償ベクトル(本発明による補正
ベクトル)と従来方式で得られた視差補償ベクトル(例
えば、図2のカメラ画像K22における視差補償ベクト
ル「カ」)とを比較し、特性の良好な方を選ぼうとする
ものである。これは、符号化自体が高周波成分(インパ
ルス等)を嫌うような、直交変換系の場合に効果があ
る。
Embodiment ( No. 7): FIG. 14 In order to make the disparity compensation vector obtained by the above embodiment more complete, in this embodiment, an evaluation function is further provided, and a correct disparity compensation vector ( The correction vector according to the present invention) is compared with a disparity compensation vector obtained by a conventional method (for example, the disparity compensation vector “f” in the camera image K22 in FIG. 2), and an image having a better characteristic is selected. is there. This is effective in the case of an orthogonal transform system in which encoding itself dislikes high frequency components (impulses and the like).

【0055】図14において、まず、元の視差補償ベク
トルにより得られた予測ブロックと、符号化するべきブ
ロックの差分である予測誤差ブロックをYB1、本発明
に基づき得られた視差補償ベクトルを使って得た予測ブ
ロックと符号化すべきブロックとの差分である予測誤差
ブロックをYB2とする(ステップS21)。
In FIG. 14, first, a prediction error block which is a difference between a prediction block obtained from an original disparity compensation vector and a block to be encoded is represented by YB1, and a disparity compensation vector obtained based on the present invention is used. A prediction error block which is a difference between the obtained prediction block and a block to be encoded is set to YB2 (step S21).

【0056】そして、予測誤差ブロックYB1内のそれ
ぞれの画素について、画素の絶対値が閾値THを越えた
個数をK1、予測誤差ブロックYB2内のそれぞれの画
素について、画素の絶対値が閾値THを越えた個数をK
2とする(ステップS22)。
For each pixel in the prediction error block YB1, the number of pixels whose absolute value exceeds the threshold value TH is K1, and for each pixel in the prediction error block YB2, the absolute value of the pixel exceeds the threshold value TH. K
2 (step S22).

【0057】K1>K2ならば(ステップS23)、本
発明に基づき得られた視差補償ベクトルを用い(ステッ
プS24)、そうでなければ従来方式で得られた視差補
償ベクトルを用いる。
If K1> K2 (step S23), the disparity compensation vector obtained according to the present invention is used (step S24), otherwise, the disparity compensation vector obtained by the conventional method is used.

【0058】[0058]

【発明の効果】以上説明したように、本発明に係る画像
高能率符号化方式によれば、周囲の視差補償ベクトルの
情報或いは同時刻の他の多眼画像の視差補償ベクトルの
情報をも参照してできるだけ正確な視差補償ベクトルを
補正ベクトルとして得るように構成したので、従来のよ
うに、符号化画面と参照画面のブロックマッチングをと
るのみではなく、周囲や、他のカメラからの画像の情報
を利用して、比較的正確な視差補償ベクトルを得ること
ができ、そのため符号化効率及び視覚特性を向上させる
ことができる。
As described above, according to the image efficient coding method according to the present invention, the information of the surrounding disparity compensation vector or the information of the disparity compensation vector of another multi-view image at the same time is also referred to. In order to obtain the most accurate disparity compensation vector as a correction vector, it is not only necessary to perform block matching between the encoded screen and the reference screen as in the past, but also to obtain information about the surroundings and images from other cameras. , A relatively accurate disparity compensation vector can be obtained, and therefore, coding efficiency and visual characteristics can be improved.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る画像高能率符号化方式の原理構成
(その1)を示したブロック図である。
FIG. 1 is a block diagram showing a principle configuration (No. 1) of an image efficient coding system according to the present invention.

【図2】本発明に係る画像高能率符号化方式の原理構成
(その1)の作用を説明するためのカメラ画像図であ
る。
FIG. 2 is a camera image diagram for explaining the operation of the principle configuration (No. 1) of the image efficient coding system according to the present invention.

【図3】本発明に係る画像高能率符号化方式の原理構成
(その2)を示したブロック図である。
FIG. 3 is a block diagram showing the principle configuration (No. 2) of the image efficient coding system according to the present invention.

【図4】本発明に係る画像高能率符号化方式の原理構成
(その2)の作用を説明するためのカメラ画像図であ
る。
FIG. 4 is a camera image diagram for explaining the operation of the principle configuration (No. 2) of the image efficient coding system according to the present invention.

【図5】本発明に用いるカメラ画像のブロック位置と視
差補償ベクトルとの関係を説明するための図である。
FIG. 5 is a diagram for explaining a relationship between a block position of a camera image and a disparity compensation vector used in the present invention.

【図6】本発明に用いる補正ベクトル検出部の実施例
(その1)を示した図である。
FIG. 6 is a diagram showing an embodiment (part 1) of a correction vector detection unit used in the present invention.

【図7】本発明に用いる補正ベクトル検出部の実施例
(その2)を示した図である。
FIG. 7 is a diagram showing an embodiment (part 2) of a correction vector detection unit used in the present invention.

【図8】本発明に用いるカメラ画像のブロック位置と視
差補償ベクトル並びにその性質との関係を説明するため
の図である。
FIG. 8 is a diagram for explaining a relationship between a block position of a camera image used in the present invention, a disparity compensation vector, and properties thereof.

【図9】本発明に用いる補正ベクトル検出部の実施例
(その3)のフローチャート図である。
FIG. 9 is a flowchart of an embodiment (part 3) of a correction vector detection unit used in the present invention.

【図10】本発明に用いる補正ベクトル検出部の実施例
(その3)の回路ブロック図である。
FIG. 10 is a circuit block diagram of an embodiment (part 3) of a correction vector detection unit used in the present invention.

【図11】本発明に用いる補正ベクトル検出部の実施例
(その4)のフローチャート図である。
FIG. 11 is a flowchart illustrating an example (part 4) of a correction vector detection unit used in the present invention.

【図12】本発明(その2)に用いる多眼カメラ画像と
視差補償ベクトル並びにその性質との関係を説明するた
めの図である。
FIG. 12 is a diagram for explaining a relationship between a multi-view camera image used in the present invention (part 2), a disparity compensation vector, and properties thereof.

【図13】本発明に用いる補正ベクトル検出部の実施例
(その5,その6)のフローチャート図である。
FIG. 13 is a flowchart of an embodiment (parts 5 and 6) of the correction vector detection unit used in the present invention.

【図14】本発明に用いる補正ベクトル検出部の実施例
(その7)のフローチャート図である。
FIG. 14 is a flowchart of an example (part 7) of the correction vector detection unit used in the present invention.

【図15】多眼式立体映像システムの一般的な構成を示
したブロック図である。
FIG. 15 is a block diagram showing a general configuration of a multiview stereoscopic video system.

【図16】多眼式(5眼×5眼)のカメラ出力例を示し
た図である。
FIG. 16 is a diagram showing an example of a multi-view (5 × 5) camera output.

【図17】従来の視差補償方式を示したブロック図であ
る。
FIG. 17 is a block diagram showing a conventional parallax compensation method.

【図18】ブロックマッチングと視差補償ベクトル検出
を説明したフローチャート図である。
FIG. 18 is a flowchart illustrating block matching and parallax compensation vector detection.

【符号の説明】[Explanation of symbols]

1 ブロックマッチング 2,2−0〜2−n 視差補償ベクトル検出部 3,6 メモリ 4 補正ベクトル検出部 5,5−0〜5−n 可変遅延部 図中、同一符号は同一又は相当部分を示す。 1 Block Matching 2, 2-0 to 2-n Parallax Compensation Vector Detector 3, 6 Memory 4 Correction Vector Detector 5, 5-0 to 5-n Variable Delay Unit .

フロントページの続き (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平4−196998(JP,A) 特開 平4−178095(JP,A) 特開 平2−131697(JP,A) 特開 平2−130094(JP,A) 特開 平2−100591(JP,A) 特開 平2−100590(JP,A) 特開 平2−50689(JP,A) 特開 平1−202093(JP,A) 特開 平1−114283(JP,A) 特開 昭64−64489(JP,A) 特開 昭61−206395(JP,A) 特開 昭61−144191(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 13/00 - 15/00 Continuing from the front page (72) Inventor Kiichi Matsuda 1015 Kamikodanaka, Nakahara-ku, Kawasaki-shi, Kanagawa Prefecture Inside Fujitsu Limited (56) References JP-A-4-196998 (JP, A) JP-A-4-178095 (JP, A) JP-A-2-131697 (JP, A) JP-A-2-13094 (JP, A) JP-A-2-100571 (JP, A) JP-A-2-100590 (JP, A) JP-A-2 -50689 (JP, A) JP-A-1-202093 (JP, A) JP-A-1-114283 (JP, A) JP-A-64-64489 (JP, A) JP-A-61-206395 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) H04N 13/00-15/00

Claims (7)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 同期した一対のカメラ画像間で一方の画
像を圧縮対象画像とし他方の画像を参照画像としてブロ
ックマッチング部(1) から得られたブロックマッチング
結果により各画像ブロックの視差補償ベクトルの検出を
行う視差補償ベクトル検出部(2) と、 該視差補償ベクトルを記憶するメモリ(3) と、 該メモリ(3) に記憶された視差補償ベクトルの内、該当
するブロックとその周囲のブロックから最適な特性の補
正ベクトルを求める補正ベクトル検出部(4) とを備え、 該補正ベクトルにより該参照画像の符号化データのロー
カルデコード画像を可変遅延部(5) で可変遅延させた
後、圧縮対象入力画像との予測誤差を求めて符号化し、
更に該参照画像の符号化データと共に可変長符号化して
多重化した後、伝送路に送出することを特徴とした画像
高能率符号化方式。
1. A parallax compensation vector of each image block based on a block matching result obtained from a block matching unit (1) using one image as a compression target image and the other image as a reference image between a pair of synchronized camera images. A disparity compensation vector detection unit (2) for performing detection, a memory (3) for storing the disparity compensation vector, and a disparity compensation vector stored in the memory (3). A correction vector detecting section (4) for obtaining a correction vector having an optimum characteristic, wherein a local decoding image of the encoded data of the reference image is variably delayed by the variable delay section (5) using the correction vector, Find and encode the prediction error with the input image,
Further, a high-efficiency image coding method characterized in that variable-length coding is performed together with the coded data of the reference image, multiplexed, and then transmitted to a transmission path.
【請求項2】 同期した3つ以上の多眼カメラ画像(F1
〜Fn) の内の隣接する複数組のカメラ画像対の間で一方
の画像を圧縮対象画像とし他方の画像を参照画像として
各ブロックマッチング部(1-0〜1-n)から得られたブロッ
クマッチング結果により該当ブロックの視差補償ベクト
ルの検出を行う視差補償ベクトル検出部(2-0〜2-n)と、 各視差補償ベクトル検出部(2-0〜2-n)で得られた同時刻
の視差補償ベクトルを記憶するメモリ(3) と、 該メモリ(3) の視差補償ベクトルの内の最適な特性の補
正ベクトルを求める補正ベクトル検出部(4) とを備え、 各補正ベクトルにより該参照画像の符号化データのロー
カルデコード画像を各可変遅延部(5-0〜5-n)で可変遅延
させた後、圧縮対象入力画像との予測誤差を求めて符号
化し、更に該参照画像の符号化データと共に可変長符号
化して多重化した後、伝送路に送出することを特徴とし
た画像高能率符号化方式。
2. Synchronized three or more multi-view camera images (F1
~ Fn), a block obtained from each block matching unit (1-0 to 1-n) using one image as an image to be compressed and the other image as a reference image between a plurality of pairs of camera image pairs adjacent to each other. The disparity compensation vector detection unit (2-0 to 2-n) that detects the disparity compensation vector of the corresponding block based on the matching result, and the same time obtained by each disparity compensation vector detection unit (2-0 to 2-n) A memory (3) for storing a disparity compensation vector of the same type, and a correction vector detector (4) for obtaining a correction vector having an optimum characteristic among the disparity compensation vectors of the memory (3). After locally delaying the locally decoded image of the encoded data of the image in each of the variable delay units (5-0 to 5-n), a prediction error with respect to the input image to be compressed is obtained and encoded, and the code of the reference image is further encoded. After multiplexing with variable-length coding together with the encoded data, Image High efficiency coding scheme, wherein.
【請求項3】 該補正ベクトル検出部(4) が、該特性と
して各視差補償ベクトルの平均値を用いることを特徴と
した請求項1又は2に記載の画像高能率符号化方式。
3. The high-efficiency image coding method according to claim 1, wherein said correction vector detecting section uses an average value of the respective disparity compensation vectors as the characteristic.
【請求項4】 該補正ベクトル検出部(4) が、該特性と
して分散の平均値を用いることを特徴とした請求項1又
は2に記載の画像高能率符号化方式。
4. The high-efficiency image coding method according to claim 1, wherein said correction vector detecting section uses an average value of variance as said characteristic.
【請求項5】 該メモリ(3) に加えて、過去の視差補償
ベクトルを記憶する別のメモリ(6) を設けておき、該補
正ベクトル検出部(5) が該過去の視差補償ベクトルも該
補正ベクトルの検出の対象に含めることを特徴とした請
求項1乃至4のいずれかに記載の画像高能率符号化方
式。
5. In addition to the memory (3), another memory (6) for storing a past disparity compensation vector is provided, and the correction vector detecting unit (5) also stores the past disparity compensation vector. The high-efficiency image coding method according to claim 1, wherein the image is included in a correction vector detection target.
【請求項6】 該補正ベクトル検出部(4) が、該過去の
補正ベクトル及び現在の視差補償ベクトルが“0”でな
く、過去の視差補償ベクトルの変位の絶対値と現在の視
差補償ベクトルの変位の絶対値との差分の絶対値が閾値
より大きいときには、過去の補正ベクトルとその変位分
を加味した補正ベクトルとし、それ以外は現在の視差補
償ベクトルとすることを特徴とした請求項5に記載の画
像高能率符号化方式。
6. The correction vector detecting section (4) determines whether the past correction vector and the current disparity compensation vector are not “0”, and the absolute value of the displacement of the past disparity compensation vector and the current disparity compensation vector are 6. The method according to claim 5, wherein when the absolute value of the difference from the absolute value of the displacement is larger than the threshold value, the past correction vector and the correction vector that takes into account the amount of the displacement are used, and the remaining correction vector is the current disparity compensation vector. Described image high efficiency coding method.
【請求項7】 該補正ベクトル検出部(4) が、該補正ベ
クトルを検出するため、視差補償ベクトルの水平成分を
求める際は、該当ブロックの垂直方向にあるカメラ画像
の水平方向の視差補償ベクトルを、視差補償ベクトルの
垂直成分を求める際は、該当ブロックの水平方向にある
カメラ画像の垂直方向の視差補償ベクトルの情報を用い
ることを特徴とした請求項1乃至6のいずれかに記載の
画像高能率符号化方式。
7. When the correction vector detection unit (4) calculates the horizontal component of the disparity compensation vector to detect the correction vector, the correction vector detection unit (4) calculates the horizontal disparity compensation vector of the camera image in the vertical direction of the corresponding block. The image according to any one of claims 1 to 6, wherein when calculating a vertical component of the disparity compensation vector, information of a vertical disparity compensation vector of a camera image in a horizontal direction of the corresponding block is used. High efficiency coding method.
JP25996492A 1992-09-29 1992-09-29 Image efficient coding method Expired - Fee Related JP3150446B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25996492A JP3150446B2 (en) 1992-09-29 1992-09-29 Image efficient coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25996492A JP3150446B2 (en) 1992-09-29 1992-09-29 Image efficient coding method

Publications (2)

Publication Number Publication Date
JPH06113335A JPH06113335A (en) 1994-04-22
JP3150446B2 true JP3150446B2 (en) 2001-03-26

Family

ID=17341379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25996492A Expired - Fee Related JP3150446B2 (en) 1992-09-29 1992-09-29 Image efficient coding method

Country Status (1)

Country Link
JP (1) JP3150446B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101512255B1 (en) * 2010-12-17 2015-04-14 후지쯔 가부시끼가이샤 Stereoscopic motion picture image generation device and stereoscopic motion picture image generation method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313096A (en) * 1992-03-16 1994-05-17 Dense-Pac Microsystems, Inc. IC chip package having chip attached to and wire bonded within an overlying substrate
US7512279B2 (en) * 2005-06-22 2009-03-31 General Electric Company System, method and computer instructions for compression of four dimensional data
JP5059766B2 (en) * 2005-09-22 2012-10-31 サムスン エレクトロニクス カンパニー リミテッド Disparity vector prediction method, and method and apparatus for encoding and decoding a multi-view video using the method
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
EP2424245B1 (en) 2006-01-09 2019-09-04 Dolby International AB Methods and apparatus for illumination and color compensation for multi-view video coding
JP4851564B2 (en) * 2009-06-15 2012-01-11 日本電信電話株式会社 Video encoding method, video decoding method, video encoding program, video decoding program, and computer-readable recording medium on which these programs are recorded
JP4851563B2 (en) * 2009-06-15 2012-01-11 日本電信電話株式会社 Video encoding method, video decoding method, video encoding program, video decoding program, and computer-readable recording medium on which these programs are recorded
JP2011124822A (en) * 2009-12-11 2011-06-23 Fujitsu Ltd Semiconductor integrated circuit, coding method and imaging device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101512255B1 (en) * 2010-12-17 2015-04-14 후지쯔 가부시끼가이샤 Stereoscopic motion picture image generation device and stereoscopic motion picture image generation method

Also Published As

Publication number Publication date
JPH06113335A (en) 1994-04-22

Similar Documents

Publication Publication Date Title
US6163337A (en) Multi-view point image transmission method and multi-view point image display method
US10110922B2 (en) Method of error-resilient illumination compensation for three-dimensional video coding
US9961347B2 (en) Method and apparatus for bi-prediction of illumination compensation
US9525858B2 (en) Depth or disparity map upscaling
US9843820B2 (en) Method and apparatus of unified disparity vector derivation for 3D video coding
US5808664A (en) Method of converting two-dimensional images into three-dimensional images
KR100381348B1 (en) How to convert 2D image to 3D image
KR101930235B1 (en) Method, device and system for digital image stabilization
US10349083B2 (en) Method for low-latency illumination compensation process and Depth Lookup Table based coding
JP3150446B2 (en) Image efficient coding method
JPH10257527A (en) Optimum disparity estimation for stereo video encoding
KR100252342B1 (en) Motion vector coding method and apparatus
JPH0698312A (en) High efficiency picture coding system
KR20100008677A (en) Device and method for estimating death map, method for making intermediate view and encoding multi-view using the same
US7706621B2 (en) Method and an apparatus to divide image blocks
CN102325254B (en) Coding/decoding method for stereoscopic video and coding/decoding device for stereoscopic video
JP3080487B2 (en) Motion compensation prediction method for multi-view stereoscopic video
JP2001285895A (en) Image data coder and its method
JPH06269025A (en) Coding system for multi-eye stereoscopic video image
CN107454418B (en) 360 degree of panorama video code methods based on motion attention model
Ebian et al. Enhanced dynamic error concealment algorithm for multiview coding based on lost MBs sizes and adaptively selected candidates MBs
JP3941900B2 (en) Motion vector detection device
JP2825821B2 (en) Video encoding processing method
JP5742886B2 (en) Stereoscopic video encoding apparatus, stereoscopic video decoding apparatus, stereoscopic video encoding system, stereoscopic video encoding program, and stereoscopic video decoding program
JP5049386B2 (en) Moving picture encoding apparatus and moving picture decoding apparatus

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080119

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100119

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees