JPH0250689A - Movement compensation method - Google Patents
Movement compensation methodInfo
- Publication number
- JPH0250689A JPH0250689A JP63201063A JP20106388A JPH0250689A JP H0250689 A JPH0250689 A JP H0250689A JP 63201063 A JP63201063 A JP 63201063A JP 20106388 A JP20106388 A JP 20106388A JP H0250689 A JPH0250689 A JP H0250689A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- frame memory
- block
- vector
- slave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 10
- 230000015654 memory Effects 0.000 claims abstract description 75
- 239000013598 vector Substances 0.000 claims abstract description 62
- 238000011156 evaluation Methods 0.000 claims abstract description 40
- 238000006243 chemical reaction Methods 0.000 abstract description 11
- 230000003287 optical effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
【発明の詳細な説明】
（１）発明の属する技術分野
本発明は、動画像を高能率符号化するための一手段であ
る所の動き補償方法に関するものである。DETAILED DESCRIPTION OF THE INVENTION (1) Technical field to which the invention pertains The present invention relates to a motion compensation method which is one means for highly efficient encoding of moving images.
（２）従来の技術
従来行われていた動き補償は、１台のカメラより入力し
た画像のみを用いて行われていた。また従来の両眼視差
符号化においても、左右カメラの画像について動き補償
を行う場合に、左カメラは左フレームメモリのみを、右
カメラは右フレームメモリのみを用いていた。すなわち
、３次元空間上の動きを２次元平面に投影して動き補償
を行っていたため３次元空間を回転するような動きに対
しては動きベクトルが検出できなくなるという欠点を有
していた。(2) Prior Art Conventional motion compensation was performed using only images input from one camera. Furthermore, in conventional binocular disparity encoding, when performing motion compensation for images from the left and right cameras, the left camera uses only the left frame memory, and the right camera uses only the right frame memory. That is, since motion compensation is performed by projecting motion in a three-dimensional space onto a two-dimensional plane, there is a drawback that a motion vector cannot be detected for a motion that rotates in a three-dimensional space.
（３）発明の目的
本発明の目的は、複数台のテレビカメラを用いて、より
予測効率の高い動き補償方法を提案することにある。(3) Purpose of the Invention The purpose of the present invention is to propose a motion compensation method with higher prediction efficiency using a plurality of television cameras.
（４）発明の構成
（４−１）発明の特徴と従来技術との差異本願の第１の
発明においては、２台のテレビカメラ（主カメラ、従カ
メラ）を用いて、主カメラで逼像した画像を符号化、伝
送し、従カメラは主カメラ画像とともに動き補償を行う
ために補助的に使用するようにしている。即ちまず主カ
メラから入力した現フレームをブロックに分割し、これ
らの各ブロックに最も近似のブロックを前フレームの各
ブロック近傍から検出することにより、これらの最近似
ブロックに対する評価値（ＥＶｍ）および最適動きベク
トル（Ｖｍ）を決定する０次に分割した各ブロックを幾
何学的に従カメラの画像に変換したそのブロックに最も
近似のブロックを従カメラから入力された前フレームか
ら検出し。(4) Structure of the invention (4-1) Features of the invention and differences from the prior art In the first invention of the present application, two television cameras (main camera, sub camera) are used to capture images with the main camera. The captured image is encoded and transmitted, and the slave camera is used auxiliary to perform motion compensation along with the main camera image. That is, first, the current frame input from the main camera is divided into blocks, and by detecting the block closest to each block from the vicinity of each block of the previous frame, the evaluation value (EVm) and optimal Determining the motion vector (Vm) Each zeroth-order divided block is geometrically converted into an image of the slave camera, and the block most similar to that block is detected from the previous frame input from the slave camera.
これらの最近領ブロックに対する評価値（ＥＶｓ、）お
よび最適動きベクトル（Ｖ！ｌ）を決定する。The evaluation value (EVs, ) and optimal motion vector (V!l) for these nearest blocks are determined.
次に、ＥＶｍとＥＶｓとを比較し。Next, compare EVm and EVs.
ＥＶｍ≦ＥＶｓ であればＶｍを最適動きベクトルとし。EVm≦EVs If so, let Vm be the optimal motion vector.
ＥＶｍ＞ＥＶｓ
であればＶＳを主カメラ上の動きベクトルに変換したも
のを最適動きベクトルとする。従来技術では最適動きベ
クトルを常にＶｍとしていたのに対して第１の発明は２
台のカメラを用いて、これらのカメラから入力した２つ
の画像を用いて最適動きベクトルを検出する点が異なる
。If EVm>EVs, VS is converted into a motion vector on the main camera and the optimal motion vector is determined. In the conventional technology, the optimal motion vector was always set to Vm, whereas in the first invention, the optimal motion vector was set to 2.
The difference is that two cameras are used and the optimal motion vector is detected using two images input from these cameras.
第２の発明においては、主カメラおよび２台の従カメラ
の計３台のカメラを用いて、主カメラの画像を符号化、
伝送し１従力メラ２台の画像は主カメラ画像とともに動
き補償を行うために補助的に使用する際、主カメラおよ
び従カメラ２台の計３枚の前フレームメモリを用いて動
き補償を行って動きベクトルを検出し、その評価値が最
も低い動きベクトルを最適動きベクトルとする方法であ
り、従来技術の、１台のカメラの画像のみを用いて動き
補償を行っていた点が異なる。In the second invention, a total of three cameras, a main camera and two slave cameras, are used to encode the image of the main camera,
When the images from the two subordinate cameras are transmitted and used auxiliary to perform motion compensation along with the main camera image, motion compensation is performed using a total of three previous frame memories of the main camera and two subordinate cameras. This is a method in which a motion vector is detected using a single camera, and the motion vector with the lowest evaluation value is set as the optimal motion vector, and differs from the conventional technology in that motion compensation is performed using only images from one camera.
第３の発明においては、２台のテレビカメラ（左カメラ
、右カメラ）を用いて、これらのカメラで逼像した画像
を独立に符号化、伝送する際。In the third invention, when two television cameras (left camera, right camera) are used to independently encode and transmit images captured by these cameras.
まず左カメラから入力した現フレームをブロックに分割
し、これらの各ブロックに最も近似のブロックを前フレ
ームメモリ内の、現フレームメモリ内と同じ位置近傍か
ら検出することにより、これらの最近似ブロックに対す
る評価値（ＥＶＩ！、）および最適動きベクトル（Ｖｌ
）を決定する。次に分割した各ブロックを右カメラから
入力されている前フレームメモリ内の、現フレームメモ
リ内と同じ位置近傍から検出し、これらの最近似ブロッ
クに対する評価値（ＥＶｒ）および最適動きベクトル（
Ｖｒ）を決定する。次に、ＥＶＥとＥＶｒとを比較し。First, the current frame input from the left camera is divided into blocks, and the block closest to each of these blocks is detected from the previous frame memory near the same position as the current frame memory. The evaluation value (EVI!,) and the optimal motion vector (Vl
) to determine. Next, each divided block is detected from the previous frame memory input from the right camera, near the same position as the current frame memory, and the evaluation value (EVr) and optimal motion vector (
Vr) is determined. Next, compare EVE and EVr.
ＥＶｊ２≦ＥＶｒ であればＶｌを最適動きベクトルとし。EVj2≦EVr If so, let Vl be the optimal motion vector.
ＥＶｌ＞ＥＶｒ
であればＶｒを左カメラの最適動きベクトルとする。右
カメラについても同様に左右カメラの前フレームメモリ
の対応する位置近傍から動きベクトルを検出し、評価値
の低い方の動きベクトルを右カメラの最適動きベグトル
とする方法であり従来技術の左カメラは左フレームメモ
リのみを。If EVl>EVr, then Vr is set as the optimal motion vector of the left camera. For the right camera, motion vectors are similarly detected near the corresponding positions in the previous frame memories of the left and right cameras, and the motion vector with the lowest evaluation value is used as the optimal motion vector for the right camera. Only left frame memory.
右カメラは右フレームメモリのみを用いて動き補償を行
っていた点が異なる。The difference was that the right camera performed motion compensation using only the right frame memory.
（４−２）実施例 〔実施例１〕 第１図は２台のカメラの幾何学モデルを示す。(4-2) Example [Example 1] FIG. 1 shows a geometric model of two cameras.
０、 ０８はそれぞれ主カメラ、従カメラの位置。0 and 08 are the positions of the main camera and slave camera, respectively.
Ｗは主カメラと従カメラ間の距離、Ｌ、、Ｌ、はそれぞ
れ主カメラ、従カメラから過像物Ｐまでの距離、ｒ＋
、ｆＺはそれぞれ主カメラ、従カメラの焦点距離、θ１
．θ２はそれぞれ主カメラ、従カメラのＸ軸方向への傾
き角である。また、１は主カメラの光軸、２は従カメラ
の光軸、３は主カメラの座標系、４は従カメラの座標系
である。主カメラと従カメラとで撮像物Ｐを撮像した場
合。W is the distance between the main camera and the slave camera, L, , L are the distances from the main camera and the slave camera to the overimage object P, r+
, fZ are the focal lengths of the main camera and slave camera, respectively, and θ1
．． θ2 is the inclination angle of the main camera and the sub camera in the X-axis direction, respectively. Further, 1 is the optical axis of the main camera, 2 is the optical axis of the sub camera, 3 is the coordinate system of the main camera, and 4 is the coordinate system of the sub camera. When the object P is imaged by the main camera and the slave camera.
主カメラ座標軸上では（Ｘ、ｌ、ｙｌ）に写影され２従
カメラ座標軸上では（Ｘｉ＋、 ｙｉｔ）に写影され
る。第１図よりＸ ａｌ＋ Ｘ ｓｌ＋ Ｖ ｌｊ
１＋ ）ｌ ｓｌの関係はそれぞれ
Ｘ□＝ （ｗ −Ｌｚｓｉｎθ。On the main camera coordinate axis, it is projected to (X, l, yl), and on the second slave camera coordinate axis, it is projected to (Xi+, yit). From Figure 1, X al+ X sl+ V lj
1+ )l sl are respectively X□= (w −Lzsinθ.
Ｌｚｃｏｓθ２
ａｌ
Ｌ、 （ｓｉｎθＨ＋ ｃｏｓθ、））
・・・・・・（１）ｆ。Lzcosθ2 al L, (sinθH+ cosθ,))
・・・・・・(1) f.
１％１８ｙ１ ・
・・・・・（２）Ｌ！ （ｓｉｎθ２ ÷
ｃｏｓθり）・・・・・・（３）ｚ
ｙａ＋＝ｙｉ＋
・・・・・・（４）で表される。1%18y1 ・
...(2) L! (sinθ2 ÷
cosθri)・・・・・・(3)z ya+=yi+
......It is represented by (4).
第２図は第１の発明を実現するための実施例構成図であ
って、１１は主カメラ現フレームメモリ。FIG. 2 is a configuration diagram of an embodiment for realizing the first invention, in which 11 is a main camera current frame memory.
１２は主カメラ前フレームメモリ、１３は従カメラ前フ
レームメモリ、１４はブロック変換回路１５は動き補償
回路、１６は評価値比較回路。12 is a main camera front frame memory, 13 is a slave camera front frame memory, 14 is a block conversion circuit 15 is a motion compensation circuit, and 16 is an evaluation value comparison circuit.
１７はベクトル変換回路である。主カメラより入力され
た現フレームは主カメラ現フレームメモリ１１に蓄積さ
れる。ここから動き補償を行おうとするブロックが選択
され動き補償回路１５に送られる。動き補償回路１５は
このブロックと最も近似のブロックとを主カメラ前フレ
ームメモリ１２から検出し、その際の評価値ＥＶｍと動
きベクトルＶｍとを評価値比較回路１６へ送る０次に、
動き補償を行おうとするブロックを主カメラ現フレーム
メモリ１１からブロック変換回路１４へ送り従カメラよ
り見た画像に幾何学的変換を行った後動き補償回路１５
へ送る。動き補償回路１５はこめブロックと最も近似の
ブロックとを従カメラ前フレームメモリ１３から検出し
、その際の評価値ＥＶｓと動きベクトルＶｓとを評価値
比較回路１６へ送る。評価値ＥＶｓ、ＥＶｍは次式によ
り算出され、この値が小さいほど最適な動きベクトルが
検出できていることとなる。17 is a vector conversion circuit. The current frame input from the main camera is stored in the main camera current frame memory 11. From here, a block to be subjected to motion compensation is selected and sent to the motion compensation circuit 15. The motion compensation circuit 15 detects the block most similar to this block from the main camera front frame memory 12, and sends the evaluation value EVm and motion vector Vm at that time to the evaluation value comparison circuit 16.
The block to be subjected to motion compensation is sent from the main camera current frame memory 11 to the block conversion circuit 14, and after geometric conversion is performed on the image seen by the slave camera, the motion compensation circuit 15
send to The motion compensation circuit 15 detects the block most similar to the block from the sub-camera frame memory 13, and sends the evaluation value EVs and motion vector Vs to the evaluation value comparison circuit 16. The evaluation values EVs and EVm are calculated by the following equations, and the smaller the values, the more optimal the motion vector has been detected.
ＥＶ−Σ ［Ｍｉ’ｃ （ｉ）−Ｖｒ （ｉ）
ｌｌただし１ｍは動き補償ブロックの画素数、Ｖｃと
Ｖｒとはそれぞれ現フレームと前フレームとの動き補償
ブロックの画素値である。EV-Σ [Mi'c (i)-Vr (i)
ll, where 1m is the number of pixels of the motion compensation block, and Vc and Vr are the pixel values of the motion compensation blocks of the current frame and the previous frame, respectively.
評価値比較回路１６はＥＶｓとＥＶｍとを比較し ＥＶｍ≦ＥＶｓ であればＶｍを動きベクトルとして出力する。The evaluation value comparison circuit 16 compares EVs and EVm. EVm≦EVs If so, output Vm as a motion vector.
ＥＶｍ＞ＢＹ ｓ であればＶＳをベクトル変換回路１７へ送り。EVm＞BYs If so, send VS to the vector conversion circuit 17.
主カメラより見た動きベクトルに変換して出力する。It is converted into a motion vector as seen from the main camera and output.
第３図は主カメラおよび従カメラが撮像できる範囲を示
す図である。００，０□はそれぞれ主カメラ、従カメラ
の位置、Ｗは主カメラと従カメラ間の距離、φ１．φ２
はそれぞれ主カメラ、従カメラの水平方向の画角、１は
主カメラの光軸、２は従カメラの光軸、であり９図示符
号５のような平面の撮像対象物を仮定した場合、３′は
主カメラの１最像できる範囲、４′は従カメラの撮像で
きる範囲を示す。２台のカメラで撮像する場合、同図に
示すように主カメラおよび従カメラが撮像できる範囲が
ずれるため、主カメラで撮像できて、従カメラで撮像で
きない範囲が存在する。このような場合の１量像できな
い範囲の画像については主カメラの画像のみで動き補償
を行うこととなる。FIG. 3 is a diagram showing the range that can be imaged by the main camera and the sub camera. 00, 0□ are the positions of the main camera and slave camera, respectively, W is the distance between the main camera and slave camera, φ1. φ2
are the horizontal field of view of the main camera and the sub camera, 1 is the optical axis of the main camera, and 2 is the optical axis of the sub camera, respectively. 9 Assuming a flat imaging object as shown in the figure 5, 3 '' indicates the range that can be most imaged by the main camera, and 4' indicates the range that can be captured by the sub camera. When capturing images with two cameras, as shown in the figure, the ranges that can be captured by the main camera and the slave camera are shifted, so there is a range that can be captured by the main camera but cannot be captured by the slave camera. In such a case, motion compensation is performed using only the image of the main camera for images in a range that cannot be imaged in one volume.
〔実施例２〕
第４図は主カメラと２台の従カメラとを用いて対象物を
過剰する際のモデルを示す、２１は左従カメラ、２２は
左従カメラ光軸、２３は主カメラ９２４は主カメラ光軸
、２５は右従カメラ。[Embodiment 2] Fig. 4 shows a model for capturing an object using a main camera and two slave cameras. 21 is the left slave camera, 22 is the optical axis of the left slave camera, and 23 is the main camera. 924 is the optical axis of the main camera, and 25 is the right slave camera.
２６は右従カメラ光軸、２７は対象物である。第５図は
第２の発明を実現するための実施例構成図であって、３
１は左従カメラ前フレームメモリ。26 is an optical axis of the right slave camera, and 27 is an object. FIG. 5 is a configuration diagram of an embodiment for realizing the second invention,
1 is the frame memory in front of the left slave camera.
３２は主カメラ現フレームメモリ、３３は主カメラ前フ
レームメモリ、３４は右従カメラ前フレームメモリ、３
５は動き補償回路、３６は評価値比較回路である。主カ
メラ２３より入力された現フレームは主カメラ現フレー
ムメモリ３２に蓄積される。また、主カメラ２３と左右
軸カメラ２１゜２５とより入力された前フレームはそれ
ぞれ前フレームメモリ３３，３１．３４に蓄積されてい
る。32 is the main camera current frame memory, 33 is the main camera front frame memory, 34 is the right slave camera front frame memory, 3
5 is a motion compensation circuit, and 36 is an evaluation value comparison circuit. The current frame input from the main camera 23 is stored in the main camera current frame memory 32. Further, the previous frames inputted from the main camera 23 and the left and right axis cameras 21 and 25 are stored in the previous frame memories 33, 31 and 34, respectively.
はじめに、現フレームメモリ３２から動き補償を行おう
とするブロックが選択され動き補償回路３５に送られる
。動き補償回路３５はこのブロックと最も近似のブロッ
クを現フレームメモリ３２と同じ位置近傍の前フレーム
メモリ３３，３１゜３４からそれぞれ検出し、その際の
評価値ＥＶｍ、ＥＶｌ、ＥＶｒを次式ニヨリＸ出り、
評価値比較回路３６へ送る。次に、評価値比較回路３６
において最も低い評価値の動きベクトルを最適動きベク
トルとして出力する。First, a block to be subjected to motion compensation is selected from the current frame memory 32 and sent to the motion compensation circuit 35. The motion compensation circuit 35 detects the block most similar to this block from the previous frame memories 33, 31° 34 located near the same position as the current frame memory 32, respectively, and calculates the evaluation values EVm, EVl, EVr using the following equation Out,
It is sent to the evaluation value comparison circuit 36. Next, the evaluation value comparison circuit 36
The motion vector with the lowest evaluation value is output as the optimal motion vector.
ＥＶ−Σ （ＩＶｃ （ｉ）−Ｖｆ （ｉ）１ま
ただし１ｍは動き補償ブロックの画素数、Ｖｃとｖｆと
はそれぞれ現フレームと前フレームとの動き補償ブロッ
クの画素値である。EV-Σ (IVc (i)-Vf (i) 1 where 1m is the number of pixels of the motion compensation block, and Vc and vf are the pixel values of the motion compensation block of the current frame and the previous frame, respectively.
以上説明したように画像の同一の領域（ブロック）を２
枚の画像を用いて動台補償を行い評価値ＥＶｍ、ＥＶｆ
ｆｉ、ＥＶｒのうちの最も小さい動きベクトルを選択し
ているため、その効果としてカメラ１台のみを用いて、
１台のカメラの現フレームメモリと、前フレームメモリ
とのみを用いて動きベクトルを検出する従来技術に比べ
てより最適な動きベクトルを検出することが可能となる
。As explained above, the same area (block) of the image is
The evaluation values EVm and EVf are calculated by performing motion compensation using two images.
Since the smallest motion vector among fi and EVr is selected, the effect is that using only one camera,
It becomes possible to detect a more optimal motion vector than in the prior art, which detects a motion vector using only the current frame memory and previous frame memory of one camera.
なお３台のカメラを用いた例を示したが、３台以上のカ
メラを用いて同じ手法で実施できる。ただし奇数台のカ
メラを用いる方が中央のカメラに対して左右対称に構成
できるため望ましい。Although an example using three cameras has been shown, the same method can be implemented using three or more cameras. However, it is preferable to use an odd number of cameras because the configuration can be symmetrical with respect to the central camera.
〔実施例３１１
第６図は左右２台のカメラを用いて対象物を過剰する際
のモデルを示す。４１は左カメラ、４２は左カメラ光軸
、４３は右カメラ、４４は右カメラ光軸、４５は対象物
である。第７図は第３の発明を実現するための実施例構
成図であって、５１は左カメラ現フレームメモリ、５２
は左カメラ前フレームメモリ、５３は右カメラ現フレー
ムメモリ、５４は右カメラ前フレームメモリ、５５は動
き補償回路、５６は評価値比較回路である。左右カメラ
より入力された現フレームはそれぞれ現フレームメモリ
５１．５３に蓄積される。また、左右カメラより入力さ
れた前フレームはそれぞれ前フレームメモリ５２．５４
に蓄積されている。[Embodiment 311] FIG. 6 shows a model for detecting excessive objects using two left and right cameras. 41 is a left camera, 42 is a left camera optical axis, 43 is a right camera, 44 is a right camera optical axis, and 45 is an object. FIG. 7 is a configuration diagram of an embodiment for realizing the third invention, in which 51 is a left camera current frame memory, 52 is a left camera current frame memory;
53 is a frame memory in front of the left camera, 53 is a current frame memory in the right camera, 54 is a frame memory in front of the right camera, 55 is a motion compensation circuit, and 56 is an evaluation value comparison circuit. Current frames input from the left and right cameras are stored in current frame memories 51 and 53, respectively. Also, the previous frame input from the left and right cameras is stored in the previous frame memory 52 and 54, respectively.
is accumulated in.
はじめに、左カメラ画像から符号化する場合現フレーム
メモリ５１から動き補償を行おうとするブロックが選択
され動き補償回路５５に送られる。動き補償回路５５は
このブロックと最も近似のブロックを前フレームメモリ
５２から検出し。First, when encoding from the left camera image, a block to be subjected to motion compensation is selected from the current frame memory 51 and sent to the motion compensation circuit 55. The motion compensation circuit 55 detects a block most similar to this block from the previous frame memory 52.
その際の評価値ＥＶＮと動きベクトルＶ２とを評価値比
較回路５６へ送る。次に、現フレームメモリ５３の同じ
ブロックと最も近似のブロックを前フレームメモリ５４
から検出し、その際の評価値ＥＶｒと動きベクトルＶｒ
とを評価値比較回路５６へ送る。評価値ＥＶＡ、ＥＶｒ
は次式により算出され、この値が小さいほど最適な動き
ベクトルが検出できていることとなる。The evaluation value EVN and motion vector V2 at that time are sent to the evaluation value comparison circuit 56. Next, the block most similar to the same block in the current frame memory 53 is transferred to the previous frame memory 53.
The evaluation value EVr and motion vector Vr at that time are detected from
and is sent to the evaluation value comparison circuit 56. Evaluation value EVA, EVr
is calculated by the following equation, and the smaller this value, the more optimal motion vector has been detected.
ＥＶ＝Σ （ｌＶｃ （ｉ）−Ｖｆ （ｉ）
ｌｌただし２ｍは動き補償ブロックの画素数、ＶｃとＶ
ｆとはそれぞれ現フレームと前フレームとの動き補償ブ
ロックの画素値である。EV=Σ(lVc(i)−Vf(i)
ll However, 2m is the number of pixels in the motion compensation block, Vc and V
f is the pixel value of the motion compensation block of the current frame and the previous frame, respectively.
評価値比較回路５６はＥＶｆｆｉとＥＶｒとを比較し ＥＶ！≦ＥＶｒ であれば■２を最適動きベクトルとして出力する。The evaluation value comparison circuit 56 compares EVffi and EVr. EV! ≦EVr If so, ■2 is output as the optimal motion vector.
ＥＶｆｆ＞ＥＶｒ
であれば■「を最適動きベクトルとして出力する。以上
説明したように画像の同一の領域（ブロック）を２枚の
画像を用いて動き補償を行い評価値の小さい方の動きベ
クトルを選択しているため士の効果として、左カメラ画
像は左カメラフレームメモリのみから、右カメラ画像は
右カメラフレームメモリのみから動きベクトルを検出す
る従来技術に比べてより最適な動きベクトルを検出する
ことが可能となる。If EVff > EVr, output " as the optimal motion vector. As explained above, motion compensation is performed on the same area (block) of the image using two images, and the motion vector with the smaller evaluation value is used. As a result of this selection, a more optimal motion vector can be detected compared to the conventional technology, which detects motion vectors only from the left camera frame memory for the left camera image and only from the right camera frame memory for the right camera image. becomes possible.
（５）発明の詳細
な説明したように９本発明によれば、１つのカメラで１
最像した画像の各ブロックに対して当該カメラで撮像し
た画像および他カメラで撮像した画像を用いて動き補償
を行い、評価値の最も低い方の動きベクトルを最適動き
ベクトルとするためより正確な動きベクトルを選択でき
る利点がある。(5) As described above, according to the present invention, one camera can
Motion compensation is performed for each block of the most imaged image using the image captured by the camera concerned and the image captured by other cameras, and the motion vector with the lowest evaluation value is used as the optimal motion vector. It has the advantage of being able to select the motion vector.
第１図は主カメラおよび従カメラの幾何学的関係を示す
図、第２図は第１の発明を実現するための実施例構成図
、第３図は主カメラおよび従カメラが撮像できる範囲を
示す図、第４図は主カメラと２台の従カメラとを用いて
対象物を撮像する際のモデル、第５図は第２の発明を実
現するための実施例構成図、第６図は左右２台のカメラ
を用いて対象物を撮像する際のモデル、第７図は第３の
発明を実現するだめの実施例構成図である。
１・・・主カメラの光軸、２・・・従カメラの光軸、３
・・・主カメラの座標系、４・・・従カメラの座標系、
１１・・・主カメラ現フレームメモリ、１２・・・主カ
メラ前フレームメモリ、１３・・・従カメラ前フレーム
メモリ、１４・・・ブロック変換回路、１５・・・動き
補償回路、１６・・・評価値比較回路、１７・・・ベク
トル変換回路、２１・・・左従カメラ、２２・・・左軸
カメラ光軸、２３・・・主カメラ、２４・・・主カメラ
光軸、２５・・・有軸カメラ、２６・・・有軸カメラ光
軸、２７・・・対象物、３１・・・左軸カメラ前フレー
ムメモリ、３２・・主カメラ現フレームメモリ、３３・
・・主カメラ前フレームメモリ、３４・・・有軸カメラ
前フレームメモリ、３５・・・動き補償回路、３６・・
・評価値比較回路、４１・・・左カメラ、４２・・・左
カメラ光軸、４３・・・右カメラ、４４・・・右カメラ
光軸、４５・・・対象物。
５１・・・左カメラ現フレームメモリ、５２・・・左カ
メラ前フレームメモリ１５３・・・右カメラ現フレーム
メモリ、５４・・・右カメラ前フレームメモリ、５５・
・・動き補償回路、５６・・・評価値比較回路。
特許出願人 日木電信電話株式会社Fig. 1 is a diagram showing the geometrical relationship between the main camera and the sub camera, Fig. 2 is a configuration diagram of an embodiment for realizing the first invention, and Fig. 3 shows the range that the main camera and the sub camera can capture. 4 is a model for imaging an object using a main camera and two slave cameras, FIG. 5 is a configuration diagram of an embodiment for realizing the second invention, and FIG. FIG. 7 is a model for imaging an object using two left and right cameras, and is a configuration diagram of an embodiment for realizing the third invention. 1... Optical axis of the main camera, 2... Optical axis of the slave camera, 3
...Coordinate system of the main camera, 4...Coordinate system of the slave camera,
11... Main camera current frame memory, 12... Main camera front frame memory, 13... Slave camera front frame memory, 14... Block conversion circuit, 15... Motion compensation circuit, 16... Evaluation value comparison circuit, 17... Vector conversion circuit, 21... Left slave camera, 22... Left camera optical axis, 23... Main camera, 24... Main camera optical axis, 25...・Axis camera, 26...Axis camera optical axis, 27...Object, 31...Left axis camera front frame memory, 32...Main camera current frame memory, 33...
... Main camera front frame memory, 34... Axis camera front frame memory, 35... Motion compensation circuit, 36...
-Evaluation value comparison circuit, 41...Left camera, 42...Left camera optical axis, 43...Right camera, 44...Right camera optical axis, 45...Object. 51... Left camera current frame memory, 52... Left camera front frame memory 153... Right camera current frame memory, 54... Right camera front frame memory, 55.
...Motion compensation circuit, 56...Evaluation value comparison circuit. Patent applicant: Jiki Telegraph and Telephone Co., Ltd.
Claims (3)
で設置し、主カメラの画像を符号化する際に動き補償を
行う方法であって、主カメラ側には現フレームメモリと
前フレームメモリとの２枚のフレームメモリを持ち、従
カメラ側には前フレームメモリ１枚を持ち、主カメラの
現フレームメモリ内のいくつかの画素をまとめたブロッ
クと最も近似のブロックを主カメラの前フレームメモリ
内および従カメラの前フレームメモリ内からそれぞれ求
め、現フレームメモリ内の該当ブロックとの位置の差か
ら求めたそれぞれの動きベクトルの評価値のうち、評価
値の低い方の動きベクトルを最適ベクトルとすることを
特徴とした動き補償方法。(1) A method in which a main camera and a slave camera are installed at appropriate intervals in the horizontal direction, and motion compensation is performed when encoding the image of the main camera.The main camera side has a current frame memory and a previous frame memory. The slave camera side has two frame memories, and the slave camera side has one previous frame memory, and the block that is the most similar to the block that summarizes some pixels in the current frame memory of the main camera is used as the previous frame of the main camera. Among the evaluation values of the motion vectors obtained from the memory and the previous frame memory of the slave camera, and the difference in position with the corresponding block in the current frame memory, the motion vector with the lower evaluation value is used as the optimal vector. A motion compensation method characterized by:
な間隔で設置し、主カメラの画像を符号化する際に動き
補償を行う方法であって、主カメラ側には現フレームメ
モリと前フレームメモリとの２枚のフレームメモリを持
ち、従カメラ２台側にはそれぞれ前フレームメモリ１枚
を持ち、主カメラの現フレームメモリ内のいくつかの画
素をまとめたブロックと最も近似のブロックを主カメラ
の前フレームメモリ内および２枚の従カメラの前フレー
ムメモリ内からそれぞれ求め、現フレームメモリ内の該
当ブロックとの位置の差から求めたそれぞれの動きベク
トルの評価値のうち、最も評価値の低い動きベクトルを
最適動きベクトルとすることを特徴とした動き補償方法
。(2) A method in which a main camera and two slave cameras are installed at appropriate intervals in the horizontal direction, and motion compensation is performed when encoding the image of the main camera, and the main camera side has a current frame memory and It has two frame memories, one for the previous frame memory, and one previous frame memory for each of the two slave cameras, and a block that is the closest to the block that combines several pixels in the current frame memory of the main camera. is calculated from the previous frame memory of the main camera and the previous frame memory of the two slave cameras, and the most evaluated of the evaluation values of each motion vector calculated from the difference in position with the corresponding block in the current frame memory. A motion compensation method characterized by using a motion vector with a low value as an optimal motion vector.
入力した２枚の画像を符号化する際に行う動き補償であ
って、左右それぞれのカメラ側に現フレームメモリと前
フレームメモリとを持ち、一方のカメラの画像について
動き補償を行う際に、当該カメラの現フレームメモリ内
のいくつかの画素をまとめたブロックと最も近似のブロ
ックを当該カメラおよび他方のカメラの前フレームメモ
リ内からそれぞれ求め、現フレームメモリ内の該当ブロ
ックとの位置の差から求めたそれぞれの動きベクトルの
評価値のうち低い方の動きベクトルを当該カメラの画像
の最適ベクトルとし、他方のカメラ画像についても同様
な補償をすることを特徴とした動き補償方法。(3) Motion compensation performed when encoding two images input using two cameras, a left camera and a right camera, with a current frame memory and a previous frame memory on each left and right camera side. When motion compensation is performed on an image from one camera, a block summarizing several pixels in the current frame memory of the camera and the most similar block are extracted from the previous frame memory of the camera and the other camera, respectively. The motion vector with the lowest evaluation value obtained from the difference in position with the corresponding block in the current frame memory is set as the optimal vector for the image of the camera in question, and the same compensation is applied to the image of the other camera. A motion compensation method characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20106388A JP2613922B2 (en) | 1988-08-12 | 1988-08-12 | Motion compensation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20106388A JP2613922B2 (en) | 1988-08-12 | 1988-08-12 | Motion compensation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0250689A true JPH0250689A (en) | 1990-02-20 |
| JP2613922B2 JP2613922B2 (en) | 1997-05-28 |
Family
ID=16434768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20106388A Expired - Fee Related JP2613922B2 (en) | 1988-08-12 | 1988-08-12 | Motion compensation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2613922B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999011073A1 (en) * | 1997-08-25 | 1999-03-04 | Sony Corporation | Stereoscopic image video signal generator, stereoscopic image video signal transmitter, stereoscopic image video signal receiver, and stereoscopic image video signal transmission switching device |
| JP2008509592A (en) * | 2004-08-03 | 2008-03-27 | デーヤン ファウンデーション | Multi-view video direct mode motion prediction method and apparatus |
| JP2013255129A (en) * | 2012-06-07 | 2013-12-19 | Canon Inc | Image encoder |
| JP2016096502A (en) * | 2014-11-17 | 2016-05-26 | 株式会社東芝 | Image coding device, image decoding device and image transmission method |
-
1988
- 1988-08-12 JP JP20106388A patent/JP2613922B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999011073A1 (en) * | 1997-08-25 | 1999-03-04 | Sony Corporation | Stereoscopic image video signal generator, stereoscopic image video signal transmitter, stereoscopic image video signal receiver, and stereoscopic image video signal transmission switching device |
| US6441844B1 (en) | 1997-08-25 | 2002-08-27 | Sony Corporation | Solid-pictorial video signal generating apparatus, solid-pictorial video signal transmitting apparatus, solid-pictorial video signal receiving apparatus and solid-pictorial video signal transmission switching apparatus |
| US6697100B2 (en) | 1997-08-25 | 2004-02-24 | Sony Corporation | Solid-pictorial video signal generating apparatus, solid-pictorial video signal transmitting apparatus, solid-pictorial video signal receiving apparatus and solid-pictorial video signal transmission switching apparatus |
| JP2008509592A (en) * | 2004-08-03 | 2008-03-27 | デーヤン ファウンデーション | Multi-view video direct mode motion prediction method and apparatus |
| JP2013255129A (en) * | 2012-06-07 | 2013-12-19 | Canon Inc | Image encoder |
| JP2016096502A (en) * | 2014-11-17 | 2016-05-26 | 株式会社東芝 | Image coding device, image decoding device and image transmission method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2613922B2 (en) | 1997-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107396080B (en) | Method and system for generating depth information | |
| WO2019100933A1 (en) | Method, device and system for three-dimensional measurement | |
| US9137518B2 (en) | Method and system for converting 2D image data to stereoscopic image data | |
| JP4198054B2 (en) | 3D video conferencing system | |
| US8797414B2 (en) | Digital image stabilization device | |
| US10841558B2 (en) | Aligning two images by matching their feature points | |
| JPH11275604A (en) | Device and method for converting two-dimensional continuous video into three-dimensional video and method for post-processing the three-dimensional video | |
| US8867826B2 (en) | Disparity estimation for misaligned stereo image pairs | |
| US9652853B2 (en) | Image processing device | |
| JP2953154B2 (en) | Shape synthesis method | |
| JPWO2019198501A1 (en) | Image processing equipment, image processing methods, programs, and image transmission systems | |
| JPH0250689A (en) | Movement compensation method | |
| JP2001516185A (en) | Motion estimation method and apparatus employing subsampling technique | |
| JP7442072B2 (en) | Three-dimensional displacement measurement method and three-dimensional displacement measurement device | |
| Motten et al. | Trinocular disparity processor using a hierarchic classification structure | |
| Colonnese et al. | Leveraging multiview video coding in clustered multimedia sensor networks | |
| JPH06269025A (en) | Coding system for multi-eye stereoscopic video image | |
| WO2020024792A1 (en) | Image depth value obtaining method, apparatus, and device, coder and decoder, and storage medium | |
| JP2664955B2 (en) | Stereo image coding method | |
| WO2018235256A1 (en) | Stereo measurement device and system | |
| JP3279354B2 (en) | Motion compensation prediction method for 3D volume data | |
| CN113674415A (en) | Method for jointly making continuous non-cavity DSM by using high-resolution seven and resource three images | |
| JP2002077941A (en) | Apparatus and method for generating depth image as well as computer readable recording medium recording program to execute the method in computer | |
| JP3060433B2 (en) | Motion vector calculation method | |
| JP2004133556A (en) | Three-dimensional shape extraction method, three-dimensional shape extraction program and storage medium storing three-dimensional shape extraction program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |