JP3477023B2 - Multi-viewpoint image transmission method and multi-view image display method - Google Patents

Multi-viewpoint image transmission method and multi-view image display method

Info

Publication number
JP3477023B2
JP3477023B2 JP8359997A JP8359997A JP3477023B2 JP 3477023 B2 JP3477023 B2 JP 3477023B2 JP 8359997 A JP8359997 A JP 8359997A JP 8359997 A JP8359997 A JP 8359997A JP 3477023 B2 JP3477023 B2 JP 3477023B2
Authority
JP
Japan
Prior art keywords
image
parallax
point
transmission
multi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP8359997A
Other languages
Japanese (ja)
Other versions
JPH1032840A (en
Inventor
健夫 吾妻
森村  淳
謙也 魚森
Original Assignee
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP8368896 priority Critical
Priority to JP8-83688 priority
Priority to JP11871196 priority
Priority to JP8-118711 priority
Application filed by 松下電器産業株式会社 filed Critical 松下電器産業株式会社
Priority to JP8359997A priority patent/JP3477023B2/en
Publication of JPH1032840A publication Critical patent/JPH1032840A/en
Application granted granted Critical
Publication of JP3477023B2 publication Critical patent/JP3477023B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、多視点画像の伝送方法及び多視点画像の表示方法に関する。 BACKGROUND OF THE INVENTION [0001] [Technical Field of the Invention The present invention relates to a display method of transmission method and a multi-viewpoint image of the multi-view image. また、本発明は、多視点画像の中間視点画像生成方法及び視差推定方法及びその装置に関するものである。 Further, the present invention relates to intermediate-viewpoint image generation method and disparity estimation method and apparatus of the multi-view image. 【0002】 【従来の技術】従来、立体映像方式には様々なものが提案されているが、特殊な眼鏡をかけることなく立体動画像を複数人数で観察できる方式として、多視点画像による多眼式立体映像方式が有望である。 [0002] Conventionally, are various stereoscopic video system has been proposed, as a method for observing a stereoscopic video with multiple people without imposing special glasses, multiview by the multi-viewpoint image wherein the stereoscopic video system is promising. 多眼式立体映像方式においては、使用するカメラ台数及び表示装置台数が多いほど、観察者に対して自然な運動視差を感じさせることができ、また、多人数での観察が容易になる。 In multi-view stereoscopic image method, as the number of cameras and display the number used is large, it is possible to feel a natural motion parallax relative to the observer, also facilitates the observation by many people. しかしながら、撮像系の規模やカメラの光軸の設定等の制約により、実用的に用いることができるカメラ台数には限度がある。 However, due to limitations of the setting of the optical axis of the scale and a camera of the imaging system, there is a limit to the number of cameras which can be used practically. また、伝送、蓄積過程においては、カメラ台数に比例して増大する情報量を低減することが望まれる。 The transmission, in the accumulation process, it is desired to reduce the amount of information increases in proportion to the number of cameras. 【0003】そこで、表示側において、2眼式ステレオ画像から中間視点画像を生成することにより多眼式立体画像を表示できれば、撮像系の負担を軽減し、伝送、蓄積時の情報量を低減することができることになる。 [0003] Therefore, the display side, if Show multiview stereoscopic image by generating an intermediate-viewpoint image from binocular stereo images, to reduce the burden of the imaging system, reduces transmission information amount at the time of storage so that it is possible. 視点の異なる複数の画像から、その異なる視点間の任意の視点で見えるべき中間視点画像を生成するためには、画像間で画素の対応を求めて奥行きを推定する必要がある。 From different images viewpoints, to produce an intermediate viewpoint image should look at any viewpoint between the different viewpoints, it is necessary to estimate the depth seeking corresponding pixels between the images. 【0004】また、動画像をデジタル伝送するための画像圧縮方式として、MPEG−1、MPEG−2が提案されている。 Further, as an image compression method for digital transmission of moving images, MPEG-1, MPEG-2 has been proposed. さらに、MPEG−2を拡張して多視点画像を伝送する試みも行われている(ISO/IEC13818-2/PDA Furthermore, attempts have been made to transmit the multi-viewpoint images by extending the MPEG-2 (ISO / IEC13818-2 / PDA
M3)。 M3). 図28は、MPEG−2シンタックスの概略図である。 Figure 28 is a schematic diagram of a MPEG-2 syntax. MPEG−2による伝送は、Sequence、GOP Transmission by MPEG-2 is, Sequence, GOP
(Group Of Picture)、Picture という階層構造を持つ画像データの符号化、復号化によって行われる。 (Group Of Picture), encoded image data having a hierarchical structure of Picture, performed by the decoding. ISO/IE ISO / IE
C13818-2/PDAM3によると、MPEG−2の拡張による多視点画像の伝送は、(明記されていないためはっきりしないが)GOP層を拡張して実現されるようである。 According to C13818-2 / PDAM3, transmission of the multi-view image by expansion of the MPEG-2 appears to be achieved by extending the (unclear but because it is not specified) GOP layer. 【0005】図29は、伝送される多視点画像の時空間方向の関係を示すものである。 [0005] Figure 29 shows the spatial direction of the relationship when the multi-view image to be transmitted. 従来のMPEG−2で用いられてきた動き補償に加えて、視差補償を用いることによって符号化効率を高めようとしている。 In addition to the motion compensation it has been used in conventional MPEG-2, trying to increase the coding efficiency by using parallax compensation. 多視点画像を伝送する際には、各カメラに関する情報(カメラの位置、カメラの光軸の向き等のカメラパラメータ)を付加して伝送する必要がある。 When transmitting multi-viewpoint image, it is necessary to transmit by adding information about the each camera (the camera position, camera parameters orientation such an optical axis of the camera). ISO/IEC13818-2/PDAM3には、 The ISO / IEC13818-2 / PDAM3,
カメラパラメータは図28のPic.Extension(Picture層の拡張)に含めて伝送することが述べられているが、具体的なカメラパラメータの記述については述べられていない。 The camera parameters but it is stated to be transmitted is included in Pic.Extension of FIG. 28 (extension of the Picture layer), not mentioned for a description of a specific camera parameters. 【0006】カメラパラメータの記述に関しては、CG [0006] For a description of the camera parameters, CG
言語であるOpenGLにおいて、カメラの位置、カメラの光軸の向き、カメラの位置と画像面との距離がカメラパラメータとして定義されている(「オープン ジーエル プログラミングガイド」(OpenGL Programming Gu In OpenGL is a language, the position of the camera, the orientation of the optical axis of the camera, the distance between the position and the image plane of the camera is defined as a camera parameter ( "Open GL Programming Guide" (OpenGL Programming Gu
ide,The Official Guide to Learning OpenGL,Release ide, The Official Guide to Learning OpenGL, Release
1,Addison-Wesley Publishing Company,1993))。 1, Addison-Wesley Publishing Company, 1993)). 【0007】図30は、OpenGLによるカメラパラメータの定義を示す説明図である。 [0007] Figure 30 is an explanatory diagram showing the definition of the camera parameters by OpenGL. 図30において、A In Figure 30, A
はレンズ中心、Bは画像面(すなわち撮像面)の中心、 Lens center, the center of the B image plane (i.e. imaging surface)
CはBから画像上端におろした垂線と画像上端の交点を示す。 C represents the intersection of the perpendicular line and the image upper grated in the image from the upper edge B. A,B,Cの座標値はそれぞれ、(optical_cent A, B, C respectively coordinate values, (optical_cent
er_X,optical_center_Y,optical_center_Z),(image_p er_X, optical_center_Y, optical_center_Z), (image_p
lane_center_X,image_plane_center_Y,image_plane_cen lane_center_X, image_plane_center_Y, image_plane_cen
ter_Z),(image_plane_vertical_X,image_plane_verti ter_Z), (image_plane_vertical_X, image_plane_verti
cal_Y,image_plane_vertical_Z)として定義されている。 cal_Y, image_plane_vertical_Z) is defined as. 【0008】上記のOpenGLで定義されるカメラパラメータの情報をPic.Extensionに付加して多視点画像を伝送することが容易に考えられる。 [0008] is easily possible to transmit the multi-view image by adding information of the camera parameters Pic.Extension defined in OpenGL. 【0009】 【発明が解決しようとする課題】しかしながら上記のような従来の方法では、画像内の最近点、最遠点(すなわち被写体の最近点、最遠点)に関する情報がないため、 [0009] In [0006] However the above-described conventional method, the nearest point in the image, the farthest point (i.e. nearest point of the object, farthest point) because there is no information about,
表示時に目の疲れにくい表示(例えば視差制御)を行おうとする際に、どの奥行き範囲に対して行えばよいのかわからないという課題を有していた。 When attempting to eye fatigue displayed upon the display (e.g., parallax control), it has been a problem that do not know may be performed for any depth range. 【0010】また、多視点画像を表示する際には、撮影時の視野角や撮像面のサイズ、レンズ中心と撮像面との距離等の条件をもとに、観察距離を適切に決定する必要がある(視差がつきすぎて違和感のある表示や、逆に立体感の乏しい表示にならないようにするため)。 Further, when displaying the multi-view image, the size of the viewing angle and the imaging surface at the time of shooting, on the basis of the conditions such as the distance between the lens center and the imaging surface, necessary to appropriately determine the viewing distance there are (in order to avoid too much luck parallax certain display and sense of discomfort, to reverse the poor display of three-dimensional effect). しかし、OpenGLでは、撮像面の大きさ(CCDの物理的なサイズ)が定義されておらず、また、レンズ中心と結像面との距離をレンズの焦点距離と常に等しいものとして扱っている。 However, the OpenGL, the size of the imaging surface (CCD physical size) is not defined, also deals with the distance between the lens center and the image plane as always equal to the focal length of the lens. そのため、撮像時の視野角の大きさが表示側ではわからず、表示時の適切な視野角すなわち適切な観察距離を決定できず、違和感のある立体表示となる可能性があるという課題を有していた。 Therefore, the size of the viewing angle is not known at the display side at the time of imaging can not determine the appropriate viewing angle or appropriate viewing distance when viewing, a problem that is likely to be a stereoscopic display with discomfort which was. 【0011】本発明はかかる点に鑑み、画像内の最近点、最遠点(即ち被写体の最近点、最遠点)に関する情報と、撮像面の大きさに関する情報とを画像情報に付加して伝送を行うことにより、表示側で違和感の少ない立体表示を行うことが容易な多視点画像の伝送及び表示方法を提供することを目的とする。 [0011] The present invention has been made in consideration of the above point, the nearest point in the image, the farthest point (i.e. nearest point of the object, farthest point) information about, by adding the information on the size of the imaging surface in image information by performing transmission, and an object thereof is able to perform the stereoscopic display less discomfort on the display side provides a transmission and display method easy multi-viewpoint images. 【0012】また、中間視点画像生成のための画像間の対応づけにおける根本的な問題は、奥行きが不連続に変化する物体輪郭線において、オクルージョンが生じるために画像間の対応を精度よく求めるのは困難なことである。 Furthermore, a fundamental problem in the correspondence between the image for the intermediate-viewpoint image generated in the object contour depth changes discontinuously, seek better corresponding accuracy between images for occlusion occurs is that difficult. しかし、この物体輪郭線近傍での視差の推定値は、 However, estimates of the disparity in the object outline vicinity,
生成される中間視点画像における物体の輪郭位置を決定するため、中間視点画像の合成時には非常に重要である。 To determine the contour position of the object in the intermediate-viewpoint image generated is very important when the intermediate-viewpoint image synthesis. すなわち、視差推定時に物体輪郭線近傍で視差の推定誤差が生じると、前景領域の画素が背景側にはりついたり、逆に背景領域の画素が前景にはりつき、物体の輪郭線が乱れたり、物体輪郭線近傍の背景領域に偽輪郭が生じることになる。 That is, when the estimation error of the parallax may occur in the object outline vicinity during the disparity estimation, or stuck pixels in the foreground area in the background side, opposite to the sticking to the pixel foreground background area, or disturbed object contour object outline so that the false contour occurs in a background area of ​​the line near. 【0013】本発明はかかる点に鑑み、物体輪郭線近傍での視差の急激な変化(不連続な変化)を精度よく推定する視差推定方法およびその装置を提供することを目的とする。 [0013] In view of the above problems, and an object thereof is to provide a disparity estimation method and apparatus for estimating a sudden change in the parallax on the object contour line near the (discontinuous change) accurately. 【0014】 【課題を解決するための手段】本発明は、多視点画像のヘッダに、画像内の最近点、最遠点(すなわち被写体の最近点、最遠点)に関する情報と、撮像面の大きさに関する情報とを含む画像伝送方法により、画像内の最近点、最遠点(すなわち被写体の最近点、最遠点)に関する情報と、撮像面の大きさに関する情報とを付加した多視点画像の伝送を行い、表示側における画像サイズ、観察距離を考慮した表示を可能とすることができる。 [0014] According to an aspect of the present invention, the multi-viewpoint image header, the nearest point in the image, the farthest point (i.e. nearest point of the object, farthest point) and information about, the imaging surface the image transmission method comprising the information on the size, the nearest point in the image, the farthest point (i.e. nearest point of the object, the farthest point) multi-viewpoint image to which the information on, and information about the size of the imaging surface It performs transmission, it is possible to enable the display in consideration image size, the viewing distance of the display side. 【0015】 【0016】 【発明の実施の形態】以下に、本発明をその実施の形態を示す図面に基づいて説明する。 [0015] [0016] PREFERRED EMBODIMENTS The following description will explain the present invention with reference to the drawings showing embodiments thereof. (第1の実施の形態)図4は、本発明の第1の実施の形態における画像伝送方法で定義するパラメータを示す図である。 (First Embodiment) FIG. 4 is a diagram showing the parameters defined by the image transmission method of the first embodiment of the present invention. 図4において、A1,A2はカメラのレンズ中心の位置を示し、B1,B2は撮像面の中心を示す(説明を簡単にするために、撮像面をレンズ中心に対して被写体側に折り返して考えている)。 In FIG. 4, A1, A2 indicates the position of the lens center of the camera, B1, B2 in order to simplify the showing the center of the imaging plane (described, considered by folding the object side with respect to the lens center to the imaging surface ing). 【0017】OpenGLでは図4のA1B1,A2B2の距離をカメラのレンズの焦点距離として定義しているが、本発明においては、カメラのレンズ中心と撮像面の距離を該レンズの焦点距離とは独立に定義する。 [0017] Although defining the distance A1B1, A2B2 in the OpenGL 4 as the focal length of the camera lens, in the present invention, the distance between the lens center and the image plane of the camera independent of the focal length of the lens defined. この定義により、合焦時のレンズ中心と撮像面との距離を被写体の距離に応じて計算でき、正確な視野角を計算できる。 By this definition, the distance between the lens center and the image plane during focusing can be calculated according to the distance of the object can be calculated accurately viewing angle. 視野角は、撮像面のサイズと、レンズ中心と撮像面との距離から計算できる。 Viewing angle can be calculated from the distance and the size of the imaging surface, the lens center and the imaging surface. 【0018】以下に図2を用いて、合焦時のレンズ中心と撮像面との距離が、被写体とレンズ中心との距離によって変化することを説明する。 [0018] with reference to FIG. 2 below, the distance between the lens center and the image plane upon focusing is explained that varies with the distance between the subject and the lens center. 図2は、被写体の位置、 2, the position of the subject,
合焦時の撮像面の位置と焦点距離の関係を示す図である。 Is a diagram showing the relationship between the position and the focal length of the imaging surface upon focusing. 図2において、Aは被写体の位置、BはAからの光が結像する点、Oはレンズの中心、Fは平行光がレンズにより結像する点、aは被写体とレンズ中心Oとの距離、bはAからの光が結像する点Bとレンズ中心Oとの距離、fはレンズの焦点距離を示す。 In FIG. 2, A is the position of the object, B is the point where light from A is imaged, the center of the O lens, a point for imaging by F parallel light lens, a is the distance between the subject and the lens center O , b is the distance between B and the lens center point O light is imaged from a, f denotes the focal length of the lens. a,b,fの間には(数1)の関係が成り立つことが知られている。 a, b, between f is known to hold the relationship of equation (1). 【0019】 【数1】 [0019] [number 1] 【0020】(数1)より、被写体が焦点距離を無視できるくらいレンズから遠い(a>>f)場合には、1/a [0020] than (Equation 1), when distant from the lens about the subject can be ignored focal length (a >> f) is, 1 / a
→ 0となりb = fと近似できる。 → 0 can be approximated as the next b = f. しかし、被写体が比較的レンズに近い場合には、1/aの項を無視できず、b≠fとなる。 However, when close to the subject is relatively the lens can not ignore the section 1 / a, a b ≠ f. 従って、被写体が比較的レンズに近い場合にも正しく視野角を計算するためには、レンズ中心と結像面との距離を焦点距離とは独立に定義する必要がある。 Therefore, in order to calculate the correct viewing angle even when close to the subject is relatively the lens, it is necessary to define independently of the distance the focal distance between the lens center and the image plane. そして、撮像面の幅をwin、高さをhinとすると、撮像時の視野角は(数2)で表される。 Then, win the width of the imaging surface, when the height and hin, viewing angle at the time of imaging is expressed by equation (2). 【0021】 【数2】 [0021] [number 2] 【0022】よって、表示時の画像の幅をwout、高さをhoutとすると、撮像時の視野角を再現する観察距離は、 【0023】 【数3】 [0022] Thus, wout the width of the display time of the image, when the height and hout, viewing distance to reproduce the viewing angle at the time of imaging, [0023] Equation 3] 【0024】となる。 The [0024]. 【0025】次に、画像内の最近点、最遠点に基づく表示側における見やすさの改善について説明する。 Next, the nearest point in the image, the improvement of the visibility of the display-side based on the farthest point will be described. 図3 Figure 3
は、2つのプロジェクタを用いて輻輳投影をする場合の輻輳距離、最近点、最遠点の位置関係を説明するための図である。 The convergence distance in the case of congestion projection using two projectors, nearest point, is a diagram for explaining the positional relationship between the farthest point. 図3において、Cは輻輳点、Aは最近点、B In FIG. 3, C is the convergence point, A is the nearest point, B
は最遠点を示す。 It represents the farthest point. 【0026】輻輳のある投射においては、観察者が輻輳点Cを見る場合に視差が0となる(図3において、両眼とも画像の中心を見ることになるので、左右の目が見る画像内の相対的な位置の違いはなくなる)。 [0026] In the projection with congestion, parallax becomes 0 when the observer views the convergence point C (in FIG. 3, so will see the center of the image in both eyes, the image seen by the left and right eyes It made no difference in the relative position of). そして、最近点Aを見る場合にはいわゆる寄り目の状態となり、画像上で寄り目の方向にDaの視差が生じる。 Then, when viewing the closest point A is in a state of so-called cross-eyed, parallax Da occurs on the image in the direction of the cross-eyed. 図3において観察者は、輻輳点Cを見るときと比べて、両目とも内側にDa/2ずれた点を見る。 Viewer in Figure 3, as compared to when viewing the point of convergence C, see point inside shifted Da / 2 both eyes. また、逆に最遠点Bを見る場合にはいわゆる離れ目の状態となり、画像上で離れ目の方向にDbの視差が生じる。 Also, when viewing the farthest point B in the reverse a state of so-called distant eye, parallax Db is generated in the direction of the distant eye on the image. 【0027】また、図1は平行投影の場合の最近点、最遠点、観察者の輻輳と調節が一致する点の位置関係を示す図である。 Further, the nearest point in the case of FIG. 1 is parallel projection, the farthest point is a diagram showing the positional relationship of the point adjustment the observer congestion match. 図1において、Aは表示される画像の最近点、Bは最遠点、Cは観察者の輻輳と調節が一致する点を示す。 In Figure 1, A is the nearest point of the displayed image, B is the farthest point, C is shows the point where the adjusting the observer congestion match. 図1に示す平行投影の場合、Dc の視差がある画像を表示すると、スクリーン上では同じ点に表示され、観察者の輻輳と調節が一致する。 For the parallel projection shown in FIG. 1, when displaying an image having a parallax Dc, is on the screen are displayed on the same point, it is adjusted the observer congestion match. 【0028】上述の図3と図1の画像内における視差は、観察者にスクリーン面(Cを含む面)に対して手前か奥かという立体感として知覚されるが、視差が大きくなると融合しなくなったり(2重に見える状態)、観察者に違和感・不快感を与えたりする。 The parallax in the image of the 3 above 1, but is the perceived as a three-dimensional sense of whether the front or back with respect to the screen surface to the observer (the plane including the C), fused to the parallax becomes larger lost or (state that looks to double), or giving a sense of discomfort, discomfort to the observer. 【0029】観察者の見やすさの改善は、最近点、最遠点、撮像時の輻輳点をもとに、画像を図3に示す方向(画像1、画像2を各々の投射軸の垂直面内で水平方向)にずらすことにより、輻輳点と最遠距離、最近距離との位置関係を変化させることで可能となる。 The improvement of the observer's visibility is nearest point, farthest point, based on the convergence point at the time of imaging, a direction (image 1 showing the image in FIG. 3, the vertical surface of each projection axis image 2 by shifting in the horizontal direction) at the inner, it made possible by changing the convergence point and the farthest distance, the positional relationship between the shortest distance. 画像のずらし方については、例えば画像間の視差の平均値を相殺するようにずらすことによって、画像全体を均一に見やすくできる。 The manner of shifting of the image, for example by shifting to offset the average value of the parallax between the images, the entire image can be uniformly visible. 【0030】図5は、そのような処理のブロック図である。 FIG. 5 is a block diagram of such a process. 図5では、簡単のために2眼式(2視点)のデータについての例を示している。 FIG. 5 shows an example of the data of binocular (2 viewpoint) for simplicity. 図5において、1は画像復号手段、2は視差推定手段、3は平均視差演算手段、4 Figure in 5, the image decoding unit 1, 2 is the disparity estimation unit, average parallax calculation means 3, 4
a,4bは画像シフト手段、5a,5bは画像表示手段である。 a, 4b are image shift means, 5a, 5b is an image display unit. 以下に各手段の動作について説明する。 A description will be given of the operation of each unit as follows. 【0031】画像復号手段1は、送信側で符号化された多視点画像データを受信し、これを復号する。 The image decoding unit 1 receives the multi-viewpoint image data encoded on the transmission side, decodes it. 画像復号手段1により復号された左右の画像は視差推定手段2に送られる。 Decoded left and right images by the image decoding unit 1 is sent to the disparity estimation means 2. 視差推定手段2は、画像復号手段1によって復号された左右の画像から各画素における視差(視差地図)を計算する。 Disparity estimation unit 2 calculates the parallax (parallax map) at each pixel from the left and right image decoded by the image decoding unit 1. 例えば、左画像を基準としてブロックマッチングにより視差を計算する場合について、図6を用いて以下に説明する。 For example, the case of calculating the parallax by the block matching left image as a reference, will be described below with reference to FIG. まず、左画像中に窓領域を設定する。 First, to set the window region in the left image. 次に、(数4)に示す残差平方和(SSD)を計算する。 Next, compute the residual sum of squares (SSD) shown in equation (4). 【0032】 【数4】 [0032] [number 4] 【0033】(数4)の計算は、dminからdmaxの範囲のdについて1画素間隔で計算する。 [0033] Calculation of equation (4) is calculated at one pixel intervals for d ranging dmax from dmin. そして、dminからdm Then, dm from dmin
axの範囲でSSDを最小にするdの値を、設定した窓領域での視差とする。 The values ​​of d for the SSD to minimize the range of ax, a parallax in the window region set. 画像の各画素における視差は、窓領域を順次ずらして設定し、上記の計算をすることによって得られる。 Parallax at each pixel of the image is set by sequentially shifting the window region is obtained by the above calculation. 【0034】SSDを計算する範囲dmin、dmaxは、最近点、最遠点の情報より計算できる。 [0034] range dmin, dmax to calculate the SSD, the closest point, can be calculated from the information of the farthest point. 図7、図8を用いて、平行撮影時と輻輳撮影時の場合のdmin、dmaxの求め方について以下に説明する。 7, with reference to FIG. 8, in the case when congestion shooting at the time of parallel imaging dmin, is described below Determination of dmax. 【0035】図7は、平行撮影の場合を示す図である。 [0035] FIG. 7 is a diagram showing the case of parallel shooting.
図7に示す座標系において、左右のレンズ中心の座標値を(−D/2,0)、(D/2,0)、撮像面とレンズ中心との距離をb、3次元空間中の物体位置の水平座標値をX0 、奥行き方向の座標値をZ0 、左右の撮像面で位置(X0、Z0)の物体からの光が撮像される水平位置をそれぞれxl0, xr0とする(xl0, xr0はカメラの光軸と撮像面の交点を原点とする平面座標系の水平座標) In the coordinate system shown in FIG. 7, the coordinate values ​​of the right and left lens center (-D / 2,0), (D / 2,0), the object in the distance b, 3-dimensional space between the imaging surface and the lens center the horizontal coordinate value of the position X0, the coordinates in the depth direction Z0, the position in the left and right image pickup surface of (X0, Z0) light from an object is respectively x10, xr0 the horizontal position being imaged (x10, xr0 is horizontal coordinate of the plane coordinate system to the intersection of the optical axis and the imaging surface of the camera as the origin)
と、図形的な関係より、 【0036】 【数5】 And, from the graphical relationship, [0036] [number 5] 【0037】となる。 The [0037]. よって、左右の画像を基準とした視差はそれぞれ、(数6)に示す式で表される。 Thus, each of the parallax relative to the left and right images, the formula shown in equation (6). 【0038】 【数6】 [0038] [6] 【0039】ここで、画像中の最近点の奥行き値をZmi [0039] In this case, Zmi the depth value of the nearest point in the image
n、最遠点の奥行き値をZmaxとすると、SSDを計算する範囲の上限dmaxと下限dminは(数7)で表される。 n, when the Zmax the depth value of the farthest point, the upper limit dmax and lower dmin range for calculating the SSD is expressed by equation (7). 【0040】 【数7】 [0040] [Equation 7] 【0041】また、図8は輻輳撮影の場合を示す図である。 Further, FIG. 8 is a diagram showing the case of a congestion shooting. 図8に示す座標系において、輻輳点(左右のカメラの光軸の交点)の座標値を(0,C)、左右のレンズ中心の座標値を(−D/2,0)、(D/2,0)、撮像面とレンズ中心との距離をb、3次元空間中の物体位置の水平座標値をX0、奥行き方向の座標値をZ0、左右の撮像面で位置(X0、Z0)の物体からの光が撮像される水平位置をそれぞれxl0,xr0とする(xl0,xr0はカメラの光軸と撮像面の交点を原点とする平面座標系の水平座標)と、図形的な関係より、 【0042】 【数8】 In the coordinate system shown in FIG. 8, the coordinate values ​​of the convergence point (the intersection of the optical axes of the right and left cameras) (0, C), the coordinate values ​​of the right and left lens center (-D / 2,0), (D / 2,0), the horizontal coordinate value of the distance b, the object position in the three-dimensional space between the imaging surface and the lens center X0, the coordinate values ​​in the depth direction Z0, the position on the imaging surface of the left and right (X0, Z0) light from the object is respectively x10, xr0 a horizontal position to be imaged and (x10, xr0 the horizontal coordinate of the plane coordinate system to the intersection of the optical axis and the imaging surface of the camera as the origin), from graphical relationship, [0042] [number 8] 【0043】となる。 The [0043]. したがって、左右の画像を基準とした時の視差はそれぞれ、(数9)に示す式で表される。 Thus, each of the parallax when the left and right images as a reference, the formula shown in equation (9). 【0044】 【数9】 [0044] [number 9] 【0045】(数9)の式中にX0が残っていることから、輻輳撮像では奥行きが同じであっても、水平方向の位置によって視差が異なる(即ち、再生される立体像が歪む)ことがわかる。 [0045] Since there is still X0 in formula (9) may be the same depth in congested imaging, parallax varies depending on the horizontal position (i.e., distorted stereo image to be reproduced) the It is seen. 今、簡単のためにX0=0(即ちZ軸)上の点における視差を考えると、(数9)にX0 Now, given the disparity of points on the X0 = 0 (i.e., Z-axis) for the sake of simplicity, X0 to (9)
=0を代入して(数10)を得る。 = 0 by substituting obtain (number 10). 【0046】 【数10】 [0046] [number 10] 【0047】(数10)より、画像中の最近点の奥行き値Zmin、最遠点の奥行き値Zmax、輻輳点の奥行き値C [0047] than (number 10), the depth value of the nearest point in the image Zmin, the farthest point depth value Zmax, the convergence point depth value C
の位置関係と、水平画素数nx、撮像面(CCD)の幅w And the positional relationship, the width w of the horizontal pixel number nx, imaging surface (CCD)
inから視差の上限画素数dmax、下限画素数dminを決定できる。 Maximum number of pixels of the parallax from in dmax, the minimum number of pixels dmin can be determined. 【0048】Z軸上以外の点における視差を考慮する場合には、(数9)の最大値、最小値を計算することによって、視差の上限dmax、下限dminを決定できる。 [0048] When considering the disparity at a point other than the Z-axis, by calculating the maximum value, the minimum value of (9) can be determined parallax upper dmax, the lower limit dmin. 【0049】以上説明したように、画像中の最近点の奥行き値、最遠点の奥行き値、カメラの位置、カメラの光軸の向きが与えられると、視差の取るべき値の範囲を計算でき、視差演算時にSSDを計算する範囲を決定できる。 [0049] As described above, the depth value of the nearest point in the image, a depth value of the farthest point, the position of the camera, the direction of the optical axis of the camera is given, to calculate the range of values ​​to be taken by the parallax You can determine a range for calculating the SSD when parallax calculation. 平均視差演算手段3は、視差推定手段2によって計算された視差地図の平均を演算する。 Mean parallax calculation unit 3 calculates the average of the disparity map computed by the disparity estimation unit 2. 視差地図の平均は(数11)を計算することによって得られる。 The average of the disparity map is obtained by calculating the (number 11). 【0050】 【数11】 [0050] [number 11] 【0051】画像シフト手段4a、4bは、平均視差演算手段3によって得られる平均視差を有する奥行きの点が、表示面と同じ奥行き(すなわち表示面上で視差0となるように)に表示されるように画像をシフトする。 The image shifting means 4a, 4b are, in terms of depth having an average disparity obtained by the average parallax calculation means 3 is displayed in the same depth as the display surface (i.e. such that the disparity 0 on the display surface) to shift the image to. 【0052】平行投影による表示を示す図1において、 [0052] In FIG. 1 showing a display by the parallel projection,
Aは表示する画像中の最近点の奥行き、Bは最遠点の奥行き、Cは平均視差の奥行きを示す。 A is the depth of the nearest point in the image to be displayed, B is the depth of the farthest point, C is shows the depth of the average disparity. 図1から、平行投影では左右の画像間で(数12)で示すDc の視差がある場合に、スクリーン上で視差がなくなり、輻輳と調節が一致した自然な表示となることがわかる。 From Figure 1, if the parallel projection which has parallax Dc shown in between the left and right images (number 12), there is no disparity on the screen, it can be seen that a natural display congestion and regulation are identical. 【0053】 【数12】 [0053] [number 12] 【0054】画像シフト手段4aは、(数13)に示すシフト量(右方向へのシフトを正としている)だけ左画像をシフトする。 [0054] Image shift means 4a shifts the left image by shift amount shown in equation (13) (which is a shift to the right direction is positive). 【0055】 【数13】 [0055] [number 13] 【0056】そして、画像シフト手段4bは、逆方向に同じ量だけ右画像をシフトする。 [0056] Then, the image shift means 4b shifts the right image by the same amount in the opposite direction. 画像シフト手段4aおよび4bによるシフトの結果、平均視差を有する点がスクリーンと同一の奥行きに表示されるようになる。 The result of the shift by the image shifting means 4a and 4b, the point having an average disparity is to be displayed on the same depth and screen. 【0057】また、輻輳投影による表示を示す図3において、Aは表示する画像中の最近点の奥行き、Bは最遠点の奥行き、Cは平均視差の奥行きを示す。 [0057] Further, in FIG. 3 showing a display by the congestion projection, A is the depth of the nearest point in the image to be displayed, B is the farthest point depth, C is shows the depth of the average disparity. 輻輳投影では、画像の中心で視差が0の場合に、スクリーンと同一の奥行きに表示されることになる。 Congestion projections disparity at the center of the image in the case of 0, will be displayed on the screen and the same depth. したがって、輻輳投影の場合画像シフト手段4aおよび4bは平均視差を− Therefore, in the case of congestion projection image shifting means 4a and 4b are an average disparity -
1/2倍した値だけ左右の画像をシフトする。 Only one-half times the value to shift the left and right of the image. 【0058】以上のように本実施の形態によれば、多視点画像を伝送する際に、画像内の最近点、最遠点の情報を付加することにより、表示側で目の疲れない表示(視差制御)を行うことができる。 [0058] According to the present embodiment as described above, the display when transmitting multi-viewpoint image, the nearest point in the image, by adding information of the farthest point, not tired of eye display side ( parallax control) can be performed. 【0059】また、カメラの撮像面(CCD)のサイズ、撮像面とレンズ中心との距離、及びレンズの焦点距離に関する情報を付加して伝送することにより、撮影時の視野角に応じた表示を行おうとする際、被写体に接近して撮影した映像についても、表示側で撮影時の視野角を精度よく計算することができる。 [0059] In addition, the size of the imaging surface of the camera (CCD), the distance between the imaging surface and the lens center, and by being transmitted by adding information about the focal length of the lens, a display in accordance with the viewing angle at the time of shooting when trying, for image photographed in close proximity to the object it can also be calculated accurately viewing angle at the time of shooting with the display side. 【0060】なお、多視点画像中の最近点、最遠点に関する情報を付加せずに伝送する場合には、最近点、最遠点に関する情報の変わりに、最近点、最遠点に関する情報が付加されていないことを示す専用の符号を付加して伝送し、表示側において、予め設定した範囲内で視差の計算を行うことにより、画像内の最近点、最遠点での視差を推定することができ、本発明に含まれる。 [0060] In addition, the nearest point in the multi-viewpoint image, in the case of transmission without adding information about the farthest point, the nearest point, instead of the information about the farthest point, the nearest point, information related to the farthest point appended transmitted by adding a special code indicating that no, the display side, by performing the calculation of the disparity within the preset range, the nearest point in the image, estimates a disparity at the farthest point it can be included in the invention. 【0061】さらに、伝送側において、多視点画像中の最近点、最遠点に関する情報を特定の奥行き値に設定することにより、その設定された特定の奥行き範囲での視差が融合範囲に入るように視差制御することができ、本発明に含まれる。 [0061] Further, in the transmission side, the closest point in the multi-view image, by setting a specific depth value information about the farthest point, so that the parallax at that set a particular depth range enters the fusing range You can parallax control to be included in the present invention. 【0062】また、本発明においては視差の計算を表示側で行う例について説明したが、符号化された画像中に含まれる視差を用いてもよく、本発明に含まれる。 [0062] Further, although in the present invention has been described an example of performing the display side calculation of parallax may use parallax included in the encoded image, it included in the present invention. 図1 Figure 1
0を用いてそのような例について説明する。 It described such an example using a 0. 【0063】図10において、画像復号手段6以外の構成の動作は、図5に示す視差制御方式と同一であるので説明を省略し、以下画像復号手段6の動作について説明する。 [0063] In FIG. 10, the operation of the image decoding means 6 except for the configuration is the same as the parallax control method shown in FIG. 5 will not be described, the operation of the image decoding unit 6 will be described below. 画像復号手段6は、符号化された画像データを復号し、左右の画像と左画像を基準とした視差を出力する。 Image decoding means 6 decodes the encoded image data, and outputs the parallax relative to the left and right image and the left image. MPEG−2による多視点画像伝送方式で2眼式画像を伝送する際には、左画像を基準とする視差補償により圧縮率を高めている。 When transmitting binocular images at multi-viewpoint image transmission method according to MPEG-2 is to enhance the compression ratio by the parallax compensation relative to the left image. 符合化された画像データ中から視差を取り出すことにより、表示側で視差の計算をする必要がなくなり、表示側での演算量を低減できる。 By taking out the parallax from being encoded image data, it is not necessary to the calculation of parallax on the display side, it can be reduced calculation amount at the display side. 【0064】なお、平均視差演算手段3による視差の平均の計算は、画面の中央部を重視して(数14)による重み付け平均値を用いてもよい。 [0064] The average calculation of the mean of the parallax by the parallax calculating unit 3 may use a weighted average value by emphasize a central portion of the screen (number 14). こうのようにすれば、 If as this,
画像の中心部で、より融合しやすい視差制御を行え、本発明に含まれる。 In the center of the image, can more fused easily parallax control, it is included in the present invention. 【0065】 【数14】 [0065] [number 14] 【0066】図9(a)(b)(c)は、(数14)による重み付け平均の計算に用いる重みの分布の例を示す。 [0066] Figure 9 (a) (b) (c) shows an example of the distribution of weights used to calculate the weighted average according to equation (14). 簡単のため1次元的に示しているが、実際には、画像中央部で周辺部よりも大きな値となる2次元的な分布である。 Although easy for one-dimensionally illustrated, in fact, a two-dimensional distribution becomes a value greater than the peripheral portion in the center of the image. また、重みの値はすべて0以上の値(負でない値)である。 Also, the weight values ​​are all 0 or more values ​​(non-negative value). (第2の実施の形態)図11は、本発明の第2の実施の形態における視差制御方式のブロック図である。 (Second Embodiment) FIG. 11 is a block diagram of a parallax control method according to the second embodiment of the present invention. 図11 Figure 11
において、頻度計算手段7、シフト量演算手段8以外の構成は、第1の実施の形態におけるものと同一の動作を行うものであるため、第1の実施の形態での説明図と同一の符号を付し、説明を省略する。 In, the frequency calculation unit 7, the configuration other than the shift amount calculation means 8, since it performs the same operation as those in the first embodiment, the same reference numerals and illustration of the first embodiment was subjected, the description thereof is omitted. 以下に頻度計算手段7、シフト量演算手段8の動作について説明する。 Below the frequency calculation unit 7, the operation of the shift amount calculation means 8 will be described. 【0067】頻度計算手段7は、画像復号手段6によって復号された左画像基準の視差の頻度を計算する。 [0067] The frequency calculation unit 7 calculates the frequency of the parallax of the left image reference decoded by the image decoding unit 6. 視差の頻度とは、画像のある領域(たとえば、画像全体でもよいし、いっての基準で決めた特定の領域でもよい)内における視差の各値毎に計算した画素数である。 The frequency of parallax, a picture region (for example, may be the entire image, it said or at specific areas decided by the reference of) the number of pixels calculated for each value of the disparity in the. シフト量演算手段8は、頻度計算手段7によって計算された(画像間での)視差の頻度と画像の視野角に応じた人の目の融合範囲とから、融合範囲内の視差の頻度の和が最大になるシフト量を演算し、画像シフト手段4a, 4b From the shift amount computing unit 8 was calculated by the frequency calculation unit 7 (between the image) and the frequency and eye fusing range of a person in accordance with the viewing angle of the image of the parallax, the sum of the frequencies of the disparity in the fusing range There calculates the shift amount becomes the maximum, the image shifting means 4a, 4b
に出力する。 And outputs it to. 【0068】図12は、シフト演算手段8の構成の一例を示す。 [0068] Figure 12 shows an example of a configuration of a shift operation means 8. 図12において、9はMPU、10は融合範囲テーブルである。 12, 9 MPU, 10 is a fusion range table. MPU9は画像表示面の幅と観察距離から(数15)に示す水平方向の視野角を計算し、該視野角における融合範囲を融合範囲テーブル10から読み出す。 MPU9 calculates the viewing angle in the horizontal direction indicated by the width and the viewing distance of an image display surface (number 15), reads out the fusing range in the visual field angle from the fusion range table 10. 【0069】 【数15】 [0069] [number 15] 【0070】図13は融合範囲テーブルの特性の1例を示す。 [0070] Figure 13 shows an example of characteristics of the fusing range table. 図13において、横軸は画像表示面の水平方向の視野角であり、縦軸は視差の融合範囲((数16)により角度換算している)である。 13, the horizontal axis represents the viewing angle in the horizontal direction of the image display surface, and the vertical axis represents the fusion range of parallax ((are angle conversion by the number 16)). 【0071】 【数16】 [0071] [number 16] 【0072】なお、図13の縦軸の符号は負の側が表示面よりも手前に知覚される視差、正の側が表示面よりも奥に知覚される視差を示している。 [0072] Incidentally, the sign of the vertical axis of FIG. 13 shows a parallax disparity negative side is perceived in front of the display surface, the positive side is perceived behind than the display surface. 図14は、(数1 14, (number 1
6)の図形的な意味を示す図である。 It is a diagram illustrating a graphical means of 6). 図14は、角度換算した視差θは画像表示面上での視差Δを視野角に換算したものであることを示す。 14, the parallax θ that angle conversion indicating that is obtained by converting the parallax Δ of the image display surface on the viewing angle. 【0073】一方、図1および図3に示す平行投影と輻輳投影において、画像の位置(例えば液晶プロジェクタであれば液晶上の画素の位置)xl1,xr1 と表示面上での位置Xl,Xr の位置関係は、それぞれ(数17)(数19)となり、表示面上での視差は(数18)(数2 [0073] On the other hand, in the congestion projected parallel projection shown in FIGS. 1 and 3, the position of the image (for example, the position of the pixel on the liquid crystal in a liquid crystal projector) xl1, xr1 a position on the display surface Xl, the Xr positional relationship, respectively (number 17) (number 19), and the parallax on the display surface (number 18) (number 2
0)となる。 0) and a. 【0074】 【数17】 [0074] [number 17] 【0075】 【数18】 [0075] [number 18] 【0076】 【数19】 [0076] [number 19] 【0077】 【数20】 [0077] [number 20] 【0078】そして、撮影時の撮影面上での座標値(x [0078] Then, the coordinate value on the imaging surface at the time of shooting (x
l0,yl0),(xr0,yr0)と、投影時の画像の位置(x l0, yl0), (xr0, yr0) and the position of the image during projection (x
l1,yl0),(xr1,yr1)(例えば液晶プロジェクタであれば液晶上の画素の位置)との関係は、(数21)で表される。 l1, YL0), the relationship between the (xr1, yr1) (for example, the position of the pixel on the liquid crystal in a liquid crystal projector) is expressed by equation (21). 【0079】 【数21】 [0079] [number 21] 【0080】ここで、撮像面の幅winはカメラパラメータから得られ、表示時の画像幅woutは表示系固有の値である。 [0080] Here, the width win of the imaging surface is obtained from the camera parameter, image width wout during display is a display system-specific value. 【0081】撮像時の条件(平行撮影/輻輳撮影)に応じて(数5)もしくは(数8)を用いてxl0,xr0を計算し、(数21)によりxl1,xr1に変換する。 [0081] Depending on the conditions at the time of imaging (parallel imaging / congestion shooting) (5) or the x10, xr0 using equation (8) is calculated and converted to xl1, xr1 by (Expression 21). 更に、 In addition,
投影時の条件(平行投影/輻輳投影)に応じて、(数1 Depending on the projection when the condition (parallel projection / congestion projection), (Equation 1
8)もしくは(数20)を計算することにより、撮像条件、投影条件の双方を考慮して、表示画面上での視差を計算できる。 By calculating the 8) or (Expression 20), the imaging condition, taking into account both the projection conditions, can be calculated parallax on the display screen. 【0082】MPU9は、融合範囲テーブル10から読み出した融合範囲を表示面上での視差(距離)に換算し、 [0082] MPU9 are translated fusion range read from the fusion range table 10 to the parallax (distance) on the display surface,
画像表示面上での視差の融合範囲を決定する。 Determining a fusion range of the parallax of the image display surface. そして、 And,
MPU9は、上述した画像データにおける視差と画像表示面上での視差の関係とを用いて、融合範囲内の視差の頻度の和が最大になるような、画像データに対するシフト量を計算する(視差制御による画像のシフトは、視差の頻度分布を図15において水平方向に移動させることを意味する)。 MPU9, using the relationship between the parallax on the parallax image display surface of the image data described above, the sum of the frequencies of the disparity in the fusion range that maximizes calculates the shift amount for the image data (parallax shift of the image by the control means to move the frequency distribution of parallax in the horizontal direction in FIG. 15). 【0083】画像シフト手段4a,4bによって該出力シフト量だけ逆方向に画像をシフトし、画像表示手段5 [0083] Image shift means 4a, shifting the image only in the opposite direction the output shift amount by 4b, the image display unit 5
a,5bによって表示することにより、融合範囲内での視差の頻度の和が最大(すなわち画像内で融合する画素の面積が最大)になる表示を行うことができる。 a, by displaying the 5b, the sum of the frequency of parallax in the fusing range can make a maximum (i.e., the area of ​​the pixel to fuse in the image is the highest) display becomes. 【0084】以上説明したように、本実施の形態によれば、人の目の融合範囲に応じた視差制御を行うことによって、表示時に画像のより多くの部分で視差を融合範囲内に入るようにすることができる。 [0084] As described above, according to this embodiment, by performing the parallax control according to the fusion range of the human eye, to enter the parallax within the fusion range more of the image when displayed it can be. 【0085】なお、本実施の形態では、融合範囲内での視差頻度の和が最大になる視差制御について説明したが、視差の平均値が融合範囲の中央になるように視差制御してもほぼ同等の効果を得ることができ、本発明に含まれる。 [0085] In the present embodiment, although the sum of the disparity frequency within the fusion range is described parallax control of maximum, substantially be parallax control so that the average value of the parallax is in the middle of the fusing range it is possible to obtain the same effect, it is included in the present invention. 【0086】また、伝送側において、最近点及び最遠点を、実際の画像中の最近点及び最遠点とは異なる値に設定し、表示側において該設定値の最近点及び最遠点に相当する各々の視差の平均の視差が、融合範囲の中央になるように視差制御することにより、画像作成者の意図する奥行きでの画像を優先的に観察者に提示することができ、本発明に含まれる。 [0086] Further, in the transmission side, the nearest point and the farthest point is set to a value different from the nearest point and the farthest point in the actual image, the nearest point and the farthest point of the set value in the display side the average of the disparity of each of the parallax corresponding is, by parallax controlled to be in the middle of the fusing range, the image in the intended depth of the image creator can be presented preferentially to the viewer, the present invention include. (第3の実施の形態)本発明の第3の実施の形態は、1 Third Embodiment (Third Embodiment) The present invention, 1
組の画像対を入力し、初期視差と初期視差の信頼性とを計算し、基準画像と初期視差の信頼性とから物体輪郭線を検出し、初期視差と初期視差の信頼性と検出された物体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の低い領域での視差を決定する。 Enter a set of image pairs, and reliability of the initial parallax and initial disparity calculated, to detect an object contour and a reliability of the reference image and the initial disparity is detected and reliability of the initial parallax and initial parallax from the object outline, determining a disparity in the unreliable early parallax near the object contour region. このとき視差は、物体輪郭線において変化し、かつ、周囲の視差とは滑らかに接続するように決定する視差推定方法およびその装置である。 In this case the disparity varies in the object outline, and a disparity estimation method and apparatus for determining to smoothly connect with the surrounding parallax. 【0087】本実施の形態では前述した構成により、基準画像と参照画像の1組の画像対から、初期視差と初期視差の信頼性とを計算し、基準画像と初期視差の信頼性とから物体輪郭線を検出し、初期視差と初期視差の信頼性と検出された物体輪郭線とから、物体輪郭線近傍の初期視差の信頼性の低い領域での視差が、物体輪郭線において変化し、かつ、周囲の視差とは滑らかに接続するように決定する。 [0087] With the configuration described above in this embodiment, the object from the set of image pairs of the reference image and the reference image and the reliability of the initial parallax and initial disparity calculated, and reliability of the reference image and an initial disparity detecting the contour, the reliability of the initial parallax and initial disparity between the detected object contour, disparity in the region of low reliability of the initial parallax near the object contour changes in the object outline, and It is determined so as to smoothly connect the surrounding parallax. 【0088】図16は、本発明の第3の実施の形態における視差推定装置のブロック図である。 [0088] Figure 16 is a block diagram of a parallax estimation apparatus according to the third embodiment of the present invention. 【0089】図16において、201はブロックマッチングによる初期視差を計算する初期視差推定部、202 [0089] In FIG. 16, 201 initial disparity estimation unit that calculates an initial disparity by block matching, 202
は初期視差推定時の信頼性評価部、203は輪郭検出部、204は物体輪郭付近での視差推定部である。 Reliability evaluation unit in the initial disparity estimation, 203 contour detecting unit, 204 is a disparity estimation unit near the object outline. 【0090】以下に上記構成の動作について説明する。 [0090] The operation of the following to the above-mentioned structure will be described. 【0091】初期視差推定部201は、(数22)に示す残差平方和(Sum of Squared diff [0091] The initial disparity estimation unit 201, the residual sum of squares shown in equation (22) (Sum of Squared diff
erences 以下SSD)の計算を行う。 erences the calculation of less than SSD). (数2 (Number 2
2)によるSSDの値は、基準画像に設定した窓領域と参照画像中に設定した窓領域内の画素値の分布が似ているところでは小さな値となり、逆に双方の窓領域内での画素値の分布が異なるところでは大きな値となる。 The value of the SSD by 2) becomes a small value where the distribution of the pixel values ​​within the window region set in the reference image and set the reference image window region are similar, the pixels within both window region conversely distribution of values ​​is a major value is in a different place. 初期視差推定部201は、所定の探索範囲内でSSDの値を最小とする画像間のずれ量dを着目点(x,y)における視差とし、その視差の値を物体輪郭付近での視差推定部204に出力し、探索範囲内でのSSDの最小値を初期視差推定時の信頼性評価部202に出力する。 The initial disparity estimation unit 201, the displacement d between the image target point that minimizes the value of the SSD within a predetermined search range (x, y) and disparity in the disparity estimate of the value of the disparity in the vicinity of the object contour output to section 204, and outputs the minimum value of SSD in the search range the reliability evaluation unit 202 at the time of initial disparity estimation. 【0092】 【数22】 [0092] [number 22] 【0093】図17は、初期視差推定部201による上記初期視差推定(ブロックマッチング)を説明する図である。 [0093] Figure 17 is a diagram illustrating an initial disparity estimation unit 201 the initial disparity estimation using (block matching). 図17において、着目点(x,y)を中心にして設定した窓領域が、(数22)の積分領域Wを示す。 17, attention point (x, y) is a window region set around the shows the integral regions W of the equation (22). 窓領域を順次ずらして設定し、上記のSSDの計算を行うことにより画像全体での初期視差を得ることができる。 Set sequentially shifting the window region, it is possible to obtain the initial disparity of the entire image by performing the calculation of the above SSD. 【0094】初期視差推定時の信頼性評価部202は、 [0094] reliability evaluation unit 202 at the time of initial disparity estimation,
初期視差推定部201による視差計算で得られたSSD SSD obtained by the disparity calculation by the initial disparity estimation unit 201
の探索範囲中での最小値、窓領域(ブロック)内の画素数、画像間のノイズの分散、窓領域内での基準画像の水平垂直方向の輝度こう配の2乗の平均値から、(数2 Minimum number of pixels in the window region (block), the variance of noise between images, from the square of the average value of the horizontal and vertical directions of the luminance gradient of the reference image in the window region, (the number in the search range of 2
3)に示す対応付けの信頼性評価値を計算する。 Calculating a correlation of reliability evaluation value shown in 3). 【0095】 【数23】 [0095] [number 23] 【0096】(数23)の値は、小さいほど視差推定の信頼性が高いことを示し、逆に大きいほど信頼性が低いことを示す。 [0096] The value of (number 23), indicates a high reliability of the smaller parallax estimation, indicate that the lower the reliability large reversed. 【0097】図18は、輪郭検出部203の構成の一例を示すブロック図である。 [0097] Figure 18 is a block diagram showing an example of the configuration of the edge detector 203. 図18において、205は基準画像を輝度成分と色成分に分離するYC分離回路、2 In Figure 18, YC separation circuit for separating the reference image into a luminance component and a color component 205, 2
06A,206B,206Cは、上記分離された輝度成分Y、色成分R−Y,B−Yからそれぞれエッジを検出するエッジ検出回路、207はエッジ検出結果の稜線における強度のみを出力する稜線検出部、208は初期視差推定値の信頼性の低い領域で1の重みを出力し、初期視差推定値の信頼性の高い領域では0の重みを出力する重み発生回路である。 06A, 206B, 206C, said separated luminance component Y, color components R-Y, the edge detection circuit from each B-Y to detect the edge, 207 ridge detector for outputting only the intensity at the ridge line of the edge detection result , 208 outputs a weight of 1 in unreliable initial disparity estimate region, a reliable initial disparity estimate area is a weight generation circuit for outputting a zero weight. 【0098】以下に上記構成の動作について説明する。 [0098] The operation of the following to the above-mentioned structure will be described. 【0099】YC分離回路205は、基準画像を輝度成分Y、色成分R−Y,B−Yに分離し出力する。 [0099] YC separation circuit 205, the luminance component reference image Y, color components R-Y, is separated into B-Y output. 【0100】エッジ検出回路206A,206B,20 [0100] edge detection circuit 206A, 206B, 20
6Cはそれぞれ、上記Y,R−Y,B−Y成分からエッジ成分を検出する。 6C, respectively, the Y, to detect the R-Y, edge components from B-Y component. 図19は、エッジ検出回路206の構成の一例を示すブロック図である。 Figure 19 is a block diagram showing an example of the configuration of the edge detection circuit 206. 図19において、 In FIG. 19,
209A,209B,209Cはそれぞれ低空間周波数域、中空間周波数域、高空間周波数域におけるエッジ成分を検出する方向別フィルタ群である。 209A, 209B, 209C are each low spatial frequency region, mid spatial frequency range, a direction-filter group for detecting an edge component in the high spatial frequency range. 210、21 210,21
1、212、213は、それぞれの方向別フィルタ群を構成する方向別フィルタである。 1,212,213 is a direction-filters constituting the respective direction-filter group. 図20は、上記方向別フィルタの空間的な重みの一例であり。 Figure 20 is an example of a spatial weighting of the direction-filter. 図20(a), FIG. 20 (a), the
(b),(c)は垂直方向に連続するエッジを、 (B), (c) a edge continuous in the vertical direction,
(d),(e),(f)は斜め方向のエッジを検出するものである。 (D), (e), (f) is for detecting the diagonal edge. 【0101】尚、(a),(d)が高空間周波数域、 [0101] In addition, (a), (d) the high spatial frequency range,
(b),(e)が中空間周波数域、(c),(f)が低空間周波数域用の重みの分布の一例を示す。 (B), (e) is mid spatial frequency range, shows an example of the distribution of the weight for (c), the low spatial frequency region (f). 水平および他方の斜め方向のエッジ検出は、図20の計数の配置を90度回転させればよい。 Edge detection in the horizontal and the other oblique direction, the arrangement of the counting of Figure 20 may be rotated 90 degrees. また、エッジの方向は45度刻みに限る必要はなく、30度刻みなどでもよいのは当然である。 The direction of the edge is not necessarily limited to increments of 45 degrees, it is to be in such increments 30 degrees of course. 【0102】また、方向別フィルタの空間的な重みは図20に示すものに限る必要はなく、方向毎についての微分型の重み分布になっていればよいのは当然である。 [0102] Further, the spatial weights direction-filter need not be limited to those shown in FIG. 20, the it is sufficient that the weight distribution of the differential for each direction is natural. 各方向別のエッジ強度の算出法を式で示すと(数24)になる。 The calculation method of the direction-of the edge intensity becomes the shown by equation (24). 【0103】 【数24】 [0103] [number 24] 【0104】統合部214は方向別フィルタ210,2 [0104] integration section 214 direction by filter 210,2
11,212,213の出力を統合する。 To integrate the output of 11,212,213. 統合部214 Integration unit 214
による統合の一例を式で示すと(数25)になる。 When shown by the formula of an example of integration by becomes (number 25). 【0105】 【数25】 [0105] [number 25] 【0106】尚、統合部214による統合は(数25) [0106] Incidentally, the integration by the integrating unit 214 (the number 25)
で示される2乗和の形式のものに限る必要はなく、絶対値和の形式のものなどでもよいのは当然である。 In need not be limited to those of the form of the sum of squares indicated, the or the like of the type of the absolute value sum is natural. 【0107】輝度成分Y、色成分R−Y,B−Yについて、高空間周波数域、中空間周波数域、低空間周波数域でそれぞれ統合部214A,214B,214Cにより統合されたエッジ強度は、乗算され出力される。 [0107] the luminance component Y, color components R-Y, the B-Y, the high spatial frequency range, mid spatial frequency range, respectively in the low spatial frequency region integrating unit 214A, 214B, edge intensity integrated by 214C is multiplied to be output. そして、Y,R−Y,B−Y各成分についての上記エッジ強度は、加算され稜線検出部7に転送される。 Then, Y, R-Y, the edge intensities for B-Y components is transferred to ridge detector 7 is added. 【0108】尚、輪郭検出部203における基準画像の輝度成分、色成分への分離はY,R−Y,B−Yに限る必要はなく、R,G,B等他の成分へ分離してもよいのは当然である。 [0108] Incidentally, the luminance component of the reference image in the contour detecting section 203, the separation of the color components Y, R-Y, not necessarily limited to B-Y, separated R, G, to B, etc. Other ingredients is a matter of course may be is. また、Y,R−Y,B−Yについての上記エッジ強度は加算後に稜線検出部207に転送するものに限る必要はなく、乗算後に稜線検出部207に転送してもよい。 Also, Y, R-Y, the edge intensities for B-Y need not be limited to those to be transferred to the edge line detecting unit 207 after the addition may be transferred to the edge line detecting unit 207 after the multiplication. 【0109】図18に戻って、稜線検出部207は、上記Y,R−Y,B−Yについて加算されたエッジ強度の稜線における値のみを出力する。 [0109] Returning to FIG. 18, the edge line detecting unit 207, the Y, R-Y, B-Y and outputs only the values ​​in the ridge line of the added edge strength for. 図21は、稜線検出部207の構成の一例である。 Figure 21 is an example of the configuration of the edge line detecting unit 207. 図21において、水平稜線検出回路215は着目画素でのエッジ強度が着目点の上下の画素でのエッジ強度の双方よりも大きい場合に1を出力し、そうでない場合には0を出力する。 In FIG 21, the horizontal edge line detecting circuit 215 edge strength at the target pixel outputs a 1 is greater than both of the edge intensities in the upper and lower pixels of the target point, otherwise outputs a 0. 【0110】同様に、垂直稜線検出回路216は着目画素でのエッジ強度が着目点の左右の画素でのエッジ強度の双方よりも大きい場合に1を出力し、そうでない場合には0を出力する。 [0110] Similarly, the vertical edge line detecting circuit 216 outputs 1 if the edge intensity at the target pixel is greater than both of the edge intensities of the left and right pixels of the target point, and outputs the 0 otherwise . 水平稜線検出回路215と垂直稜線検出回路216の出力は、OR演算され、更に入力信号と乗算して出力される。 The output of the horizontal edge line detecting circuit 215 and the vertical edge line detecting circuit 216 is an OR operation is outputted by multiplying the further input signal. すなわち、稜線検出部207 That is, the edge line detecting unit 207
は、水平方向もしくは垂直方向に隣接する画素でのエッジ強度よりも強いエッジ強度を有する画素(すなわち稜線となっている画素)におけるエッジ強度のみを出力し、その他の画素については0を出力する。 Outputs only the edge intensities in pixels (i.e. pixels which has a ridge) with a strong edge strength than the edge intensity at pixels adjacent in the horizontal direction or vertical direction, for other pixel outputs 0. 【0111】再び図18に戻って、重み発生回路208 [0111] Returning again to FIG. 18, the weight generating circuit 208
は、初期視差推定値の信頼性評価値がしきい値以上の時1を出力し、しきい値未満の時には0を出力する。 The reliability evaluation value of the initial disparity estimates outputs 1 when above threshold, when less than the threshold and outputs a zero. 重み発生回路208の出力を稜線検出部207の出力と乗算することにより、初期視差推定値の信頼性が低いところでのエッジ、すなわち視差が不連続に変化する物体輪郭線を抽出できる。 By multiplying the output of the weight generation circuit 208 and the output of the edge line detecting unit 207, an edge of at unreliable initial disparity estimate, i.e. the object contour parallax changes discontinuously can be extracted. また、重み発生回路208の出力は、 The output of the weight generating circuit 208,
後述する物体輪郭付近での視差推定部204の演算領域メモリに記憶される。 It is stored in the operation area memory of the parallax estimation unit 204 in the vicinity of an object contour to be described later. 物体輪郭線の抽出を式で示すと(数26)となる。 When showing the extraction of the object contour in the formula becomes (number 26). 【0112】 【数26】 [0112] [number 26] 【0113】尚、エッジ検出結果206A,206B, [0113] In addition, edge detection result 206A, 206B,
206Cの出力を加算して稜線検出部7に入力するように限る必要はなく、乗算して稜線検出部207に入力してもよい。 Need not be limited to be input to the edge line detecting unit 7 adds the output of 206C, it may be input to the edge line detecting unit 207 multiplies. また、稜線検出部207の出力と乗算される重み発生回路208による重み発生の方法は、0と1の2値に限る必要はなく、初期視差推定時の信頼性に応じて連続的な値を出力してもよいのは当然である。 Further, the method of weight caused by the weight generating circuit 208 is multiplied with the output of the edge line detecting unit 207, 0 and need not be limited to the two values ​​of 1, a continuous value in accordance with reliability during the initial disparity estimation it is a matter of course may also be output. 【0114】物体輪郭付近での視差推定部204は、物体輪郭線近傍の初期視差推定値の信頼性の低い領域での視差を、輪郭強度、初期視差から再計算する。 [0114] object disparity estimation unit 204 in the vicinity of the contour is, the parallax of an unreliable initial disparity estimation values ​​of the neighboring object contour region, to recalculate the edge intensity, the initial disparity. 物体輪郭付近での視差推定部204は、(数27)で定義される視差の分布についてのエネルギーを最小化する視差分布を計算する。 Parallax estimation unit 204 in the vicinity of the object contour, calculating the parallax distribution that minimizes the energy of the distribution of the parallax defined by equation (27). 【0115】 【数27】 [0115] [number 27] 【0116】重み関数w(x,y)は滑らかさのパラメータと輪郭強度により(数28)として定義する。 [0116] weighting function w (x, y) is defined by the parameters and the outline intensity of smoothness as (number 28). 【0117】 【数28】 [0117] [number 28] 【0118】(数27)を最小にする視差分布の条件は(数29)である。 [0118] Conditions of parallax distribution that minimizes the equation (27) is (number 29). 【0119】 【数29】 [0119] [number 29] 【0120】(数29)の微分方程式は、有限要素法(FEM)等の公知の技術によって数値的に解くことができる。 [0120] differential equation (Equation 29) can be solved numerically by known techniques such as the finite element method (FEM). 【0121】図22は、物体輪郭付近での視差推定部2 [0121] Figure 22 is a parallax estimation unit 2 near the object outline
04の構成の一例を示すブロック図である。 04 is a block diagram showing an example of the configuration. 図22において、217は視差分布エネルギー用の重みを発生する視差分布エネルギー用重み発生回路、218は演算領域メモリ、219は視差メモリ、220は重みメモリ、2 In Figure 22, the parallax distribution energy for weight generation circuit for generating a weight for parallax distribution energy 217, 218 calculation region memory, 219 disparity memory, 220 is a weight memory, 2
21はFEM演算回路である。 21 is a FEM calculation circuit. 【0122】視差分布エネルギー用重み発生回路217 [0122] parallax distribution energy for weight generating circuit 217
は、輪郭強度と滑らかさのパラメータλから(数28) From the parameters of the edge intensity and smoothness lambda (number 28)
の重み関数の値を計算し、重みメモリ220に書き込む。 The value of the weight function calculated in, written in the weight memory 220. FEM演算回路221は、(数29)を有限要素法により解き、視差分布を計算する。 FEM calculation circuit 221 solves the finite element method (number 29), calculates the parallax distribution. 【0123】以上のように本実施の形態によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。 [0123] According to the present embodiment as described above, in a region of low reliability of the parallax estimates by block matching, detects an object contour, parallax changes discontinuously at the detected object contour it is possible to perform disparity estimation to. 【0124】また、本実施の形態によれば、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。 [0124] Further, according to this embodiment, it is possible to perform the parallax estimated as parallax changes discontinuously at the object contour line of an arbitrary shape. 【0125】尚、物体輪郭付近での視差推定は、視差が物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに接続すればよく、(数27)に示すエネルギーを最小化する視差として計算する方法に限る必要はない。 [0125] Incidentally, the disparity estimation in the vicinity object outline, parallax changes at the object outline, and may be smoothly connected to the surrounding parallax, parallax to minimize the energy shown in equation (27) not necessarily limited to the method for calculating as. そのような例について、以下に説明する。 For such an example will be described below. (第4の実施の形態)図23は、本発明の第4の実施の形態における視差推定装置の構成を示すブロック図である。 (Fourth Embodiment) FIG. 23 is a block diagram showing a configuration of a disparity estimation apparatus according to a fourth embodiment of the present invention. 図23において、201はブロックマッチングによる初期視差を計算する初期視差推定部、202は初期視差推定時の信頼性評価部、222は輪郭検出部、223 23, 201 initial disparity estimation unit that calculates an initial disparity by block matching, 202 reliability evaluation unit during initial disparity estimation, 222 contour detecting unit, 223
は物体輪郭付近での視差推定部である。 Is a disparity estimation unit near the object outline. 【0126】上記構成において、輪郭検出部222、物体輪郭付近での視差推定部223以外の構成の動作は本発明の第3の実施の形態と同一であるので説明を省略し、以下に輪郭検出部222、物体輪郭付近での視差推定部223の動作について説明する。 [0126] In the above configuration, the contour detection unit 222, since the operation of the configuration other than the parallax estimation unit 223 in the vicinity of the object contour is the same as the third embodiment of the present invention will not be described, following the contour detection part 222, the operation of the parallax estimation unit 223 in the vicinity of the object outline. 【0127】まず、輪郭検出部222は、本発明の第3 [0127] First, the contour detection unit 222, the third invention
の実施の形態における輪郭検出部と同様の輪郭検出を行ない、検出結果を2値化(例えば、0と1)して出力する。 Performs similar edge detection and contour detector in the form of the embodiment, the detection result binarization (e.g., 0 and 1) and outputs. 物体輪郭付近での視差推定部223は、物体輪郭線近傍の初期視差推定値の信頼性の低い領域での視差を、 Parallax estimation unit 223 in the vicinity of the object contour, the parallax of an unreliable initial disparity estimation values ​​of the neighboring object contour region,
初期視差と輪郭検出部222によって検出された物体輪郭線とから計算する。 Calculated from the detected object contour by the initial disparity and contour detector 222. 【0128】図24は、物体輪郭付近での視差推定部2 [0128] Figure 24 is a parallax estimation unit 2 near the object outline
23による視差推定の様子を示す図である。 It is a diagram showing a state of the disparity estimation by 23. 図24において、291は初期視差推定値の信頼性の低い領域、2 Figure at 24, regions of low reliability of the initial disparity estimate 291, 2
92は輪郭検出部222によって検出された物体輪郭線、293は初期視差推定値の信頼性の高い領域、29 92 the object contour detected by the contour detecting unit 222, 293 is a reliable initial disparity estimate region, 29
4は視差を計算しようとする着目点、295は着目点を含むように設定した窓領域である。 4 points interest to try to calculate a parallax, 295 is a window region set to include the point of interest. 【0129】着目点294(x,y)における視差は、 [0129] disparity in the target point 294 (x, y) is,
設定窓領域内で初期視差推定値の信頼性の低い領域29 Low settings window area reliable initial disparity estimate region 29
1と接する周囲の領域(この場合は、初期視差推定値の信頼性の高い領域293a)での視差を用い、着目点2 1 surrounding regions (in this case, a reliable initial disparity estimate region 293a) in contact with reference to parallax, the target point 2
94での視差が、周囲の領域と着目点294との距離に応じて、周囲の領域での視差の値の影響を受けるように決定する。 Parallax at 94, according to the distance between the periphery of the region as the target point 294 is determined as affected by the parallax value in the surrounding area. この時、周囲の領域における視差は、物体輪郭線292を越えて着目点294に影響を与えないようにすることにより、物体輪郭線292の所で変化し、かつ、周囲の視差と滑らかに接続するするように視差を決定できる。 At this time, the disparity in the surrounding area, by not affecting the target point 294 beyond the object contour 292, and changes at the object contour line 292, and smoothly connected to the surrounding parallax the parallax can be determined to be. 物体輪郭付近での視差推定部223による視差推定を一例として式で表すと(数30)となる。 Expressing disparity estimation by the disparity estimation unit 223 in the vicinity of the object outline by the formula as an example a (number 30). 【0130】 【数30】 [0130] [number 30] 【0131】ただし、物体輪郭付近での視差推定部22 [0131] However, the disparity estimation unit 22 in the vicinity of the object contour
3による視差推定は、(数30)に限る必要はなく、視差が物体輪郭線で変化し、かつ、周囲の視差と滑らかに接続するものであればよいのは当然である。 3 disparity estimation by is not necessarily limited to (number 30), the parallax is changed by the object outline, and is a matter of course as long as it is smoothly connected to the surrounding parallax. 【0132】以上のように本実施の形態によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。 [0132] According to the present embodiment as described above, in a region of low reliability of the parallax estimates by block matching, detects an object contour, parallax changes discontinuously at the detected object contour it is possible to perform disparity estimation to. 【0133】また、本実施の形態によれば、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。 [0133] Further, according to this embodiment, it is possible to perform the parallax estimated as parallax changes discontinuously at the object contour line of an arbitrary shape. 【0134】さらに、本実施の形態によれば、初期視差推定値の信頼性の低い領域において、着目点近傍で比較的少数の周囲の視差を参照して視差を計算することにより、少ないメモリ容量と演算量で視差の計算を行うことができる。 [0134] Further, according to this embodiment, in the region of low reliability of the initial parallax estimation value by calculating a parallax with reference to the parallax of a relatively small number of surrounding in interest point neighborhood, less memory capacity it is possible to calculate the parallax between the amount of computation. 【0135】また、第3と第4の実施の形態で説明した視差推定の結果を用いて、左右の画像をシフトし統合することにより、それら左右の画像に対応する各々の視点の間の所定の中間視点における画像を生成できる。 [0135] The third and by using the result of the parallax estimation described in the fourth embodiment, by shifting the left and right image integration, given between each viewpoint corresponding to their left and right images images can be generated in the intermediate-viewpoint. ここで、視差推定と中間視点画像生成とは異なる場所で行ってもよい。 Here, it may be performed at a different location than the disparity estimation and the intermediate viewpoint image generation. 以下に、視差推定と中間視点画像生成とを異なる場所で行う際の伝送、受信方法について説明する。 Hereinafter, the transmission when performing a disparity estimation and intermediate-viewpoint images generated in different locations, the receiving method will be described. (第5の実施の形態)図25は、本発明の第5の実施の形態において、送信側で視差推定(もしくは動き推定) (Fifth Embodiment) FIG. 25, in the fifth embodiment of the present invention, the disparity estimator (or Motion estimation) on the transmission side
を行うシステムの送信ブロックの一例である。 It is an example of a transmission block of a system that performs. 【0136】図25において、170は左画像を基準とした視差VL を推定する視差推定手段、171は右画像を基準とした視差VR を推定する視差推定手段、172 [0136] In FIG. 25, the disparity estimation means for estimating parallax VL relative to the left image 170, disparity estimation means 171 for estimating the parallax VR relative to the right image, 172
a〜dは符号化器、173a,bは復号化器、174は左画像Lと左画像を基準とした視差VL から右画像Rを予測する予測手段、175は左画像を基準とした視差V a~d the encoder, 173a, b the decoder prediction means for predicting the right image R from the parallax VL relative to the left image L and the left image 174, 175 is disparity V relative to the left image
Lから右画像を基準とした視差VRを予測する予測手段、 Predicting means for predicting the parallax VR relative to the right image from the L,
176a,bは視差が正しく推定されない領域での視差を決定する穴埋め手段である。 176a, b is a padding means for determining a disparity in the region where the parallax is not correctly estimated. 以下に上記構成の動作について説明する。 A description will be given of the operation of the above configuration below. 【0137】まず、左画像Lは符号化器172aによって符号化される。 [0137] First, the left image L is encoded by the encoder 172a. また、視差推定手段170、171によって左右の画像をそれぞれ基準とした視差VL,VRが推定される。 Further, the parallax VL were respectively based on the left and right images by parallax estimation unit 170 and 171, VR is estimated. オクルージョン等により視差が正しく推定されない領域については、第3または第4の実施の形態で説明した視差推定方法を用いた穴埋め手段176a, For regions in which the parallax is not correctly estimated by occlusion or the like, filling means 176a using the third or disparity estimation method described in the fourth embodiment,
176bによって視差が決定される。 Parallax is determined by 176b. 【0138】次に、左画像を基準とした穴埋め後の視差は符号化器172bにより符号化される。 [0138] Then, parallax after filling relative to the left image is encoded by the encoder 172 b. 符号化された左画像を基準とした穴埋め後の視差は、復号化器173 Parallax after filling relative to the encoded left image, the decoder 173
aにより復号化され、予測器174による右画像Rの予測と、予測器175による穴埋め後の右画像を基準とした視差の予測に用いられる。 Decoded by a, and prediction of the right image R by the predictor 174, used for prediction of disparity which is based on the right image after filling by predictor 175. 予測器175による右画像を基準とした視差VR の予測は、左画像を基準とした視差を用いて、(数31)として計算する。 Prediction of parallax VR relative to the right image by the predictor 175, by using the parallax relative to the left image is calculated as (number 31). 【0139】 【数31】 [0139] [number 31] 【0140】右画像Rは予測器174による予測画像との残差をとり、符号化器172dによって符号化される。 [0140] Right image R takes a residual between the predicted image by the predictor 174 is encoded by the encoder 172d. 右画像を基準とした穴埋め後の視差VR は、予測器175による予測視差との残差をとり、符号化器172 Parallax VR after filling which is based on the right image takes the residual between the predicted disparity by predictor 175, the encoder 172
cにより符号化される。 It is encoded by c. 【0141】図26は、受信側で視差推定を行うシステムの受信ブロックの一例である。 [0141] Figure 26 is an example of a receiving block of a system for performing disparity estimation on the receiving side. 図26において、18 In Figure 26, 18
1a〜dは復号化器、174は右画像Rの予測器、17 1a~d the decoder, 174 of the right image R predictor, 17
5は右画像を基準とした視差の予測器である。 5 is a predictor of parallax which is based on the right image. 符号化された左画像L、左画像基準の視差VL、右画像基準の視差VRの予測誤差、右画像Rの予測誤差はそれぞれ復号化器181a〜181dにより復号化される。 Encoded left image L, parallax VL of the left image reference, the prediction error of parallax VR right image reference, are decoded respectively by the prediction error decoder 181a~181d the right image R. 右画像R The right image R
は予測器174による予測結果と復号化された右画像の予測誤差とを加算して復元される。 It is restored by adding the prediction error of the decoded right image and the prediction results by the prediction unit 174. 右画像基準の視差V Parallax V of the right image reference
R は、予測器175による予測結果と復号化された予測誤差とを加算して復元される。 R is restored by adding the decoded prediction error and the prediction results by the prediction unit 175. 【0142】左画像L、右画像R、左画像基準の視差V [0142] left image L, the right image R, the left image reference disparity V
L、右画像基準の視差VRが復元されると、例えば特願平7−109821号に示される中間視点画像生成方法により左右の画像の中間視点での画像を生成することができ、左画像、右画像と併せて多視点画像として表示することができる。 L, right when the image reference parallax VR of is restored, it is possible to generate an image at an intermediate point of view of left and right images by the intermediate viewpoint image generation method shown for example in Japanese Patent Application No. 7-109821, the left image, it can be displayed as a multi-viewpoint image in conjunction with the right image. 【0143】以上説明したように、上記の構成により、 [0143] As described above, the configuration of the above-mentioned,
送信側で視差推定と穴埋め処理を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。 By performing the filling processing and parallax estimation at the transmitting side, it is possible to reduce the amount of computation at the receiving side, it is possible to reduce the reception side of the apparatus scale. 【0144】また、多視点画像を伝送する際に、送信側で中間視点画像生成を行うことにより伝送量を低減した画像伝送を行うことができる。 [0144] Furthermore, when transmitting multi-view image, an image can be transmitted with a reduced transmission amount by performing intermediate-viewpoint image generated by the transmission side. そのような例について以下に説明する。 It will be described below such an example. (第6の実施の形態)図27は、本発明の第6の実施の形態における多視点画像圧縮伝送システムの送信側の構成図である。 (Sixth Embodiment) FIG. 27 is a sixth configuration diagram of a transmitting side of the multi-view image compression transmission system in the embodiment of the present invention. 図27において、101a〜101dは各視点位置での画像を撮像するカメラ、102はカメラ1 In Figure 27, 101 a to 101 d are images the image at each viewpoint camera, 102 camera 1
の画像とカメラ4の画像を圧縮し符号化する画像圧縮符号化部、103aは画像圧縮符号化部102が圧縮符号化した画像データを復号化伸長する復号化画像伸長部、 Image compression encoder for encoding and compressing the image of the image and the camera 4, 103a are decoded image decompression unit for decompressing decoded image data by the image compression encoding unit 102 compresses and encodes,
104aは復号化画像伸長部103aが復号化伸長したカメラ1の画像とカメラ4の画像から、カメラ2の視点とカメラ3の視点での画像を予測し生成する中間視点画像生成部、105はカメラ2の画像とカメラ3の画像について中間視点画像生成部104aが生成した画像との残差を圧縮し符号化する残差圧縮符号化部である。 104a from the decoded image decompression unit 103a is decoded extended camera 1 images and camera 4 images the intermediate viewpoint image generator for image predicting the generation of the perspective of the viewpoint and the camera 3 camera 2, the 105 camera the second image and the camera 3 images a residual compression coding unit for compressing and encoding the residual of the image generated intermediate viewpoint image generator 104a. 以下に上記構成の動作について説明する。 A description will be given of the operation of the above configuration below. 【0145】画像圧縮符号化部102は、多視点画像中の複数の画像(本実施の形態では4視点の画像の両端の視点の画像)を、画像間のブロック相関等を利用した既存の技術により圧縮し符号化する。 [0145] Image compression encoding unit 102, a plurality of images in the multi-viewpoint image (both ends of the viewpoint image of the image of the four viewpoints in this embodiment), the existing technology using block correlation among image to encode compressed by. 図31は、画像圧縮符号化部102の構成の一例を示す。 Figure 31 shows an example of the configuration of the image compression encoder 102. 図31において、 In FIG. 31,
107a,107bは8×8画素もしくは16×16画素毎にDCT計算を行いDCT係数を計算するDCT手段、108a,108bはDCT係数を量子化する量子化手段、109aは逆量子化手段、110aは逆DCT 107a, 107b is DCT means for calculating the DCT coefficients carried out 8 × 8 pixels or 16 × 16 DCT calculation for each pixel, 108a, 108b quantizing means for quantizing the DCT coefficients, 109a is inverse quantization means, 110a is inverse DCT
計算をおこなう逆DCT手段、111は視差検出手段、 Inverse DCT means for performing calculations, the disparity detection means 111,
112aは視差補償手段、113aは量子化されたDC 112a parallax compensation means, 113a are quantized DC
T係数と視差を符号化する符号化手段である。 The T coefficients and disparity is encoding means for encoding. 以下に上記構成の動作について説明する。 A description will be given of the operation of the above configuration below. 【0146】DCT手段107aは、カメラ1の画像をブロック毎に処理し、各ブロックについてDCT係数を計算する。 [0146] DCT unit 107a is the image of the camera 1 is processing for each block, calculates the DCT coefficients for each block. 量子化手段108aは、そのDCT係数を量子化する。 Quantizing means 108a quantizes the DCT coefficients. 逆量子化手段109aは、その量子化されたDCT係数を逆量子化する。 Inverse quantization means 109a inversely quantizes the quantized DCT coefficients. 逆DCT手段110aは、 Inverse DCT means 110a is,
その逆量子化されたDCT係数を逆変換し、受信側で得られるカメラ1の画像を復元する。 Inverse transforming the inverse quantized DCT coefficients to restore the image of the camera 1 obtained at the receiving side. 視差検出手段111 Disparity detection means 111
は復元されたカメラ1の画像とカメラ4の画像間でブロックマッチングを行い、カメラ1の画像を基準とした視差をブロック毎に計算する。 Performs block matching between the image and the camera 4 of the camera 1 has been restored image, calculates the parallax on the basis of the image of the camera 1 for each block. 視差補償手段112aは、 Parallax compensation means 112a is,
上記復元されたカメラ1の画像とブロック毎の視差を用いてカメラ4の画像を予測する(すなわち、動画像の動き補償に相当する処理を行う)。 Predicting the image of the camera 4 using the disparity of each image and the block of the reconstructed camera 1 (i.e., performs the process equivalent to the motion compensation of a moving image). DCT手段107b DCT means 107b
は、カメラ4の画像と上記予測画像の残差をブロック毎に処理しDCT係数を計算する。 Processes the residuals of the camera 4 of the image and the predictive image for each block to calculate the DCT coefficients. 量子化手段108bはその残差のDCT係数を量子化する。 Quantizing means 108b quantizes the DCT coefficients of the residual. 符号化手段113 Encoding means 113
aは、カメラ1の画像の量子化されたDCT係数、ブロック毎の視差、視差補償の残差の量子化されたDCT係数を符号化する。 a is quantized DCT coefficients of the image camera 1, the parallax for each block, the quantized DCT coefficients of the residual of the parallax compensation encoding. 【0147】また、復号化画像伸長部103aは、画像圧縮符号化部102によって圧縮符号化された画像データを復号化し伸長する。 [0147] Furthermore, decoded image decompression unit 103a decodes the image data compressed and encoded by the image compression encoder 102 elongation. 図32は、復号化画像伸長部1 Figure 32 is a decoded image decompressing unit
03aの構成の一例を示す図である。 Is a diagram illustrating an example of a configuration of 03a. 図32において、 In FIG. 32,
114aは復号化手段、109b、109cは逆量子化手段、110b,110cは逆DCT手段、112bは視差補償手段である。 114a decoding means, 109b, 109c is inverse quantization means, 110b, 110c is inverse DCT means, 112b is a parallax compensation means. 以下に上記構成の動作について説明する。 A description will be given of the operation of the above configuration below. 【0148】復号化手段114aは、圧縮符号化されたデータを復号化し、カメラ1の画像の量子化されたDC [0148] decoding unit 114a decodes the compression encoded data, quantized in the image camera 1 DC
T係数、ブロック毎の視差、視差補償の残差の量子化されたDCT係数を伸長する。 T coefficients, parallax for each block, the quantized DCT coefficients of the residual of the parallax compensation extended. カメラ1の画像の量子化されたDCT係数は、逆量子化手段109bによって逆量子化され、逆DCT手段110bによって画像として伸長される。 The quantized DCT coefficients of the image of the camera 1 is inversely quantized by inverse quantizing means 109b, is extended as an image by the inverse DCT unit 110b. 動き補償手段112bは、その伸長されたカメラ1の画像と復号化された視差から、カメラ4の予測画像を生成する。 Motion compensation means 112b from its the elongated camera 1 of the image decoded parallax generates a prediction image of the camera 4. そして、逆量子化手段109c、逆D Then, the inverse quantization unit 109c, inverse D
CT手段110cによって伸長された残差を上記予測画像に加えることにより、カメラ4の画像を伸長する。 The residual is extended by CT unit 110c by adding to the prediction image, it decompresses the image of the camera 4. 【0149】中間視点画像生成部104aは、本発明の第3もしくは第4のいずれかの実施の形態に示す方法によって、カメラ1とカメラ4の画像から画素毎の視差を計算し、カメラ2とカメラ3の画像を予測し生成する。 [0149] Intermediate viewpoint image generating unit 104a, by the method shown in the third or fourth one embodiment of the present invention, the image of the camera 1 and the camera 4 to calculate the parallax for each pixel, and the camera 2 generating predicted image of camera 3. 【0150】残差圧縮符号化部105は、カメラ2とカメラ3の画像と上記予測画像の残差を圧縮し符号化する。 [0150] residual compression encoding unit 105 compresses and encodes the residual image and the prediction image of the camera 2 and the camera 3. 中間視点画像生成部104aは、視差を画素毎に計算するため、ブロックマッチングによるブロック毎の視差計算と比較して、精度よく視差を推定できる。 Intermediate-viewpoint image generating unit 104a for calculating the parallax for each pixel, as compared to the parallax calculation for each block by block matching can be accurately estimated parallax. その結果、中間視点画像の予測誤差(すなわち残差)を小さくすることができ、圧縮効率を高めることができるとともに、より有効なビット割り当てを行うことができ、画質を維持した圧縮を行える。 As a result, it is possible to reduce the prediction errors of the intermediate-viewpoint images (i.e., residual), it is possible to increase the compression efficiency, it is possible to perform more effective bit allocation can be performed compression preserving image quality. 図33は、残差圧縮符号化部の構成の一例を示す。 Figure 33 shows an example of a configuration of a residual compression encoding unit. 図33において、107c,10 In Figure 33, 107c, 10
7dはDCT手段、108c,108dは量子化手段、 7d is DCT means, 108c, 108d is the quantization means,
113bは符号化手段である。 113b is an encoding means. カメラ2、カメラ3の画像の残差はそれぞれDCT手段107c,107dによってDCT係数に変換され、量子化手段108c,10 Camera 2, the camera 3 of each residual DCT unit 107c of the image is converted into DCT coefficients by 107d, quantizing means 108c, 10
8dによって量子化され、符号化手段113bによって符号化される。 Quantized by 8d, is encoded by the encoding means 113b. 【0151】図34は、本発明の第6の実施の形態における多視点画像圧縮伝送システムの受信側の構成図である。 [0151] Figure 34 is a sixth block diagram of the receiving side of the multi-view image compression transmission system in the embodiment of the present invention. 図34において、103bは送信側の画像圧縮符号化部102が圧縮符号化したカメラ1とカメラ4の画像データを復号化伸長する復号化画像伸長部、104bは復号化画像伸長部103bが復号化伸長したカメラ1とカメラ4の画像から、カメラ2とカメラ3の視点での画像を予測し生成する中間視点画像生成部、106はカメラ2とカメラ3の視点での予測画像の予測誤差(残差) In Figure 34, 103b are decoded image decompression unit for decompressing decoded image data of the camera 1 and the camera 4 image compression encoder 102 of the transmitting side is compressed and encoded, 104b are decoded image decompression unit 103b is decoded from the image of the extended cameras 1 and 4, the intermediate-viewpoint image generation unit for generating predicted images of the viewpoint of the camera 2 and the camera 3, 106 prediction error of the prediction image of the point of view of the camera 2 and the camera 3 (remaining difference)
を復号化し伸長する復号化残差伸長部である。 A decoding residual extension unit which decodes extended to. 復号化画像伸長部103bおよび中間視点画像生成部104bの動作については、送信側の復号化画像伸長部103aおよび中間視点画像生成部104aの動作と同一であるので説明を省略し、以下に復号化残差伸長部の動作について説明する。 The operation of the decoded image decompression unit 103b and the intermediate viewpoint image generator 104b, not described are the same as the operation of the decoded image decompression unit 103a and the intermediate-viewpoint image generating unit 104a of the transmitting side, following the decoding a description will be given of the operation of the residual extension portion. 【0152】復号化残差伸長部106は、送信側の残差圧縮符号化部105によって圧縮符号化されたカメラ2 [0152] decoding the residual extension unit 106, a camera 2 that is compressed and encoded by the sender of the residual compression coding unit 105
とカメラ3の視点での予測画像の予測誤差(残差)を復号化し伸長する。 To decrypt decompresses prediction error of the predicted image from the perspective of the camera 3 (residual). 図35は、復号化残差伸長部106の構成の一例を示す。 Figure 35 shows an example of a configuration of a decoding residual extension portion 106. 図35において、114bは復号化手段、109d,109eは逆量子化手段、110d, In Figure 35, 114b decoding means, 109d, 109e are inverse quantization means, 110d,
110eは逆DCT手段である。 110e is an inverse DCT means. 圧縮符号化されたカメラ2とカメラ3の画像の残差データは、復号化手段11 Residual data compression coded camera 2 and the camera 3 images, decoding means 11
4bによって復号化され、それぞれ、逆量子化手段10 Decoded by 4b, respectively, the inverse quantization means 10
9d,109eにより逆量子化され、逆DCT手段11 9d, dequantized by 109e, an inverse DCT unit 11
0d,110eにより伸長される。 0d, is extended by the 110e. 復号化伸長されたカメラ2とカメラ3の画像の残差を、中間視点画像生成部104bによって生成された画像にそれぞれ重畳することにより、カメラ2とカメラ3の視点の画像を復元する。 The residual of the decoding decompressed cameras 2 and 3 of the image, by superimposing the respective images generated by the intermediate-viewpoint image generating unit 104b, to restore the image of the view of the cameras 2 and 3. 【0153】以上のように、本実施の形態によれば、送信側で、多視点画像中の隣接しない2つの画像からその中間視点の画像を生成し、その生成した中間視点画像とその中間視点の実際の画像との残差を求め、上記2つの画像と中間視点画像の残差とを圧縮符号化して伝送する。 [0153] As described above, according to this embodiment, the transmitting side generates an image of the intermediate viewpoint from the two images that are not adjacent in the multi-viewpoint image, the intermediate-viewpoint intermediate viewpoint images thus generated calculated residuals from the actual image, and transmits the compressed and encoded and residuals of the two images and the intermediate viewpoint image. 受信側で、伝送されてきた2つの画像と中間視点画像の残差とを復号化伸長し、2つの画像から中間視点の画像を生成し、復号化伸長した中間視点画像の残差を重畳して中間視点での実際の画像に対応する画像を復元する。 On the receiving side, and decompressed and decoded and residuals two images and an intermediate viewpoint image that has been transmitted, to generate an image of the intermediate viewpoint from the two images, and superimposes the residual of the intermediate-viewpoint image obtained by decoding extended to restore the image corresponding to the actual image at the intermediate viewpoint Te. このようにすることにより、多視点画像を効率よく、また、画質を維持して圧縮伝送することができる。 By doing so, the multi-viewpoint image efficiently, also can be compressing transmission while maintaining the image quality. 【0154】なお、中間視点画像の生成は、多視点画像の両端の2視点(カメラ1とカメラ4の視点)での画像から中間視点での画像を生成する構成に限る必要はなく、例えば、カメラ2とカメラ4の画像からカメラ1とカメラ3の視点での画像を生成してもよく、カメラ1とカメラ3の画像からカメラ2とカメラ4の視点での画像を生成してもよい。 [0154] The generation of the intermediate-viewpoint image is not necessarily limited to the configuration to generate an image of the intermediate viewpoint from images at two viewpoints at both ends of the multi-view image (view point of the camera 1 and the camera 4), for example, it may from an image of the camera 2 and the camera 4 to generate an image of the point of view of the camera 1 and camera 3, an image from the image of the camera 1 and the camera 3 from the perspective of the camera 2 and the camera 4 may be generated. 更には、カメラ2とカメラ3の画像からカメラ1とカメラ4の視点での画像を生成してもよく、それぞれ本発明に含まれる。 Furthermore, may generate an image from the image of the camera 2 and the camera 3 from the perspective of the camera 1 and the camera 4 are included in the present invention, respectively. 【0155】また、多視点画像の視点数は4視点に限る必要はなく、また、2視点以上の視点での画像からそれぞれの視点間の中間視点画像を生成してもよいのは明らかであり、本発明に含まれる。 [0155] Further, the number of viewpoints of the multi-view image is not necessarily limited to four viewpoints, also, the the image at two viewpoints or more viewpoints may generate an intermediate-viewpoint image between each viewpoint is clearly , it is included in the present invention. 【0156】また、本発明の第3および第4の実施の形態において、初期視差推定値の信頼性評価値としては、 [0156] In the third and fourth embodiments of the present invention, as the reliability evaluation value of the initial disparity estimate,
(数23)に示すものに限る必要はなく、(数23)の分子のみを信頼性評価値としても、参照画像の輝度こう配の影響を受けるがほぼ同様の効果を得ることができ本発明に含まれる。 Need not be limited to those shown in equation (23), only molecules as reliability evaluation value, influenced by the luminance gradient of the reference image can be but obtain substantially the same effect on the present invention (number 23) included. 【0157】また、画像のノイズレベルが低い場合には、信頼性評価値としてノイズ項を無視した値を計算しても同様の効果が得られるのは当然であり本発明に含まれる。 [0157] Also, when the noise level of the image is low, the same effect can calculate the value obtained by ignoring the noise term is included in is a matter of course the present invention to obtain a reliability evaluation value. 【0158】さらに簡略化して、信頼性評価値として、 [0158] In further simplified, as a reliability evaluation value,
1画素当たりの残差平方和の最小値、あるいは残差平方和の最小値を用いてもよく、より簡単な回路で計算が可能となり、本発明に含まれる。 The minimum value of the residual sum of squares per pixel, or may be used minimum value of the residual sum of squares, enables calculation by a simpler circuit, included in the present invention. 【0159】また、初期視差推定値の信頼性評価値としては、(数32)に示す双方向に推定した視差の差異を用いてもよく、本発明に含まれる。 [0159] As the reliability evaluation value of the initial disparity estimate, it is also included in the well, the present invention using a difference in parallax estimated bidirectionally shown in equation (32). 【0160】 【数32】 [0160] [number 32] 【0161】また、初期視差推定の信頼性評価値としては、上記のものを2つ以上組み合わせて用いることにより、より安定した信頼性評価をすることができ、本発明に含まれる。 [0161] As the reliability evaluation value of the initial parallax estimation, by using in combination of the two or more, can be more stable and reliable evaluation are included in the present invention. 【0162】また、本発明の第3および第4の実施の形態において、初期視差推定のための画像間の相関演算は残差平方和(SSD)に限る必要はなく、残差絶対値和(SAD)を用いても同様の効果を得ることができ、そのような実施の形態ももちろん本発明に含まれる。 [0162] In the third and fourth embodiments of the present invention, correlation calculation between images for the initial disparity estimation is not necessarily limited to the residual sum of squares (SSD), the residual absolute value sum ( be used SAD) can obtain the same effect, it is included in the course present invention such an embodiment. 【0163】また、本発明の第6の実施の形態において、隣接しない2つの視点での画像の圧縮符号化の方法としては、画像間(視点間)の相関を利用したものに限る必要はなく、時間方向の相関を利用したものを用いてもよく、本発明に含まれる。 [0163] Further, in the sixth embodiment of the present invention, a method for compression encoding of images at two viewpoints nonadjacent, need not be limited to those using the correlation of images (interview) , it may be used those utilizing correlation in a time direction, included in the present invention. 【0164】 【発明の効果】以上のように本発明によれば、カメラの撮像面(CCD)のサイズと、撮像面とレンズ中心との距離と、レンズの焦点距離に関する情報とを付加して伝送することにより、撮影時の視野角に応じた表示を行おうとする際、被写体に接近して撮影した映像についても、表示側で撮影時の視野角を精度よく計算することができ、撮影時と同一の視野角を再現する観察距離を精度よく決定できる。 [0164] According to the present invention as described above, according to the present invention, the size of the imaging surface of the camera (CCD), by adding the distance between the imaging surface and the lens center, and the information about the focal length of the lens by transmitting, when attempting to display in accordance with the viewing angle at the time of shooting, the image photographed in close proximity to the object also can be calculated accurately viewing angle at the time of shooting with the display side, when photographing viewing distance to reproduce the same viewing angle and can be determined accurately. 【0165】また、多視点画像を伝送する際に画像内の最近点、最遠点の情報を付加することにより、表示時に目の疲れない表示(視差制御)を行うことができる。 [0165] In addition, the nearest point in the image when transmitting multi-view image, by adding information of the farthest point, it is possible to perform display without fatigue of eyes (parallax control) when displayed. 【0166】また、人の目の融合範囲に応じた視差制御を行うことによって、表示時に画像のより多くの部分で視差を融合範囲内に入るようにすることができる。 [0166] Further, by performing the parallax control according to the fusion range of the human eye, it is possible to enter the parallax within the fusion range more of the image when displayed. 【0167】また、伝送側において、付加する最近点、 [0167] Further, in the transmission side, nearest point to be added,
最遠点の情報として、実際の画像中の最近点、最遠点とは異なる値を設定し、表示側において該設定値の最近点に相当する視差と、最遠点に相当する視差の平均の視差が、融合範囲の中央になるように視差制御することにより、画像作成者の意図する奥行きでの画像を優先的に観察者に提示することができる。 As the information of the farthest point, the actual nearest point in an image, the parallax setting different values, corresponding to the nearest point of the set value in the display side to the farthest point, the average of the disparity corresponding to the farthest point parallax, by parallax controlled to be in the middle of the fusing range, the image in the intended depth of the image creator can be presented preferentially to the observer. 【0168】また、本発明によれば、ブロックマッチングによる視差推定値の信頼性が低い領域において、物体輪郭線を検出し、検出した物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。 [0168] Further, according to the present invention, in the region of low reliability of the parallax estimates by block matching, it detects an object contour line, parallax as parallax at the detected object contour changes discontinuously estimation can be performed. 【0169】また、任意の形状の物体輪郭線の所で視差が不連続に変化するように視差推定を行うことができる。 [0169] Further, it is possible to perform the parallax estimated as parallax changes discontinuously at the object contour line of an arbitrary shape. . 【0170】また、送信側で視差の穴埋め処理(本発明による、視差が物体輪郭線の所で変化し、かつ、周囲の視差と滑らかに接続する視差推定処理)を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。 [0170] Furthermore, filling processing parallax at the transmitting side (according to the invention, the disparity is changed at the object outline, and, disparity estimation process to smoothly connect with the surrounding parallax) by performing, at the receiving side can be the amount of calculation can be reduced, reducing the reception side of the apparatus scale. 【0171】また、多視点画像伝送システムの送信側と受信側の双方で中間視点画像の生成を行うことにより、 [0171] Further, by performing the generation of the intermediate viewpoint image in both the transmit and receive ends of the multi-view image transmission system,
中間視点画像の伝送量(残差の伝送量)を少なくすることができ、その結果多視点画像を効率よく、また、画質を維持して圧縮伝送することができる。 It is possible to reduce the transmission amount of the intermediate-viewpoint image (transmission amount of residuals), the result viewpoint image efficiently, also can be compressing transmission while maintaining the image quality.

【図面の簡単な説明】 【図1】本発明の第1の実施の形態における平行投影の場合の最近点、最遠点、観察者の輻輳と調節が一致する点の位置関係を示す図【図2】同被写体の位置、合焦時の撮像面の位置と焦点距離の関係を示す図【図3】同2つのプロジェクタを用いて輻輳投影をする場合の輻輳距離、最近点、最遠点の位置関係を示す図【図4】本発明の第1の実施の形態における画像伝送方法で定義するパラメータを示す図【図5】画像間の視差の平均値を相殺するようにずらす処理のブロック図【図6】左画像を基準としてブロックマッチングにより視差を計算する場合を示す図【図7】平行撮影の場合を示す図【図8】輻輳撮影の場合を示す図【図9】(a)〜(c)は、(数14)による重み付け平均の計算に用いる重みの分布 BRIEF DESCRIPTION OF THE DRAWINGS [Figure 1] the nearest point in the case of parallel projection in the first embodiment of the present invention, the farthest point, shows the positional relationship of the point where the adjusting the observer congestion matches [ Figure 2 position of the object, convergence distance in the case of congestion projection with reference to FIG. 3 shows the two projectors showing the relationship between the position and the focal length of the imaging surface during focusing, nearest point, farthest point first diagram showing the parameters defined by the image transmission method of the embodiment [5] shifted so as to cancel the average value of the parallax between the image processing block of the positional relationship between the Figure 4 shows the invention shown Figure 9 shows a case of FIG. 8 congestion shooting showing the case of FIG. 7 parallel shooting showing a case of calculating the parallax by Figure 6 block matching based on the left image (a) ~ (c), the distribution of weights used to calculate the weighted average according to equation (14) の例を示す図【図10】画像復号手段の動作を示す図【図11】本発明の第2の実施の形態における視差制御方式のブロック図【図12】シフト演算手段の構成の一例を示す図【図13】融合範囲テーブルの特性図【図14】(数16)の図形的な意味を示す図【図15】視差の頻度分布図【図16】本発明の第3の実施の形態による視差推定装置の構成図【図17】同ブロックマッチングを示す図【図18】同輪郭検出部の構成図【図19】同エッジ検出部の構成の一例を示す構成図【図20】(a)〜(f)は、同方向別のフィルタの重み係数の例を示す図【図21】同稜線検出部の構成図【図22】同物体輪郭付近での視差推定部の構成図【図23】本発明の第4の実施の形態による視差推定装置の構成図【図24】同物体輪郭線近傍 It shows an example of a configuration of the block diagram Figure 12 shift operation means parallax control method in the second embodiment of FIG. 11 the present invention illustrating the operation of FIG. 10 shows the image decoding unit of an example Figure 13 is a characteristic diagram of the fusing range table according to a third embodiment of FIG. 14 is a diagram [15] frequency distribution diagram of parallax showing a graphical meaning of (Equation 16) [16] the present invention diagram showing an example of a configuration diagram Figure 17 is a configuration diagram of FIG. 18 shows the contour detecting unit, showing the block matching 19 the edge detector of the configuration of the parallax estimation unit [20] (a) ~ (f) is a view FIG. 21 is a configuration diagram of the same edge line detecting unit Figure 22 is a configuration diagram of a parallax estimation unit in the vicinity of the object outline FIG. 23 showing an example of a weighting coefficient in the same direction by the filter diagram 24 shows the object contour line near the disparity estimation apparatus according to a fourth embodiment of the present invention の視差推定を示す図【図25】本発明の第5の実施の形態で送信側で視差推定を行うシステムの送信部の構成図【図26】本発明の第5の実施の形態で送信側で視差推定を行うシステムの受信部の構成図【図27】本発明の第6の実施の形態における多視点画像伝送システムの送信部の構成図【図28】MPEG−2シンタックスの概略図【図29】伝送される多視点画像の時空間方向の関係図【図30】OpenGLによるカメラパラメータの定義を示す図【図31】本発明の第6の実施の形態における多視点画像伝送システムの画像圧縮符号化部の構成の一例を示す図【図32】本発明の第6の実施の形態における多視点画像伝送システムの復号化画像伸長部の構成の一例を示す図【図33】本発明の第6の実施の形態における多視点 Fifth fifth transmission side in the embodiment of the embodiment in a system transmitting portion of the block diagram Figure 26 present invention for performing disparity estimation on the transmission side of FIG. 25 shows the present invention showing a disparity estimation of in a sixth configuration diagram of a transmitting portion of the multi-view image transmission system in the embodiment of FIG. 28 is a schematic diagram of a MPEG-2 syntax of the receiver of the diagram FIG. 27 the present invention of a system for performing disparity estimation [ 29] transmitted the sixth multi-viewpoint image transmission system image in the embodiment of the time relationship diagram of the spatial direction [30] FIG. [31] the present invention showing the definitions of the camera parameters by OpenGL of the multi-view image It illustrates an example of a configuration of a compression encoding unit FIG. 32 of the Figure FIG. 33 illustrates an example of a configuration of a decoding image decompression unit of the multi-view image transmission system in the six embodiment of the present invention of the present invention multiview in the sixth embodiment 像伝送システムの残差圧縮符号化部の構成の一例を示す図【図34】本発明の第6の実施の形態における多視点画像伝送システムの受信部の構成図【図35】本発明の第6の実施の形態における多視点画像伝送システムの復号化残差伸長部の構成の一例を示す図【符号の説明】 A 表示される画像の最近点B 最遠点C 観察者の輻輳と調節が一致する点A1,A2 カメラのレンズ中心B1,B2 画像面の中心C1 輻輳点201 初期視差推定部202 初期視差推定時の信頼性評価部203 輪郭検出部204 物体輪郭付近での視差推定部 The sixth block diagram of the receiver portion of the multi-view image transmission system in the embodiment of FIG. 35 the present invention of FIG. 34 shows the present invention showing an example of a configuration of a residual compression encoding of the image transmission system regulation and congestion nearest point B farthest point C observer of the multi-view image drawing showing an example of a configuration of a decoding residual elongation of the transmission system [eXPLANATION oF sYMBOLS] image is displayed a in the embodiment of the 6 matching points A1, A2 camera lens center B1, B2 image surface center C1 convergence point 201 the initial disparity during estimator 202 initial disparity estimation reliability evaluating unit 203 contour detector 204 parallax estimation unit near the object outline in

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平8−9421(JP,A) 特開 平7−167633(JP,A) (58)調査した分野(Int.Cl. 7 ,DB名) H04N 13/00 ────────────────────────────────────────────────── ─── of the front page continued (56) reference Patent flat 8-9421 (JP, a) JP flat 7-167633 (JP, a) (58 ) investigated the field (Int.Cl. 7, DB name) H04N 13/00

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 2視点以上の画像の伝送において、 最近点の奥行き値と最遠点の奥行き値を 付加して伝送し、 その伝送された前記最近点の奥行き値と最遠点の奥行き (57) in the transmission of the Claims 1] 2-viewpoint or more images, transmitted by adding a depth value of recent depth value of point and the farthest point, the transmitted the nearest point the depth of the depth value and the farthest point
    と、融合範囲とを考慮して前記画像を表示することを特徴とする多視点画像伝送及び表示方法であって、 前記画像間の視差毎の頻度を求め、その視差毎の頻度が前記融合範囲内で最大となるように視差制御して前記2 A value and multiview image transmission and display method in consideration of the fusing range and displaying the image, determine the frequency of each parallax between the images, the fusion frequency of each parallax said parallax control so as to maximize within the range 2
    視点以上の画像を表示することを特徴とする多視点画像伝送及び表示方法。 Multi-view image transmission and display method and displaying images of more viewpoints. 【請求項2】 2視点以上の画像の伝送において、 最近点の奥行き値と最遠点の奥行き値を 付加して伝送し、 その伝送された前記最近点の奥行き値と最遠点の奥行き The transmission of claim 2] 2-viewpoint or more images, transmitted by adding a depth value of the depth value and the farthest point of the nearest point, the depth of the depth value and the farthest point of the transmitted said closest point
    と、融合範囲とを考慮して前記画像を表示することを特徴とする多視点画像伝送及び表示方法であって、 前記画像間の視差の平均を求め、その視差の平均が前記融合範囲の中央と一致するように視差制御して前記2視点以上の画像を表示することを特徴とする多視点画像伝送及び表示方法。 And values, a multi-viewpoint image transmission and display method in consideration of the fusing range and displaying the image, an average of the disparity between the images, the average of the disparity of the fusing range multi-view image transmission and display method characterized by by the parallax control so as to coincide with the center to display an image of more than the two viewpoints. 【請求項3】2視点以上の画像の伝送において、 最近点の奥行き値と最遠点の奥行き値を 付加して伝送し、 その伝送された前記最近点の奥行き値と最遠点の奥行き 3. A two viewpoints or more image transmission, and transmission by adding a depth value of the depth value and the farthest point of the nearest point, the depth of the depth value and the farthest point of the transmitted said closest point
    と、融合範囲とを考慮して前記画像を表示することを特徴とする多視点画像伝送及び表示方法であって、 伝送側において最近点及び最遠点を、画像中の最近点及 Values and, a multi-viewpoint image transmission and display method in consideration of the fusing range and displaying the image, the nearest point and the farthest point on the transmission side, nearest point及in the image
    び最遠点とは異なる値に設定し、 表示側において該最近点に相当する視差と最遠点に相当する視差の平均が融合範囲の中央と一致するように視差制御して前記2視点以上の画像を表示することにより、 画像作成者が意図する奥行きでの画像を優先的に見やすく表示することを特徴とする多視点画像伝送及び表示方法。 Beauty set to a value different from the farthest point, the 2-viewpoint or the display side to the parallax control so that the average of the disparity corresponding to parallax and the farthest point corresponding to the nearest point coincides with the center of the fusing range by displaying the image, the multi-viewpoint image transmission and display method, characterized by preferentially easier to see the display of images with a depth of the image creator intended. 【請求項4】 2視点以上の画像の伝送において、 最近点の奥行き値と最遠点の奥行き値を 付加して伝送し、 その伝送された前記最近点の奥行き値と最遠点の奥行き 4. A two viewpoints or more image transmission, and transmission by adding a depth value of the depth value and the farthest point of the nearest point, the depth of the depth value and the farthest point of the transmitted said closest point
    と、融合範囲とを考慮して融合範囲内に納まるように前記画像を表示することを特徴とする多視点画像伝送及び表示方法であって、 前記画像間の視差毎の頻度を求め、その視差毎の頻度が前記融合範囲内で最大となるように視差制御して前記2 A value and multiview image transmission and display method and displaying the image to fit within the fusing range in consideration of the fusing range, obtains a frequency of each parallax between the images, the said parallax control so that the frequency of each parallax is maximum within the fusion range 2
    視点以上の画像を表示することを特徴とする多視点画像伝送及び表示方法。 Multi-view image transmission and display method and displaying images of more viewpoints. 【請求項5】 2視点以上の画像の伝送において、 最近点の奥行き値と最遠点の奥行き値を 付加して伝送し、 その伝送された前記最近点の奥行き値と最遠点の奥行き The transmission according to claim 5] 2-viewpoint or more images, transmitted by adding a depth value of the depth value and the farthest point of the nearest point, the depth of the depth value and the farthest point of the transmitted said closest point
    と、融合範囲とを考慮して融合範囲内に納まるように前記画像を表示することを特徴とする多視点画像伝送及び表示方法であって、 前記画像間の視差の平均を求め、その視差の平均が前記融合範囲の中央と一致するように視差制御して前記2視点以上の画像を表示することを特徴とする多視点画像伝送及び表示方法。 A value and multiview image transmission and display method is characterized in that in consideration of the fusing range for displaying the image to fit within the fusion range, an average of the disparity between the images, the parallax multi-view image transmission and display method average of and displaying the center of the image than the two viewpoints and parallax controlled to match the fusion range. 【請求項6】 2視点以上の画像の伝送において、 最近点の奥行き値と最遠点の奥行き値を 付加して伝送し、 その伝送された前記最近点の奥行き値と最遠点の奥行き The transmission according to claim 6] 2-viewpoint or more images, transmitted by adding a depth value of the depth value and the farthest point of the nearest point, the depth of the depth value and the farthest point of the transmitted said closest point
    と、融合範囲とを考慮して融合範囲内に納まるように前記画像を表示することを特徴とする多視点画像伝送及び表示方法であって、 伝送側において最近点及び最遠点を、画像中の最近点及 And values, a multi-viewpoint image transmission and display method and displaying the image to fit within the fusing range in consideration of the fusing range, the nearest point and the farthest point in the transmission side, the image recent point in及
    び最遠点とは異なる値に設定し、 表示側において該最近点に相当する視差と最遠点に相当する視差の平均が融合範囲の中央と一致するように視差制御して前記2視点以上の画像を表示することにより、 画像作成者が意図する奥行きでの画像を優先的に見やすく表示することを特徴とする多視点画像伝送及び表示方法。 Beauty set to a value different from the farthest point, the 2-viewpoint or the display side to the parallax control so that the average of the disparity corresponding to parallax and the farthest point corresponding to the nearest point coincides with the center of the fusing range by displaying the image, the multi-viewpoint image transmission and display method, characterized by preferentially easier to see the display of images with a depth of the image creator intended.
JP8359997A 1996-04-05 1997-04-02 Multi-viewpoint image transmission method and multi-view image display method Expired - Fee Related JP3477023B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP8368896 1996-04-05
JP8-83688 1996-05-14
JP11871196 1996-05-14
JP8-118711 1996-05-14
JP8359997A JP3477023B2 (en) 1996-04-05 1997-04-02 Multi-viewpoint image transmission method and multi-view image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8359997A JP3477023B2 (en) 1996-04-05 1997-04-02 Multi-viewpoint image transmission method and multi-view image display method

Publications (2)

Publication Number Publication Date
JPH1032840A JPH1032840A (en) 1998-02-03
JP3477023B2 true JP3477023B2 (en) 2003-12-10

Family

ID=27304273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8359997A Expired - Fee Related JP3477023B2 (en) 1996-04-05 1997-04-02 Multi-viewpoint image transmission method and multi-view image display method

Country Status (1)

Country Link
JP (1) JP3477023B2 (en)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205241B1 (en) 1998-06-01 2001-03-20 Canon Kabushiki Kaisha Compression of stereoscopic images
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US7324594B2 (en) * 2003-11-26 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Method for encoding and decoding free viewpoint videos
WO2006080739A1 (en) 2004-10-12 2006-08-03 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
JP4825983B2 (en) * 2005-07-26 2011-11-30 国立大学法人名古屋大学 Image information compression method and free viewpoint television system
KR101244911B1 (en) * 2005-10-11 2013-03-18 삼성전자주식회사 Apparatus for encoding and decoding muti-view image by using camera parameter, and method thereof, a recording medium having a program to implement thereof
JP2009516447A (en) * 2005-11-17 2009-04-16 ノキア コーポレイション Method and apparatus for generating, transferring and processing three-dimensional image data
TWI364992B (en) 2006-01-05 2012-05-21 Nippon Telegraph & Telephone
JP2008034892A (en) * 2006-03-28 2008-02-14 Victor Co Of Japan Ltd Multi-viewpoint image encoder
JP2008034893A (en) * 2006-03-28 2008-02-14 Victor Co Of Japan Ltd Multi-viewpoint image decoder
WO2009096912A1 (en) 2008-01-29 2009-08-06 Thomson Licensing Method and system for converting 2d image data to stereoscopic image data
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
JP2011029905A (en) * 2009-07-24 2011-02-10 Fujifilm Corp Imaging device, method and program
JP5663857B2 (en) * 2009-10-08 2015-02-04 株式会社ニコン Image display device and image display method
JP5494283B2 (en) * 2010-06-24 2014-05-14 ソニー株式会社 3D display device and 3D display device control method
JP2012044308A (en) * 2010-08-16 2012-03-01 Sharp Corp Three dimensional image output device and three dimensional image display device
JP5002047B2 (en) * 2010-11-05 2012-08-15 シャープ株式会社 Stereoscopic image data playback device
JP5879713B2 (en) 2010-12-09 2016-03-08 ソニー株式会社 Image processing apparatus, image processing method, and program
WO2012086298A1 (en) 2010-12-24 2012-06-28 富士フイルム株式会社 Imaging device, method and program
JP2012138787A (en) * 2010-12-27 2012-07-19 Sony Corp Image processor, image processing method, and program
KR101202014B1 (en) * 2011-02-18 2012-11-15 주식회사 넥서스칩스 Image processor, stereoscopic display device and method for processing image using the same
JP2013089981A (en) * 2011-10-13 2013-05-13 Sony Corp Image processing apparatus, image processing method and program
JP5547356B2 (en) * 2012-03-30 2014-07-09 富士フイルム株式会社 Imaging apparatus, method, storage medium, and program
EP2845384A1 (en) * 2012-05-02 2015-03-11 Koninklijke Philips N.V. Quality metric for processing 3d video
JP2014235615A (en) * 2013-06-03 2014-12-15 富士通株式会社 Image processing apparatus, image processing circuit, image processing program, and image processing method

Also Published As

Publication number Publication date
JPH1032840A (en) 1998-02-03

Similar Documents

Publication Publication Date Title
US7983477B2 (en) Method and apparatus for generating a stereoscopic image
US8890934B2 (en) Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
ES2389401T3 (en) Method, device and communication system through video
JP5561781B2 (en) Method and system for converting 2D image data into stereoscopic image data
Tian et al. View synthesis techniques for 3D video
CN101496413B (en) Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
EP2357841B1 (en) Method and apparatus for processing three-dimensional images
US8351685B2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
US8447141B2 (en) Method and device for generating a depth map
DE69829931T2 (en) Estimation of visual shifts to encode stereoscopic video images
JP5575908B2 (en) Depth map generation technique for converting 2D video data to 3D video data
CN1084568C (en) Optimal difference estimation for stereoscopic video coding
CN1745589B (en) Video filtering for stereo images
NL1010920C2 (en) An apparatus and method for converting a two-dimensional image sequence into a three-dimensional image, in which use is made of the conversion of motion-disparity in the horizontal disparity and a post-processing method during the generation of a three-dimensional image.
JP4693900B2 (en) Image processing device
KR100505334B1 (en) Real-time stereoscopic image conversion apparatus using motion parallaxr
US8488869B2 (en) Image processing method and apparatus
JP4214976B2 (en) Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system
KR101545008B1 (en) Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
EP2625861B1 (en) 3d video control system to adjust 3d video rendering based on user preferences
US20080106546A1 (en) Method and device for generating 3d images
JP2005167310A (en) Photographing apparatus
KR0153214B1 (en) Stereoscopic image pick-up and display apparatus
US6417880B1 (en) Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
US20060018509A1 (en) Image generation device

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees