JPH07220113A - Image recording/reproducing device - Google Patents

Image recording/reproducing device

Info

Publication number
JPH07220113A
JPH07220113A JP6008522A JP852294A JPH07220113A JP H07220113 A JPH07220113 A JP H07220113A JP 6008522 A JP6008522 A JP 6008522A JP 852294 A JP852294 A JP 852294A JP H07220113 A JPH07220113 A JP H07220113A
Authority
JP
Japan
Prior art keywords
image
parallax
means
camera
reproducing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6008522A
Other languages
Japanese (ja)
Inventor
Katsumi Iijima
Masakazu Matsugi
優和 真繼
克己 飯島
Original Assignee
Canon Inc
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, キヤノン株式会社 filed Critical Canon Inc
Priority to JP6008522A priority Critical patent/JPH07220113A/en
Publication of JPH07220113A publication Critical patent/JPH07220113A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE:To shorten the operation time by preventing the extraction of parallax at a place near a shielding contour and by extracting the parallax for each block and in consideration of the human stereoscopic sense characteristic. CONSTITUTION:The images photographed by two cameras 1L and 1R provided on a stage 2 are recorded as the image data on the memories 3L and 3R respectively. When these image data are supplied to an image processing part 4 from both memories 3L and 3R, the parallax discontinuous contours of the image data are extracted. Then the image data are divided into plural blocks of each prescribed size so as to avoid the crossing to the parallax discontinuous contours. The parallax of each image is extracted for each divided block. Based on the extracted parallax, a both-eye visual area is discriminated from a single- eye visual area. The parallax of the both-eye visual area is converted into the parallax that is accordant with the placement of a reproduction optical system. Thus the stereoscopic images are generated and displayed at an image display part 5.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、複数のカメラを用いて撮影した画像から種々のステレオ画像を形成する画像記録再生装置に関する。 The present invention relates to an image recording and reproducing apparatus to form various stereo images from photographed image by using a plurality of cameras.

【0002】 [0002]

【従来の技術】従来、複数のカメラを用いて対象物を撮影することにより3次元的映像情報(画像)を得、得られた3次元的映像情報を人間の視覚的特性に合わせて表示することによって立体画像を形成する方式として両眼視差方式が知られている。 Conventionally, to obtain a three-dimensional image information by photographing an object (image) by using a plurality of cameras, and displays the combined three-dimensional image information obtained to the human visual characteristics binocular parallax system is known as a method for forming a three-dimensional image by.

【0003】上記両眼視差方式では、対象物を撮影する際に、人間の両眼視をある程度考慮してカメラ系の基線長および輻輳角を設定して撮影し、撮影した画像を再生する際に、人間の左右の眼に物体距離および立体形状に応じた適切な視差を与えて画像表示させることによってステレオ画像の形成が行なわれる。 [0003] In the binocular parallax method, when taking an object, when considering the human binocular vision somewhat captured by setting the base line length and the convergence angle of the camera system, to play back pictures , the formation of the stereo image is performed by giving an appropriate parallax to the human right and left eyes in accordance with the object distance and three-dimensional shape to be displayed image. (放送技術,199 (Broadcast technology, 199
1年,11月号,119−125,熊田)。 1 year, November, 119-125, Kumada).

【0004】上記の場合、撮影した画像を再生する際に、撮影時および再生時における光学系の配置(基線長および輻輳角等)の違いが反映された正しい画像を表示することが必要である。 [0004] In the above case, when reproducing a photographed image, it is necessary to display the correct image difference is reflected in the arrangement of the optical system (base length and the convergence angle and the like) at the time and reproduction time of shooting .

【0005】そこで、従来の両眼視差方式を用いた画像記録再生装置では、予め撮影時に対象物における各点のカメラ系に対する距離情報や対象物の立体形状情報を、 [0005] Therefore, in the image recording and reproducing apparatus using the conventional binocular parallax method, a three-dimensional shape information of the distance information and the object relative to the camera system of each point in the object at the time of pre-shooting,
レーザ光を用いた非接触計測手段により計測するか、あるいは、2つのカメラで撮影された各画像における同一対象物に対応する点(以下、対応点と称する)を抽出し、そこから求まる視差の値とカメラの配置とから三角測量の原理を利用して求めることによって得、その得られた距離情報や立体形状情報に基づいて再生される画像の各点毎の視差や輝度レベルが求められている。 Or measured by a non-contact measuring means using the laser beam, or the point corresponding to the same object in each image taken by two cameras (hereinafter, referred to as a corresponding point) to extract, the parallax obtained therefrom obtained by obtaining from the arrangement of values ​​and the camera by using the principle of triangulation, the parallax and the brightness level of each point of the image to be reproduced is determined based on the obtained distance information and three-dimensional shape information there.

【0006】例えば、対象物を撮影した画像を画像データとして記憶し、その画像データから対象物の3次元形状の頂点(結ぶことによって撮影された対象物が再現される点)を抽出して各頂点におけるカメラ系に対する距離情報および形状情報を求め、その距離情報および形状情報を与えられた視点位置情報に応じて演算処理することによって、その視点位置から観察した画像を生成するものが提案されている(特開平5−12413号公報参照)。 [0006] For example, it stores an image obtained by photographing the object as image data, each extract the vertices of the three-dimensional shape (the point where the object taken is reproduced by connecting) of the object from the image data obtains the distance information and shape information for the camera system in the apex by arithmetic processing in accordance with the viewpoint position information given the distance information and shape information, it has been proposed which generates an image viewed from the viewpoint position are (see Japanese Patent Laid-Open No. 5-12413).

【0007】上記例以外のものとしては、特公平1−4 [0007] as something other than the above example, Japanese fairness 1-4
2427号公報に開示されているような、画像形成の基準となる基本幾何学形状モデルに基づいて撮影した画像データから形状モデルを作成し、作成した形状モデルと任意の視点位置情報とから求まる画像変形量にしたがって撮影した画像データを変形し、撮影時とは異なる視点位置から観察したステレオ画像を生成するものがある。 2427 No. as disclosed in Japanese, create a shape model from the image data captured based on the basic geometry model as a reference for image formation, determined from the shape model and the arbitrary viewpoint position information created image modifying the image data captured according to the amount of deformation, it is intended to generate a stereo image observed from different view point from the time of shooting.

【0008】以上のように、従来の画像記録再生装置では、レーザ光を用いた非接触計測手段、あるいは三角測量の原理を利用した計測手段のいずれかを用いて対象物の各点における距離情報および立体形状情報を求め、求めた結果に基づいて各点における視差および輝度レベルを計算し、撮影時のカメラ配置とは異なるカメラ配置のステレオ画像を形成していた。 [0008] As described above, in the conventional image recording and reproducing apparatus, the distance information at each point of the object using either a non-contact measuring means or measuring means using the principle of triangulation, using a laser beam and obtains a three-dimensional shape information, the parallax and the brightness level calculated at each point on the basis of the results obtained, it had formed the stereo images of different camera placement the camera placement during shooting.

【0009】上述した従来の画像記録再生装置では、複数のカメラによって撮影された画像に基づいてステレオ画像が形成されているが、この他コンピュータグラフィックスを用いて両眼視差画像を作成し、作成した画像の各対応点での視差を計算により求めて画像を頭部搭載型ディスプレイ等に表示するものもある。 [0009] In a conventional image recording and reproducing apparatus described above, although the stereo image based on the images captured by the plurality of cameras is formed, creating a binocular disparity image by using the other computer graphics, created also to display an image on the head mounted type display or the like parallax at each corresponding point of the image determined by calculation.

【0010】 [0010]

【発明が解決しようとする課題】しかしながら、上述した従来の画像記録再生装置の場合は、2つのカメラで撮影された各画像における対応点の抽出は、視差が不連続に変化する境界(以下、遮蔽輪郭という)を検出せずに行なわれる。 However [0007] In the case of the conventional image recording and reproducing apparatus described above, extraction of corresponding points in each image taken by two cameras, boundary parallax changes discontinuously (hereinafter, performed without detecting any) of occluding contour. そのため、対応点の抽出が遮蔽輪郭近傍で行なわれると、対応点の抽出は対応していない点をそれぞれ抽出してしまい、対象物の距離および立体形状を精度良く求めることができなかった。 Therefore, when the corresponding point extraction is performed by occluding contours vicinity could not be the extraction of corresponding points will extract the points that do not correspond, accurately obtain the distance and three-dimensional shape of the object. この結果、再生画像からは良好なステレオ画像を得ることができないという問題があった。 As a result, it is impossible to obtain a good stereoscopic image from the reproduced image. 特に、対象物が至近距離にある場合においては、上記対応点の抽出の問題が顕著に現れていた。 In particular, the object is in certain cases the close range, a problem of extracting the corresponding points were conspicuous.

【0011】また、従来の画像記録再生装置では、各画像の視差(横ずれ)の抽出は、対象物の各対応点毎に求められていた。 Further, in the conventional image recording and reproducing apparatus, the extraction of the parallax (lateral) of each image was obtained for each corresponding point of the object. このような視差の抽出では、対象物の奥行き変化に対して、人間の立体知覚特性が、撮影する方向に前後して重なる2つの物体があるときのその奥行き解像度(縦分解能)が視野角に換算して秒オーダであり、2つの物体が撮影する方向に対して平行に並んでいるときのその奥行き解像度が10分程度であるということが考慮されておらず、結果的に視差を必要以上に高精度に求めていた。 In the extraction of such parallax for depth variation of the object, the human stereo perception characteristics, its depth resolution (vertical resolution) viewing angle when there are two objects that overlap one behind the shooting direction an order of seconds in terms, the depth resolution is not considered to be that it is about 10 minutes when aligned parallel to the direction in which the two objects are captured, resulting in unnecessarily parallax I had asked a high degree of accuracy to. そのため、演算時間が長くなるという問題が生じていた。 Therefore, a problem that the calculation time increases had occurred.

【0012】同様に、コンピュータグラフィックスによる両眼視差画像からステレオ画像を作成する場合においても、上述の人間の立体知覚特性が考慮されていないため、不必要に多くの演算が行なわれていた。 [0012] Similarly, in the case of creating a stereo image from binocular disparity image by computer graphics also for stereoscopy characteristics of the above-mentioned human is not considered, unnecessarily many operations have been performed.

【0013】本発明の目的は、対応点の抽出が遮蔽輪郭近傍で行なわれることのない、また、人間の立体知覚特性を考慮した視差の抽出および画像表示を行なうことができる画像記録再生装置を提供することにある。 An object of the present invention, not to the corresponding point extraction is performed by occluding contours near also the image recording and reproducing apparatus capable of performing extraction and image display of the parallax considering human stereoscopic perception characteristic It is to provide.

【0014】 [0014]

【課題を解決するための手段】本発明の画像記録再生装置は、複数のカメラを用いて撮影した画像から種々のステレオ画像を形成する画像記録再生装置において、上記ステレオ画像を表示する画像表示手段と、上記複数のカメラで撮影された画像を画像データとして記録する記録手段と、上記画像データの遮蔽輪郭および視差不連続部境界線を抽出する輪郭抽出手段と、上記抽出された遮蔽輪郭および視差不連続部境界線とが交差しないように、 Image recording and reproducing apparatus of the present invention, in order to solve the problem] is the image recording apparatus for forming a variety of stereo images from photographed image by using a plurality of cameras, image display means for displaying the stereo images When the recording means and a contour extraction means for extracting the shielding contour and disparity discontinuities boundary line of the image data, the occluding contours and disparity of the extracted record an image captured at the plurality of cameras as image data so that the discontinuities boundary do not intersect,
上記画像データを所定の大きさの複数の領域に分割する画像分割手段と、上記画像データの視差を上記複数の領域毎に抽出する視差抽出手段と、上記複数の領域毎に抽出された視差に基づいて、上記画像データにおける両眼視領域と単眼視領域を判別する判別手段と、撮影時のカメラの配置と再生時の再生光学系の配置とから、上記両眼視領域における視差を上記再生光学系の配置に応じた視差に変換してステレオ画像を生成し、該ステレオ画像を上記画像表示手段に出力する画像生成手段とを有することを特徴とする。 An image dividing means for dividing the image data into a plurality of regions of a predetermined size, the parallax of the image data and the disparity extracting means for extracting for each of the plurality of regions, the parallax extracted for each of the plurality of regions based on a discrimination means for discriminating the binocular vision area and monocular vision area in the image data, and a placement of the camera during photographing the arrangement of the reproducing optical system during reproduction, the reproduction parallax in the binocular vision region to generate a stereo image by converting the parallax corresponding to the arrangement of the optical system, the stereo image and having an image generating means for outputting to said image display means.

【0015】上記画像記録再生装置において、画像分割手段は、人間が画像の奥行き変化を認識できる最小視野角を基準とし、該最小視野角以下となるよう画像データを分割するとを特徴とする。 [0015] In the image recording and reproducing apparatus, the image dividing means, humans with respect to the minimum viewing angle can recognize the depth variation of an image, characterized by the splitting of the image data so as to be less said minimum viewing angle.

【0016】さらに、画像分割手段は、画像データをカメラ間の基線長方向(水平方向)に対して視野角が10 Furthermore, the image dividing means, the viewing angle with respect to the base length direction between the image data camera (horizontal direction) is 10
分もしくはそれ以下となる大きさの複数の領域に分割することを特徴とする。 Min or wherein the dividing it into the following become the size plurality of regions of.

【0017】また、上記画像記録再生装置において、撮影時のカメラの配置を計測する第1の計測手段、および再生時の再生光学系の配置を計測する第2の計測手段が設けられ、画像生成手段は、上記第1の計測手段および第2の計測手段によって計測された結果に基づいてステレオ画像を生成することを特徴とする。 [0017] In the above image recording and reproducing apparatus, a first measuring means for measuring the placement of camera during photographing, and a second measuring means for measuring the placement of the reproducing optical system during reproduction is provided, the image generation It means, and generating a stereo image based on the result measured by said first measuring means and second measuring means.

【0018】 [0018]

【作用】上記の如く構成すれば、2台のカメラで撮影された画像は、それぞれ視差不連続輪郭に基づいて複数の領域に分割され、各画像の視差はその分割された領域毎に求められ、求められた視差に基づいて各画像における両眼視領域および単眼視領域が判別される。 [Action] By configuring as described above, the image captured by the two cameras is divided into a plurality of regions, respectively, based on the disparity discontinuity contour, parallax of each image obtained for each of the divided areas binocular vision area and monocular vision area in each image based on the obtained parallax is determined.

【0019】上記両眼視領域で求められた視差は、撮影時のカメラ配置と再生時の再生光学系の配置とから該再生光学系の配置に合った視差に変換されてステレオ画像が生成される。 The parallax obtained in the binocular region is the stereo image is generated is converted from a camera located at the time of photographing the arrangement of the reproducing optical system during reproduction suits parallax arrangement of the reproducing optical system that.

【0020】つまり、本発明の画像記録再生装置では、 [0020] That is, the image recording and reproducing apparatus of the present invention,
従来の画像記録再生装置のように対象物の各点における視差を1点1点求めるということは行なわれず、所定の大きさの領域毎に視差が求められる。 The fact that determined point by point the parallax at each point of the object as in a conventional image recording and reproducing apparatus not performed, the parallax is calculated for each region of a predetermined size.

【0021】また、上述の画像分割では、分割される領域は視差不連続輪郭に基づいて分割され、しかもその領域は視差不連続輪郭と交差しないよう分割される。 [0021] In the image segmentation described above, areas divided is divided on the basis of the disparity discontinuity contour, yet the area is divided so as not to intersect the disparity discontinuity contour. このことにより、2台のカメラで撮影された2つの画像の対応は、上記分割された領域毎に行なわれることとなり、 Thus, the two images taken by two cameras corresponding becomes a be performed for each of the divided regions,
従来のように視差不連続輪郭で各画像の対応が取られることはない。 Never corresponding conventional way each image by the disparity discontinuity contour is taken.

【0022】上述のようにして画像が分割される際には、人間の立体知覚特性が考慮される。 [0022] When an image in the manner described above is divided the human stereo perception characteristic is considered. 人間の立体知覚特性を考えると、並列する2つの物体の視差を認識できる最小視野角は10分である。 Considering the human stereo perception characteristic, minimum viewing angle capable of recognizing the disparity of two objects in parallel is 10 minutes. 本発明では、基線長方向(水平方向)に対して視野角が10分もしくはそれ以下の大きさの複数の領域で画像分割が行なわれるので、視差が不必要に細かく求められることはない。 In the present invention, since the viewing angle with respect to the base length direction (horizontal direction) image divided by a plurality of regions of 10 minutes or less in size is performed, never parallax is required finely unnecessarily.

【0023】さらに、上述した画像記録再生装置では、 Furthermore, the image recording and reproducing apparatus described above,
撮影時のカメラの配置および再生時の再生光学系の配置は、第1および第2の計測手段によってその都度計測されるので、上記カメラの配置および再生光学系の配置が変わってもその再生光学系に合ったステレオ画像が生成される。 Placement and arrangement of reproduction of the reproduction optical system of the camera during photographing, since in each case is measured by the first and second measuring means, the reproduction optical they change the arrangement of the arrangement and the reproduction optical system of the camera stereo image that matches the system is generated. なお、予め上記カメラの配置および再生光学系の配置が情報として与えられているときは、それぞれの配置を測定する必要はない。 Incidentally, when the pre-positioned placement and reproducing optical system of the camera is given as information, it is not necessary to measure the respective arrangement.

【0024】 [0024]

【実施例】次に、本発明の実施例について図面を参照して説明する。 EXAMPLES will be described with reference to the accompanying drawings embodiments of the present invention.

【0025】図1は、本発明の第1実施例の画像記録再生装置の概略構成図である。 FIG. 1 is a schematic configuration diagram of an image recording and reproducing apparatus of the first embodiment of the present invention.

【0026】本実施例の画像記録再生装置は、ステージ2上に設けられた2台のカメラ1L,1Rと、各カメラ1L,1Rで撮影された各画像の視差分布を抽出する画像処理部4と、該画像処理部4で処理された結果を表示する画像表示部5とで構成されている。 The image recording and reproducing apparatus of this embodiment, the image processing unit 4 for extracting two cameras 1L provided on the stage 2, and 1R, the parallax distribution of the cameras 1L, the image taken by the 1R If, and an image display unit 5 for displaying the result processed by the image processing unit 4.

【0027】上記画像表示部5としては、液晶パネルや時分割シャッターメガネ等を用いた頭部搭載型ディスプレイ(HMD)や、レンティキュラレンズスクリーンと液晶パネルを用いた投射方式等の画像表示装置が用いられる。 [0027] As the image display unit 5, a liquid crystal panel and a time-division shutter glasses such head mount display using the (HMD) and an image display device such as a projection system using a lenticular lens screen and the liquid crystal panel used.

【0028】また、上記各カメラ1L,1Rには、それぞれメモリ3L,3Rが設けられており、それぞれのカメラで撮影された画像はこのメモリ3L,3Rに画像データとしてそれぞれ記録される。 Further, each camera 1L, the 1R, memory 3L respectively, 3R is provided, an image taken by each camera is the memory 3L, respectively as image data is recorded in the 3R. ここで記録された画像データが、メモリ3L,3Rから画像処理部4へ出力される。 Recorded image data here is output memory 3L, the 3R to the image processing unit 4.

【0029】画像処理部4は、カメラ1L,1Rで撮影された立体画像から、そのカメラ1L,1Rの配置とは異なる配置の立体画像(ここでは、画像表示部5の再生光学系の配置に応じた立体画像をいう)を形成するものであって、輪郭抽出部4a、画像分割部4b、視差抽出部4c、判別部4dおよび画像生成部4eとで構成されている。 The image processing unit 4, the camera 1L, photographed stereoscopic image 1R, the camera 1L, a stereoscopic image of a different arrangement from the arrangement of 1R (here, the arrangement of the reproducing optical system of the image display unit 5 a forms a response refers to three-dimensional images), the contour extraction unit 4a, the image dividing section 4b, are configured by the disparity extracting unit 4c, and the discrimination unit 4d and the image generating unit 4e. 各構成部以下のような特徴を有している。 It has the following features each component.

【0030】輪郭抽出部4aは、上記各カメラ1L,1 The contour extracting unit 4a, each camera 1L, 1
Rで撮影された画像における遮蔽輪郭または視差が不連続に変化する部分(以下、視差不連続境界線という)を抽出する。 Portion occluding contour or disparity in the image captured by the R changes discontinuously (hereinafter, referred to as parallax discontinuous boundary) is extracted. 画像分割部4bは、各カメラ1L,1Rで撮影された各画像を、輪郭抽出部4aで抽出された遮蔽輪郭または視差不連続境界線に基づいて矩形などの形の複数の領域に分割する。 Image dividing section 4b, each camera 1L, each image taken by the 1R, into a plurality of regions form of such a rectangular based on occluding contours or disparity discontinuity boundaries extracted by the contour extraction unit 4a. 視差抽出部4cは、画像分割部4 Parallax extraction unit 4c, the image dividing section 4
bでそれぞれ分割された各領域毎に視差を抽出する。 Extracting the parallax for each region divided respectively in terms of b. 判別部4dは、各カメラ1L,1Rで撮影された画像の単眼視領域(一方のカメラでしか撮影されていない領域) Discrimination unit 4d is monocular vision area of ​​each camera 1L, the image captured by the 1R (region not only taken by one camera)
と両眼視領域(双方のカメラで撮影された領域)とを判別する。 And discriminating between binocular vision region (a region which is captured by both the camera). 画像生成部4eは、各カメラ1L,1Rで撮影された画像における視差分布と、撮影および再生の際の光学系の配置とから左右の眼に入射させるステレオ画像を生成する。 Image generating unit 4e generates a parallax distribution in each camera 1L, the image captured by the 1R, a stereo image to be incident on the right and left eyes from the arrangement of the optical system during imaging and reproduction.

【0031】また、上記画像記録再生装置において、ステージ2にはカメラ配置計測記憶手段6が設けられており、撮影時のカメラの配置がこのカメラ配置計測記憶手段6によって計測され、計測結果がカメラ配置計測記憶手段6から上記画像生成部4eへ出力される。 Further, in the image recording and reproducing apparatus, the stage 2 is a camera arranged measuring storage unit 6 is provided, the arrangement of the camera during photographing is measured by the camera placement measuring storage unit 6, the measurement results camera from the placement measuring storage unit 6 is output to the image generation unit 4e.

【0032】さらに、画像表示部5には再生光学系配置計測手段7が設けられており、再生時の光学系の配置(ディスプレイ光学配置および肉眼光学配置等)がこの再生光学系配置計測手段7によって計測され、計測結果が再生光学系配置計測手段7から上記画像生成部4eへ出力される。 Furthermore, the image display section 5 and the reproducing optical system arranged measuring means 7 are provided, the arrangement of the optical system during reproduction (display optical arrangement and gross optical arrangement, etc.) of the reproducing optical system arranged measuring means 7 is measured by the measurement result is output from the reproducing optical system arranged measuring unit 7 to the image generation unit 4e.

【0033】本実施例でいう遮蔽輪郭とは、2台のカメラによって撮影された画像において、視差不連続に変化する部分によって隔てられる一方の領域が両眼視領域、 [0033] referred to shield contour as in the present embodiment, the image captured by the two cameras, one region is binocular vision regions which are separated by portions which changes in parallax discontinuities,
他方の領域が単眼視領域となる場合をいう。 It refers to the case where the other area is the monocular vision area. また、双方の領域とも両眼視領域であるものは視差不連続部輪郭という。 Moreover, both the area what is binocular vision region that disparity discontinuities contour.

【0034】なお、上記画像記録再生装置では、カメラ1L,1Rで撮影された左右の画像はそれぞれ所定の大きさの複数の領域に分割され、しかもその分割された各領域は遮蔽輪郭または視差不連続部輪郭と交差しないよう設けられるため、ステレオ画像を形成する際、左右の画像の対応が遮蔽輪郭または視差不連続部輪郭で行なわれることはない。 [0034] Incidentally, in the image recording and reproducing apparatus, a camera 1L, right and left images taken with 1R are respectively divided into a plurality of regions of a predetermined size, yet their respective divided regions are shielded contour or disparity not because provided so as not to intersect the continuous section contour, when forming the stereo image, does not correspond to the left and right images is performed by occluding contour or disparity discontinuities contour.

【0035】次に、上述の画像記録再生装置の動作について詳しく説明する。 Next, it will be described in detail the operation of the above-described image recording and reproducing apparatus.

【0036】左右のカメラ1L,1Rで撮影された画像は、それぞれメモリ3L,3Rへ入力されて一旦画像データとして記録される。 The right and left cameras 1L, the image captured by the 1R, the memory 3L respectively, are recorded as once image data is input to the 3R. 同時に、撮影時のカメラ1L, At the same time, the camera 1L at the time of shooting,
1Rの配置がカメラ配置計測記憶手段によって計測され記憶される。 Arrangement of 1R is measured by camera arrangement measuring storage unit stores. メモリ3L,3Rに画像データが記録されると、その記録された画像データが画像処理部4へ出力される。 When memory 3L, image data to 3R is recorded, the recorded image data is output to the image processing unit 4.

【0037】ここで、画像処理部4における画像処理について詳しく説明する。 [0037] Here will be described in detail the image processing in the image processing unit 4.

【0038】メモリ3L,3Rに記録された画像データがそれぞれ画像処理部4へ入力されると、画像処理部4 [0038] Memory 3L, the image data recorded in the 3R is input to the image processing unit 4, respectively, the image processing unit 4
では、まず、入力された画像データは輪郭抽出部4aへ渡され、入力された左右の画像の視差不連続輪郭がそれぞれ抽出される。 In, First, image data input is passed to the contour extraction unit 4a, parallax discontinuities contour of the input left and right images are extracted, respectively.

【0039】図2はカメラ1L,1Rで撮影された画像の視差不連続輪郭を示したもので、図2(a)に左右のカメラで撮影された原画像(直方体)、図2(b)に図2(a)から抽出された視差不連続輪郭を示す。 [0039] Figure 2 is a camera 1L, shows the disparity discontinuity contour of the image captured by the 1R, captured original image by the right and left cameras in Fig (a) (cuboid), and FIG. 2 (b) It shows the disparity discontinuity contour extracted from FIGS. 2 (a) to.

【0040】ここでいう視差不連続輪郭とは、図2 [0040] The parallax discontinuous contour here, FIG. 2
(a)に示されるように原画像として直方体が撮影されたものにおいて、左右双方のカメラによって撮影された平面における視差不連続部である視差不連続部輪郭、および一方のカメラでしか撮影されていない平面における視差不連続部である遮蔽輪郭のことを総括していう。 In those parallelepiped as an original image is captured as (a), the disparity discontinuity contour is disparity discontinuities in the plane taken by both left and right cameras, and are only taken by one camera It refers to sum up that the occluding contour is disparity discontinuities in no plane.

【0041】上記視差不連続輪郭を抽出する方法としては、濃淡画像から等輝度線を検出し、エピポーラ条件(一方の画像上にある点に対するもう一方の画像の対応点は、同じ走査線の半値線上に存在する)を利用して同一エピポーラライン上での等輝度点の分布、あるいは等輝度線の傾き等により検出する方法(特開平5−341 [0041] As a method of extracting the parallax discontinuous contour detects isoluminance line from gray image epipolar condition (corresponding point in the other image relative to a point that is on the one image is half of the same scan line how to detect the equal distribution of the luminance point, or the inclination or the like of the equi-luminance line on the same epipolar line by using the present on the line) (JP-a-5-341
17号公報参照)がある。 17 see JP) there is.

【0042】上述のようにして図2(a)に示す原画像から図2(b)に示す視差不連続輪郭が抽出されると、 [0042] When the parallax discontinuous contour shown in FIG. 2 (b) is extracted from the original image shown in FIG. 2 in the above-mentioned (a),
画像は画像分割部4bによって矩形等の形の複数の領域に分割される。 Image is divided into a plurality of regions form of a rectangular or the like by the image dividing unit 4b. このときの画像の分割は、図2(b)に示すような視差不連続輪郭で隔てられた領域内が所定の大きさの複数の領域で分割されることによって行なわれ、しかも分割された各領域が視差不連続輪郭に交差しないよう行なわれる。 Division of the image in this case is done by FIG 2 (b) to the separated by the disparity discontinuity contour as shown in the area is divided in a plurality of regions of a predetermined size, yet each divided region is performed so as not to cross the parallax discontinuous contour.

【0043】また、上記分割される領域の大きさには人間の立体知覚特性が考慮され、例えば、カメラ1L,1 [0043] Further, the three-dimensional perception characteristic of human to the size of the area to be the split is considered, for example, the camera 1L, 1
Rの基線方向(または水平方向)は視野角に換算して1 Baseline direction of R (or horizontal direction) in terms of viewing angle 1
0分オーダ以下とし、その垂直方向(画像が表示される画面内での上記基線方向に対して直行する方向)は視差不連続輪郭をはみ出さなければ特に限定されないものとする。 And 0 min order following the vertical direction (direction perpendicular to said baseline direction in the screen image is displayed) shall not specifically limited unless protrude parallax discontinuities contour.

【0044】すなわち、人間は水平方向に視野角が10 [0044] In other words, human beings viewing angle in the horizontal direction 10
分以上あるときに、並列した各物体の距離の違いを認識できることから、分割される領域の水平方向の大きさは、視野角に換算して最大10分の大きさに設定される。 When minute is more, because it can recognize the difference between the distance of each object in parallel, horizontal size of the divided the region is set to a size of up to 10 minutes in terms of viewing angle. 領域がこの10分を越える大きさに設定されると、 When the space is set to a size exceeding the 10 minutes,
後述する視差(横ずれ)の抽出が不自然におおきな領域毎に行なわれることになり、結果得られる立体画像は不自然なものとなってしまう。 Will be extracted to be described later parallax (lateral displacement) is performed unnaturally large each region, resulting stereoscopic image becomes unnatural.

【0045】また、撮影時の各カメラは設定上水平方向に同期が取られているため、撮影された画像における垂直方向に対する左右の画像のずれはほとんどなく、よって上述の如く領域の垂直方向の大きさは特に限定されなくても良いこととなる。 Further, since the synchronization is taken each camera set on a horizontal direction at the time of photographing, the deviation of the left and right images with respect to the vertical direction in the captured image is little, thus the vertical direction described above as region magnitude so that the may not be particularly limited.

【0046】以上の如く画像が分割されると、視差抽出部4cによって、左右の画像間における分割画像の各領域の対応が判定され、対応する領域がある場合にはその視差(横ずれ)が求められる。 [0046] When the above as the image is divided, by the parallax extraction unit 4c, corresponding in each region of the divided images between left and right images is determined, if there is a corresponding region parallax (lateral displacement) is determined It is. なお、本実施例では、便宜上、視差は左画像に対する右画像の値とする。 In this embodiment, for convenience, the disparity is the value of the right image for the left image.

【0047】視差を求める場合、左右の画像における強度不連続部(境界線)をそれぞれ検出し、検出したその境界線によって隔てられた部分の一定サイズ以下の領域の相関を左右の画像間で計算する方法(Toh and Forres [0047] When obtaining the parallax calculating intensity discontinuities in the left and right images (boundary) was detected, respectively, a correlation of certain size following areas of spaced part by detected the boundary line between the left and right images how to (Toh and Forres
t,Third International Conference on computer Visio t, Third International Conference on computer Visio
n,1990,PP.126-132)が用いられる。 n, 1990, PP.126-132) is used. この方法では、両眼視領域内にある領域どうしは相関が高く、単眼視領域内にある領域どうしは相関が低いということが利用される。 In this way, regions each other in the binocular vision region has a high correlation region each other in monocular vision region is used that is low correlation.

【0048】なお、視差を求める方法としては、上述の相関法や最小2乗法等による領域ベースの手法を用いる方法と、各領域内のエッジを抽出してマッチングをとる特徴ベースの手法を用いる方法とがある(Dhond & Agga [0048] As a method for determining the parallax is, the method using a method of using a region-based approach by correlation method, least square method or the like described above, a feature-based approach taking matching by extracting edges in each area there is a door (Dhond & Agga
rwal,IEEE Trans on Systems,Man,and Cybernetics,Vo rwal, IEEE Trans on Systems, Man, and Cybernetics, Vo
l.19,1489-1510)。 l.19,1489-1510). 前者の手法を用いる場合、相関を計算する際の領域には、上述の分割された領域か、あるいはそれを更に細かく分割した領域が用いられる。 When using the former method, the area when calculating the correlation, whether the above-described divided areas, or is it more finely divided areas used. また、 Also,
後者の手法を用いる場合、エッジまたは特徴が上述の視差不連続輪郭に重なるときには上記マッチングをとらないこととする。 When using the latter method, when the edge or feature overlaps the disparity discontinuity contour described above and not to take the matching.

【0049】また、視差抽出部4cは、必要があれば視差不連続輪郭で区切られた領域の平均視差を算出する。 [0049] Also, the disparity extracting unit 4c calculates the average disparity delimited region by the disparity discontinuity outline if necessary.
すなわち、視差抽出に際し、上記領域ベース手法において、平均視差を算出する領域よりも小さい領域に分割された場合、あるいは、特徴ベース手法において、各エッジ毎に視差を求めた後、エッジの存在しない領域の視差を補間して求めたとき、1つの視差不連続輪郭内に複数のエッジがある場合などに平均視差を算出する。 That is, upon parallax extraction, in the area-based approach, if divided into smaller regions than the region for calculating the average disparity, or in the feature-based approach, after obtaining the parallax for each edge, no edge region when found by interpolating the parallax, and calculates the average disparity such as when there are multiple edges in one parallax discontinuities contour.

【0050】上述のようにして得られる各視差不連続輪郭領域毎の視差の値は、カメラからその領域に相当する対象物までの距離の平均に対応している。 The value of the parallax for each parallax discontinuous contour region obtained as described above corresponds to the average of the distance to the object corresponding to the camera to the area.

【0051】視差抽出部4cにおける処理の結果、視差が求まらない場合、例えば、対応点あるいは対応領域が存在しない場合には、該当する領域は単眼視領域であるため、判別部4cによって領域中の各画素にその旨を示すラベル付けが行なわれる。 The result of the processing in the disparity extracting unit 4c, if the parallax is not obtained, for example, since if the corresponding point or the corresponding region does not exist, the corresponding area is a monocular vision region, region by discriminating section 4c labeling indicating that each pixel in is performed. 上記ラベル付けは、例えば、ラベル用配列L(i,j)(i,jは画素の位置を表すインデックス)を定義し、その値を左カメラにおける単眼視領域および右カメラにおける単眼視領域のそれぞれに対して+1,−1とする。 The labeling, for example, the label sequence L (i, j) (i, j is an index indicating the position of a pixel) to define the respective monocular vision area in monocular vision area and the right camera that value in the left camera + 1, and -1 for. この場合、両眼視領域は、L(i,j)=0に値が設定される。 In this case, the binocular vision region, L (i, j) = 0 the value is set. なお、上記両眼視領域と単眼視領域との判別は、上述した相関を用いても判別することができる。 Incidentally, discrimination between the binocular vision area and monocular vision area can be determined even by using the correlation as described above.

【0052】上述のようにして、左右の画像が複数の領域に分割され、分割された各領域の対応および視差が求められて、両眼視領域と単眼視領域との判別が行なわれると、画像生成部4eによって、両眼視領域で得られた視差が画像表示部5の再生光学系に応じた視差に変換され画像生成が行なわれる。 [0052] As described above, when the left and right images is divided into a plurality of regions, in correspondence and disparity of each divided region is is determined, determination of binocular vision area and monocular vision area is performed, by the image generating unit 4e, parallax obtained in binocular vision region is converted into a parallax corresponding to the reproduction optical system of the image display unit 5 an image generation is performed.

【0053】すなわち、上記画像生成部4eでは、上述の如く検出された両眼視領域の視差が、カメラ配置計測記憶手段6に記憶された撮影時のカメラ配置、および再生光学系配置計測手段7で計測される画像表示部5の光学系の配置に基づいて演算処理され、その視差が画像表示部5の再生光学系に応じた視差に変換される。 [0053] That is, in the image generating section 4e, parallax binocular vision region detected as described above, the camera placement when stored imaging camera disposed measuring storage unit 6, and the reproducing optical system arranged measuring means 7 in the calculation process based on the arrangement of the optical system of the image display unit 5 to be measured, the parallax is converted into a parallax corresponding to the reproduction optical system of the image display unit 5.

【0054】画像生成部4eによって両眼視領域の視差が再生光学系に応じた視差に変換されると、その両眼視領域の画像および上述の単眼視領域の画像が画像処理部4から画像表示部5へ出力される。 [0054] When the image generation unit 4e parallax binocular vision region is converted into a parallax corresponding to the reproduction optical system, images the image of the image and above the monocular regions of the binocular region from the image processing unit 4 is output to the display unit 5. すると、画像表示部5では、その再生光学系の配置に合ったステレオ画像が表示される。 Then, the image display unit 5, a stereo image matching the arrangement of the reproduction optical system is displayed.

【0055】以上のように、左右のカメラで撮影された画像は、画像処理部4の各構成部でそれぞれ画像処理が行なわれ、撮影時のカメラ配置で得られる立体画像とは異なるカメラ配置の立体画像が画像表示部5へ出力され表示される。 [0055] As described above, taken with the right and left camera images are each image processed by each unit of the image processing unit 4 is performed, the camera arrangement different from the three-dimensional image obtained by the camera placement during shooting stereoscopic image is displayed is output to the image display unit 5.

【0056】次に、上述の画像生成部4eによる両眼視領域における視差の変換処理を、画像表示部5に表示された立体画像を人間の眼に入射させてステレオ画像を形成する際の、人間の眼における視差情報変換の原理に基づいて説明する。 Next, the conversion processing of the disparity in the binocular vision area by the image generating unit 4e described above, is incident stereoscopic image displayed on the image display unit 5 to the human eye in forming a stereo image, It will be described based on the principle of parallax information transform in the human eye.

【0057】図3は、視差情報変換の原理を示す概念図である。 [0057] Figure 3 is a conceptual diagram illustrating the principle of the parallax information transform.

【0058】図3の概念図では、直線b上に基線長L [0058] In the conceptual view of FIG. 3, the base line length on the straight line b L
(撮影時のカメラ系の基線長)の間隔を有する2点と交差する平面をそれぞれ撮影時のカメラセンサ面S L ,S R Camera sensor surface S L of the plane during the shooting each intersecting the two points having a spacing of (baseline length camera system at the time of shooting), S R
とし、さらに、その平面の両外側の基線長L'(再生時の光学系の基線長)の間隔を有する2点と交差する平面をそれぞれ再生時のディスプレイ面(あるいは眼球の網膜)S L ',S R 'とする。 And then, further, both sides of the base line length L of the flat 'display surface at the time of reproduction, respectively a plane intersecting the two points having a spacing of (base length of the optical system during reproduction) (or the retina of the eye) S L' , and S R '. また、各平面S L ,S Rと直線bとの交点における各垂線l L ,l Rが互いに交わる点をQとし、同様に各平面S L ',S R 'の各垂線l L ', Also, each plane S L, S the perpendicular at the point of intersection between R and the straight line b l L, the point at which l R intersect each other to is Q, likewise each plane S L ', S R' each perpendicular line l L 'and
R 'が互いに交わる点をQ'とする。 'the point at which intersect each other Q' l R and.

【0059】さらに、実空間のある物体上の点Pを点Q'から点Qへ引いた線の延長線上に設けて、その点P [0059] Further, provided on an extension of a line drawn with the point P on the object of the real space from the point Q 'to point Q, the point P
の各平面S L ,S R ,S L ',S R 'における結像点をそれぞれP P each plane S L of, S R, S L ', S R' the image point in each L ,P R ,P L ',P R 'として各平面S L ,S R ,S L, P R, P L ' , P R' each plane as S L, S R, S
L ',S R '上に設ける。 L ', S R' provided on. 設けた各結像点P L ,P R Each image point provided P L, P R,
L ',P R 'と点Pとを結ぶ各線と、上記各垂線l L P L ', P R' and the line segments connecting the point P, each perpendicular line l L,
R ,l L ',l R 'とが交わる点をそれぞれQ L ,Q R l R, l L ', l R' and Q respectively, the point at which intersect L, Q R,
L ',Q R 'とする。 Q L ', Q R' and. ここで、点Q L ,Q Rは撮影時のレンズの中心を表し、点Q L ',Q R 'は再生時の光学系のレンズの中心を表す。 Here, the point Q L, Q R represents the center of the lens at the time of shooting, the point Q L ', Q R' represents the center of the lens of the optical system during reproduction.

【0060】以下の説明では式を簡単化するために、点Pは点Q L ,Q Rから等距離で、点Q [0060] In order to simplify the equations in the following description, the point P is the point Q L, equidistant from Q R, the point Q L ,Q Rは平面S L L, Q R is a plan S L,
Rから等距離uにあるものと仮定する。 Assume that the S R equidistant u.

【0061】ここで、図3において撮影時のカメラの輻輳角を2φとすると、点Qから点Pまでの距離χは三角形△Q L PQにおいて以下の式で表される。 [0061] Here, when 2φ the convergence angle of the camera during photographing 3, the distance χ from the point Q to the point P represented by the following formula in the triangle △ Q L PQ.

【0062】 χ/Sin(θ)=q/Sin(π−φ−θ) (1) ここでqは、点Qから点Q Lまでの距離を表すものであって、 q=(L/2)×(1/Sin(φ)−u) (2) で与えられる。 [0062] χ / Sin (θ) = q / Sin (π-φ-θ) (1) where q is a represents the distance from the point Q to the point Q L, q = (L / 2 ) is given by × (1 / Sin (φ) -u) (2). よって、上記式(1)および式(2)より Therefore, the above equation (1) and (2)

【0063】 [0063]

【数1】 [Number 1] が得られる。 It is obtained. また、tan(θ)は tan(θ)=|P L |/u=|P R |/u で表わせることから、基線bを含む面から点Qまでの距離Rは、 R=L/2×Cot(φ) で与えられる。 Further, tan (theta) is tan (θ) = | P L | / u = | P R | distance R from it / u in expressed, from the plane containing the base line b to point Q, R = L / 2 × given by Cot (φ). ここで|P L |,|P L '|,|P R |, Here | P L |, | P L '|, | P R |,
|P R '|は、各平面S L ,S L ',S R ,S R 'と直線b | P R '|, each plane S L, S L', S R, linear and S R 'b
との各交点から各点P L ,P L ',P R ,P R 'までの距離を表す。 Each point P L, from the intersection of the P L represents a ', P R, P R' distance to.

【0064】同様にして、再生時の光学系の輻輳角を2 [0064] In a similar manner, 2 the convergence angle of the optical system at the time of reproduction
φ'とすると、点Q'から点Pまでの距離χ'は以下の式によって表せる。 'When the point Q' phi distance from the point P chi 'is expressed by the following equation.

【0065】 [0065]

【数2】 [Number 2] また、基線bを含む面から点Q'までの路離R'は、 R'=L'/2×Cot(φ') となる。 Also, 'road away R to' from the plane containing the base line b point Q becomes R '= L' / 2 × Cot (φ '). ここで、 R−χ=R'−χ' であることから、P L 'について解くと、 Here, 'because it is, P L' R-χ = R'-χ is solved for,

【0066】 [0066]

【数3】 [Number 3] となり、 Next,

【0067】 [0067]

【数4】 [Number 4] が得られる。 It is obtained. ここで、Aは関数f(L,L',φ, Here, A is a function f (L, L ', φ,
φ')で与えられるパラメータを表す。 It represents a parameter given by phi ').

【0068】以上のことから分かるように、uおよびφ [0068] As can be seen from the above that, u and φ
が既知であり、P Lが測定可能であれば、基線長がLからL'に、輻輳角が2φから2φ'に変わったときのP P when it is known, P L measurements possible, that 'the convergence angle is 2 [phi from 2 [phi' L base length from L turned
L 'を関数f(L,L',φ,φ')として算出することができる。 'The function f (L, L' L, φ, φ ') can be calculated as.

【0069】すなわち、本実施例の画像記録再生装置では、画像が再生される際、画像生成部4eによって、カメラ配置計測記憶手段6に記憶されている撮影時のカメラ配置の情報からLおよびφが読み出され、さらに、再生光学系配置計測手段7から再生時の光学配置情報としてL'およびφ'が検出され、上述の式(1)および式(2)にしたがってP LがP L 'に変換されて画像生成が行なわれる。 [0069] That is, the image recording and reproducing apparatus of this embodiment, when an image is reproduced, the image generation unit 4e, the information of the camera placement during shooting stored in the camera placement measuring storage unit 6 L and φ is read out, further, is detected L 'and phi' as an optical arrangement information during reproduction from the reproduction optical system arranged measuring means 7, the above equation (1) and (2) in accordance with P L is P L ' It is converted to be an image produced is performed.

【0070】上記の場合、一般に視差は(P L −P R )で与えられるため、基線長の変化に伴って視差も(P L ' [0070] In the above case, the generally disparity (P L -P R) for given by the disparity with the change in the base line length also (P L '
−P R ')のように変化する。 -P R ') varies as. また、図3に示すように点P,Qを含む面に関して光学系が対称となる場合には、視差は2P Lから2P L 'に変化する。 Further, the point P as shown in FIG. 3, an optical system with respect to a plane including the Q is when the symmetry parallax changes to 2P L 'from 2P L.

【0071】また、点Pが点O L ,O Rから等距離でない場合、すなわち|P L |≠|P R |であるときでも、式(1)および式(2)を用いてP RからP R 'を算出することができる。 [0071] Also, if the point P is not equidistant from the point O L, O R, i.e. | P L | ≠ | P R | even when it is, the P R using Equation (1) and (2) it can be calculated P R '.

【0072】なお、本実施例では、撮影時のカメラ等の配置および再生時の再生光学系の配置が、カメラ配置計測記憶手段6および再生光学系配置計測記憶手段7によってそれぞれ計測されるが、撮影時と再生時のそれぞれの光学配置が予め分かっているときには計測する必要はない。 [0072] In this embodiment, the arrangement of the reproducing optical system during placement and reproduction such as a camera at the time of photographing, but are respectively measured by the camera placement measuring storage unit 6 and the reproducing optical system arranged measuring storage unit 7, You need not be measured when the respective optical arrangement at the time of reproduction at the time of shooting is known in advance.

【0073】また、遮蔽輪郭または視差不連続部の境界線で区切られた両眼視領域を分割する際の領域の形状は矩形に限定されるものではなく、遮蔽輪郭、または視差不連続部の境界線に沿って分割することができれば任意の形状であっても良い。 [0073] Further, the shape of the region when dividing the binocular vision region delimited by the boundary line of the shielding contour or disparity discontinuity is not intended to be limited to the rectangular, occluding contours or parallax discontinuities, if it is possible to split along the boundary line may be of any shape. ただし、横方向の大きさは、上述の如く10分オーダを越えないものとし、もし10分オーダを越えた場合には分割された領域をさらに再分割して10分オーダを越えない大きさにする。 However, the lateral size is shall not exceed 10 minutes order as described above, if the size does not exceed the further subdivided to 10 minutes order the divided region when it exceeds 10 minutes Order to.

【0074】図4は、本発明の第2実施例の画像記録再生装置の概略構成図である。 [0074] Figure 4 is a schematic block diagram of an image recording and reproducing apparatus of the second embodiment of the present invention.

【0075】本実施例の画像記録再生装置は、図1に示す画像記録再生装置において、カメラ1 L ,1 R内にそれぞれ設けられたズーム機構8L,8R、エリアセンサ9 [0075] Image recording and reproducing apparatus of this embodiment, the image recording and reproducing apparatus shown in FIG. 1, the camera 1 L, 1 respectively in R zoom provided mechanisms 8L, 8R, the area sensor 9
L,9Rおよび開口板11L,11Rと、該エリアセンサ9L,9Rの検出結果に基づいて撮像面上に撮像された画像のボケ量を算出する演算処理部10L,10Rとが設けられた以外は第1実施例の画像記録再生装置と同様の構成の装置である。 L, and 9R and the aperture plate 11L, 11R, except that the area sensor 9 L, the arithmetic processing unit 10L for calculating a blur of the captured image on the imaging surface based on 9R detection result, and 10R provided in a device of the image recording and reproducing apparatus similar to the configuration of the first embodiment. 上記画像記録再生装置では、 In the image recording and reproducing apparatus,
撮像面上に撮像された画像のうちボケ量が大きい部分は、カメラの焦点距離から大きくずれたところであり、 Partial amount blur larger of the captured image on the imaging surface is where largely shifted from the focal length of the camera,
視差が不連続に変化する部分と判断される。 Parallax is determined discontinuously changing portion.

【0076】上記画像記録再生装置において、エリアセンサ9L,9Rは、カメラ1 L ,1 Rの撮像面上に設けられている。 [0076] In the image recording apparatus, the area sensor 9 L, 9R are provided on the camera 1 L, 1 R imaging surface of. カメラ1 L ,1 Rによって撮影された対象物の画像はズーム機構8L,8Rを介してエリアセンサ9 Camera 1 L, 1 image of the object captured by the R zoom mechanism 8L, the area sensor 9 via a 8R
L,9R上に撮像される。 L, is imaged onto the 9R. 演算処理部10はエリアセンサ9L,9R上に撮像された画像のボケ量をそれぞれ算出する。 Arithmetic processing unit 10 calculates the area sensor 9 L, the blur amount of the image that has been captured on 9R, respectively. また、開口板11L,11Rは撮像面上に撮像される画像の大きさを決めるものであって、撮像系前部、例えばレンズ系前面に設けられ所定の大きさの穴を有している。 The opening plate 11L, 11R has be one that determines the size of the image to be imaged on an imaging surface, the imaging system front, for example of a predetermined provided in the lens system front size holes in.

【0077】なお、第1実施例の画像記録再生装置と同様の構成部については、その構成部の動作も同様に動作するものである。 [0077] Note that the image recording and reproducing apparatus similar to the configuration of the first embodiment, and operates similarly operation of the components.

【0078】次に、上記画像記録再生装置の動作について説明する。 [0078] Next, the operation of the image recording and reproducing apparatus.

【0079】上記画像記録再生装置では、カメラ1 L [0079] In the image recording and reproducing apparatus, the camera 1 L,
Rによって撮影された対象物の画像がズーム機構8 1 image of the object captured by R is a zoom mechanism 8
L,8Rを介してエリアセンサ9L,9R上に撮像される。 L, the area sensor via 8R 9 L, is imaged onto the 9R. このとき撮像された画像はズーム機構8L,8Rによって、画像の水平方向(ここでは、基線長方向をいう)の大きさが、例えば視野角に換算して数十分オーダとなるように調整される。 At this time the captured image is a zoom mechanism 8L, by 8R, (here, refers to the base length direction) horizontal image size of is adjusted so as for example a few tens of minutes order in terms of viewing angle that. このことにより、エリアセンサ9L,9R上に撮像される画像は、その大きさが水平方向のサイズが10分程度となる領域10個分より小さくなるよう限定される。 Thus, the image captured area sensor 9 L, on the 9R is limited to the size is smaller than the a region 10 min horizontal size of about 10 minutes.

【0080】ここで、開口板11L,11Rの開口部(アパーチャ)の大きさを分割される領域の大きさに従って適切に設定し、開口部を対象物を撮影する際の各カメラ1 [0080] Here, the aperture plate 11L, appropriately set according to the size of the regions divided the size of the opening of the 11R (aperture), the camera 1 at the time of photographing an object openings L ,1 Rの全画角に渡って所定のステップ幅で走査する。 L, is scanned with a predetermined step width over the entire field angle of 1 R. すると、撮像面上には各ステップ毎に水平方向が10分オーダに区分された画像がそれぞれ撮像される。 Then, the on the imaging plane image where the horizontal direction is divided into 10 minutes order for each step are respectively imaged.
上記のようにして水平方向が10分オーダの画像がそれぞれ撮像されると、演算処理部10L,10Rはエリアセンサ11L,11Rを介してその画像のボケ量をそれぞれ算出する。 When the image in the horizontal direction is 10 minutes order as described above are respectively imaged, and calculates the arithmetic processing unit 10L, 10R is an area sensor 11L, the blur amount of the image through the 11R respectively.

【0081】演算処理部10によって算出されるボケ量Cは、以下の式から求められる。 [0081] blurring amount C calculated by the arithmetic processing unit 10 is determined from the following equation.

【0082】 [0082]

【数5】 [Number 5] ここで、Aは開口板11のアパーチャ径、fは焦点距離、Zはカメラ1 L ,1 Rから対象物までの距離、Z'は焦点の合った対象物までの距離、C0(A,f)はAとfとで表される関数であって合焦時の光束径を表す。 Here, A is the aperture diameter of the aperture plate 11, f is the focal length, Z is the distance from the camera 1 L, 1 R to the target, Z 'is the distance to the object in focus, C0 (A, f ) denotes the beam diameter during focusing a function represented by a and f.

【0083】また、上記式(3)から分かるように、ボケ量Cは他のパラメータが固定されているものとすると、被写体の1点、もしくは微小領域までの距離のおよその目安となる。 [0083] As can be seen from the above equation (3), when the blur amount C is assumed to other parameters are fixed, the approximate measure of the distance to a point or small area of ​​the object.

【0084】各ステップ毎にボケ量が算出されると、そのボケ量の変化分(例えば、算出された前後のボケ量の差の絶対値、あるいは算出された前後のボケ量の比)が取られ、その値が所定の基準値より大きいところが視差不連続輪郭部の候補として検出される。 [0084] When the blurring amount in each step is calculated, variation of the blur amount (e.g., the ratio of the absolute value, or before and after the calculated amount of blur difference between the blurring amount before and after the calculated) is collected is, the value is detected as a candidate of a predetermined reference value is greater than However parallax discontinuities contour.

【0085】各カメラ1L,1Rで撮像された画像は、 [0085] image captured by the cameras 1L, 1R is
上述のようにして各画像における視差不連続輪郭部の候補が検出された後、その抽出した視差不連続輪郭部の候補の情報とともに画像データとしてメモリ3に記憶される。 After candidate disparity discontinuities contour as described above in each image is detected and stored together with the information of the candidate disparity discontinuities contour that the extracted memory 3 as image data.

【0086】メモリ3に記憶された画像データが画像処理部4に入力されると、まず輪郭抽出部4aによって、 [0086] When the image data stored in the memory 3 is input to the image processing unit 4, the first contour extraction unit 4a,
上記視差不連続輪郭部の候補として検出された領域に基づいて強度不連続部、および色、強度の分散などの不連続部が検出される。 The disparity discontinuity contour intensity discontinuities on the basis of the detected region as a candidate, and the color, discontinuities, such as the variance of intensity is detected.

【0087】輪郭抽出部4aによって不連続部が検出されると、入力された画像は画像分割部4bによって、立体知覚特性が考慮された所定の大きさの複数の領域に再分割される。 [0087] When the discontinuity by the contour extracting unit 4a is detected, the input image by the image dividing section 4b, is subdivided into a plurality of regions of a predetermined size that stereoscopy characteristics are considered. このときの画像の再分割も、第1実施例の場合と同様に各領域が上記不連続部と交差しないよう行なわれる。 Subdivision of the image at this time as well, each of the regions as in the first embodiment is performed so as not to cross the discontinuous portion. なお、再分割された領域内に上記不連続部が複数存在する場合には、その領域はそれぞれの不連続部と交差しないよう小領域で再分割される。 In the case where the discontinuities there are a plurality in subdivided area, the area is subdivided in a small area so as not to intersect with each discontinuity.

【0088】画像が複数の領域に再分割されると、第1 [0088] Once the image is subdivided into a plurality of regions, the first
実施例の場合と同様に視差抽出部4cによって視差がその分割された領域毎に求められる。 Obtained for each region in which the parallax is the divided by the same parallax extraction unit 4c in Example.

【0089】視差が求められた結果、上記不連続部を境界として隣接する2つの小領域の視差の差が所定の基準値に満たない場合には、その不連続部を視差不連続輪郭の候補から外しその領域が再分割される。 [0089] As a result of parallax is determined, if the difference parallax two small areas adjacent to the discontinuities as a boundary is less than a predetermined reference value, the discontinuous portion of the parallax discontinuous outline candidate the area removed from is subdivided. このように視差不連続輪郭の候補からの視差不連続輪郭の抽出および画像分割を繰返し行なうことによって視差不連続輪郭が正確に特定できる。 Thus parallax discontinuous contours by repeating the extraction and image segmentation disparity discontinuities contour from the candidate disparity discontinuities contour can be accurately identified. この結果、その特定された視差不連続輪郭により区切られた領域の平均視差を精度良く求めることができる。 As a result, it is possible to accurately obtain the average disparity delimited region by the identified disparity discontinuities contour.

【0090】以上のようにして、視差不連続輪郭が抽出されると、画像処理部4では第1実施例の場合と同様の処理が行なわれて所望するステレオ画像が生成される。 [0090] As described above, the disparity discontinuity contour is extracted, the stereo image processing similar to the case of the first embodiment In the image processing unit 4 is desired conducted in is generated.
画像処理部4で処理されたステレオ画像は画像表示部5 Stereo image processed by the image processing unit 4 the image display unit 5
へ出力されて表示される。 Is displayed is output to.

【0091】図5は、本発明の第3実施例の画像記録再生装置の概略構成図である。 [0091] Figure 5 is a schematic block diagram of an image recording and reproducing apparatus of the third embodiment of the present invention.

【0092】本実施例の画像記録再生装置は、各カメラで撮影された画像を別途コンピュータグラフィックスあるいは実写によって生成される画像に組み込んで立体表示するものであって、以下のような構成となっている。 [0092] Image recording and reproducing apparatus of this embodiment is for three-dimensional display incorporated into the image generated by the captured image separately computer graphics or photographed by each camera, configured as follows ing.

【0093】上記画像記録再生装置は、それぞれ異なる画像を生成する2つの画像生成部と、それぞれ生成された2つの画像を合成する合成部とを有するものである。 [0093] The image recording and reproducing apparatus are those having two image generation unit to generate different images, respectively, and a combining unit for combining two images generated respectively.

【0094】一方の画像生成部は、ステージ202上に設けられた2台のカメラ201L,201Rと、カメラ201L,201Rで撮影された画像を画像データとして記憶するメモリ203と、メモリ203から入力される画像データから立体画像を生成する画像処理部204 [0094] One of the image generation unit, two cameras 201L provided on the stage 202, and 201R, the camera 201L, a memory 203 for storing the image captured by the 201R as image data, is input from the memory 203 the image processing unit 204 for generating a stereoscopic image from that image data
とで構成されている。 It is composed of a.

【0095】他方の画像生成部は、上記カメラ201 [0095] The other image generation unit, the camera 201
L,201Rとは別に設けられた複眼撮像部212と、 L, a multi-lens imaging unit 212 provided separately from the 201R,
所望のコンピュータグラフィックスを生成するCPU2 CPU2 to produce the desired computer graphics
13と、これらの生成された画像を記憶するメモリ21 13, a memory 21 for storing these generated images
4とで構成されている。 4 is composed of a.

【0096】また、上記合成部は画像合成部215で構成されており、2つの画像生成部によって生成された画像はそれぞれ画像合成部215で合成される。 [0096] Further, the combining unit is constituted by the image combining unit 215, the image generated by the two image generation unit are respectively synthesized by the image synthesizing unit 215. ここで合成された画像は、画像表示部205に出力され画像表示される。 Here synthesized image is an image displayed is output to the image display unit 205.

【0097】なお、上記画像処理部204には、カメラ201L,201Rの撮影時のカメラ配置を計測し記憶するカメラ配置計測記憶手段206、および画像表示部205の再生時の再生光学系の配置を計測し記憶する再生光学系配置計測記憶手段207が接続されており、第1および第2実施例の場合と同様に、カメラ201L, [0097] Incidentally, in the image processing unit 204, a camera 201L, the arrangement of the camera placement measuring storage unit 206, and the reproduction optical system during reproduction of the image display unit 205 measures and stores the camera placement during shooting 201R are reproducing optical system arranged measuring storage unit 207 is connected to the measurement and stored, as in the first and second embodiments, the camera 201L,
201Rで撮影された画像に基づいて撮影時のカメラ配置とは異なるカメラ配置の画像の生成が行なわれる。 Generation of images of different camera placement is performed with a camera placement during shooting based on the image captured by the 201R.

【0098】次に、上記画像記録再生装置の動作について、カメラ1L,1Rを用い背景が一様に写る場所で人物像を撮像し、その人物像と他の画像とを合成処理する場合を例に挙げて説明する。 [0098] Next, the operation of the image recording and reproducing apparatus, an example when the camera 1L, the background using 1R captures the figures where caught on uniform and synthesis process and the person image and another image It will be described by way of.

【0099】カメラ1L,1Rで撮影された画像、ここでは背景が一様に写る場所で人物像を撮像したものがメモリ203に画像データとして記録される。 [0099] The camera 1L, the image captured by the 1R, where those of the captured person image where the background is caught on uniform is recorded as image data in the memory 203. 同時に、撮影時のカメラの配置がカメラ配置計測記憶手段206に記憶される。 At the same time, the arrangement of the camera during photographing are stored in the camera arrangement measuring storage unit 206.

【0100】メモリ203から記録された画像データが画像処理部204に出力されると、画像処理部204では、第1実施例に述べた手法により人物の画像領域の平均視差が求められる。 [0100] When the image data recorded from the memory 203 is output to the image processing unit 204, the image processing unit 204, the average parallax image area of ​​a person according to the procedure described in the first embodiment is obtained. 求めた平均視差とカメラ配置計測記憶手段206で得られたカメラ配置とから、三角測量の原理を用いてカメラから人物像までの距離の概算値が得られる。 And a camera arrangement obtained by the average disparity and camera placement measuring storage unit 206 determined the approximate value of the distance from the camera to the person image is obtained using the principle of triangulation.

【0101】上述のようにしてカメラから人物像までの距離の概算値が得られると、画像処理部204では得られた距離と人物像の画像サイズに基づいて、撮像時とは異なるカメラ配置の画像となるよう画像に適切な視差と画像サイズが与えられて画像生成が行なわれる。 [0102] When the approximate value of the distance from the camera as described above to the person image is obtained, based on the image size of the distance and the person image obtained in the image processing unit 204, the camera arrangement is different from the time of imaging suitable parallax and image size in the image is given to the image by the image generation is performed. 生成された画像は、画像合成部215へ出力される。 The generated image is output to the image synthesizing unit 215.

【0102】一方、メモリ214には上記人物像とは別に、複眼撮像部212によって撮像された画像、あるいはCPU213によって作成されたコンピュータグラフィックスが記憶されており、これらの画像が必要に応じて画像合成部215へ出力される。 [0102] On the other hand, apart from the above-mentioned figures are in the memory 214, the image captured by the compound-eye imaging unit 212, or the CPU213 is stored a computer graphics created by, if necessary these picture is output to the synthesis unit 215.

【0103】画像処理部204およびメモリ214からそれぞれ画像が画像合成部215に出力されると、画像合成部215では入力されたそれぞれの画像の投影または合成が行なわれる。 [0103] As each image from the image processing unit 204 and the memory 214 are outputted to the image synthesizing unit 215, a projection or synthetic respective image input in the image synthesis unit 215 is performed. この結果、2つの画像が融合されて画像表示部205に表示される。 As a result, two images are displayed is fused to the image display unit 205.

【0104】なお、本実施例では、投影とは対象画像が投影されるべき領域の画素を、背景となる画像の輝度レベルから対象画像に対する輝度レベルに置換する等の画像処理を示すが、元々の背景画像に対象画像の輝度レベルを補正して加えても良い。 [0104] In this embodiment, the pixel of the region to the target image is projected from the projection, it shows the image processing such as replacing the luminance level of a background image to the luminance level for the target image, originally the background image may be added to correct the luminance level of the target image. また、背景画像含め遮蔽輪郭または視差不連続輪郭で区切られた全ての両眼視領域の画像を、画像処理部204により得られるそれぞれの平均視差、または各領域内を水平方向に10分程度あるいはそれ以下のサイズの領域に分割した際の領域毎の平均視差を与えて表示しても良い。 Further, the background image including the images of all of binocular vision region delimited by occluding contour or disparity discontinuities contour, respective average disparity obtained by the image processing section 204 or about 10 minutes in each area in the horizontal direction, or it may be displayed giving average parallax for each area at the time of dividing it into regions of the following sizes.

【0105】さらに、カメラ配置計測記憶手段206および再生光学系配置計測記憶手段207を用いて、撮影時と再生時のそれぞれの光学系の配置を計測し、双方の配置の差異を反映した立体画像を生成する場合には、遮蔽輪郭または視差不連続輪郭で区切られた両眼視領域の平均視差を、領域毎にそれぞれ第1実施例の場合と同様に画像処理部204により求めて表示しても良い。 [0105] Further, by using a camera arranged measuring storage unit 206 and the reproduction optical system arranged measuring storage unit 207 measures the respective arrangement of the optical system during reproduction the time of shooting, the three-dimensional image that reflects the difference in both the arrangement when generating the mean parallax binocular vision region delimited by occluding contour or disparity discontinuities contour, in the first embodiment, respectively for each region and then displayed asking by the image processing unit 204 in the same manner it may be.

【0106】なお、本発明の画像記録再生装置における各構成部は、ステージ上に設けられた一体構成の装置であっても、メモリ部、画像処理部および画像表示部がカメラとは別に設けられた構成の装置であっても良い。 [0106] Incidentally, each component in the image recording and reproducing apparatus of the present invention may be a device integrated structure provided on the stage, a memory unit, an image processing unit and an image display unit is provided separately from the camera and it may be a device configuration.

【0107】さらに、本発明の画像記録再生装置において、上述した各実施例では、2台のカメラは水平に設置されその水平同期が予め取られるため、画像の分割は、 [0107] Further, in the image recording and reproducing apparatus of the present invention, in the embodiments described above, since the two cameras that horizontal sync is installed horizontally is taken in advance, divided images,
基線長方向に対しては人間の立体知覚特性を考慮して視野角が10分もしくはそれ以下とし、その基線長方向に垂直となる方向に対しては視差不連続輪郭に交差しなければ限定されないものとしていたが、上記2台のカメラが水平に設置されない場合には、上記基線長方向に垂直となる方向は所定の大きさに限定してもよい。 For base length in consideration of the human stereo perception characteristic viewing angle was 10 minutes or less, but is not limited to be crossed to the parallax discontinuous contour relative direction perpendicular to the base length direction had a thing, when the two cameras are not installed horizontally, direction perpendicular to the base length may be limited to a predetermined size.

【0108】 [0108]

【発明の効果】本発明は以上説明したように構成されているので、以下に記載するような効果を奏する。 Since the present invention is constructed as described above, an effect as described below.

【0109】請求項1に記載のものにおいては、左右のカメラで撮影された画像における対応点の抽出は、遮蔽輪郭または視差不連続部の境界線で区切られた領域毎に行なわれるので、視差不連続領域で各画像における対応点の抽出が行なわれるのを防止でき、良好な画像を形成できるという効果がある。 [0109] In one described in claim 1, the extracts of the corresponding point in the image captured by the right and left cameras, since performed delimited each region at the boundary line of the shielding contour or disparity discontinuities, parallax in discrete areas prevents the corresponding point extraction is performed in each image, there is an effect that can form good images.

【0110】さらに、遮蔽輪郭または視差不連続部の境界線で区切られた領域が、人間の立体知覚特性が考慮された所定の大きさの複数の領域に分割されて、その分割された領域毎に視差の抽出が行なわれるので、立体感を損なうことなく視差抽出処理および画像生成処理における演算時間を短縮できるという効果がある。 [0110] Further, regions separated by the boundary line of the shielding contour or disparity discontinuities and human stereoscopic perception characteristic is divided into a plurality of regions of, predetermined dimensions considering its divided each region since parallax extraction is performed, there is an effect that can be shortened operation time in the parallax extraction process and the image generation process without deteriorating the stereoscopic effect.

【0111】請求項2に記載のものにおいては、画像データの分割が人間の立体知覚特性を考慮した大きさとなるため、上記各効果に加えて、視差の抽出が適度なものとし、演算処理を高速に行なうことができる効果がある。 [0111] In those described in claim 2, since the image data division is sized in consideration of human stereo perception characteristic, in addition to the above effects, parallax extraction is assumed moderate, the operation processing there is an effect that can be performed at high speed.

【0112】請求項3に記載のものにおいては、人間の立体知覚特性に近似した視差の抽出が行なわれ、上記効果を一層向上することができる効果がある。 [0112] In those described in claim 3, the extraction of the parallax close to the human stereo perception characteristic is performed, there is an effect that it is possible to further improve the effect.

【0113】請求項4に記載のものにおいては、上記各効果を奏する画像記録再生装置を実現することができる効果がある。 [0113] In those described in claim 4 has the effect that it is possible to realize an image recording and reproducing apparatus to achieve the above effect.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1実施例の画像記録再生装置の概略構成図。 Schematic structural view of an image recording and reproducing apparatus of the first embodiment of the present invention; FIG.

【図2】カメラ1L,1Rで撮影された画像の視差不連続輪郭を示したもので、(a)は左右のカメラで撮影された原画像、(b)は(a)から抽出された視差不連続輪郭。 [2] The camera 1L, shows the disparity discontinuity contour of the image captured by the 1R, (a) is captured original image by the right and left cameras, (b) the parallax extracted from (a) discontinuous contour.

【図3】視差情報変換の原理を示す概念図。 Figure 3 is a conceptual diagram illustrating the principle of the parallax information transform.

【図4】本発明の第2実施例の画像記録再生装置の概略構成図。 Schematic structural view of an image recording and reproducing apparatus of the second embodiment of the present invention; FIG.

【図5】本発明の第3実施例の画像記録再生装置の概略構成図 Figure 5 is a schematic block diagram of an image recording and reproducing apparatus of the third embodiment of the present invention

【符号の説明】 DESCRIPTION OF SYMBOLS

1L、1R、201L、201R カメラ 2、202 ステージ 3、3L、3R、203、214 メモリ 4、204 画像処理部 4a 輪郭抽出部 4b 画像分割部 4c 視差抽出部 4d 判別部 4e 画像生成部 5、205 画像表示部 6、206 カメラ配置計測記憶手段 7、207 再生光学系配置計測記憶手段 8L、8R ズーム機構 9L、9R エリアセンサ 10L、10R 演算処理部 11L、11R 開口板 212 複眼撮像部 213 CPU 215 画像合成部 1L, 1R, 201L, 201R camera 2,202 stage 3,3L, 3R, 203,214 memory 4,204 image processing unit 4a contour extraction unit 4b image dividing unit 4c disparity extracting unit 4d discriminating unit 4e image generator 5,205 The image display unit 6,206 camera placement measuring storage unit 7,207 reproducing optical system arranged measuring storage unit 8L, 8R zoom mechanism 9 L, 9R area sensor 10L, 10R processing unit 11L, 11R aperture plate 212 compound-eye imaging unit 213 CPU 215 images synthesis unit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 6識別記号 庁内整理番号 FI 技術表示箇所 G06T 11/00 H04N 13/00 9365−5L G06F 15/72 ────────────────────────────────────────────────── ─── front page continued (51) Int.Cl. 6 in identification symbol Agency Docket No. FI art display portion G06T 11/00 H04N 13/00 9365-5L G06F 15/72

Claims (4)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 複数のカメラを用いて撮影した画像から種々のステレオ画像を形成する画像記録再生装置において、 前記ステレオ画像を表示する画像表示手段と、 前記複数のカメラで撮影された画像を画像データとして記録する記録手段と、 前記画像データの遮蔽輪郭および視差不連続部境界線を抽出する輪郭抽出手段と、 前記抽出された遮蔽輪郭および視差不連続部境界線に交差しないように前記画像データを所定の大きさの複数の領域に分割する画像分割手段と、 前記画像データの視差を前記複数の領域毎に抽出する視差抽出手段と、 前記複数の領域毎に抽出された視差に基づいて、前記画像データにおける両眼視領域と単眼視領域を判別する判別手段と、 撮影時のカメラの配置と再生時の再生光学系の配置とから、前記両眼視領域 In image recording and reproducing apparatus to form various stereo images from photographed images with claim 1 a plurality of cameras, and image display means for displaying the stereo images, the image captured by the plurality of camera images recording means and a contour extraction means for extracting the shielding contour and disparity discontinuities perimeter of the image data, the image data so as not to intersect the extracted occluding contour and disparity discontinuities border recorded as data and an image dividing means for dividing into a plurality of regions of a predetermined size, a parallax extracting means for extracting the parallax of the image data for each of the plurality of regions, based on the extracted parallax for each of the plurality of regions, from a discriminating means for discriminating the binocular vision area and monocular vision area, the arrangement of the camera during photographing the arrangement of the reproducing optical system during reproduction in the image data, the binocular vision area おける視差を前記再生光学系の配置に応じた視差に変換してステレオ画像を生成し、該ステレオ画像を前記画像表示手段に出力する画像生成手段とを有することを特徴とする画像記録再生装置。 It converts the definitive parallax disparity corresponding to the arrangement of the reproducing optical system to generate a stereo image, image recording and reproducing apparatus characterized by having an image generating means for outputting the stereo image on the image display means.
  2. 【請求項2】 請求項1記載の画像記録再生装置において、 画像分割手段は、人間が画像の奥行き変化を認識できる最小視野角を基準とし、該最小視野角以下となるよう画像データを分割するとを特徴とする画像記録再生装置。 2. An image recording apparatus according to claim 1, wherein the image dividing means, humans with respect to the minimum viewing angle can recognize the depth variation of an image, splitting the image data so as to be less said minimum viewing angle image recording and reproducing apparatus according to claim.
  3. 【請求項3】 請求項2記載の画像記録再生装置において、 画像分割手段は、画像データをカメラ間の基線長方向に対して視野角が10分もしくはそれ以下となる大きさの複数の領域に分割することを特徴とする画像記録再生装置。 3. The image recording and reproducing apparatus according to claim 2, the image splitting means, the image data to the size a plurality of regions of the viewing angle with respect to the base length direction is 10 minutes or less between the cameras image recording and reproducing apparatus characterized by splitting.
  4. 【請求項4】 請求項1ないし3のいずれか1項に記載の画像記録再生装置において、 撮影時のカメラの配置を計測する第1の計測手段、および再生時の再生光学系の配置を計測する第2の計測手段が設けられ、画像生成手段は、前記第1の計測手段および第2の計測手段によって計測された結果に基づいてステレオ画像を生成することを特徴とする画像記録再生装置。 4. The image recording and reproducing apparatus according to any one of claims 1 to 3, a first measuring means for measuring the placement of camera during photographing, and the arrangement of the reproducing optical system during reproduction measurement second measuring means is provided for, the image generating means, an image recording and reproducing apparatus and generating a stereo image based on the result measured by said first measuring means and second measuring means.
JP6008522A 1994-01-28 1994-01-28 Image recording/reproducing device Pending JPH07220113A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6008522A JPH07220113A (en) 1994-01-28 1994-01-28 Image recording/reproducing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6008522A JPH07220113A (en) 1994-01-28 1994-01-28 Image recording/reproducing device

Publications (1)

Publication Number Publication Date
JPH07220113A true JPH07220113A (en) 1995-08-18

Family

ID=11695482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6008522A Pending JPH07220113A (en) 1994-01-28 1994-01-28 Image recording/reproducing device

Country Status (1)

Country Link
JP (1) JPH07220113A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP2002034054A (en) * 2000-07-14 2002-01-31 Sony Corp Image processing system and recording medium
WO2006035778A1 (en) * 2004-09-27 2006-04-06 Matsushita Electric Industrial Co., Ltd. Camera module and electronic apparatus provided with it
JP2008107290A (en) * 2006-10-27 2008-05-08 Konica Minolta Holdings Inc Distance image generator, distance image generation method, and program
US8106939B2 (en) 2005-11-02 2012-01-31 Sony Corporation Image processing method, image processing device and image display apparatus employing the image processing device
JP2013070274A (en) * 2011-09-22 2013-04-18 Sharp Corp Image processing device, image processing method, image processing program, and imaging device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP2002034054A (en) * 2000-07-14 2002-01-31 Sony Corp Image processing system and recording medium
WO2006035778A1 (en) * 2004-09-27 2006-04-06 Matsushita Electric Industrial Co., Ltd. Camera module and electronic apparatus provided with it
US7911516B2 (en) 2004-09-27 2011-03-22 Panasonic Corporation Camera module and electronic apparatus provided with it
US8106939B2 (en) 2005-11-02 2012-01-31 Sony Corporation Image processing method, image processing device and image display apparatus employing the image processing device
JP2008107290A (en) * 2006-10-27 2008-05-08 Konica Minolta Holdings Inc Distance image generator, distance image generation method, and program
JP2013070274A (en) * 2011-09-22 2013-04-18 Sharp Corp Image processing device, image processing method, image processing program, and imaging device

Similar Documents

Publication Publication Date Title
US7825948B2 (en) 3D video conferencing
JP4125252B2 (en) Image generation apparatus, image generation method, and image generation program
Adelson et al. Single lens stereo with a plenoptic camera
EP0520179B1 (en) Autostereoscopic photography system with electronically interpolated images
US7557824B2 (en) Method and apparatus for generating a stereoscopic image
CN1973556B (en) Stereoscopic image generating method and apparatus
KR100450469B1 (en) Image combining method and system using a technology based on Time
CN1144157C (en) System and method for creating 3D models from 2D sequential image data
JP3238755B2 (en) Hologram creation and the stereoscopic display method, and a stereoscopic display device
JP3869876B2 (en) Image measuring method and image measuring apparatus
US6389153B1 (en) Distance information generator and display device using generated distance information
US20080246757A1 (en) 3D Image Generation and Display System
DE60207655T2 (en) Device for displaying the environment of a vehicle and system for providing images
EP2328125B1 (en) Image splicing method and device
AU2010200085B2 (en) Critical alignment of parallax images for autostereoscopic display
JP3728160B2 (en) Depth image measuring apparatus and method, and mixed reality presentation system
KR100637363B1 (en) Method for displaying three dimensional image, method for capturing three dimensional image, and three dimensional display apparatus
US20060018509A1 (en) Image generation device
US7295699B2 (en) Image processing system, program, information storage medium, and image processing method
US20070165129A1 (en) Method of and apparatus for selecting a stereoscopic pair of images
KR100942055B1 (en) Image processing apparatus and method, printed matter production apparatus and method, and printed matter production system
US6191808B1 (en) Image processing method with viewpoint compensation and apparatus therefor
KR100407436B1 (en) Method and apparatus for capturing stereoscopic images using image sensors
US6151009A (en) Method and apparatus for merging real and synthetic images
US5359362A (en) Videoconference system using a virtual camera image