WO2013065543A1 - 視差調節装置及び方法、撮影装置、再生表示装置 - Google Patents

視差調節装置及び方法、撮影装置、再生表示装置 Download PDF

Info

Publication number
WO2013065543A1
WO2013065543A1 PCT/JP2012/077453 JP2012077453W WO2013065543A1 WO 2013065543 A1 WO2013065543 A1 WO 2013065543A1 JP 2012077453 W JP2012077453 W JP 2012077453W WO 2013065543 A1 WO2013065543 A1 WO 2013065543A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
distance
convergence point
shift amount
Prior art date
Application number
PCT/JP2012/077453
Other languages
English (en)
French (fr)
Inventor
智之 水田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201280053747.2A priority Critical patent/CN104024937B/zh
Priority to JP2013541725A priority patent/JP5647740B2/ja
Publication of WO2013065543A1 publication Critical patent/WO2013065543A1/ja
Priority to US14/264,490 priority patent/US8976232B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing

Definitions

  • the present invention relates to a parallax adjustment device and method, a photographing device, and a reproduction display device that are used for photographing and reproducing a stereoscopic image.
  • 3D cameras Digital cameras (hereinafter referred to as 3D cameras) used for creating stereoscopic images are known.
  • This 3D camera is provided with a pair of left and right photographing units, and these photographing units simultaneously photograph a subject from different viewpoints on the left and right to obtain a left viewpoint image and a right viewpoint image.
  • the left viewpoint image and the right viewpoint image form a parallax image.
  • the 3D camera is provided with an LCD that displays parallax images that have been reproduced or photographed, and displays a through image during photographing. In the parallax image displayed on the LCD, the left viewpoint image is observed with the left eye of the observer, and the right viewpoint image is observed with the right eye. Thereby, the parallax image can be stereoscopically viewed.
  • the minimum unit of the shift amount when shifting the viewpoint image at the time of photographing is the pixel (light receiving element) pitch on the light receiving surface of the image sensor.
  • the change in the distance to the convergence point where the parallax is “0” (hereinafter referred to as the convergence point distance) is not constant.
  • the amount of change in the convergence point distance with respect to the change in the shift amount for one pixel increases as the convergence point distance increases, and decreases as the convergence point distance decreases.
  • the shift amount of the viewpoint image is increased or decreased, for example, in units of pixels while the parallax image is stereoscopically viewed on an LCD or the like, the observed parallax image even if the operation amount is the same on the far side.
  • the three-dimensional effect may change abruptly.
  • the operation amount is greatly different between the short distance side and the long distance side, there is a problem that the observer feels uncomfortable with the display change with respect to the operation or that the operation is difficult.
  • the present invention provides a parallax adjustment device and method, an imaging device, and a reproduction display device that can suppress a sudden change in the stereoscopic effect of a parallax image during parallax adjustment and eliminate a sense of incongruity of display changes with respect to operations. For the purpose.
  • the parallax adjusting device of the present invention includes a first operation unit, a distance determination unit, a shift amount setting unit, and an image shift unit.
  • the first operation unit outputs a first operation signal corresponding to the operation amount.
  • the distance determination unit determines a target convergence point distance obtained by increasing / decreasing a distance proportional to the first operation signal from a current convergence point distance, with a distance to the convergence point where no parallax is generated as a convergence point distance.
  • the shift amount setting unit sets a shift amount to be shifted in the left and right directions of the respective left and right viewpoint images according to the increase / decrease distance from the current convergence point distance to the target convergence point distance.
  • the image shift unit changes the parallax by shifting the left and right viewpoint images in the left-right direction by the shift amount set by the shift amount setting unit.
  • a change amount display unit that displays a change amount of the convergence point distance with respect to the unit operation amount of the first operation unit is provided.
  • the second operation unit outputs a second operation signal corresponding to the operation amount.
  • the shift amount increasing / decreasing unit changes the shift amount in units of pixels in proportion to the second operation signal.
  • the imaging device of the present invention includes the above-described parallax adjustment device and an imaging unit that captures a left viewpoint image and a right viewpoint image.
  • the photographing apparatus preferably includes a zoom lens, a focal length acquisition unit, a shift amount increase / decrease unit, and an input control unit.
  • the zoom lens is for photographing a left viewpoint image and a right viewpoint image, and is provided in the photographing unit.
  • the focal length acquisition unit acquires the focal length of the zoom lens.
  • the shift amount increasing / decreasing unit changes the shift amount in units of pixels in proportion to the first operation signal.
  • the input control unit inputs a first operation signal to the distance determination unit when the focal length acquired by the focal length acquisition unit is equal to or less than a predetermined focal length, and outputs the first operation signal when the focal length is longer than the predetermined focal length. Input to the shift amount increase / decrease section.
  • the photographing apparatus preferably includes a subject distance acquisition unit, a shift amount increase / decrease unit, and an input control unit.
  • the subject distance acquisition unit acquires the subject distance.
  • the shift amount increasing / decreasing unit changes the shift amount in units of pixels in proportion to the first operation signal.
  • the input control unit inputs the first operation signal to the distance determination unit when the subject distance acquired by the subject distance acquisition unit is equal to or less than the predetermined subject distance, and outputs the first operation signal when the subject distance is longer than the predetermined subject distance. Input to the shift amount increase / decrease section.
  • the photographing apparatus preferably includes a shift amount increasing / decreasing unit and an input control unit.
  • the shift amount increasing / decreasing unit changes the shift amount in units of pixels in proportion to the first operation signal.
  • the input control unit inputs the first operation signal to the distance determining unit when the convergence point distance at the time of operation of the first operation unit is a predetermined distance or less, and shifts the first operation signal when the distance is longer than the predetermined distance. Input to the increase / decrease part.
  • the second operation unit outputs a second operation signal corresponding to the operation amount.
  • the shift amount increasing / decreasing unit changes the shift amount in units of pixels in proportion to the second operation signal.
  • a change amount display unit that displays a change amount of the convergence point distance with respect to the unit operation amount of the first operation unit is provided.
  • the image shift unit generates each viewpoint image in which the parallax is adjusted by shifting the clipping range in the left-right direction according to the shift amount in each viewpoint image photographed by the photographing unit.
  • the image reproduction device of the present invention includes the above-described parallax adjustment device and a display unit that displays each viewpoint image whose parallax is adjusted by the image shift unit.
  • the parallax adjustment method of the present invention includes a distance determination step, a shift amount setting step, and an image shift step.
  • the distance determination step the distance to the convergence point where no parallax occurs is defined as the convergence point distance, and the distance proportional to the first operation signal corresponding to the operation amount from the first operation unit is increased or decreased from the current convergence point distance.
  • the shift amount setting step sets a shift amount to be shifted in the left and right directions of the respective left and right viewpoint images according to the increase / decrease distance from the current convergence point distance to the target convergence point distance.
  • the image shift step the parallax is changed by shifting the left and right viewpoint images in the left-right direction by the shift amount.
  • the convergence point distance is increased or decreased in proportion to the operation amount from the first operation unit, the stereoscopic effect of the parallax image does not change suddenly during parallax adjustment.
  • the operation amount for parallax adjustment on the short distance side is not extremely large, and the change in the convergence point distance with respect to the operation amount on the long distance side is not large, so that the display change for the operation does not cause a sense of incongruity. Can do.
  • a 3D digital camera (hereinafter referred to as a 3D camera) 10 includes a photographic lens 12 a of the left photographic system 12 and a photographic lens 13 a of the right photographic system 13 on the front surface of the camera body 11.
  • a left viewpoint image is photographed by the left photographing system 12, and a right viewpoint image is photographed by the right photographing system 13.
  • These left viewpoint image and right viewpoint image form a parallax image.
  • the photographing lenses 12a and 13a are arranged at predetermined intervals in the left-right direction.
  • the photographing lenses 12a and 13a are both zoom lenses, and can change the focal length between the telephoto end and the wide-angle end.
  • a shutter button 15, a power switch 16, and a mode dial 17 are arranged on the upper surface of the camera body 11.
  • a card slot (not shown) is provided on the side surface of the camera body 11, and a memory card 18 is detachably attached to the card slot.
  • the mode dial 17 By operating the mode dial 17, it is possible to switch between a photographing mode for photographing a parallax image and a reproduction mode for reproducing and displaying the photographed parallax image.
  • the shooting systems 12 and 13 By pressing the shutter button 15 in the shooting mode, the shooting systems 12 and 13 are operated to take a parallax image.
  • the captured parallax image is recorded in the memory card 18.
  • a display 19 is provided on the back of the camera body 11. As shown in FIG. 3, the display 19 includes an LCD 19a and a lenticular 19b.
  • the LCD 19a displays a plurality of left-view image linear images and a plurality of right-view image linear images alternately arranged.
  • the lenticular 19b is configured so that the linear image of the left viewpoint image is in the left eye of the observer and the linear image of the right viewpoint image is in the right eye of the observer, so that the observer has a stereoscopic effect. Can be observed.
  • a linear image of the left viewpoint image is displayed with the left eye of the observer and a linear image of the right viewpoint image through slits formed between the parallax barriers arranged at predetermined intervals. It is also possible to use a parallax barrier method in which the right eye of the observer is observed, a method in which the deflection direction is changed for each viewpoint image, or the like.
  • the display 19 functions as an electronic viewfinder and displays a through image.
  • This through image is a continuous display of parallax images being shot. 3D display is also performed for this through image.
  • the photographer can observe the subject image as a stereoscopic image.
  • the parallax image is reproduced in 3D display on the display 19 based on the image data recorded in the memory card 18.
  • the guidance display 20a indicates the distance to the convergence point where the currently set parallax does not occur (hereinafter referred to as the convergence point distance) R, and the guidance display 20b corresponds to the unit operation amount when adjusting the parallax described later.
  • the unit change amount ⁇ of the convergence point distance is shown. In this example, it is displayed that the convergence point distance R is 8 m and the unit change amount ⁇ is 1 m.
  • the operation unit 21 includes the shutter button 15, the power switch 16, and the mode dial 17 described above, a zoom button 22 provided on the back of the camera body 11, a menu button 23, and keys 24 a to 24 d and 25.
  • the zoom button 22 is for zooming, and by operating this, the focal length of the photographing lenses 12a and 13a is increased or decreased according to the operation. During zooming, the taking lenses 12a and 13a are controlled to have the same focal length.
  • the menu button 23 is operated when displaying a setting screen for performing operation setting of the 3D camera 10 on the display 19. By operating each of the keys 24a to 24d, it is possible to select items displayed in the setting screen and increase / decrease the set value.
  • the execution key 25 is operated when confirming the setting contents on the setting screen.
  • the upper key 24a and the lower key 24b serve as an operation unit for adjusting the parallax of the parallax image.
  • the parallax is adjusted by focusing on the convergence point distance as a parameter and controlling the convergence point distance to change by a change amount proportional to the operation amount of the upper key 24a or the lower key 24b.
  • a distance obtained by increasing or decreasing the current convergence point distance R in proportion to the operation amount of the up key 24a or the down key 24b is set as a new convergence point distance R.
  • the convergence point distance is increased / decreased by pressing the upper key 24a or the lower key 24b, so that the number of times of pressing and the time of pressing can be set as the operation amount.
  • the description will be made assuming that the convergence point distance is increased or decreased accordingly.
  • the pressing operation of the upper key 24a is an increasing operation for increasing the convergence point distance, and the convergence point distance is increased by a predetermined unit change amount ⁇ by one pressing operation.
  • One pressing operation of the lower key 24b is a decreasing operation for decreasing the convergence point distance, and the convergence point distance is decreased by a predetermined unit change amount ⁇ by one pressing operation.
  • the unit change amount ⁇ is 1 m, and the convergence point distance increases or decreases by 1 m.
  • the operation unit for increasing or decreasing the convergence point distance is not limited to being pressed like the upper key 24a or the lower key 24b.
  • the convergence point distance may be increased or decreased by a sliding operation of a slide-type knob or a dial rotation.
  • the operation amount may be the slide amount of the knob and the rotation amount of the dial.
  • a key or a knob for increasing / decreasing the convergence point distance may be displayed on a touch panel type display, and the convergence point distance may be increased / decreased by a touch operation on the display.
  • the unit change amount ⁇ of the convergence point distance for one pressing operation is set to 1 m, but the present invention is not limited to this and can be arbitrarily set. Further, for example, the unit change amount ⁇ of the convergence point distance for one pressing operation may be arbitrarily set from the setting screen. Furthermore, the unit change amount ⁇ can be set to a different value depending on whether the convergence point distance is increased or decreased.
  • the operation unit 21 sends an operation signal corresponding to the operation of the operation member of the button or switch to the CPU 30.
  • the CPU 30 controls each unit based on various operation signals from the operation unit 21.
  • a ROM 30a and a RAM 30b are connected to the CPU 30.
  • the ROM 30a a program for executing a shooting sequence, a program for adjusting parallax, and the like are written, and the CPU 30 controls each unit according to this program.
  • the RAM 30b is used as a work memory that temporarily stores data necessary for executing various sequences.
  • the left photographing system 12 and the right photographing system 13 constitute a photographing unit.
  • the left photographing system 12 includes a photographing lens 12a, a lens driving unit 33, a lens sensor unit 34, an image sensor 35, a timing generator 36, an AFE (analog front end) 37, and the like.
  • the lens driving unit 33 moves the zoom lens and the focus lens constituting the photographing lens 12a in the optical axis direction. Thereby, zooming and focusing of the photographing lens 12a are performed.
  • the lens sensor unit 34 detects the lens position of the zoom lens and the lens position of the focus lens, respectively, and acquires the focal length of the photographing lens 12a based on the zoom lens position and the subject distance based on the focus lens position. .
  • the acquired focal length and subject distance are sent to the CPU 30 and used for various controls.
  • the image sensor 35 for photographing the left viewpoint image is disposed behind the photographing lens 12a, and the subject light transmitted through the photographing lens 12a enters the light receiving surface 35a of the image sensor 35.
  • a large number of pixels 35b are arranged in a matrix on the light receiving surface 35a, and each part of the image is photoelectrically converted.
  • the image sensor 35 is driven by various drive signals from the timing generator 36, converts the subject image formed on the light receiving surface 35a by the photographing lens 12a into an electrical analog signal, and outputs it as a left viewpoint image.
  • the left viewpoint image is sent from the image sensor 35 to the AFE 37.
  • the AFE 37 includes a CDS (correlated double sampling) circuit, an AGC (automatic gain adjustment amplifier) circuit, and an A / D converter.
  • the CDS circuit performs correlated double sampling to remove noise from the analog signal from the image sensor 35.
  • the AGC circuit amplifies the analog signal with a gain corresponding to the photographing sensitivity set by the CPU 30.
  • the A / D converter digitally converts the left viewpoint image of the analog signal from the AGC circuit and outputs it.
  • the right imaging system 13 has the same configuration as the left imaging system 12, and has an image having a lens driving unit 43, a lens sensor unit 44, a light receiving surface 45a, and a pixel 45b in addition to the same zoom type imaging lens 13a as the left imaging lens 12a.
  • the sensor 45, the timing generator 46, the AFE 47, and the like are used to output a digitally converted right viewpoint image.
  • the left viewpoint image and the right viewpoint image from the left and right photographing systems 12 and 13 are sent to the image input controller 51, respectively.
  • the image input controller 51 controls the input of each viewpoint image to the bus 52.
  • the bus 52 includes a CPU 30, an image input controller 51, an image processing circuit 53, an AF detection circuit 54, an AE / AWB detection circuit 55, an image shift unit 56, a 3D image generation circuit 57, an LCD driver 58, a compression / decompression processing circuit 59, A media controller 60 is connected. These units are controlled by the CPU 30 via the bus 52 and can exchange data with each other.
  • the image processing circuit 53 performs various types of image processing such as gradation conversion, white balance correction, ⁇ correction, YC conversion on each image from the image input controller 51.
  • the AF detection circuit 54 calculates an AF evaluation value obtained by integrating high frequency components for each frame of one of the viewpoint images from the image input controller 51, for example, the left viewpoint image.
  • the CPU 30 controls the lens driving unit 33 based on the AF evaluation value from the AF detection circuit 54 to focus the photographing lens 12a so that the AF evaluation value is maximum, that is, the subject is in focus. At the time of focusing, the CPU 30 refers to each focus lens position from the lens sensor units 34 and 44 and controls the lens driving unit 43 so as to focus on the same subject distance as the photographing lens 12a.
  • the lens 13a is focused.
  • the AE / AWB detection circuit 55 detects the subject brightness and calculates the WB evaluation value used for white balance correction based on the left viewpoint image, for example.
  • the CPU 30 controls the timing generators 36 and 46 and the AFEs 37 and 47 based on the subject luminance information from the AE / AWB detection circuit 55 to control the exposure of the photographing systems 12 and 13, for example, the electronic shutter speed (charge accumulation of the image sensor). Time), the gain of the AGC circuit is increased or decreased. Further, the CPU 30 controls the image processing circuit 53 so that the white balance of the subject image is appropriate based on the WB evaluation value from the AE / AWB detection circuit 55.
  • the image shift unit 56 receives the left viewpoint image and the right viewpoint image processed by the image processing circuit 53, and changes the parallax by shifting the cutout range in the horizontal direction on each viewpoint image. For this reason, each viewpoint image is taken in a size larger in the left-right direction than the size actually used. Thereby, each viewpoint image shifted in the left-right direction and adjusted in parallax is generated.
  • the amount of shift of the cutout range is set by the CPU 30.
  • what is cut out by the image shift unit 56 is referred to as a viewpoint image and a parallax image, and those before clipping are referred to as a viewpoint original image and a parallax original image.
  • the 3D image generation circuit 57 performs 3D display processing on the left and right viewpoint images whose parallax has been adjusted.
  • left and right linear images obtained by dividing each viewpoint image into a linear shape (stripe shape) are alternately arranged, and a left viewpoint is provided under one lenticular 19b.
  • the 3D display processing is performed so that the linear images of the image and the right viewpoint image are displayed on the LCD 19a one by one.
  • the parallax image that has been subjected to the 3D display processing is sent to the LCD driver 58.
  • the LCD driver 58 drives the display device 19 to display a parallax image that has been subjected to 3D display processing. Thereby, 3D display of a parallax image is performed. Under the shooting mode, 3D display processing is performed on through images (moving images) shot one after another.
  • the compression / decompression processing circuit 59 performs compression processing on the parallax image of the still image that is shot by operating the shutter button 15.
  • the compressed parallax image is recorded on the memory card 18 by the media controller 60.
  • information necessary to increase or decrease the convergence point distance during reproduction in proportion to the operation amount of the up key 24a and the down key 24b is added to the parallax image. Recorded in the tag of the image file.
  • the recorded information includes, for example, the convergence point distance at the time of photographing, the focal length of the photographing lens, the distance (baseline length) between the photographing lenses 12a and 12b, the pitch of the pixels 35b and 45b, and the like.
  • the compression / decompression processing circuit 59 performs decompression processing on the parallax image recorded on the memory card 18 during image reproduction.
  • the expanded parallax image is sent to the LCD driver 58 via the 3D image generation circuit 57, and is displayed on the display 19 in 3D.
  • the media controller 60 performs recording and reading of images with respect to the memory card 18.
  • the CPU 30 functions as a distance determination unit 62 and a shift amount setting unit 63.
  • the distance determination unit 62 receives a first operation signal corresponding to the operation amount of the upper key 24a and the lower key 24b, and a target convergence point distance (increase / decrease a distance proportional to the first operation signal from the current convergence point distance R ( determining a convergence point distance) R 1 to be set.
  • Shifting amount setting unit 63 according to the current amount of change to the target convergence point distance R 1 determined by the distance determining unit 62 from the convergence point distance R (increasing or decreasing distance) [Delta] R, the shift amount to shift the cut-out area
  • the image shift unit 56 is set.
  • a shift amount from a specific reference position of the cutout range is set in the image shift unit 56 as a shift amount corresponding to the change amount (increase / decrease distance) ⁇ R.
  • a shift amount ⁇ P corresponding to the point distance R 1 is obtained and set in the image shift unit 56.
  • the image shift unit 56 shifts the cutout range from the reference position by the shift amount ⁇ P, and cuts out each viewpoint image from each viewpoint original image.
  • the photographing lenses 12a and 13a are tilted inward so that the optical axes PLa and PLb intersect each other at an angle 2 ⁇ 0 at the position of the reference convergence point distance R 0 .
  • the image sensor 35 is disposed in a posture in which the optical axis PLa of the photographing lens 12a passes through the center position of the light receiving surface 35a, and the light receiving surface 35a is orthogonal to the corresponding optical axis PLa.
  • the image sensor 45 is similarly arranged with respect to the optical axis PLb of the photographing lens 13a.
  • the image shift unit 56 is given “0” as the initial value of the shift amount ⁇ P, and the reference position of the cutout range G is when the shift amount ⁇ P is “0”.
  • the cutout range G is the reference position, the center thereof coincides with the center position of the light receiving surfaces 35a and 45a, that is, the center position of the left viewpoint original image and the right viewpoint original image.
  • the optical axis of the entire optical system of the photographing system 12 including the image sensor 35 coincides with the optical axis PLa of the photographing lens 12 a, and the optical axis of the entire optical system of the photographing system 13 including the image sensor 45.
  • the convergence point distance in this state is the reference convergence point distance R0 .
  • the convergence angle in this state is the angle 2 ⁇ 0 .
  • the optical axis of the entire optical system of the left imaging system 12 and the entire optical system of the right imaging system 13 The inclination with respect to the optical axis is increased or decreased to change the convergence point distance, and as a result, the parallax is adjusted.
  • the shift amount ⁇ S (length) by which the cutout range G should be shifted from the reference position can be calculated by the following equation (1).
  • “r” is a length when the distance between principal points of the photographing lenses 12a and 13a is “2r”
  • “L” is a focal length of the photographing lenses 12a and 13a.
  • the convergence angle at the target convergence point distance R 1 is an angle 2 ⁇ 1 when expressed using ⁇ 1 in the equation.
  • the focal length L of the taking lenses 12a and 13a is about several tens of millimeters, the distance between the principal points is approximately used as the base line length.
  • ⁇ S L / tan ( ⁇ 0 ⁇ 1 ) (1)
  • ⁇ 0 tan ⁇ 1 (r / R 0 )
  • ⁇ 1 tan ⁇ 1 (r / (R 0 + ⁇ R 0 ))
  • the reference convergence point distance R 0 and the distance between main points 2r that is the basis of the length r in the above formula (1) can be known in advance from design values and the like. Further, the focal length L can be acquired from the lens sensor units 34 and 44. Therefore, it is possible to determine the shift amount ⁇ S for the target convergence point distance R 1 which is increased by the change amount [Delta] R 0 from the reference convergence point distance R 0.
  • the minimum unit of the shift amount ⁇ P in the image shift unit 56 is the pixel pitch of each viewpoint original image.
  • the shift amount ⁇ P (number of pixels) corresponding to the shift amount ⁇ S is expressed by the following equation (2 ). Since the shift amount ⁇ P needs to be an integer value, the fractional part is rounded down or rounded up, but it is preferable to process the fraction so that the error of the convergence point distance becomes small.
  • the pixel pitch obtained by converting the pixel pitch of the viewpoint original image into the length on the light receiving surfaces 35a and 45a is used as the value p.
  • ⁇ P ⁇ S / p (2)
  • ⁇ R 0 is positive when the target convergence point distance R 1 is larger than the reference convergence point distance R 0 and negative when the target convergence point distance R 1 is small.
  • ⁇ S and ⁇ P shift in a direction in which the left and right cutout ranges are close to each other when the sign is positive, and in a direction in which the left and right cutout ranges G are separated from each other when the sign is negative.
  • the shift amount ⁇ P from the reference position of the cut-out range corresponding to the reference convergence point distance R 0 is used as the shift amount corresponding to the change amount ⁇ R from the current convergence point distance R to the target convergence point distance R 1 .
  • This is set in the image shift unit 56, and the shift amount to be shifted is determined from the shift position of the current cutout range G set corresponding to the current convergence point distance R. You may set to the image shift part 56.
  • FIG. the image shift unit 56 shifts the cutout range G by the shift amount set from the current position.
  • the shift amount ⁇ P corresponding to the currently set convergence point distance R and the target convergence point distance R 1 obtained using the equation (1) are used as the shift amount to be shifted.
  • Shift amount ⁇ P that corresponds to the convergence point distance R which is currently set may be utilized previously stored shift amount ⁇ P that corresponds to the target convergence point distance R 1 previously calculated.
  • the arrangement of the photographing lenses 12a and 13a and the image sensors 35 and 45 is an example, and various arrangements can be adopted.
  • photographing lenses 12a and 13a having optical axes PLa and PLb parallel to each other may be arranged, and light receiving surfaces 35a and 45a may be arranged so as to be perpendicular to the optical axes PLa and PLb, respectively.
  • the convergence angle may be given by arranging the optical axes PLa and PLb so as to pass outside the centers of the corresponding light receiving surfaces 35a and 45a.
  • the power is turned on, and then the mode dial 17 is operated to set the 3D camera 10 to the shooting mode.
  • the photographing mode is set, each part is initialized and then the photographing systems 12 and 13 start photographing through images.
  • the photographing of the left viewpoint original image by the image sensor 35 is started through the photographing lens 12a.
  • the left viewpoint original image from the left photographing system 12 is digitally converted via the AFE 37 and then sent to the image processing circuit 53, the AF detection circuit 54, and the AE / AWB detection circuit 55 via the image input controller 51 and the bus 52.
  • Each is sent.
  • photographing with the right photographing system 13 is started, and a right viewpoint original image (through image) is photographed by the image sensor 45 through the photographing lens 13a.
  • the original right viewpoint image from the right imaging system 13 is sent to the image processing circuit 53 via the AFE 47, the image input controller 51, and the bus 52.
  • the lens driving unit 33 is driven based on the AF evaluation value, and the photographing lens 12a is focused so that the object being photographed is in focus. Further, in synchronization with the focusing of the photographing lens 12a, the lens driving unit 43 of the right photographing system 13 is driven, and the photographing lens 13a is focused. As a result, the photographing systems 12 and 13 are in focus at the same distance. Since this focusing is performed at any time, if the subject distance changes, the focus is adjusted following the change.
  • the AE / AWB detection circuit 55 detects the subject luminance and calculates the WB evaluation value based on the left viewpoint original image. Based on the subject brightness, exposure control of the photographing systems 12 and 13 is performed. Further, a WB evaluation value is set in the image processing circuit 53 for white balance correction, and white balance correction is performed based on the WB evaluation value. As for the subject brightness and WB evaluation values, if the subject brightness, the light source, and the like change, the subject brightness and WB evaluation values that follow the subject brightness and WB evaluation values are calculated. And is controlled to achieve an appropriate white balance.
  • the viewpoint original images from the photographing systems 12 and 13 are each subjected to various image processing by the image processing circuit 53 and then sent to the image shift unit 56.
  • the image shift unit 56 since the shift amount ⁇ P is initially set to “0”, the cutout range is the reference position. Therefore, the left viewpoint image is cut out in a state where the center position of the cutout range is matched with the center position of the left viewpoint original image. Similarly, the right viewpoint image is cut out in a state where the center position of the cutout range is matched with the center position of the right viewpoint original image.
  • Each cut-out viewpoint image is sent to the 3D image generation circuit 57.
  • each viewpoint image is divided into linear shapes, and then the left and right linear images are converted into lenticular lenses. Alternatingly arranged according to the pitch. After the 3D display processing is performed on the parallax image in this way, it is sent to the display 19 via the LCD driver 58.
  • each photographing system 12, 13 the left viewpoint original image and the right viewpoint original image are photographed at a predetermined cycle, and each time the left viewpoint image and the right viewpoint image are generated by the image shift unit 56, each viewpoint image is generated.
  • a parallax image that has been subjected to 3D display processing is created.
  • These parallax images are sequentially sent to the LCD driver 58 and displayed on the display 19. Thereby, the observer can observe a through image having a stereoscopic effect by the display device 19.
  • guidance displays 20a and 20b are displayed on the through image on the display 19 so as to overlap each other. From these guidance displays 20a and 20b, the observer can know the convergence point distance R that is currently set and the unit change amount ⁇ of the convergence point distance that changes in one operation.
  • the change amount ⁇ R 0 is “0”, and the convergence point distance R is the reference convergence point distance R 0 , so that the subject existing on the reference convergence point distance R 0
  • This image is in a state without parallax. Therefore, as a feeling of depth, an object having a reference convergence point distance R 0 is observed as being on the display 19, and an object closer to the reference convergence point distance R 0 is in front of the display 19. In addition, a subject at a long distance is observed to be behind the display 19.
  • the up key 24 a or the down key is adjusted by operating 24b.
  • the target convergence point distance R 1 obtained by increasing the distance by 1 m from the current convergence point distance R (in this case, the reference convergence point distance R 0 ) is obtained.
  • the shift amount ⁇ P is calculated by the equations (1) and (2).
  • the cut-out range for the left-view original image and the right-view original image is shifted from the reference position by the shift amount ⁇ P, and the left-view image is extracted from this cut-out range.
  • the right viewpoint image is cut out and output. At this time, the cutout range for the left viewpoint original image is shifted to the right, and the cutout range for the right viewpoint original image is shifted to the left.
  • the left viewpoint image and the right viewpoint image cut out in the newly set cutting range as described above are processed for 3D display by the 3D image generation circuit 57 and then sent to the LCD driver 58.
  • a stereoscopic image is displayed on the display 19 in a state where there is no parallax in the subject image at a distance of 1 m from the reference convergence point distance R 0 , that is, the target convergence point distance R 1 .
  • the guidance display 20a is updated. Then, an object at a distance of 1 m from the reference convergence point distance R 0 is observed on the display 19, and an object at a shorter distance than the object is in front of the display 19. A subject at a distance is observed to be behind the display 19.
  • the cutout range for the left viewpoint image and the right viewpoint image is shifted from the reference cutout range by the shift amount ⁇ P, and the cutout range for the left viewpoint image is set in the right direction, compared to when the upper key 24a is first pressed.
  • the cutout range for the image is further shifted leftward.
  • the operation (decreasing operation) is input to the distance determining unit 62 as a first operation signal.
  • the amount of change ⁇ R 0 is decreased by 1 m for each pressing operation
  • the target convergence point distance R 1 is decreased by 1 m from the current convergence point distance R
  • the target convergence point distance R 1 is shifted by the shift amount ⁇ P.
  • This is set in the image shift unit 56.
  • the cutout range is shifted leftward for the left viewpoint image and rightward for the right viewpoint image.
  • the depth of the stereoscopic image changes so that the position of the subject without parallax approaches 1 m.
  • the upper key 24a and the lower key 24b are operated to adjust the parallax, and after determining the composition, the shutter button 15 is pressed to shoot a three-dimensional still image.
  • the shutter button 15 is pressed, the left viewpoint original image and the right viewpoint original image are photographed by the image sensors 35 and 45 after adjusting the focusing and exposure based on the AF evaluation value and the AE evaluation value.
  • the left viewpoint original image and the right viewpoint original image output from the image sensors 35 and 45 are sent to the image shift unit 56 via the AFEs 37 and 47, the image input controller 51, and the image processing circuit 53, respectively.
  • the cut-out by the cut-out range set when the shutter button 15 is pressed is performed on the left viewpoint original image and the right viewpoint original image, and a parallax image composed of the left viewpoint image and the right viewpoint image is generated. Generated.
  • the parallax image is compressed by the compression / decompression processing circuit 59 and then sent to the media controller 60.
  • the media controller 60 records the compressed parallax image on the memory card 18 after adding the parallax image with the above-described information necessary for parallax adjustment.
  • the parallax image When set in the playback mode, the parallax image is read from the memory card 18. This parallax image is decompressed by the compression / decompression processing circuit 59 and then sent to the LCD driver 58 via the 3D image generation circuit 57. As a result, the parallax image is displayed in 3D on the display 19. In addition, the convergence point distance, the focal length of the photographing lens, the base line length, and the pixel pitch recorded together with the parallax image are read out and sent to the CPU 30.
  • the parallax of the observed parallax image is adjusted by shifting each viewpoint image in the left-right direction on the display 19.
  • the expanded parallax image is input to the image shift unit 56, and a new viewpoint image is cut out from the input parallax image (each viewpoint image) and the cut-out range is up key as in the case of the through image. 24a and the lower key 24b are operated to shift.
  • the distance determination unit 62 sets the convergence point distance when the parallax image being reproduced is taken as an initial value, and when the upper key 24a is operated, the target convergence point distance is set to 1 m for each operation. When the key is increased and the down key 24b is operated, the target convergence point distance is decreased by 1 m for each operation. Then, the shift amount ⁇ P is calculated using the equations (1) and (2), and this is set in the image shift unit 56.
  • this equation (1) is used, the convergence point distance when the parallax image is captured is set as the reference convergence point distance R 0, and the distance increase / decrease distance according to the operation of the upper key 24a and the lower key 24b is ⁇ R 0. Substitute into and calculate. Note that the focal length, the base line length, and the pixel pitch of the photographing lens read from the memory card 18 are used.
  • the convergence point distance is 1 m in proportion to the operation amount of the upper key 24a and the lower key 24b even during reproduction.
  • the parallax can be adjusted by changing to increase or decrease.
  • the parallax may be adjusted by shifting the viewpoint image as a whole in the left-right direction.
  • the left viewpoint original image and the right viewpoint original image may be recorded on the memory card 18 instead of recording the left viewpoint image and the right viewpoint image clipped in the cutout range on the memory card 18.
  • the left viewpoint original image read from the memory card 18 and the left viewpoint image and the right viewpoint image to be displayed from the right viewpoint original image are cut out in the cutout range, and the parallax is adjusted by shifting the cutout range. You may do it.
  • the second embodiment shown in FIGS. 7 and 8 has a configuration in which the shift amount of each viewpoint image can be increased or decreased in units of pixels in addition to changing the convergence point distance in proportion to the operation amount.
  • symbol is attached
  • the CPU 30 functions as a distance determining unit 62, a shift amount setting unit 63, and a shift amount increasing / decreasing unit 65.
  • the upper key 24a and the lower key 24b are the first operation unit
  • the left key 24c and the right key 24d are the second operation unit.
  • the pressing operation of the left key 24c is an increase operation for increasing the shift amount
  • the pressing operation of the right key 24d is a decreasing operation for decreasing the shift amount.
  • Two operation signals are input to the shift amount increase / decrease unit 65.
  • the shift amount increase / decrease unit 65 changes the shift amount ⁇ P in units of pixels in proportion to the second operation signal. That is, the shift amount increasing / decreasing unit 65 increases the shift amount by one pixel each time the left key 24c is pressed once, and decreases the shift amount by one pixel each time the left key 24c is pressed once.
  • the change in the convergence point distance when the cutout range is shifted by one pixel is not constant, and the change in the convergence point distance is smaller as the convergence point distance is changed.
  • the shift amount increasing / decreasing unit 65 counts the shift amount increase / decrease (number of pixels) ⁇ by pressing the left key 24c and the right key 24d.
  • the distance determination unit 62 increases or decreases the convergence point distance by a distance corresponding to the increase / decrease ⁇ , thereby operating the left key 24c and the right key 24d.
  • the current convergence point distance R corresponding to the shift amount ⁇ P after the increase / decrease is obtained, and the target convergence point distance R 1 that is increased / decreased based on the current convergence point distance R is calculated.
  • the shift amount increase / decrease portion 65 is reset after the shift amount increase / decrease portion 65 is input to the distance determination portion 62, the increase / decrease amount ⁇ increased or decreased after the upper key 24a and the lower key 24b are reset. Will be counted.
  • the shift amount ⁇ P changes so that the convergence point distance increases or decreases by 1 m, as in the first embodiment. . Then, each viewpoint image is cut out from the cut-out range shifted by the shift amount ⁇ P, thereby adjusting the parallax.
  • the cutout range shifted by the shift amount ⁇ P is further shifted by one pixel.
  • the shift amount is increased, so that the direction of increasing the convergence point distance, that is, the cut-out range for the left viewpoint original image is shifted by one pixel to the right, and the right viewpoint The cutout range for the original image is shifted by one pixel in the left direction.
  • the cutout range that has been shifted by the shift amount ⁇ P is also shifted by one pixel.
  • the shift amount is decreased, so the convergence point distance is decreased.
  • the cutout range for the left viewpoint original image is shifted by one pixel in the left direction
  • the cutout range for the right viewpoint original image is shifted by one pixel in the right direction.
  • the distance determination unit 62 acquires the increase / decrease ⁇ from the shift amount increase / decrease unit 65. Thereafter, the distance determination unit 62 calculates the current convergence point distance R using the current shift amount ⁇ P obtained by increasing or decreasing the held shift amount ⁇ P by the increase / decrease amount ⁇ . Then, the calculated convergence point distance R is set as an initial value, and the target convergence point distance R1 is increased by 1 m every time the upper key 24a is pressed, and the target congestion is increased every time the lower key 24b is pressed. The point distance R1 is decreased by 1 m.
  • the convergence point distance is brought close to the main subject by operating the upper key 24a or the lower key 24b, and then the left key 24c or the right key 24d is operated.
  • the convergence point distance can be finely adjusted to match the distance to the main subject.
  • the main subject is a long distance
  • the convergence point distance is brought close to the main subject by operating the left key 24c or the right key 24d, and then the convergence point is operated by operating the upper key 24a or the lower key 24b.
  • the distance can be fine-tuned to match the distance to the main subject.
  • the operation of the operation unit is switched between an operation for changing the convergence point distance proportionally and an operation for changing the shift amount in units of pixels in accordance with the focal length of the photographing lens.
  • symbol is attached
  • the CPU 30 functions as a distance determination unit 62, a shift amount setting unit 63, a shift amount increase / decrease unit 65, and an input control unit 66.
  • the first operation unit the upper key 24 a and the lower key 24 b are used, and are used in common for the distance determination unit 62 and the shift amount increase / decrease unit 65.
  • the input control unit 66 receives the focal length of the taking lens 12a from the lens sensor unit 34 as a focal length acquisition unit. Note that the focal length of the taking lens 13a from the lens sensor unit 44 may be input.
  • the input control unit 66 performs the first operation by pressing the upper key 24a and the lower key 24b.
  • One operation signal is input to the distance determination unit 62.
  • the focal length is longer than the predetermined focal length Th1, it is input to the first operation signal shift amount increasing / decreasing unit 65 by the pressing operation of the upper key 24a and the lower key 24b.
  • the operation amount of the upper key 24a and the lower key 24b is congested.
  • the parallax is adjusted by proportionally increasing or decreasing the point distance.
  • the photographing lenses 12a and 13a are set to the long focal point side and the main subject is assumed to be a long distance, the convergence point distance is relatively increased by the operation of the upper key 24a and the lower key 24b.
  • the parallax can be adjusted by increasing / decreasing the shift amount of the clipping range in units of pixels that are greatly changed.
  • the input destination of the first operation signal from the upper key 24a and the lower key 24b may be switched according to the subject distance instead of the focal length.
  • the subject distance is equal to or smaller than the predetermined subject distance Th2
  • a first operation signal of the upper key 24a and the lower key 24b is input to the distance determining unit 62, and the predetermined subject distance Th2 is used. If it is too long, the first operation signal of the up key 24 a and the down key 24 b is input to the shift amount increasing / decreasing unit 65.
  • the subject distance is obtained from the focus lens position detected by the lens sensor unit 34 or 44, for example.
  • the congestion point distance R set at the time of operation of the upper key 24a and the lower key 24b is acquired from, for example, the distance determination unit 62, and the congestion set at the time of operation is acquired.
  • the input destination of the first operation signal from the upper key 24a and the lower key 24b may be switched.
  • a first operation signal is input to the distance determination unit 62 and is longer than the predetermined convergence point distance Th3.
  • the first operation signal is input to the shift amount increasing / decreasing unit 65.
  • the viewpoint image is shifted by shifting the cutout range for extracting a part of the viewpoint image (viewpoint original image) in the left-right direction. It is not limited.
  • each captured viewpoint image may be shifted in the left-right direction as a whole.
  • the left and right image sensors may be shifted in the left-right direction in parallel with the light receiving surface of the image sensor.
  • the display position of the viewpoint image may be shifted in the left-right direction.
  • the parallax is adjusted by shifting the viewpoint image, but the parallax is adjusted by rotating the entire photographic optical system consisting of the photographic lens and the image sensor or increasing or decreasing the baseline length. May be.
  • an automatic adjustment unit that automatically adjusts the convergence point distance from the subject distance and the subject arrangement is provided, and after the automatic adjustment of the convergence point distance by the automatic adjustment unit, the parallax is adjusted as in each of the above embodiments. It may be configured.
  • the amount of change of the convergence point distance per operation can be arbitrarily set, and the amount of change can be changed according to the convergence point distance or the like.
  • the amount of change in the convergence point distance can be increased or decreased as the convergence point distance increases without increasing or decreasing the shift amount by one pixel or changing the convergence angle by one degree.
  • the imaging unit is not limited as long as it captures the viewpoint image.
  • Such a configuration may be adopted.
  • an image sensor having a large size may be used, and images of a pair of left and right photographing lenses may be formed side by side on the light receiving surface of the image sensor.
  • a plurality of viewpoint images are captured by an image sensor using a first type phase difference pixel that receives light incident from the left side and a second type phase difference pixel that receives light incident from the right side, and alternately arranging them. May be.
  • the convergence point distance may be changed by a change amount proportional to the passage of time. For example, when a scene is switched during the reproduction of a moving image, the convergence point distance is increased or decreased by a certain distance sequentially for each frame after the switching so that an appropriate convergence point distance is obtained. In this way, a sudden change in the convergence point distance does not occur due to the switching of scenes, and the parallax is adjusted to an appropriate parallax with a change in the sense of incongruity.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　輻輳点距離をリニアに変化させる。　距離決定部（６２）は、上キー（２４ａ），下キー（２４ｂ）の操作に比例して輻輳点距離を増減する。目標輻輳点距離Ｒ１は、上キー（２４ａ）の１回の押圧操作ごとに１ｍずつ増大され、下キー（２４ｂ）の１回の押圧操作ごとに１ｍずつ減少される。シフト量設定部（６３）によって、目標輻輳点距離Ｒ１に対応したシフト量ΔＰに変換されて、画像シフト部（５６）に設定される。画像シフト部（５６）は、切出し範囲を基準位置からシフト量ΔＰだけシフトさせた位置に移動し、左右の各視点原画像を切出し範囲で切り出すことにより、視差調節された視点画像を生成する。

Description

視差調節装置及び方法、撮影装置、再生表示装置
　本発明は、立体画像の撮影及び再生に用いられる視差調節装置及び方法、撮影装置、再生表示装置に関する。
　立体画像の作成に用いられるデジタルカメラ（以下、３Ｄカメラという）が知られている。この３Ｄカメラは、左右一対の撮影部を備えており、これら撮影部により左右の異なる各視点から同時に被写体を撮影し、左視点画像と右視点画像を得る。この左視点画像と右視点画像とによって視差画像が構成される。３Ｄカメラには、再生、または撮影された視差画像を表示し、撮影時にはスルー画を表示するＬＣＤが設けられている。ＬＣＤに表示された視差画像は、その左視点画像が観察者の左眼で、また右視点画像が右眼で観察される。これにより、視差画像を立体視することができるようにしている。
　視差画像を立体視する場合には、注視する被写体の視差が少ない方が観察しやすい。そこで、視差を調節する手法として、撮影光学系の光軸の傾きを変化させて輻輳角を増減するもの、視点画像をシフトすることで輻輳角を増減するものが知られている（例えば、特許文献１，２参照）。視点画像をシフトするものでは、撮像素子を平行移動させたり、撮影画像から切り出されて視点画像として利用される切出し範囲を平行移動させたりするものがある。
特開平８－２５１６２５号公報 特開平１０－１５５１０４号公報
　ところで、撮影時に視点画像をシフトする場合のシフト量の最小単位は、イメージセンサの受光面上での画素（受光素子）ピッチである。しかしながら、視点画像のシフト量を１画素分ずつ増減しても、視差が「０」となる輻輳点までの距離（以下、輻輳点距離という）の変化は一定ではない。この１画素分のシフト量の変化に対する輻輳点距離の変化量は、輻輳点距離が大きいほど大きくなり、輻輳点距離が小さいほど小さくなる。したがって、ＬＣＤ等で視差画像を立体視しながら、視点画像のシフト量を例えば画素単位で増大あるいは減少させた場合に、遠距離側では操作量が同じであっても、観察している視差画像の立体感が急激に変化してしまうことがある。このように、近距離側と遠距離側とで操作量が大きく相違するため、観察者が操作に対する表示変化に対して違和感を感じたり、操作がしにくいなどの問題があった。
　本発明は、視差調節の際に視差画像の立体感が急激な変化を抑制して、操作に対する表示変化の違和感を解消することができる視差調節装置及び方法、撮影装置、再生表示装置を提供することを目的とする。
　上記目的を達成するために、本発明の視差調節装置は、第１の操作部と、距離決定部と、シフト量設定部と、画像シフト部とを備えている。第１の操作部は、それの操作量に応じた第１操作信号を出力する。距離決定部は、視差が生じない輻輳点までの距離を輻輳点距離として、第１操作信号に比例した距離を現時点の輻輳点距離から増減した目標輻輳点距離を決定する。シフト量設定部は、現在の輻輳点距離から目標輻輳点距離への増減距離に応じた、左右の各視点画像の左右方向にシフトすべきシフト量を設定する。画像シフト部は、シフト量設定部が設定したシフト量で左右の各視点画像を左右方向にシフトすることにより視差を変化させる。
　第１の操作部の単位操作量に対する輻輳点距離の変化量を表示する変化量表示部を備えることが好ましい。
　第２の操作部と、シフト量増減部とを備えることが好ましい。第２の操作部は、それの操作量に応じた第２操作信号を出力する。シフト量増減部は、第２操作信号に比例してシフト量を画素単位で変化させる。
　本発明の撮影装置は、上述の視差調節装置と、左視点画像と右視点画像とを撮影する撮影部とを備えている。
　撮影装置は、ズームレンズと、焦点距離取得部と、シフト量増減部と、入力制御部とを備えることが好ましい。ズームレンズは、左視点画像及び右視点画像を撮影するためのものであり、撮影部に設けられている。焦点距離取得部は、ズームレンズの焦点距離を取得する。シフト量増減部は、第１操作信号に比例してシフト量を画素単位で変化させる。入力制御部は、焦点距離取得部で取得した焦点距離が所定焦点距離以下のときに第１操作信号を距離決定部に入力し、焦点距離が所定焦点距離よりも長いときに第１操作信号をシフト量増減部に入力する。
　撮影装置は、被写体距離取得部と、シフト量増減部と、入力制御部とを備えることが好ましい。被写体距離取得部は、被写体距離を取得する。シフト量増減部は、第１操作信号に比例してシフト量を画素単位で変化させる。入力制御部は、被写体距離取得部で取得した被写体距離が所定被写体距離以下のときに第１操作信号を距離決定部に入力し、被写体距離が所定被写体距離よりも長いときに第１操作信号をシフト量増減部に入力する。
　撮影装置は、シフト量増減部と、入力制御部とを備えることが好ましい。シフト量増減部は、第１操作信号に比例してシフト量を画素単位で変化させる。入力制御部は、第１の操作部の操作時点における輻輳点距離が所定距離以下のときに第１操作信号を距離決定部に入力し、所定距離よりも長いときに第１操作信号をシフト量増減部に入力する。
　第２の操作部と、シフト量増減部とを備えることが好ましい。第２の操作部は、操作量に応じた第２操作信号を出力する。シフト量増減部は、第２操作信号に比例してシフト量を画素単位で変化させる。
　第１の操作部の単位操作量に対する輻輳点距離の変化量を表示する変化量表示部を備えることが好ましい。
　画像シフト部は、撮影部で撮影された各視点画像内で、シフト量に応じ左右方向に切出し範囲をシフトして切り出すことにより、視差を調節した各視点画像を生成することが好ましい。
　画像シフト部によって視差が調節された各視点画像用いてスルー画像を３Ｄ表示する表示部を備えることが好ましい。
　本発明の画像再生装置は、上述の視差調節装置と、画像シフト部によって視差が調節された各視点画像を３Ｄ表示する表示部とを備えている。
　本発明の視差調節方法は、距離決定ステップと、シフト量設定ステップと、画像シフトステップとを有している。距離決定ステップは、視差が生じない輻輳点までの距離を輻輳点距離として、第１の操作部からの操作量に応じた第１操作信号に比例した距離を現時点の輻輳点距離から増減した目標輻輳点距離を決定する。シフト量設定ステップは、現在の輻輳点距離から目標輻輳点距離への増減距離に応じた、左右の各視点画像の左右方向にシフトすべきシフト量を設定する。画像シフトステップは、シフト量で左右の各視点画像を左右方向にシフトすることにより視差を変化させる。
　本発明によれば、第１の操作部からの操作量に比例的に輻輳点距離を増減しているので、視差調節の際に視差画像の立体感が急激に変化することがない。これにより、近距離側での視差調節の操作量が極端に大きくなく、また遠距離側で操作量に対する輻輳点距離の変化も大きくないので、操作に対する表示変化の違和感を生じさせないようにすることができる。
本発明の視差調節装置を内蔵した３Ｄカメラの正面斜視図である。 ３Ｄカメラの背面斜視図である。 ３Ｄカメラの構成を示すブロック図である。 ＣＰＵの機能を示すブロック図である。 輻輳点距離とシフト量の関係を模式的に示す説明図である。 視差調節の処理手順を示すフローチャートである。 画素単位でシフト量を増減する機能を付加した第２実施形態におけるＣＰＵの機能を示すブロック図である。 第２実施形態における視差調節の処理手順を示すフローチャートである。 焦点距離に応じてシフト量の増減の態様を切替える第３実施形態におけるＣＰＵの機能を示すブロック図である。 第３実施形態における視差調節の操作の入力先を切替える手順を示すフローチャートである。 被写体距離に応じて視差調節の操作の入力先を切替える手順を示すフローチャートである。 輻輳点距離に応じてシフト量の増減の態様を切替える例におけるＣＰＵの機能を示すブロック図である。 輻輳点距離に応じて視差調節の操作の入力先を切替える手順を示すフローチャートである。
［第１実施形態］
　図１，図２において、３Ｄデジタルカメラ（以下、３Ｄカメラという）１０は、カメラ本体１１の前面に左撮影系１２の撮影レンズ１２ａ、右撮影系１３の撮影レンズ１３ａを備える。この左撮影系１２によって左視点画像が撮影され、右撮影系１３によって右視点画像が撮影される。これら左視点画像と右視点画像で視差画像が構成される。
　各撮影レンズ１２ａ，１３ａは、左右方向に所定間隔をあけて配されている。また、撮影レンズ１２ａ，１３ａは、いずれもズームレンズであり、望遠端と広角端との間で焦点距離を変化させることができる。
　カメラ本体１１の上面には、シャッタボタン１５、電源スイッチ１６，モードダイアル１７が配されている。また、カメラ本体１１の側面には、カードスロット（図示省略）が設けられており、カードスロットにはメモリカード１８が着脱自在に装着される。
　モードダイアル１７の操作により、視差画像を撮影する撮影モードと撮影した視差画像を再生表示する再生モードとに切替えることができる。撮影モード下でシャッタボタン１５を押圧操作することにより、各撮影系１２，１３が作動されて視差画像の撮影が行われる。撮影された視差画像は、メモリカード１８に記録される。
　カメラ本体１１の背面には、表示器１９が設けられている。この表示器１９は、図３に示すように、ＬＣＤ１９ａと、レンチキュラ１９ｂとを備えている。ＬＣＤ１９ａは、複数の左視点画像の線状画像と、複数の右視点画像の線状画像とを交互に並べて表示する。レンチキュラ１９ｂは、左視点画像の線状画像が観察者の左眼に、そして、右視点画像の線状画像が観察者の右眼に入るようにすることで、観察者は立体感のある画像として観察できる。
　なお、３Ｄ表示には、所定の間隔で並べられたパララックスバリアの間にそれぞれ形成されたスリットを通して、左視点画像の線状画像を観察者の左眼で、また右視点画像の線状画像を観察者の右眼で観察されるようにしたパララックスバリア方式や、視点画像ごとに偏向方向を異ならせる方式などを用いることもできる。
　また、撮影モード下では、表示器１９は、電子ビューファインダとして機能し、スルー画を表示する。このスルー画は、撮影中の視差画像を連続的に表示したものである。このスルー画についても３Ｄ表示が行われる。これにより、撮影者は、被写体像を立体感のある画として観察できる。また、再生時にはメモリカード１８に記録されている画像データに基づき、表示器１９に視差画像が３Ｄ表示で再生される。
　また、３Ｄ表示を行っているときには、表示器１９に案内表示２０ａ，２０ｂが表示される。案内表示２０ａは、現在設定されている視差が生じない輻輳点までの距離（以下、輻輳点距離という）Ｒを示しており、案内表示２０ｂは、後述する視差の調節の際の単位操作量に対する輻輳点距離の単位変化量Δを示している。この例では、輻輳点距離Ｒが８ｍで、単位変化量Δが１ｍであることが表示されている。
　操作部２１は、上述のシャッタボタン１５、電源スイッチ１６，モードダイアル１７とともに、カメラ本体１１の背面に設けられたズームボタン２２、メニューボタン２３、各キー２４ａ～２４ｄ，２５から構成されている。
　ズームボタン２２は、ズーミングを行うためのものであり、これを操作することにより、撮影レンズ１２ａ，１３ａの焦点距離が操作に応じて増減される。このズーミングの際には、撮影レンズ１２ａ，１３ａは、互いに同一の焦点距離となるように制御される。
　メニューボタン２３は、３Ｄカメラ１０の動作設定等を行うための設定画面を表示器１９に表示する際に操作される。各キー２４ａ～２４ｄを操作することにより、設定画面内に表示される項目を選択したり、設定値を増減したりすることができる。実行キー２５は、設定画面における設定内容を確定する際などに操作される。
　また、撮影モード下では、上キー２４ａ，下キー２４ｂは、視差画像の視差を調節するための操作部となる。視差の調節は、輻輳点距離をパラメータとして着目し、上キー２４ａまたは下キー２４ｂの操作量に比例した変化量で輻輳点距離が変化するように制御する。すなわち、現時点の輻輳点距離Ｒを上キー２４ａまたは下キー２４ｂの操作量に比例して増減した距離を新たな輻輳点距離Ｒとなるようにする。これにより、表示器１９に表示される視差画像の立体感を操作量に対して直線的に変化させ、観察者に違和感を与えないようにしている。
　この例では、上キー２４ａまたは下キー２４ｂの押圧操作によって輻輳点距離の増減を行うので、押圧回数，押圧時間を操作量とすることができるが、説明を簡単にするために、押圧回数に応じて輻輳点距離を増減するものとして説明する。
　上キー２４ａの押圧操作が輻輳点距離を増大させる増大操作となっており、その１回の押圧操作によって輻輳点距離が所定の単位変化量Δだけ増加する。一方の下キー２４ｂの押圧操作が輻輳点距離を減少させる減少操作となっており、その１回の押圧操作によって輻輳点距離が所定の単位変化量Δだけ減少する。この例では、単位変化量Δを１ｍとしてあり、輻輳点距離が１ｍずつ増大または減少する。
　なお、輻輳点距離を増減するための操作部としては、上キー２４ａまたは下キー２４ｂのように押圧するものに限らない。例えば、スライド式のツマミのスライド操作や、ダイアルの回転により輻輳点距離の増減を行ってもよい。この場合には、ツマミのスライド量，ダイアルの回転量を操作量とすればよい。さらに、輻輳点距離を増減するためのキーやツマミ等をタッチパネルタイプの表示器に表示し、その表示器へのタッチ操作で輻輳点距離を増減してもよい。
　また、この例では、１回の押圧操作に対する輻輳点距離の単位変化量Δを１ｍとしているが、これに限られるものではなく任意に設定することができる。また、例えば設定画面から１回の押圧操作に対する輻輳点距離の単位変化量Δを任意に設定可能にしてもよい。さらには、輻輳点距離を増加する場合と減少させる場合とで、その単位変化量Δを異なった値とすることもできる。
　図３において、操作部２１は、ボタンやスイッチの操作部材の操作に応じた操作信号をＣＰＵ３０に送る。ＣＰＵ３０は、操作部２１からの各種操作信号に基づいて各部を制御する。ＣＰＵ３０には、ＲＯＭ３０ａ，ＲＡＭ３０ｂが接続されている。ＲＯＭ３０ａには、撮影シーケンスを実行するためのプログラムや、視差を調節するためのプログラム等が書き込まれており、このプログラムにしたがってＣＰＵ３０は各部を制御する。ＲＡＭ３０ｂは、各種シーケンスを実行する際に必要なデータを一時的に記憶するワークメモリとして利用される。
　この例では、左撮影系１２と右撮影系１３とで撮影部が構成されている。左撮影系１２は、撮影レンズ１２ａの他、レンズ駆動部３３、レンズセンサ部３４、イメージセンサ３５、タイミングジェネレータ３６、ＡＦＥ（アナログフロントエンド）３７などで構成される。
　レンズ駆動部３３は、撮影レンズ１２ａを構成する変倍レンズやフォーカスレンズを光軸方向に移動する。これにより、撮影レンズ１２ａのズーミングやフォーカシングを行う。レンズセンサ部３４は、変倍レンズのレンズ位置とフォーカスレンズのレンズ位置をそれぞれ検出し、変倍レンズ位置に基づいて撮影レンズ１２ａの焦点距離を、またフォーカスレンズ位置に基づいて被写体距離を取得する。取得した焦点距離、被写体距離は、ＣＰＵ３０に送られて各種の制御に用いられる。
　撮影レンズ１２ａの背後に、左視点画像を撮影するイメージセンサ３５が配されており、撮影レンズ１２ａを透過した被写体光がイメージセンサ３５の受光面３５ａに入射する。受光面３５ａには、周知のように多数の画素３５ｂ（図５参照）がマトリクス状に配列され、画像の各部を光電変換する。イメージセンサ３５は、タイミングジェネレータ３６からの各種駆動信号により駆動され、撮影レンズ１２ａによって受光面３５ａに結像される被写体像を電気的なアナログ信号に変換して左視点画像として出力する。左視点画像は、イメージセンサ３５からＡＦＥ３７に送られる。
　ＡＦＥ３７は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（自動ゲイン調整アンプ）回路、Ａ／Ｄ変換器から構成されている。ＣＤＳ回路は、相関二重サンプリングを行ってイメージセンサ３５からのアナログ信号からノイズを除去する。ＡＧＣ回路は、ＣＰＵ３０によって設定される撮影感度に応じたゲインでアナログ信号を増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路からのアナログ信号の左視点画像をデジタル変換して出力する。
　右撮影系１３は、左撮影系１２と同じ構成であり、左撮影レンズ１２ａと同じズームタイプの撮影レンズ１３ａの他、レンズ駆動部４３、レンズセンサ部４４、受光面４５ａ及び画素４５ｂを有するイメージセンサ４５、タイミングジェネレータ４６、ＡＦＥ４７などで構成され、デジタル変換された右視点画像を出力する。
　左右撮影系１２，１３からの左視点画像，右視点画像は、それぞれ画像入力コントローラ５１に送られる。画像入力コントローラ５１は、バス５２への各視点画像の入力を制御する。バス５２には、ＣＰＵ３０，画像入力コントローラ５１、画像処理回路５３、ＡＦ検出回路５４、ＡＥ／ＡＷＢ検出回路５５、画像シフト部５６、３Ｄ画像生成回路５７、ＬＣＤドライバ５８、圧縮伸張処理回路５９、メディアコントローラ６０が接続されている。これら各部は、バス５２を介してＣＰＵ３０に制御されるとともに、相互間でデータの授受が可能になっている。
　画像処理回路５３は、画像入力コントローラ５１からの各画像に対して階調変換、ホワイトバランス補正、γ補正、ＹＣ変換などの各種画像処理を施す。ＡＦ検出回路５４は、画像入力コントローラ５１からの各視点画像のうちの一方、例えば左視点画像の１フレームごとに高周波成分を積算したＡＦ評価値を算出する。ＣＰＵ３０は、ＡＦ検出回路５４からのＡＦ評価値に基づき、レンズ駆動部３３を制御して、ＡＦ評価値が最大、すなわち被写体にピントが合致するように撮影レンズ１２ａのフォーカシングを行う。このフォーカシングの際には、ＣＰＵ３０は、レンズセンサ部３４，４４からの各フォーカスレンズ位置を参照し、撮影レンズ１２ａと同じ被写体距離にピントが合致するように、レンズ駆動部４３を制御して撮影レンズ１３ａのフォーカシングを行う。
　ＡＥ／ＡＷＢ検出回路５５は、例えば左視点画像に基づき、被写体輝度の検出と、ホワイトバランス補正に用いるＷＢ評価値の算出とを行う。ＣＰＵ３０は、ＡＥ／ＡＷＢ検出回路５５からの被写体輝度情報に基づき、タイミングジェネレータ３６，４６、ＡＦＥ３７，４７を制御して各撮影系１２，１３の露出制御、例えばイメージセンサの電子シャッタ速度（電荷蓄積時間）、ＡＧＣ回路のゲインの増減を行う。また、ＣＰＵ３０は、ＡＥ／ＡＷＢ検出回路５５からのＷＢ評価値に基づき、被写体像のホワイトバランスが適正となるように、画像処理回路５３を制御する。
　画像シフト部５６は、画像処理回路５３で画像処理された左視点画像と右視点画像が入力され、切出し範囲を各視点画像上で左右方向にシフトすることにより視差を変化させるものである。このために、各視点画像は、実際に利用するサイズよりも左右方向に大きなサイズに撮影されている。これにより、左右方向にシフトされて視差が調節された各視点画像を生成する。切出し範囲のシフト量は、ＣＰＵ３０によって設定される。なお、以下の説明では、画像シフト部５６によって切り出されたものを視点画像，視差画像と称し、切出しが行われる前のものを視点原画像，視差原画像と称して説明する。
　３Ｄ画像生成回路５７は、視差が調節された左及び右視点画像に対して３Ｄ表示加工処理を行う。この例では、レンチキュラー方式での３Ｄ表示に対応して、各視点画像をそれぞれ線状（ストライプ状）に分割した左右の線状画像を交互に配置し、１個のレンチキュラ１９ｂの下に左視点画像と右視点画像の線状画像が１個ずつＬＣＤ１９ａに表示されるように３Ｄ表示加工処理を行う。
　３Ｄ表示加工処理が施された視差画像は、ＬＣＤドライバ５８に送られる。ＬＣＤドライバ５８は、表示器１９を駆動して３Ｄ表示加工処理が施された視差画像を表示させる。これにより、視差画像の３Ｄ表示が行われる。撮影モード下では、次々に撮影されるスルー画（動画）に対して３Ｄ表示加工処理が施される。
　圧縮伸張処理回路５９は、シャッタボタン１５の操作で撮影された静止画の視差画像に対して圧縮処理を行う。圧縮処理された視差画像は、メディアコントローラ６０によってメモリカード１８に記録される。この記録においては、再生時の視差調節を行う際に、再生上の輻輳点距離を上キー２４ａ，下キー２４ｂの操作量に比例させて増減させるのに必要な情報が視差画像に付加、例えば画像ファイルのタグに記録される。記録される情報としては、例えば撮影時の輻輳点距離や、撮影レンズの焦点距離、撮影レンズ１２ａと１２ｂ間の距離（基線長）、画素３５ｂと４５ｂのピッチなどがある。
　また、圧縮伸張処理回路５９は、画像再生時にはメモリカード１８に記録された視差画像に対して伸張処理を行う。伸張された視差画像は、３Ｄ画像生成回路５７を介してＬＣＤドライバ５８に送られることによって、表示器１９に３Ｄ表示される。メディアコントローラ６０は、メモリカード１８に対する画像の記録、及び読み出しなどを行う。
　図４において、ＣＰＵ３０は、距離決定部６２，シフト量設定部６３として機能する。距離決定部６２は、上キー２４ａ，下キー２４ｂの操作量に応じた第１操作信号が入力され、第１操作信号に比例した距離を現時点の輻輳点距離Ｒから増減した目標輻輳点距離（設定すべき輻輳点距離）Ｒ１を決定する。距離決定部６２は、この例では、現在設定されている輻輳点距離Ｒを初期値として、上キー２４ａが１回押圧操作されるごとに目標輻輳点距離Ｒ１を１ｍ（＝単位変化量Δ）ずつ増加させ、下キー２４ｂが１回押圧操作されるごとに目標輻輳点距離Ｒ１を１ｍずつ減少させる。
　シフト量設定部６３は、現在の輻輳点距離Ｒから距離決定部６２で求められた目標輻輳点距離Ｒ１への変化量（増減距離）ΔＲに応じた、切出し範囲をシフトすべきシフト量を画像シフト部５６に設定する。この例では、変化量（増減距離）ΔＲに応じたシフト量として切出し範囲の特定の基準位置からのシフト量を画像シフト部５６に設定している。具体的には、３Ｄカメラ１０に予め設定されている基準輻輳点距離Ｒ０に対応した切出し範囲のシフト位置を基準位置（シフト量ΔＰ＝０）として、この基準位置からのシフト量として目標輻輳点距離Ｒ１に対応するシフト量ΔＰを求め、これを画像シフト部５６に設定している。画像シフト部５６は、切出し範囲を基準位置からシフト量ΔＰだけシフトさせて各視点原画像から各視点画像の切り出しを行う。
　図５に模式的に示すように、撮影レンズ１２ａ，１３ａは、基準輻輳点距離Ｒ０の位置で光軸ＰＬａ，ＰＬｂが互いに角度２θ０で交差するように内側に傾けられている。イメージセンサ３５は、その受光面３５ａの中心位置に撮影レンズ１２ａの光軸ＰＬａが通り、受光面３５ａが対応する光軸ＰＬａに直交する姿勢に配されている。イメージセンサ４５は、撮影レンズ１３ａの光軸ＰＬｂに対して同様に配されている。
　画像シフト部５６は、シフト量ΔＰの初期値として「０」が与えられており、シフト量ΔＰが「０」であるときが切出し範囲Ｇの基準位置となる。切出し範囲Ｇが基準位置であるときには、その中心が受光面３５ａ，４５ａの中心位置、すなわち左視点原画像，右視点原画像の中心位置に合致する。この状態では、イメージセンサ３５を含めた撮影系１２の光学系全体の光軸と撮影レンズ１２ａの光軸ＰＬａとが一致し、またイメージセンサ４５を含めた撮影系１３の光学系全体の光軸と撮影レンズ１３ａの光軸ＰＬｂとが一致し、光軸ＰＬａ，ＰＬｂの交差位置と輻輳点（輻輳位置）とが一致する。したがって、この状態の輻輳点距離が基準輻輳点距離Ｒ０となる。また、この状態の輻輳角は、角度２θ０となる。
　上キー２４ａ，下キー２４ｂの操作によってシフト量ΔＰが増減されて、基準位置から切出し範囲Ｇがシフトされると、左撮影系１２の光学系全体の光軸と右撮影系１３の光学系全体の光軸との傾きが増減されて輻輳点距離が変化し、結果として視差が調節される。
　現在の輻輳点距離Ｒから変化量（増減距離）ΔＲで増減した目標輻輳点距離Ｒ１（＝Ｒ＋ΔＲ）を基準輻輳点距離Ｒ０からの変化量ΔＲ０だけ増減したものとして、輻輳点距離を目標輻輳点距離Ｒ１（＝Ｒ０＋ΔＲ０）とするために、切出し範囲Ｇを基準位置からシフトすべきシフト量ΔＳ（長さ）は、次の式（１）で算出することができる。式（１）中の「ｒ」は、撮影レンズ１２ａ，１３ａの主点間距離を「２ｒ」としたときの長さであり、「Ｌ」は撮影レンズ１２ａ，１３ａの焦点距離である。なお、目標輻輳点距離Ｒ１における輻輳角は、式中のθ１を用いて表すと角度２θ１となる。また、撮影レンズ１２ａ，１３ａの焦点距離Ｌが数１０ｍｍ程度であるので、基線長として近似的に主点間距離を用いている。
　　　　ΔＳ＝Ｌ／ｔａｎ（θ０－θ１）　　・・・・（１）
　　　　　　ただし、θ０＝ｔａｎ－１（ｒ／Ｒ０）
　　　　　　　　　　θ１＝ｔａｎ－１（ｒ／（Ｒ０＋ΔＲ０））
　上記式（１）中の基準輻輳点距離Ｒ０、長さｒの元になる主点間距離２ｒは、それぞれ設計値などから予め知ることができる。また、焦点距離Ｌはレンズセンサ部３４，４４から取得することができる。したがって、基準輻輳点距離Ｒ０から変化量ΔＲ０だけ増加させた目標輻輳点距離Ｒ１とするためのシフト量ΔＳを求めることができる。
　画像シフト部５６におけるシフト量ΔＰの最小単位は、各視点原画像の画素ピッチである。ここで、二次元的に配置された画素３５ｂ，４５ｂの水平方向のピッチ（画素ピッチ）をｐとしたときに、シフト量ΔＳに対応するシフト量ΔＰ（画素数）は、次の式（２）によって求められる。なお、シフト量ΔＰは、整数値にする必要があるため、その小数点以下の端数は切り捨てまた切り上げるが、輻輳点距離の誤差が小さくなるように端数を処理するのがよい。また、例えば画素数の変換を行うなどした場合には、視点原画像の画素ピッチを受光面３５ａ，４５ａ上の長さに変換した画素ピッチを値ｐとして用いる。
　　　ΔＰ＝ΔＳ／ｐ　　　・・・・（２）
　なお、上記ΔＲ０の符号は、基準輻輳点距離Ｒ０よりも目標輻輳点距離Ｒ１が大きい場合をプラス、小さい場合をマイナスとする。また、ΔＳ，ΔＰは、符号がプラスの場合に、左右の切出し範囲を相互に近づける方向に、また符号がマイナスの場合に、左右の切出し範囲Ｇを離反する方向にシフトする。
　また、この例では、現在の輻輳点距離Ｒから目標輻輳点距離Ｒ１への変化量ΔＲに応じたシフト量として、基準輻輳点距離Ｒ０に対応した切出し範囲の基準位置からのシフト量ΔＰを求めて、これを画像シフト部５６に設定しているが、現在の輻輳点距離Ｒに対応して設定されている現在の切出し範囲Ｇのシフト位置からシフトすべきシフト量を求め、これを画像シフト部５６に設定してもよい。この場合、画像シフト部５６は、画像シフト部５６は、現在の位置から設定されたシフト量だけ切出し範囲Ｇをシフトする。また、この場合には、シフトすべきシフト量としては、例えば式（１）を利用して得られる、現在設定されている輻輳点距離Ｒに対応するシフト量ΔＰと、目標輻輳点距離Ｒ１に対応するシフト量ΔＰとの差分を求めればよい。現在設定されている輻輳点距離Ｒに対応するシフト量ΔＰは、前回算出した目標輻輳点距離Ｒ１に対応するシフト量ΔＰを記憶しておいて利用することができる。
　上記撮影レンズ１２ａ，１３ａ、イメージセンサ３５，４５の配置は一例であって、種々の配置を採用することができる。例えば、光軸ＰＬａ，ＰＬｂを互いに平行にした撮影レンズ１２ａ，１３ａを配し、受光面３５ａ，４５ａをそれぞれ光軸ＰＬａ，ＰＬｂに垂直となるように配してもよい。この場合に、光軸ＰＬａ，ＰＬｂが対応する受光面３５ａ，４５ａの中心よりも外側を通るように配置して輻輳角を与えてもよい。
　次に上記構成の作用について図６を参照しながら説明する。視差画像を撮影する場合には、電源をオンにとしてから、モードダイアル１７を操作して３Ｄカメラ１０を撮影モードにセットする。撮影モードにセットされると、各部が初期設定されたのち、各撮影系１２，１３がスルー画の撮影を開始する。
　左撮影系１２では、撮影レンズ１２ａを通してイメージセンサ３５による左視点原画像の撮影が開始される。左撮影系１２からの左視点原画像は、ＡＦＥ３７を介してデジタル変換されてから、画像入力コントローラ５１，バス５２を介して画像処理回路５３，ＡＦ検出回路５４，及びＡＥ／ＡＷＢ検出回路５５にそれぞれ送られる。同様にして、右撮影系１３での撮影が開始され、撮影レンズ１３ａを通してイメージセンサ４５によって右視点原画像（スルー画）の撮影が行われる。この右撮影系１３からの右視点原画像は、ＡＦＥ４７，画像入力コントローラ５１，バス５２を介して画像処理回路５３に送られる。
　左視点原画像から得られるＡＦ評価値がＡＦ検出回路５４からＣＰＵ３０に送られる。このＣＰＵ３０の制御下で、ＡＦ評価値に基づいてレンズ駆動部３３が駆動されて、撮影中の被写体にピントが合致するように撮影レンズ１２ａのフォーカシングが行われる。また、この撮影レンズ１２ａのフォーカシングに同期させて、右撮影系１３のレンズ駆動部４３が駆動され、撮影レンズ１３ａのフォーカシングが行われる。これにより、各撮影系１２，１３が同じ距離にピントが合致する。このフォーカシングは、随時行われるから被写体距離が変化すれば、それに追従してピントが合わせられる。
　また、ＡＥ／ＡＷＢ検出回路５５からは左視点原画像に基づいて、被写体輝度の検出と、ＷＢ評価値の算出とが行われる。そして、この被写体輝度に基づいて各撮影系１２，１３の露出制御が行われる。さらに、画像処理回路５３にホワイトバランス補正用にＷＢ評価値が設定され、そのＷＢ評価値に基づいてホワイトバランス補正が行われる。これら被写体輝度，ＷＢ評価値についても、ＡＦ評価値と同様に、被写体輝度、光源等が変化すれば、これに追従した被写体輝度，ＷＢ評価値が算出され、それにより撮影中の被写体が適正露出となり、また適正なホワイトバランスとなるように制御される。
　各撮影系１２，１３からの各視点原画像は、それぞれ画像処理回路５３で各種画像処理が施されてから、画像シフト部５６に送られる。画像シフト部５６では、シフト量ΔＰが「０」に初期設定されているから、切出し範囲が基準位置となっている。したがって、切出し範囲の中心位置を左視点原画像の中心位置に一致させた状態で左視点画像が切り出される。同様に、切出し範囲の中心位置を右視点原画像の中心位置に一致させた状態で右視点画像が切り出される。そして、切り出された各視点画像は、３Ｄ画像生成回路５７に送られる。
　３Ｄ画像生成回路５７では、上記のように生成された左右の各視点画像からなる視差画像が入力されると、各視点画像をそれぞれ線状に分割してから、左右の線状画像をレンチキュラレンズのピッチにあわせて交互に配置される。このようにして視差画像に３Ｄ表示加工処理が施されてから、それがＬＣＤドライバ５８を介して表示器１９に送られる。
　各撮影系１２，１３では、所定の周期で左視点原画像，右視点原画像の撮影が行われ、画像シフト部５６によって左視点画像と右視点画像が生成されるごとに、その各視点画像から３Ｄ表示加工処理が施された視差画像が作成される。これらの視差画像は、次々にＬＣＤドライバ５８に送られて、表示器１９で表示される。これにより、観察者は、表示器１９によって立体感を有するスルー画を観察することができる。また、表示器１９上のスルー画には、案内表示２０ａ，２０ｂが重ね合わせて表示される。これら案内表示２０ａ，２０ｂにより、観察者は、現在設定されている輻輳点距離Ｒ、１回の操作で変化する輻輳点距離の単位変化量Δを知ることができる。
　上記のように初期設定の状態では、変化量ΔＲ０は「０」であって輻輳点距離Ｒが基準輻輳点距離Ｒ０となっているから、この基準輻輳点距離Ｒ０上に存在する被写体の画像は視差がない状態である。したがって、奥行き感としては、基準輻輳点距離Ｒ０の被写体が表示器１９上にあるように観察され、この基準輻輳点距離Ｒ０よりも近距離にある被写体が表示器１９よりも手前に、また遠距離にある被写体が表示器１９よりも奥にあるように観察される。
　表示器１９を観察して立体感が好ましくないとき、例えば、主要被写体が表示器１９よりも手前あるいは、表示器１９よりも奥にあるように観察される場合には、上キー２４ａまたは下キー２４ｂを操作して、視差を調節する。
　例えば上キー２４ａを１回押圧操作すると、その操作（増大操作）の１回分の第１操作信号が距離決定部６２に入力され、距離決定部６２よって、変化量ΔＲ０が単位変化量Δ（＝１ｍ）だけ増加される。これにより、現在の輻輳点距離Ｒ（この場合には、基準輻輳点距離Ｒ０）から１ｍ距離を増加させた目標輻輳点距離Ｒ１が求められる。この目標輻輳点距離Ｒ１（＝Ｒ０＋ΔＲ０）は、シフト量設定部６３によりシフト量ΔＰに変換される。このときに、式（１），（２）によってシフト量ΔＰが算出される。
　そして、算出されたシフト量ΔＰが画像シフト部５６に設定されると、左視点原画像，右視点原画像に対する切出し範囲が、基準位置からシフト量ΔＰだけシフトされ、この切出し範囲から左視点画像，右視点画像が切り出されて出力される。このときに、左視点原画像に対する切出し範囲は、右方向にシフトし、右視点原画像に対する切出し範囲は左方向にシフトされる。
　上記のように新たに設定された切出し範囲で切り出された左視点画像，右視点画像は、３Ｄ画像生成回路５７によって３Ｄ表示用に加工されてからＬＣＤドライバ５８に送られる。これにより、表示器１９には、基準輻輳点距離Ｒ０よりも１ｍ遠い距離、すなわち目標輻輳点距離Ｒ１の被写体像に視差がない状態で立体画像が表示される。また、案内表示２０ａが更新される。そして、基準輻輳点距離Ｒ０よりも１ｍ遠い距離の被写体が表示器１９上にあるように観察され、その被写体よりも近距離にある被写体が表示器１９よりも手前にあるように、また遠距離にある被写体が表示器１９よりも奥にあるように観察される。
　上キー２４ａをさらに１回押圧操作すれば、ΔＲ０がさらに１ｍ増加され、同様にして現在の輻輳点距離Ｒから１ｍ増加された目標輻輳点距離Ｒ１がシフト量ΔＰに変換される。そして、左視点画像，右視点画像に対する切出し範囲が、基準切出し範囲からシフト量ΔＰだけシフトされ、最初に上キー２４ａを押圧したときよりも、左視点画像に対する切出し範囲は右方向に、右視点画像に対する切出し範囲は左方向にさらにそれぞれシフトされた状態になる。これにより、表示器１９では、上キー２４ａを１回押圧操作するごとに、視差のない被写体の位置が１ｍずつ遠くなっていくように立体画像の奥行き感が変化する。
　一方、下キー２４ｂを押圧操作すると、その操作（減少操作）が第１操作信号として距離決定部６２に入力される。これにより、１回の押圧操作ごとに変化量ΔＲ０が１ｍずつ減少され、目標輻輳点距離Ｒ１が現在の輻輳点距離Ｒから１ｍずつ減少し、その目標輻輳点距離Ｒ１がシフト量ΔＰに変換され、これが画像シフト部５６に設定される。そして、左視点画像に対しては左方向に、右視点画像に対しては右方向に切出し範囲がシフトされる。結果として、表示器１９上では、下キー２４ｂを１回押圧操作するごとに、視差のない被写体の位置が１ｍずつ近づいてくるように立体画像の奥行き感が変化する。
　このように、上キー２４ａまたは下キー２４ｂの１回押圧操作するごとに、視差のない被写体の位置、すなわち輻輳点距離が１ｍずつ変化し、操作量に比例的に輻輳点距離が増減するので、操作に対する奥行き感の変化に違和感を与えない。
　上記のようにして上キー２４ａ，下キー２４ｂを操作して視差を調節し、また構図を決定してからシャッタボタン１５を押圧して立体的静止画の撮影を行う。シャッタボタン１５が押圧されると、ＡＦ評価値やＡＥ評価値などに基づいてフォーカシング、露出を調節した後、各イメージセンサ３５，４５によって、左視点原画像，右視点原画像が撮影される。イメージセンサ３５，４５から出力された左視点原画像，右視点原画像は、それぞれＡＦＥ３７，４７、画像入力コントローラ５１，画像処理回路５３を介して、画像シフト部５６に送られる。
　そして、画像シフト部５６では、シャッタボタン１５の押圧時に設定されていた切出し範囲による切り出しが左視点原画像，右視点原画像に対して行われ、左視点画像と右視点画像からなる視差画像が生成される。この視差画像は、圧縮伸張処理回路５９でデータ圧縮されてから、メディアコントローラ６０に送られる。メディアコントローラ６０では、圧縮された視差画像を、視差調節を行う際に必要となる前述の情報が視差画像を付加してからメモリカード１８に記録する。
　再生モードにセットすると、視差画像がメモリカード１８から読み出される。この視差画像は、圧縮伸張処理回路５９で伸張処理された後に、３Ｄ画像生成回路５７を介してＬＣＤドライバ５８に送られる。これにより、視差画像が表示器１９に３Ｄ表示される。また、視差画像とともに記録されている撮影時の輻輳点距離や撮影レンズの焦点距離、基線長、画素ピッチが読み出されて、ＣＰＵ３０に送られる。
　再生表示の場合にも、表示器１９上で各視点画像を左右方向にずらすことによって、観察される視差画像の視差が調節される。この場合に、伸張された視差画像を画像シフト部５６に入力し、スルー画像の場合と同様に、入力した視差画像（各視点画像）から新たな視点画像を切り出すとともに、その切出し範囲を上キー２４ａ，下キー２４ｂの操作でシフトする。
　この再生時では、距離決定部６２は、再生中の視差画像を撮影したときの輻輳点距離を初期値として、上キー２４ａを操作した場合には、その操作ごとに目標輻輳点距離を１ｍずつ増加させ、下キー２４ｂを操作した場合には、その操作ごとに目標輻輳点距離を１ｍずつ減少させる。そして、式（１），（２）を利用してシフト量ΔＰを算出し、これを画像シフト部５６に設定する。この式（１）を利用する際には、視差画像を撮影したときの輻輳点距離を基準輻輳点距離Ｒ０とし、上キー２４ａ，下キー２４ｂの操作に応じたよる距離増減距離をΔＲ０に代入して算出する。なお、撮影レンズの焦点距離、基線長、画素ピッチは、メモリカード１８から読み出されたものが用いられる。
　このようにして上キー２４ａ，下キー２４ｂの操作に応答して切出し範囲をシフトすることにより、再生時においても、上キー２４ａ，下キー２４ｂの操作量に比例して輻輳点距離が１ｍずつ増減するように変化させて視差を調節できる。
なお、再生表示において切出し範囲をシフトする代りに、視点画像を全体的に左右方向にシフトして視差を調節してもよい。また、切出し範囲で切り出した左視点画像，右視点画像をメモリカード１８に記録すること代えて、左視点原画像，右視点原画像をメモリカード１８に記録してもよい。そして、再生時に、メモリカード１８から読み出した左視点原画像，右視点原画像から表示するための左視点画像と右視点画像を切出し範囲で切り出し、その切出し範囲のシフトすることで視差を調節するようにしてもよい。
［第２実施形態］
　図７，図８に示す第２実施形態は、操作量に対して輻輳点距離を比例的に変化させる他に、各視点画像のシフト量を画素単位で増減できる構成としたものである。なお、以下に説明する他は、第１実施形態と同様であり、同一の構成部材には同じ符号を付してその詳細な説明を省略する。
　図７に示すように、ＣＰＵ３０は、距離決定部６２，シフト量設定部６３、シフト量増減部６５として機能する。また、上キー２４ａ，下キー２４ｂが第１の操作部であり、左キー２４ｃ，右キー２４ｄが第２の操作部となる。左キー２４ｃ，右キー２４ｄは、例えば、左キー２４ｃの押圧操作がシフト量を増大する増大操作となり、右キー２４ｄの押圧操作がシフト量を減少する減少操作となり、その操作量に応じた第２操作信号をシフト量増減部６５に入力する。
　シフト量増減部６５は、第２操作信号に比例してシフト量ΔＰを画素単位で変化させる。すなわち、シフト量増減部６５は、左キー２４ｃが１回押圧されるごとにシフト量を１画素ずつ増大させ、左キー２４ｃが１回押圧されるごとにシフト量を１画素ずつ減少させる。なお、切出し範囲を１画素分シフトしたときの輻輳点距離の変化は一定ではなく、変化させる時の輻輳点距離が小さいほど、それによる輻輳点距離の変化も小さくなる。
　また、シフト量増減部６５は、左キー２４ｃ，右キー２４ｄの押圧操作によってシフト量の増減分（画素数）αをカウントしている。距離決定部６２は、上キー２４ａまたは下キー２４ｂが押圧操作された場合には、増減分αに対応する距離だけ輻輳点距離を増大または減少させることで、左キー２４ｃ，右キー２４ｄの操作で増減された後のシフト量ΔＰに対応する現在の輻輳点距離Ｒを求め、この現在の輻輳点距離Ｒを基準にして増減を行った目標輻輳点距離Ｒ１を算出する。シフト量増減部６５の増減分αは、距離決定部６２に入力した後に、このシフト量増減部６５はリセットされるから、上キー２４ａ，下キー２４ｂのリセット後からの増減された増減分αをカウントすることになる。
　この例では、図８に示すように、上キー２４ａ，下キー２４ｂを押圧操作するごとに、第１実施形態と同じく、輻輳点距離が１ｍずつ増加または減少するようにシフト量ΔＰが変化する。そして、そのシフト量ΔＰでシフトされた切出し範囲から各視点画像が切り出されることによって視差が調節される。
　左キー２４ｃ，右キー２４ｄを押圧操作した場合、例えば左キー２４ｃが１回押圧操作されると、シフト量ΔＰでシフトされていた切出し範囲が１画素分さらにシフトされる。このように左キー２４ｃが押圧操作された場合には、シフト量を増大させるので、輻輳点距離を増大させる方向、すなわち左視点原画像に対する切出し範囲は右方向に１画素分シフトされ、右視点原画像に対する切出し範囲は左方向に１画素分シフトされる。
　一方、右キー２４ｄが１回押圧操作されると、やはりシフト量ΔＰでシフトされていた切出し範囲が１画素分シフトされるが、この場合にはシフト量を減少させるので、輻輳点距離を減少させる方向、すなわち左視点原画像に対する切出し範囲が左方向に１画素分シフトされ、右視点原画像に対する切出し範囲が右方向に１画素分シフトされる。
　左キー２４ｃ、右キー２４ｄの操作後に、上キー２４ａまたは下キー２４ｂが押圧操作された場合には、距離決定部６２は、シフト量増減部６５から増減分αを取得する。この後、距離決定部６２は、保持しているシフト量ΔＰを増減分αで増減した現在のシフト量ΔＰを用いて、現時点の輻輳点距離Ｒを算出する。そして、その算出した輻輳点距離Ｒを初期値にして、上キー２４ａが押圧操作されるごとに目標輻輳点距離Ｒ１を１ｍずつ増大し、また下キー２４ｂが押圧操作されるごとに目標輻輳点距離Ｒ１を１ｍずつ減少させる。
　この例によれば、例えば主要被写体が近距離の場合には、上キー２４ａまたは下キー２４ｂの操作で輻輳点距離を主要被写体の近くにまで近づけ、その後に左キー２４ｃまたは右キー２４ｄの操作で輻輳点距離を主要被写体まで距離に合致するように微調節することができる。また、逆に主要被写体が遠距離の場合には、左キー２４ｃまたは右キー２４ｄの操作で輻輳点距離を主要被写体の近くにまで近づけ、その後に上キー２４ａまたは下キー２４ｂの操作で輻輳点距離を主要被写体まで距離に合致するように微調節することができる。
［第３実施形態］
　第３実施形態では、操作部の操作を、撮影レンズの焦点距離に応じて、輻輳点距離を比例的に変化させる操作とシフト量を画素単位で変化させる操作とに切り替えるようにしたものである。なお、以下に説明する他は、第２実施形態と同様であり、同一の構成部材には同じ符号を付してその詳細な説明を省略する。
　図９に示すように、ＣＰＵ３０は、距離決定部６２，シフト量設定部６３、シフト量増減部６５、入力制御部６６として機能する。第１の操作部としては、上キー２４ａと下キー２４ｂが用いられ、距離決定部６２とシフト量増減部６５とに共通に用いられる。入力制御部６６は、焦点距離取得部としてのレンズセンサ部３４から撮影レンズ１２ａの焦点距離が入力される。なお、レンズセンサ部４４からの撮影レンズ１３ａの焦点距離が入力されるようにしてもよい。
　上記の入力制御部６６は、図１０に示すように、撮影レンズ１２ａの焦点距離が予め設定されている所定焦点距離Ｔｈ１以下である場合には、上キー２４ａ，下キー２４ｂの押圧操作による第１操作信号を距離決定部６２に入力する。一方、焦点距離が所定焦点距離Ｔｈ１よりも長い場合には、上キー２４ａ，下キー２４ｂの押圧操作による第１操作信号シフト量増減部６５に入力する。
　この例によれば、撮影レンズ１２ａ，１３ａが短焦点側にされて主要被写体が近距離であることが想定されるような場合には、上キー２４ａ，下キー２４ｂの操作量に対して輻輳点距離が比例的に増減されることで視差が調節される。また、撮影レンズ１２ａ，１３ａが長焦点側にされて主要被写体が遠距離であることが想定されるような場合には、上キー２４ａ，下キー２４ｂの操作により、輻輳点距離が比較的に大きく変化される画素単位で切出し範囲のシフト量を増減して視差を調節することができる。
　なお、図１１に示すように、焦点距離に代えて被写体距離に応じて、上キー２４ａ，下キー２４ｂからの第１操作信号の入力先を切替えてもよい。この場合には、被写体距離が予め設定されている所定被写体距離Ｔｈ２以下である場合には、上キー２４ａ，下キー２４ｂの第１操作信号を距離決定部６２に入力し、所定被写体距離Ｔｈ２よりも長い場合には上キー２４ａ，下キー２４ｂの第１操作信号をシフト量増減部６５に入力する。なお、被写体距離は、例えばレンズセンサ部３４または４４が検出するフォーカスレンズ位置から求める。
　さらに、図１２，図１３に示すように、上キー２４ａと下キー２４ｂの操作時点で設定されている輻輳点距離Ｒを、例えば距離決定部６２から取得し、操作時点で設定されている輻輳点距離Ｒに応じて、上キー２４ａ，下キー２４ｂからの第１操作信号の入力先を切替えてもよい。この場合には、現在の輻輳点距離Ｒが予め設定されている所定輻輳点距離Ｔｈ３以下である場合には、第１操作信号を距離決定部６２に入力し、所定輻輳点距離Ｔｈ３よりも長い場合には第１操作信号をシフト量増減部６５に入力する。
　上記各実施形態では、視点画像（視点原画像）の一部を切り出す切出し範囲を左右方向にシフトすることによって、視点画像のシフトを行っているが、視点画像をシフトする手法としては、これに限られるものではない。例えば、撮影された各視点画像を全体的に左右方向にシフトしてもよい。また、左右の各イメージセンサを、それ自体の受光面と平行に左右方向にシフトしてもよい。さらには、視点画像の表示位置を左右方向にシフトしてもよい。
　また、視点画像をシフトすることによって視差を調節しているが、撮影レンズとイメージセンサとからなる撮影光学系全体を回転させたり、基線長を増減したりすることにより視差が調節されるようにしてもよい。
　さらに、被写体距離や被写体の配置などから輻輳点距離を自動調節する自動調節部を設け、この自動調節部による輻輳点距離の自動調節後に、上記各実施形態のように視差の調節を行うように構成してもよい。１操作あたりに対する輻輳点距離の変化量は、任意に設定することができ、輻輳点距離などに応じて、その変化量を変化させることもできる。１画素ずつシフト量を増減したり、１度ずつ輻輳角を変化させたりすることなく、輻輳点距離が大きくなるほど輻輳点距離の変化量を大きくしたり、逆に小さくしたりすることもできる。
　また、左撮影系と右撮影系とを有する撮影部を用いて、左右の各視点画像を撮影する撮影装置を例にして説明したが、撮影部は、視点画像を撮影するものであればどのような構成であってもよい。例えば、大きなサイズのイメージセンサを用い、左右一対の撮影レンズの像をイメージセンサの受光面上に並べて結像させてもよい。また、左側から入射する光を受光する第１タイプの位相差画素と右側から入射する光を受光する第２タイプの位相差画素を用いこれらを交互に配したイメージセンサにより複数の視点画像を撮影してもよい。
　上記では、画像再生装置として、３Ｄカメラで視差画像を再生する場合について説明したが、ビユーアなどの再生機能を独立させた画像再生装置とすることができる。
　画像再生装置で視差画像を再生する場合に、その再生中の視差画像の視差を自動的に変化させるときに、時間経過に比例した変化量で輻輳点距離を変化するようにしてもよい。例えば、動画の再生中に、シーンが切り替わったときに、切り替わった後の１フレームごとに順次に一定の距離ずつ輻輳点距離を増加あるいは減少させて適切な輻輳点距離となるようにする。このようにすれば、シーンの切り替わりで急激な輻輳点距離の変化が生じず、また違和感の立体感の変化で適切な視差に調節される。
　１０　３Ｄカメラ
　１２，１３　撮影系
　１２ａ，１３ａ　撮影レンズ
　３５，４５　イメージセンサ
　２４ａ～２４ｄ　キー
　１９　表示器
　５６　画像シフト部
　６２　距離決定部
　６３　シフト量設定部
　６５　シフト量増減部
　６６　入力制御部

Claims (13)

  1. 　操作量に応じた第１操作信号を出力する第１の操作部と、
    　視差が生じない輻輳点までの距離を輻輳点距離として、前記第１操作信号に比例した距離を現時点の輻輳点距離から増減した目標輻輳点距離を決定する距離決定部と、
    　現在の輻輳点距離から目標輻輳点距離への増減距離に応じた、左右の各視点画像の左右方向にシフトすべきシフト量を設定するシフト量設定部と、
    　前記シフト量で左右の各視点画像を左右方向にシフトすることにより視差を変化させる画像シフト部と、
    　を備える視差調節装置。
  2. 　前記第１の操作部の単位操作量に対する輻輳点距離の変化量を表示する変化量表示部を備える請求項１記載の視差調節装置。
  3. 　操作量に応じた第２操作信号を出力する第２の操作部と、
    　前記第２操作信号に比例して前記シフト量を画素単位で変化させるシフト量増減部と、
    　を備える請求項１または２記載の視差調節装置。
  4. 　請求項１記載の視差調節装置と、
    　左視点画像と右視点画像とを撮影する撮影部と、
    　を備える撮影装置。
  5. 　前記撮影部ユニットに設けられたズームレンズと、
    　前記ズームレンズの焦点距離を取得する焦点距離取得部と、
    　前記第１操作信号に比例して前記シフト量を画素単位で変化させるシフト量増減部と、
    　前記焦点距離取得部で取得した焦点距離が所定焦点距離以下のときに前記第１操作信号を前記距離決定部に入力し、焦点距離が所定焦点距離よりも長いときに前記第１操作信号を前記シフト量増減部に入力する入力制御部と、
    　を備える請求項４記載の撮影装置。
  6. 　被写体距離を取得する被写体距離取得部と、
    　前記第１操作信号に比例して前記シフト量を画素単位で変化させるシフト量増減部と、
    　前記被写体距離取得部で取得した被写体距離が所定被写体距離以下のときに前記第１操作信号を前記距離決定部に入力し、被写体距離が所定被写体距離よりも長いときに前記第１操作信号を前記シフト量増減部に入力する入力制御部と、
    　を備える請求項４記載の撮影装置。
  7. 　前記第１操作信号に比例して前記シフト量を画素単位で変化させるシフト量増減部と、
    　前記第１の操作部の操作時点における輻輳点距離が所定距離以下のときに前記第１操作信号を前記距離決定部に入力し、所定距離よりも長いときに前記第１操作信号を前記シフト量増減部に入力する入力制御部と、
    　を備える請求項４記載の撮影装置。
  8. 　操作量に応じた第２操作信号を出力する第２の操作部と、
    　前記第２操作信号に比例して前記シフト量を画素単位で変化させるシフト量増減部と、
    　を備える請求項４記載の記載の撮影装置。
  9. 　前記第１の操作部の単位操作量に対する輻輳点距離の変化量を表示する変化量表示部を備える請求項４記載の視差調節装置。
  10. 　前記画像シフト部は、前記撮影部で撮影された各視点原画像内で、前記シフト量に応じ左右方向に切出し範囲をシフトして切り出すことにより、視差が調節された各視点画像を生成する請求項４記載の撮影装置。
  11. 　前記画像シフト部によって視差が調節された各視点画像用いてスルー画像を３Ｄ表示する表示部を備える請求項４ないし１０のいずれか１項に記載の撮影装置。
  12. 　請求項１記載の視差調節装置と、
    　前記画像シフト部によって視差が調節された各視点画像を３Ｄ表示する表示部と、
    　を備える画像再生装置。
  13. 　視差が生じない輻輳点までの距離を輻輳点距離として、第１の操作部からの操作量に応じた第１操作信号に比例した距離を現時点の輻輳点距離から増減した目標輻輳点距離を決定する距離決定ステップと、
    　現在の輻輳点距離から目標輻輳点距離への増減距離に応じた、左右の各視点画像の左右方向にシフトすべきシフト量を設定するシフト量設定ステップと、
    　前記シフト量で左右の各視点画像を左右方向にシフトすることにより視差を変化させる画像シフトステップと、
    　を有する視差調節方法。
PCT/JP2012/077453 2011-10-31 2012-10-24 視差調節装置及び方法、撮影装置、再生表示装置 WO2013065543A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280053747.2A CN104024937B (zh) 2011-10-31 2012-10-24 视差调节装置及方法、摄像装置、再生显示装置
JP2013541725A JP5647740B2 (ja) 2011-10-31 2012-10-24 視差調節装置及び方法、撮影装置、再生表示装置
US14/264,490 US8976232B2 (en) 2011-10-31 2014-04-29 Device and method for adjusting parallax, imaging apparatus, and image reproduction device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-238572 2011-10-31
JP2011238572 2011-10-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/264,490 Continuation US8976232B2 (en) 2011-10-31 2014-04-29 Device and method for adjusting parallax, imaging apparatus, and image reproduction device

Publications (1)

Publication Number Publication Date
WO2013065543A1 true WO2013065543A1 (ja) 2013-05-10

Family

ID=48191897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077453 WO2013065543A1 (ja) 2011-10-31 2012-10-24 視差調節装置及び方法、撮影装置、再生表示装置

Country Status (4)

Country Link
US (1) US8976232B2 (ja)
JP (1) JP5647740B2 (ja)
CN (1) CN104024937B (ja)
WO (1) WO2013065543A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019230115A1 (ja) * 2018-05-30 2019-12-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5909704B2 (ja) * 2011-01-13 2016-04-27 パナソニックＩｐマネジメント株式会社 立体画像処理装置、立体画像処理方法およびプログラム
US9784942B2 (en) * 2015-04-20 2017-10-10 Sensors Unlimited, Inc. System for parallax correction
US10432869B2 (en) * 2016-09-07 2019-10-01 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
CN106375749B (zh) * 2016-09-12 2018-06-29 北京邮电大学 一种视差调整方法及装置
US10299880B2 (en) * 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform
WO2019109323A1 (zh) * 2017-12-08 2019-06-13 深圳前海达闼云端智能科技有限公司 图像显示方法、穿戴式智能设备及存储介质
CN112907704B (zh) * 2021-02-04 2024-04-12 浙江大华技术股份有限公司 一种图像融合方法、计算机设备以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288532A (ja) * 1992-04-06 1993-11-02 Ricoh Co Ltd 立体画像入力装置
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
JP2007288229A (ja) * 2004-08-09 2007-11-01 Sharp Corp 画像撮影装置
JP2011209634A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 複眼撮像装置、複眼撮像装置の効果音制御方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251625A (ja) 1995-03-07 1996-09-27 Olympus Optical Co Ltd 立体映像撮影用光学装置
JPH10155104A (ja) 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
CN101424863B (zh) * 2008-12-04 2011-08-31 上海大学 立体摄像机及其视差自适应调节方法
JP5345025B2 (ja) * 2009-08-28 2013-11-20 富士フイルム株式会社 画像記録装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288532A (ja) * 1992-04-06 1993-11-02 Ricoh Co Ltd 立体画像入力装置
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
JP2007288229A (ja) * 2004-08-09 2007-11-01 Sharp Corp 画像撮影装置
JP2011209634A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 複眼撮像装置、複眼撮像装置の効果音制御方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019230115A1 (ja) * 2018-05-30 2019-12-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置

Also Published As

Publication number Publication date
JPWO2013065543A1 (ja) 2015-04-02
US8976232B2 (en) 2015-03-10
CN104024937B (zh) 2015-09-02
US20140232833A1 (en) 2014-08-21
CN104024937A (zh) 2014-09-03
JP5647740B2 (ja) 2015-01-07

Similar Documents

Publication Publication Date Title
JP5647740B2 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
JP5449536B2 (ja) 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
JP5449537B2 (ja) 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
JP5595499B2 (ja) 単眼立体撮像装置
US8878907B2 (en) Monocular stereoscopic imaging device
JP5166650B2 (ja) 立体撮像装置、画像再生装置及び編集ソフトウエア
WO2012011341A1 (ja) 撮像装置、その制御方法およびプログラム
JP5368350B2 (ja) 立体撮像装置
JP5788518B2 (ja) 単眼立体撮影装置、撮影方法及びプログラム
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに３次元情報取得装置
WO2012132123A1 (ja) 立体撮像装置および立体撮像方法
JP2011029701A (ja) 立体画像表示装置、方法およびプログラムならびに撮像装置
JP5449535B2 (ja) 立体撮像装置及びその制御方法
JP5449551B2 (ja) 画像出力装置、方法およびプログラム
WO2012105121A1 (ja) 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法
WO2012101916A1 (ja) 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
WO2013031392A1 (ja) 立体撮像装置
JP2013054233A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12846074

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2013541725

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12846074

Country of ref document: EP

Kind code of ref document: A1