WO2011086898A1 - ３ｄ画像撮影装置及びその制御方法 - Google Patents

３ｄ画像撮影装置及びその制御方法 Download PDF

Info

Publication number
WO2011086898A1
WO2011086898A1 PCT/JP2011/000094 JP2011000094W WO2011086898A1 WO 2011086898 A1 WO2011086898 A1 WO 2011086898A1 JP 2011000094 W JP2011000094 W JP 2011000094W WO 2011086898 A1 WO2011086898 A1 WO 2011086898A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewpoint
image data
predicted
generated
Prior art date
Application number
PCT/JP2011/000094
Other languages
English (en)
French (fr)
Inventor
啓 田坂
一仁 木村
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011086898A1 publication Critical patent/WO2011086898A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects

Definitions

  • the present invention relates to a 3D image generation technique, and in particular, an imaging apparatus that generates a stereoscopic image that enables stereoscopic viewing by capturing a plurality of images with different viewpoint positions at different timings using a single imaging apparatus, and a control method thereof.
  • an imaging apparatus that generates a stereoscopic image that enables stereoscopic viewing by capturing a plurality of images with different viewpoint positions at different timings using a single imaging apparatus, and a control method thereof.
  • a 3D image that enables stereoscopic viewing includes a pair of left-eye images and right-eye images having parallax.
  • Stereo image capturing methods include mainly a twin-lens imaging method and a single-lens imaging method.
  • a stereo image can be photographed by photographing image data of different viewpoints with a camera equipped with two optical systems having different optical axes.
  • the structure of the photographing apparatus becomes large and is not suitable for general user use.
  • the single-lens imaging method is a system in which image data of two different viewpoints is captured by a camera having only one optical system.
  • this method in order to capture image data from different viewpoints, it is necessary to capture the image data from one viewpoint and then move the camera body to a different viewpoint in a substantially horizontal direction.
  • a monocular imaging method for example, there is an imaging method described in Patent Document 1.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a 3D image photographing apparatus that allows a user to photograph a stereo image easily and accurately.
  • the 3D image capturing apparatus is a 3D image capturing apparatus that captures a first viewpoint image and a second viewpoint image that form a stereo image that enables stereoscopic viewing.
  • the 3D image capturing apparatus includes an optical system that forms a subject image, an imaging unit that generates image data from the subject image formed by the optical system, and a control unit that controls an image capturing operation in the 3D image capturing apparatus. .
  • the control unit generates a first viewpoint image based on the image data generated by the imaging unit at the first viewpoint, and then generates a second viewpoint image based on the image data generated by the imaging unit at the second viewpoint. 3D shooting mode.
  • the control unit In the 3D shooting mode, the control unit generates a predicted image that predicts at least a part of the position of the second viewpoint image based on the image data generated by the imaging unit at the first viewpoint and the amount of parallax. With this configuration, it is possible to generate a predicted image (guide display) that can present a suitable position of the 3D imaging device for obtaining an appropriate second viewpoint image to the user.
  • the 3D image capturing apparatus may further include a display unit that displays an image based on the image data generated by the imaging unit in real time.
  • the control unit controls the display unit to display the image based on the image data generated by the imaging unit and the predicted image in real time while switching alternately or temporally.
  • the control unit may generate a predicted image by shifting the entire region of the image based on the image data generated by the imaging unit at the first viewpoint by the amount of parallax.
  • control unit may set predetermined data in a partial area of the predicted image where data cannot be set based on the shifted image.
  • control unit may generate a predicted image by shifting a partial region of the image based on the image data generated by the imaging unit at the first viewpoint by the amount of parallax.
  • a partial area of the image may be an area set by the user.
  • a partial area of the image may be an area including a focused position in the optical system.
  • the control unit determines the degree of coincidence between the image based on the image data generated by the imaging unit and the predicted image when the image based on the image data generated by the imaging unit and the predicted image are displayed in real time on the display unit. Then, when it is determined that the degree of coincidence is within a predetermined range, the display unit may be controlled to display the notification information.
  • the control unit may calculate the amount of parallax from the viewing environment conditions when viewing the first and second viewpoint images and the size of the image data recorded by the shooting operation.
  • the control unit may generate a predicted image by arranging an image indicating a partial region of the subject at a position shifted by a parallax amount from the partial region of the subject.
  • the image showing a partial area of the subject may be a linear image.
  • the control unit generates an edge image by extracting an edge from an image based on the image data generated by the imaging unit at the first viewpoint, and generates a predicted image by arranging the edge image at a position shifted by the amount of parallax. May be.
  • the control unit can determine whether the image based on the image data generated by the imaging unit matches the predicted image.
  • the second viewpoint image may be generated based on the image data generated by the imaging unit when it is determined that the degree of coincidence is within a predetermined range.
  • the control method of the 3D image capturing device is a control method of the 3D image capturing device for capturing the first viewpoint image and the second viewpoint image that form a stereo image that enables stereoscopic viewing.
  • the 3D image capturing device displays in real time an imaging unit that generates image data from a subject image formed by an optical system, a control unit that controls an image capturing operation, and an image based on the image data generated by the imaging unit.
  • a display unit A display unit.
  • the control unit acquires the image data generated by the imaging unit at the first viewpoint and generates the first viewpoint image. Based on the acquired image data and the parallax amount, the second viewpoint image is generated.
  • a prediction image that predicts at least a part of the position is generated, and an image based on the acquired image data and a prediction image are displayed on the display unit in real time while alternately or temporally switching, and displayed on the display unit.
  • the degree of coincidence between the image based on the acquired image data and the predicted image is determined, and when it is determined that the degree of coincidence is within a predetermined range, the image data generated by the imaging unit is acquired, and based on the acquired image data
  • a second viewpoint image is generated.
  • a predicted image that is an image in which at least a part of the position of the second viewpoint image is predicted can be generated based on the first viewpoint image.
  • the user can easily recognize how much the camera can be moved to obtain an appropriate stereo image. As a result, the user can shoot a desired stereo image without repeatedly shooting.
  • the block diagram which shows the structure of the digital camera of embodiment of this invention The figure which shows the viewing environment at the time of visually recognizing the 1st viewpoint image image
  • Flowchart showing generation and display operation of predicted image in 3D shooting mode in digital camera Diagram showing the shooting environment when shooting with a digital camera
  • region of a 1st viewpoint image The figure explaining the state where the review image and the prediction image are displayed simultaneously on the liquid crystal monitor.
  • the figure explaining the state where the review image and the prediction image are displayed simultaneously on the liquid crystal monitor The figure explaining the state where the review image and the prediction image are displayed simultaneously on the liquid crystal monitor Flowchart showing second viewpoint image generation operation in digital camera
  • Embodiment 1 Hereinafter, the configuration and operation of a digital camera as an embodiment of a digital photographing apparatus according to the present invention will be specifically described with reference to the drawings.
  • the digital camera of the present embodiment can capture a stereo image for enabling 3D display. That is, the digital camera captures a plurality of still images from different viewpoints continuously in time when capturing a stereo image. At that time, the digital camera generates a predicted image for a still image taken at least the second time and displays it on the liquid crystal monitor.
  • the predicted image is an image that predicts the position of all or a part of a still image taken at least for the second time or later. That is, the predicted image is generated based on the first still image captured among the still images captured continuously in time, and the image position that gives a parallax suitable for 3D display is determined for the still image captured after that. It is an image to suggest.
  • the user can easily grasp the position of the digital camera for shooting other still images constituting the stereo image. That is, the position of the digital camera where the review image and the predicted image match is a suitable position for shooting other still images that form a stereo image.
  • the user moves the digital camera in the horizontal direction until the review image and the predicted image coincide with each other while looking at the LCD monitor, so that the digital camera can be placed in a suitable position for shooting other still images constituting the stereo image. Can be moved easily and accurately.
  • the digital camera assists the user in capturing the 3D image by displaying the predicted image on the liquid crystal monitor. Note that a predicted image is generated only when necessary.
  • first viewpoint image an image shot at a first viewpoint
  • second viewpoint an image shot at a second viewpoint different from the first viewpoint
  • FIG. 1 is a block diagram showing a configuration of the digital camera 100.
  • the digital camera 100 includes an optical system 110, a zoom motor 120, an OIS actuator 130, a focus motor 140, a CCD image sensor 150, an image processing unit 160, a memory 200, a controller 210, a gyro sensor 220, a card slot 230, a memory card 240, and an operation.
  • the configuration includes a member 250, a zoom lever 260, a liquid crystal monitor 270, an internal memory 280, and a shooting mode setting button 290.
  • the optical system 110 includes a zoom lens 111, an OIS 112, and a focus lens 113.
  • the zoom lens 111 can enlarge or reduce the subject image by moving along the optical axis of the optical system.
  • the zoom lens 111 is driven by a zoom motor 120.
  • the OIS 112 has a correction lens that can move in a plane perpendicular to the optical axis.
  • the OIS 112 reduces the blur of the subject image by driving the correction lens in a direction that cancels out the blur of the digital camera 100.
  • the correction lens can move from the center by a maximum L within the OIS 112.
  • the OIS 112 is driven by the OIS actuator 130.
  • the focus lens 113 adjusts the focus of the subject image by moving along the optical axis of the optical system.
  • the focus lens 113 is driven by a focus motor 140.
  • the zoom motor 120 drives and controls the zoom lens 111.
  • the zoom motor 130 may be realized by a pulse motor, a DC motor, a linear motor, a servo motor, or the like.
  • the zoom motor 130 may drive the zoom lens 111 via a mechanism such as a cam mechanism or a ball screw.
  • the OIS actuator 130 drives and controls the correction lens in the OIS 112 in a plane perpendicular to the optical axis.
  • the OIS actuator 130 can be realized by a planar coil or an ultrasonic motor.
  • the focus motor 140 drives and controls the focus lens 113.
  • the focus motor 140 may be realized by a pulse motor, a DC motor, a linear motor, a servo motor, or the like.
  • the focus motor 140 may drive the focus lens 113 via a mechanism such as a cam mechanism or a ball screw.
  • the CCD image sensor 150 captures a subject image formed by the optical system 110 and generates image data.
  • the CCD image sensor 150 performs various operations such as exposure, transfer, and electronic shutter.
  • the image processing unit 160 performs various types of image processing on the image data generated by the CCD image sensor 150.
  • the image processing unit 180 performs image processing on the image data generated by the CCD image sensor 150 to generate image data (hereinafter referred to as “review image”) for display on the liquid crystal monitor 270, or a memory Image data to be re-stored in the card 240 is generated.
  • the image processing unit 180 performs various processes such as gamma correction, white balance correction, and flaw correction on the image data generated by the CCD image sensor 150.
  • the image processing unit 180 compresses the image data generated by the CCD image sensor 150 using a compression format that conforms to the JPEG standard.
  • the image processing unit 180 can be realized by a DSP or a microcomputer.
  • the resolution of the review image may be set to the screen resolution of the liquid crystal monitor 270, or may be set to the resolution of image data that is compressed and formed by a compression format or the like conforming to the JPEG standard.
  • the memory 200 functions as a work memory for the image processing unit 160 and the controller 210.
  • the memory 200 temporarily stores image data processed by the image processing unit 160 or image data input from the CCD image sensor 150 before being processed by the image processing unit 160.
  • the memory 200 temporarily stores shooting conditions of the optical system 110 and the CCD image sensor 150 at the time of shooting.
  • the shooting conditions include at least one of subject distance, field angle information, ISO sensitivity, shutter speed, EV value, F value, and the like.
  • the memory 200 can be realized by, for example, a DRAM or a ferroelectric memory.
  • the controller 210 is a control means for controlling the whole.
  • the controller 210 can be realized by a semiconductor element or the like.
  • the controller 210 may be configured only by hardware, or may be realized by combining hardware and software.
  • the controller 210 can be realized by a microcomputer or the like.
  • the gyro sensor 220 is composed of a vibration material such as a piezoelectric element.
  • the gyro sensor 220 vibrates a vibration material such as a piezoelectric element at a constant frequency, converts a force generated by the Coriolis force into a voltage, and obtains angular velocity information.
  • the gyro sensor 220 may be any device that can measure at least the angular velocity information of the pitch angle. Further, when the gyro sensor 220 can measure the angular velocity information of the roll angle, it is possible to consider the rotation when the digital camera 100 moves in a substantially horizontal direction.
  • the memory card 240 can be inserted into the card slot 230.
  • the card slot 230 can be mechanically and electrically connected to the memory card 240.
  • the memory card 240 includes a flash memory, a ferroelectric memory, and the like, and can store data.
  • the operation member 250 is a member for receiving various instructions from the user.
  • the operation member 250 receives viewing environment conditions set by the user and an image size of image data captured by the CCD image sensor 150.
  • the viewing environment conditions include information such as a viewing distance when a captured still image is displayed on a display device (for example, a liquid crystal television or a plasma television), a display size indicating the screen size of the display device, and a target parallax amount of the subject. including.
  • the viewing distance may be set based on the display size of the display device. In this case, for example, a distance (3h) that is approximately three times the height (h) of the screen may be set as the viewing distance.
  • the method for setting the viewing distance from the display size is not limited to the above method, and other general methods may be used.
  • the operation member 250 includes a release button.
  • the release button receives a user's pressing operation.
  • AF automatic focus
  • AE automatic exposure
  • the zoom lever 260 is a member that receives a zoom magnification change instruction from the user.
  • the liquid crystal monitor 270 can display an image indicated by image data generated by the CCD image sensor 150 and an image indicated by image data read from the memory card 240.
  • the liquid crystal monitor 270 can display various setting information of the digital camera 100.
  • the liquid crystal monitor 270 can display EV values, F values, shutter speeds, ISO sensitivity, and the like, which are shooting conditions at the time of shooting.
  • the internal memory 280 is configured by a flash memory, a ferroelectric low memory, or the like.
  • the internal memory 280 stores viewing environment conditions and image sizes received by the operation member 250.
  • the internal memory 280 stores a control program, control parameters, and the like for controlling the entire digital camera 100.
  • the shooting mode setting button 290 is a button for setting a shooting mode when the digital camera 100 takes an image.
  • the “shooting mode” is a mode that enables suitable shooting according to a shooting scene assumed by the user.
  • the shooting modes include, for example, (1) portrait mode, (2) child mode, (3) pet mode, (4) macro mode, (5) landscape mode, (6) 3D shooting mode, and the like.
  • the digital camera 100 performs shooting by setting appropriate shooting parameters based on this shooting mode.
  • the digital camera 100 may include a camera automatic setting mode that automatically sets the shooting mode.
  • Viewing environment conditions and image size stored in internal memory Viewing environment conditions such as viewing distance, display size, target parallax amount, and image size stored in the internal memory 280 will be described.
  • the display size includes a vertical size and a horizontal size of a screen of a display device (for example, a television device) on which image data captured by the digital camera 100 is displayed.
  • a display device for example, a television device
  • the vertical display size is h1
  • the horizontal display size is w1.
  • FIG. 2 is a diagram illustrating a viewing environment when viewing a stereo image captured by the digital camera 100.
  • the viewer 30 can visually recognize the subject 10b at a position protruding from the screen 300 of the display device by a distance ld.
  • the viewing distance L is a distance between the screen 300 of the display device that displays a stereo image and the viewer 30.
  • the viewing distance L may be set by the user at the time of shooting.
  • the viewing distance L may be a value set on the manufacturer side at the time of shipment of the digital camera 100.
  • the viewing distance L may be set to 3 times the vertical display size h1, that is, 3h1.
  • the target parallax amount d1 is a parallax amount of a stereo image captured by the digital camera 100.
  • the target parallax amount d1 can be calculated by, for example, the following equation using the distance d0 between the two eyes of the person, the pop-out amount ld of the subject of interest from the screen, and the display size h1 in the vertical direction.
  • the target parallax amount d1 may be preset in the digital camera 100. It may be set by the user. Alternatively, in the digital camera 100, the user can set the binocular interval d0, the pop-out amount ld, and the vertical display size h1, and the digital camera 100 sets the target parallax amount d1 based on the set parameter value. You may make it calculate. Alternatively, the target parallax amount d1 may be automatically set by the digital camera 100 according to a predetermined reference.
  • the target parallax amount d1 is determined when the viewer visually recognizes the stereo image when the viewer views the stereo image when he / she attaches importance to the parallax amount or safety that allows the viewer to recognize the stereo image as a three-dimensional image.
  • a predetermined amount of parallax that ensures the safety of the viewer's body may be set.
  • the target parallax amount d1 may be appropriately set according to the shooting mode (person mode, macro mode, landscape mode, etc.).
  • the viewing environment conditions stored in the internal memory 280 include the viewing distance L, the target parallax amount d1, and the display size (h1 ⁇ w1)
  • the viewing environment conditions include at least the display size (h1 ⁇ w1) and the target parallax amount. d1 may be included.
  • the image size is the size of the image data compressed by the image processing unit 160 in a compression format conforming to the JPEG standard or the like.
  • the image size may be represented by the number of pixels in the vertical direction (h2) and the number of pixels in the horizontal direction (w2), such as 1920 ⁇ 1080 pixels, and the image size may be 5M or 1M. It may be represented by the total number of pixels that the data has. In the present embodiment, it is assumed that the image size includes information on at least the horizontal image size (w2).
  • the digital camera 100 In the 3D shooting mode, the digital camera 100 according to the present embodiment generates a pair of left-eye images and right-eye images that form a 3D display stereo image as follows. As shown in FIG. 3, the digital camera 100 first captures the first still image at the first viewpoint position. Thereafter, the digital camera 100 captures the second still image at the second viewpoint position moved in the horizontal direction from the first viewpoint position. The two still images taken in this way constitute a stereo image.
  • the position at which an image is first photographed to generate a stereo image is referred to as a “first viewpoint position”, and the position at which an image is photographed next is referred to as a “second viewpoint position”. Yes.
  • an image captured at the first viewpoint position is referred to as a “first viewpoint image”
  • an image captured at the second viewpoint position is referred to as a “second viewpoint image”.
  • first viewpoint image an image captured at the first viewpoint position
  • second viewpoint image an image captured at the second viewpoint position
  • the left eye image is captured at the first viewpoint position and the right eye image is captured at the second viewpoint position, but the right eye image is captured at the first viewpoint position,
  • the left eye image may be taken at the viewpoint position.
  • FIG. 4 is a flowchart showing a predicted image generation and display operation in the 3D shooting mode.
  • the digital camera 100 shifts to the 3D shooting mode (S101).
  • the controller 210 waits until the release button on the operation member 250 is fully pressed (S102).
  • the user fully presses the release button when shooting one of the images constituting the stereo image at the first viewpoint position.
  • the controller 210 When the release button is fully pressed by the user (YES in S102), the controller 210 performs an imaging operation of the subject image via the optical system 110 and the CCD image sensor 150, and generates image data (S103).
  • the image processing unit 160 performs image processing such as compression processing on the generated image data to generate JPEG image data (that is, the first viewpoint image) (S104).
  • the controller 210 stores the generated first viewpoint image in the memory card 240 (S105).
  • the controller 210 generates a predicted image for predicting the position of the other image among the images constituting the stereo image based on the first viewpoint image (S106). Details of the operation of generating a predicted image will be described later.
  • the controller 210 displays the generated predicted image on the liquid crystal monitor 270 (S107). Details of the predicted image display operation will be described later.
  • the controller 210 generates the predicted image from the first viewpoint image that is JPEG image data has been described.
  • the image data generated by the CCD image sensor 150 stored in the memory 200 is used.
  • a predicted image may be configured. In that case, the operation flow of steps S106 and S107 is performed after step S103.
  • FIG. 5 is a diagram illustrating a shooting environment when shooting an image using the digital camera 100.
  • the subject distance l indicates the distance from the digital camera 100 to the subject 10 to be photographed.
  • the subject distance l is a parameter that can be acquired at the time of shooting.
  • the horizontal image size w2 and the viewing distance L are stored in the internal memory 280 in advance.
  • the viewing distance L is set to a distance from the digital camera 100 to the virtual screen 300 (virtual display device screen).
  • the parallax amount d2 indicates the parallax amount of the subject 10 in the captured image.
  • the inter-camera distance S is a distance between the first viewpoint position and the second viewpoint position, and is set to satisfy a desired or predetermined viewing distance L, subject distance l, and parallax amount d2.
  • FIG. 6 is a flowchart showing an operation when the predicted image of the digital camera 100 is generated.
  • the process proceeds to a predicted image generation operation (S201).
  • the predicted image is generated by shifting the first viewpoint image by the parallax amount d2 in the horizontal direction. For this reason, the controller 210 calculates the parallax amount d2 (S202).
  • the controller 210 can calculate the parallax amount d2 based on the relational expression shown in the following equation (2) using the horizontal display size w1, the target parallax amount d1, and the horizontal image size w2.
  • Equation (2) converts the target parallax amount d1 in an environment where the image is visually recognized into a parallax amount d2 on the actually captured image. For example, when the horizontal display size w1 is 1080 pixels, the target parallax amount d1 is 12 pixels, and the horizontal image size w2 is 640 pixels, the controller 210 calculates 8 pixels as the parallax amount d2 from Equation (2). Is calculated.
  • the controller 210 When the parallax amount d2 is calculated, the controller 210 generates a predicted image based on the first viewpoint image and the parallax amount d2 (S203).
  • the predicted image is generated by shifting the whole or part of the first viewpoint image by the parallax amount d2 in the substantially horizontal direction.
  • the horizontal shift direction is determined based on the setting. That is, when a left-eye image is captured at the first viewpoint position, the first viewpoint image is shifted leftward to generate a predicted image, and a right-eye image is captured at the first viewpoint position. When the first viewpoint image is shifted to the right.
  • FIG. 7 is a diagram illustrating an operation of generating a predicted image by shifting the entire first viewpoint image.
  • the controller 210 After calculating the parallax amount d2, the controller 210 generates a predicted image by shifting the entire first viewpoint image 61 obtained in advance by the parallax amount d2.
  • the predicted image 63 includes an area 601 in which the original data does not exist. For this region 601, the controller 210 sets an arbitrary value. For example, the controller 210 may set black data, gray data, white data, or the like for the area 601 where there is no data.
  • FIG. 8 is a diagram illustrating an example of generating a predicted image by shifting the entire first viewpoint image.
  • FIG. 8A shows an example of the first viewpoint image.
  • FIG. 8B is a diagram illustrating a predicted image generated by shifting the entire first viewpoint image illustrated in FIG.
  • FIG. 9 is a diagram illustrating an operation of generating a predicted image by shifting a partial region of the first viewpoint image.
  • the controller 210 After calculating the parallax amount d2, the controller 210 generates a predicted image by shifting only the partial region of the first viewpoint image obtained in advance by the parallax amount d2.
  • the partial area may be an area including the entire subject, or an area including only a part of the subject.
  • the controller 210 shifts only the object 701 in the substantially horizontal direction to predict the predicted image 72. Is generated.
  • FIG. 10A shows an example of a predicted image generated by shifting a partial region of the first viewpoint image shown in FIG.
  • a linear image (wire frame) 93 showing a partial region of the first viewpoint image may be used.
  • the image indicating a partial region of the first viewpoint image may be an image having an arbitrary shape such as a rectangular shape, a rod shape, or a circular shape.
  • the controller 210 may set black data, gray data, white data, and the like for the region 703 other than the partial region 701 in the predicted image 72.
  • the method for determining the partial region to be shifted is not limited to the above method.
  • a predetermined area for example, a rectangular area
  • a predetermined area including an area designated by the user may be set as a partial area to be shifted.
  • the method for generating a predicted image is not limited to the above method. Any method may be used as long as image data obtained by shifting all or part of the first viewpoint image can be obtained.
  • the controller 210 may use image data generated by the CCD image sensor 150, that is, image data that has not been subjected to image processing by the image processing unit 160.
  • a predicted image may be generated by further performing the following processing on an image generated by shifting the whole or part of the first viewpoint image.
  • a predicted image may be generated by further performing edge enhancement processing on an image generated by shifting the whole or part of the first viewpoint image.
  • a predicted image may be generated by further extracting a contour from an image generated by shifting the whole or part of the first viewpoint image as described above.
  • a predicted image may be generated by performing negative / positive inversion processing on an image generated by shifting all or part of the first viewpoint image as described above.
  • the controller 210 performs control so that the review image at the second viewpoint position and the predicted image are simultaneously displayed on the liquid crystal monitor 270 when the second viewpoint image is captured.
  • the controller 210 displays, for example, the review image and the predicted image by alpha blending.
  • the controller 210 sets the resolution of the review image to the screen resolution of the liquid crystal monitor 270. To do.
  • the controller 210 may display the parallax amount d2 on the liquid crystal monitor 270. At this time, the controller 210 may convert and display the parallax amount d2 calculated in pixel units into a unit of length in the international unit system (SI). The controller 210 can convert the pixel into a unit of length based on the position of the digital camera 100, the position of the subject, the position of the virtual screen, the parallax amount d2, and the inter-camera distance S.
  • SI international unit system
  • FIGS. 11, 12, and 13 show examples of the review image and the prediction image that are simultaneously displayed on the liquid crystal monitor 270.
  • FIG. 11 shows a state in which a predicted image generated by shifting the entire first viewpoint image is displayed simultaneously with the review image.
  • FIG. 12A shows a state in which a predicted image generated by shifting a partial region of the first viewpoint image is displayed simultaneously with the review image.
  • FIG. 12B shows a predicted image generated by shifting a part of the first viewpoint image at the same time as the review image, and a part of the predicted image is represented by a wire frame 93. Indicates the state.
  • FIGS. 11 shows a state in which a predicted image generated by shifting the entire first viewpoint image is displayed simultaneously with the review image.
  • FIG. 12A shows a state in which a predicted image generated by shifting a partial region of the first viewpoint image is displayed simultaneously with the review image.
  • FIG. 12B shows a predicted image generated by shifting a part of the first viewpoint image at the same time as the review image, and a part
  • a predicted image generated by shifting a partial area of the first viewpoint image is displayed simultaneously with the review image, and a partial area of the predicted image is a rectangular image 92. , 92.
  • the user can easily recognize how much the camera should be moved to capture the second viewpoint image. can do. That is, the user captures the second viewpoint image by moving the digital camera 100 in the horizontal direction until the review image matches the predicted image while referring to the review image and the predicted image. Therefore, it can be easily and accurately moved to a suitable position.
  • the review image and the predicted image may be displayed while alternately switching in time with a predetermined period. Even in the case of switching alternately, the user can easily recognize how much the camera should be moved to capture the second viewpoint image.
  • FIG. 14 is a flowchart of an operation for photographing the second viewpoint image.
  • the review image and the predicted image have the same resolution.
  • the digital camera 100 shifts to a mode for shooting the second viewpoint image (S801).
  • a review image and a predicted image are displayed on the liquid crystal monitor 270.
  • the user moves the digital camera in the horizontal direction while viewing the review image and the predicted image on the liquid crystal monitor 20 in order to capture the second viewpoint image.
  • the review image changes according to the position of the digital camera 100. Therefore, the degree of overlap (degree of coincidence) between the review image and the predicted image increases as the digital camera 100 moves in the horizontal direction, and the review image and the predicted image eventually match.
  • the controller 210 When shifting to the mode for photographing the second viewpoint image, the controller 210 periodically acquires the review image generated by the image processing unit 106 (S802).
  • the controller 210 When the review image is acquired, the controller 210 performs pixel matching on the review image and the predicted image (that is, determination of the degree of coincidence between both images), and determines the amount of parallax (that is, the degree of coincidence) between the review image and the predicted image. Obtain (S803). Pixel matching can be realized by the sum of absolute values of differences between screens.
  • the pixel data at the coordinates (x, y) of the review image is F (x, y)
  • the pixel data at the coordinates (x, y) of the predicted image is P (x, y).
  • the offset values of x and y are set to offset_x and offset_y, respectively.
  • the controller 210 obtains a value (SAD) obtained by Expression (3) while changing offset_x and offset_y within a predetermined range.
  • the controller 210 acquires the values of offset_x and offset_y that minimize the value (SAD) obtained by Expression (3) as the parallax amount V.
  • the digital camera 100 determines whether or not the review image and the predicted image overlap (match) based on the parallax amount V (S804).
  • the method for determining the overlap between the review image and the predicted image can be realized by determining whether or not the parallax amount V is equal to or less than a predetermined value. For example, if the parallax amount V is approximately zero, it can be determined that the review image and the predicted image overlap.
  • the predetermined value may be set to any value, and may be set with reference to the parallax amount d2 such as a value of 10% of the parallax amount d2.
  • the accuracy of the overlap (match) between the review image and the predicted image may be changed by the user in multiple stages. For example, the user may select the overlapping accuracy from “overlapping large”, “overlapping”, and “small overlapping”. In this case, the predetermined value for each accuracy is set to a different value.
  • the controller 210 automatically starts the shooting operation. That is, the controller 210 performs image processing such as compression processing on the image data generated by the CCD image sensor 150, and generates JPEG image data (that is, the second viewpoint image). (S805).
  • the digital camera 100 is shifted in the horizontal direction from the state where the review image and the predicted image are displayed as shown in FIG. 15A, and the review image and the predicted image overlap as shown in FIG.
  • the second viewpoint image is automatically generated as if the shutter button was pressed at that time.
  • the controller 210 stores the generated second viewpoint image in the memory card 240 (S806).
  • the digital camera 100 is a 3D image capturing apparatus that captures a first viewpoint image and a second viewpoint image that form a stereo image that enables stereoscopic viewing.
  • the digital camera 100 includes an optical system 110 that forms a subject image, a CCD image sensor 150 that generates image data from the subject image formed by the optical system 110, and a controller 210 that controls an image capturing operation in the digital camera 100.
  • the controller 210 generates a first viewpoint image based on the image data generated by the CCD image sensor 150 at the first viewpoint, and then, based on the image data generated by the CCD image sensor 150 at the second viewpoint. It has a 3D shooting mode for generating images.
  • the controller 210 In the 3D shooting mode, the controller 210 generates a predicted image that predicts the position of at least a part of the second viewpoint image based on the image data generated by the CCD image sensor 150 at the first viewpoint and the amount of parallax. With this configuration, it is possible to generate a predicted image (guide display) that can present a suitable position of the digital camera 100 for obtaining an appropriate second viewpoint image to the user.
  • the digital camera 100 further includes a liquid crystal monitor 270 that displays an image based on the image data generated by the CCD image sensor 150 in real time.
  • the controller 210 controls the liquid crystal monitor 270 so that an image based on the image data generated by the CCD image sensor 150 and a predicted image are displayed in real time while being switched simultaneously or alternately in time. By referring to the predicted image displayed in this way, the user can easily recognize how much the digital camera 100 should be moved in order to capture the second viewpoint image.
  • the controller 210 predicts an image based on the image data generated by the CCD image sensor 150 and the predicted image.
  • the degree of coincidence (parallax amount V) of the image is determined and it is determined that the degree of coincidence is within a predetermined range
  • the second viewpoint image may be generated based on the image data generated by the CCD image sensor 150. Good.
  • the parallax amount d2 is calculated in step S202 in the flowchart of FIG.
  • the parallax amount d2 may be a predetermined value.
  • a plurality of predetermined values may be stored in the internal memory 280, and an appropriate predetermined value may be selected according to the shooting mode.
  • an appropriate predetermined value of the parallax amount d2 may be selected according to the characteristics of the interchangeable lens.
  • the photographing operation that is, the generation operation of the second viewpoint image is automatically started when it is determined that the review image and the predicted image overlap each other. That is, the second viewpoint image generation operation may not be started.
  • the controller 210 may generate the second viewpoint image when it is determined that the review image and the predicted image overlap each other and when the release button is fully pressed by the user.
  • a display for notifying that the digital camera 100 is located at an appropriate position is displayed on the liquid crystal monitor. 270 may be displayed. With this display, the user can intuitively recognize that the review image and the predicted image overlap each other, and can recognize that the digital camera 100 is in an appropriate position for taking the second viewpoint image. It becomes.
  • the controller 210 may display an index (a mark, an icon, or the like) whose display method changes according to the magnitude of the parallax amount V. For example, when the parallax amount V becomes a predetermined value or less, an indicator (a mark, an icon, etc.) may be blinked or a display color may be changed. Or, according to the parallax amount V, the blinking cycle of the index (mark, icon, etc.) and the display color may be changed.
  • the controller 210 may output a sound corresponding to the magnitude of the parallax amount V while displaying the review image and the predicted image. For example, in accordance with the magnitude of the parallax amount V, the tone color of the voice and the output interval when the voice is intermittently output may be changed. By informing in this way, the user can intuitively recognize how close the review image and the predicted image are.
  • the predicted image is displayed on the liquid crystal monitor 270 so that the user can move the digital camera 100 while looking at the degree of overlap between the predicted image and the review image.
  • an image matching determination process for determining that the position of the digital camera 100 has approached a position suitable for capturing the second viewpoint image without displaying the predicted image on the liquid crystal monitor 270 (S802 in the flowchart of FIG. 14).
  • ⁇ S804 may be used only.
  • the review image and an arrow image indicating the moving direction of the digital camera 100 may be displayed on the liquid crystal monitor 270.
  • only an arrow image indicating the moving direction of the digital camera 100 may be displayed on the liquid crystal monitor 270.
  • only the review image may be displayed on the liquid crystal monitor 270, and the user may be notified by voice that the position of the digital camera 100 has approached a position suitable for capturing the second viewpoint image.
  • the present invention can be applied to a photographing apparatus for photographing a digital image such as a digital still camera or a digital camera.

Abstract

　３Ｄ画像撮影装置は、光学系で形成された被写体像から画像データを生成する撮像部と、３Ｄ画像撮影装置における画像撮影動作を制御する制御部とを備える。制御部は、第１視点において前記撮像部により生成された画像データに基づき第１視点画像を生成し、その後に、第２視点において前記撮像部により生成された画像データに基づき第２視点画像を生成する３Ｄ撮影モードを有する。制御部は、３Ｄ撮影モードにおいて、第１視点において撮像部により生成された画像データと、視差量とに基づき、第２視点画像の少なくとも一部の位置を予測する予測画像を生成する。

Description

３Ｄ画像撮影装置及びその制御方法
　本発明は、３Ｄ画像の生成技術に関し、特に、１つの撮影装置により異なるタイミングで視点位置の異なる複数の画像を撮影することで立体視を可能とするステレオ画像を生成する撮影装置及びその制御方法に関する。
　画像表示技術の向上により、大画面かつ高解像度でかつ高品位な３Ｄ画像を視認する環境が整いつつある。同時に３Ｄ画像の撮影のニーズも高まりつつある。そうした中、さまざまな３Ｄ画像の撮影手法が提案されている。
　立体視を可能とする３Ｄ画像すなわちステレオ画像は、視差を有する１組の左眼用画像と右眼用画像で構成される。ステレオ画像の撮影手法には、主に、２眼式撮影手法と、１眼式撮影手法とがある。２眼式撮影手法では、光軸が異なる光学系を２つ搭載するカメラで互いに異なる視点の画像データを撮影することでステレオ画像を撮影できる。しかしながら、この場合、撮影装置の構造が大きくなり、一般的な使用者の利用には不向きである。
　一方、１眼式撮影手法は、１つの光学系のみを備えるカメラで２つの異なる視点の画像データを撮影する方式である。この方式では、異なる視点の画像データを撮影するために、一つの視点で画像データを撮影した後、別の視点にカメラ本体を略水平方向に移動させることが必要となる。１眼式撮影手法として、例えば特許文献１に記載の撮影方法がある。
特開２０００－２２８７７８号公報
　特許文献１に開示されている撮影方法では、カメラを水平移動させるなかで連続撮影をおこない、最も適切な２枚をステレオ画像として抽出する。そのため、ステレオ画像を構成する画像データを使用者が選択する際の自由度が低くなる。また、連続撮影された画像の中には、立体視するのに適切な２枚の画像が撮影されていないおそれもある。また、使用者のカメラの動かすスピードや動かす方向が適切でないと、ぼけた画像データや、垂直方向にずれの大きい画像データが撮影されてしまうことがある。このため、使用者は、適切なステレオ画像を撮影するために何度も画像を取り直す場合がある。
　本発明は、上記課題を解決すべくなされたものであり、その目的とするところは、使用者が容易にかつ精度よくステレオ画像を撮影できる３Ｄ画像撮影装置を提供することにある。
　本発明に係る３Ｄ画像撮影装置は、立体視を可能とするステレオ画像を構成する第１視点画像と第２視点画像を撮影する３Ｄ画像撮影装置である。３Ｄ画像撮影装置は、被写体像を形成する光学系と、光学系で形成された被写体像から画像データを生成する撮像部と、３Ｄ画像撮影装置における画像撮影動作を制御する制御部と、を備える。制御部は、第１視点において撮像部により生成された画像データに基づき第１視点画像を生成し、その後に、第２視点において前記撮像部により生成された画像データに基づき第２視点画像を生成する３Ｄ撮影モードを有する。制御部は、３Ｄ撮影モードにおいて、第１視点において撮像部により生成された画像データと、視差量とに基づき、第２視点画像の少なくとも一部の位置を予測する予測画像を生成する。この構成により、適切な第２視点画像を得るための３Ｄ撮像装置の好適な位置を使用者に提示することができる予測画像（ガイド表示）を生成することができる。
　３Ｄ画像撮影装置は、さらに、撮像部で生成された画像データに基づく画像をリアルタイムに表示する表示部を備えてもよい。制御部は、撮像部で生成された画像データに基づく画像と、予測画像とを同時にまたは時間的に交互に切替えながらリアルタイムに表示するよう表示部を制御する。このように表示された予測画像を参照することにより、使用者は、第２視点画像を撮影するために、どの程度３Ｄ画像撮影装置を移動させればよいかを容易に認識することができる。
　制御部は、第１視点において撮像部により生成された画像データに基づく画像の全部の領域を視差量だけシフトして予測画像を生成してもよい。
　この場合、制御部は、シフトした画像に基づいてデータを設定できない予測画像の一部の領域に所定のデータを設定してもよい。
　また、制御部は、第１視点において撮像部により生成された画像データに基づく画像の一部の領域を視差量だけシフトして予測画像を生成してもよい。
　この場合、画像の一部の領域は使用者により設定された領域であってもよい。
　または、画像の一部の領域は光学系においてフォーカスされた位置を含む領域であってもよい。
　制御部は、撮像部で生成された画像データに基づく画像と予測画像が表示部にリアルタイムで表示されているときに、撮像部で生成された画像データに基づく画像と予測画像の一致度を判定し、一致度が所定範囲内になったと判定したときに、報知情報を表示するように表示部を制御してもよい。
　制御部は、第１及び第２視点画像を視認する際の視聴環境条件と、撮影動作により記録される画像データのサイズとから視差量を算出してもよい。
　制御部は、被写体の一部の領域を示す画像を、被写体の一部の領域から視差量だけシフトした位置に配置することで予測画像を生成してもよい。
　被写体の一部の領域を示す画像は線状の画像であってもよい。
　制御部は、第１視点において撮像部により生成された画像データに基づく画像からエッジを抽出してエッジ画像を生成し、そのエッジ画像を視差量だけシフトした位置に配置することにより予測画像を生成してもよい。
　さらに、撮像部で生成された画像データに基づく画像と予測画像が表示部にリアルタイムで表示されているときに、制御部は、撮像部で生成された画像データに基づく画像と予測画像の一致度を判定し、一致度が所定範囲内になったと判定した時点で、撮像部により生成された画像データに基づき第２視点画像を生成するようにしてもよい。この構成により、３Ｄ画像撮影装置が第２視点画像を撮影するための適切な位置に位置したときに、自動的に第２視点画像が撮影され、精度よく第２視点画像を撮影でき、よって品質の高いステレオ画像の撮影が可能となる。
　本発明に係る３Ｄ画像撮影装置の制御方法は、立体視を可能とするステレオ画像を構成する第１視点画像と第２視点画像を撮影するための、３Ｄ画像撮影装置の制御方法である。３Ｄ画像撮影装置は、光学系で形成された被写体像から画像データを生成する撮像部と、画像撮影動作を制御する制御部と、撮像部で生成された画像データに基づく画像をリアルタイムに表示する表示部とを備える。この制御方法は、制御部により、第１視点において撮像部により生成された画像データを取得して第１視点画像を生成し、取得した画像データと、視差量とに基づき、第２視点画像の少なくとも一部の位置を予測する予測画像を生成し、取得した画像データに基づく画像と予測画像とを表示部に同時にまたは時間的に交互に切替えながらリアルタイムに表示させ、表示部に表示された、取得した画像データに基づく画像と予測画像の一致度を判定し、一致度が所定範囲内になったと判定した時点で、撮像部により生成された画像データを取得し、その取得した画像データに基づき第２視点画像を生成する。この構成により、適切な第２視点画像を得るための３Ｄ撮像装置の好適な位置を使用者に提示することができる。さらに、３Ｄ画像撮影装置が第２視点画像を撮影するための適切な位置に位置したときに自動的に第２視点画像が撮影され、精度よく第２視点画像を撮影でき、よって品質の高いステレオ画像の撮影が可能となる。
　本発明によれば、第１視点画像を撮影した後、第１視点画像に基づき、第２視点画像の少なくとも一部の位置を予測した画像である予測画像（ガイド表示）を生成することが出来る。このような予測画像を表示部に表示することで、使用者は、どの程度カメラを移動させれば適切なステレオ画像が得られるのかを容易に認識できる。これにより、使用者は繰り返し撮影することなく、所望のステレオ画像を撮影することが可能となる。
本発明の実施の形態のデジタルカメラの構成を示すブロック図 デジタルカメラで撮影した第１視点画像と、第２視点画像とを視認する際の視聴環境を示す図 デジタルカメラによるステレオ画像（第１視点画像と第２視点画像）の撮影動作を説明するための図 デジタルカメラにおける３Ｄ撮影モードにおける予測画像の生成、表示動作を示すフローチャート デジタルカメラを用いて撮影する際の撮影環境を示す図 デジタルカメラにおける予測画像の生成動作を示すフローチャート 第１視点画像全体をシフトして予測画像を生成する動作を説明する図 第１視点画像全体をシフトして生成された予測画像の一例を説明するための図 第１視点画像の部分領域をシフトして予測画像を生成する動作を説明する図 第１視点画像の部分領域をシフトして生成された予測画像を説明した図 液晶モニタ上でレビュー画像と予測画像とが同時に表示された状態を説明した図 液晶モニタ上でレビュー画像と予測画像とが同時に表示された状態を説明した図 液晶モニタ上でレビュー画像と予測画像とが同時に表示された状態を説明した図 デジタルカメラにおける第２視点画像の生成動作を示すフローチャート レビュー画像と予測画像とが重なったときに第２視点画像が自動的に生成される動作を説明するための図
　以下、添付の図面を参照して本発明の実施の形態を説明する。
１．実施の形態１
　以下、本発明に係るデジタル撮影装置の一実施形態としてのデジタルカメラの構成、動作について図面を用いて具体的に説明する。
　１－１．概要
　本実施の形態のデジタルカメラは、３Ｄ表示を可能とするためのステレオ画像を撮影することができる。すなわち、デジタルカメラは、ステレオ画像を撮影する際、時間的に連続して、異なる視点における複数枚の静止画を撮影する。その際、デジタルカメラは、少なくとも２回目以降に撮影する静止画に対する予測画像を生成し、液晶モニタに表示する。ここで、予測画像とは、少なくとも２回目以降に撮影する静止画の全部または一部の位置を予測する画像である。つまり、予測画像は、時間的に連続して撮影する静止画のうち、最初に撮影された静止画に基づき生成され、その後に撮影される静止画について３Ｄ表示に好適な視差を与える画像位置を示唆する画像である。使用者は、液晶モニタに表示された予測画像を参照することで、ステレオ画像を構成する他の静止画を撮影するためのデジタルカメラの位置を容易に把握できる。すなわち、レビュー画像と予測画像とが一致するデジタルカメラの位置が、ステレオ画像を構成する他の静止画を撮影するための好適な位置となる。使用者は、液晶モニタを見ながらレビュー画像と予測画像が一致するまでデジタルカメラを水平方向に移動させることで、デジタルカメラを、ステレオ画像を構成する他の静止画を撮影するための好適な位置に容易かつ精度よく移動させることができる。このように、デジタルカメラは、予測画像を液晶モニタに表示することにより、３Ｄ画像の撮影において使用者を補助する。なお、予測画像は、必要なときだけ生成される。
　以下の説明において、ステレオ画像を構成する画像のうち、第１視点で撮影された画像を「第１視点画像」と称し、第１視点とは異なる第２視点で撮影された画像を「第２視点画像」と称す。
　１－２．構成
　　１－２－１．デジタルカメラの電気的構成
　本実施の形態にかかるデジタルカメラ１００の電気的構成について、図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、光学系１１０、ズームモータ１２０、ＯＩＳアクチュエータ１３０、フォーカスモータ１４０、ＣＣＤイメージセンサ１５０、画像処理部１６０、メモリ２００、コントローラ２１０、ジャイロセンサ２２０、カードスロット２３０、メモリカード２４０、操作部材２５０、ズームレバー２６０、液晶モニタ２７０、内部メモリ２８０、撮影モード設定ボタン２９０を備える構成となる。
　光学系１１０は、ズームレンズ１１１、ＯＩＳ１１２、及びフォーカスレンズ１１３を含む。
　ズームレンズ１１１は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。ズームレンズ１１１は、ズームモータ１２０によって駆動される。
　ＯＩＳ１１２は、内部に光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１１２は、デジタルカメラ１００のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、ＯＩＳ１１２内において最大Ｌだけ中心から移動することが出来る。ＯＩＳ１１２は、ＯＩＳアクチュエータ１３０によって駆動される。
　フォーカスレンズ１１３は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ１１３は、フォーカスモータ１４０によって駆動される。
　ズームモータ１２０は、ズームレンズ１１１を駆動制御する。ズームモータ１３０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１３０は、カム機構やボールネジなどの機構を介してズームレンズ１１１を駆動するようにしてもよい。
　ＯＩＳアクチュエータ１３０は、ＯＩＳ１１２内の補正レンズを光軸と垂直な面内で駆動制御する。ＯＩＳアクチュエータ１３０は、平面コイルや超音波モータなどで実現できる。
　フォーカスモータ１４０は、フォーカスレンズ１１３を駆動制御する。フォーカスモータ１４０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータ１４０は、カム機構やボールネジなどの機構を介してフォーカスレンズ１１３を駆動するようにしてもよい。
　ＣＣＤイメージセンサ１５０は、光学系１１０で形成された被写体像を撮影して、画像データを生成する。ＣＣＤイメージセンサ１５０は、露光、転送、電子シャッタなどの各種動作を行う。
　画像処理部１６０は、ＣＣＤイメージセンサ１５０で生成された画像データに対して各種の画像処理を施す。画像処理部１８０は、ＣＣＤイメージセンサ１５０で生成された画像データに対して画像処理を施し、液晶モニタ２７０に表示するための画像データ（以下、「レビュー画像」と称す）を生成したり、メモリカード２４０に再格納するための画像データを生成したりする。例えば、画像処理部１８０は、ＣＣＤイメージセンサ１５０で生成された画像データに対してガンマ補正やホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１８０は、ＣＣＤイメージセンサ１５０で生成された画像データに対して、ＪＰＥＧ規格に準拠した圧縮形式等により画像データを圧縮する。画像処理部１８０は、ＤＳＰやマイコンなどで実現可能である。なお、レビュー画像の解像度は、液晶モニタ２７０の画面解像度に設定しても構わないし、ＪＰＥＧ規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。
　メモリ２００は、画像処理部１６０及びコントローラ２１０のワークメモリとして機能する。メモリ２００は、例えば、画像処理部１６０で処理された画像データ若しくは、画像処理部１６０で処理される前のＣＣＤイメージセンサ１５０から入力される画像データを一時的に蓄積する。また、メモリ２００は、撮影時における光学系１１０及び、ＣＣＤイメージセンサ１５０の撮影条件を一時的に蓄積する。撮影条件は、被写体距離、画角情報、ＩＳＯ感度、シャッタースピード、ＥＶ値、Ｆ値等の少なくともいずれかを含む。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
　コントローラ２１０は、全体を制御する制御手段である。コントローラ２１０は、半導体素子などで実現可能である。コントローラ２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ２１０は、マイコンなどで実現できる。
　ジャイロセンサ２２０は、圧電素子等の振動材等で構成される。ジャイロセンサ２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサ２２０から振動に応じた角速度情報を得て、振動を相殺する方向にＯＩＳ内の補正レンズを駆動させることにより、使用者によりデジタルカメラ１００に与えられる手振れが補正される。なお、ジャイロセンサ２２０は、少なくともピッチ角の角速度情報を計測可能なデバイスであればよい。また、ジャイロセンサ２２０がロール角の角速度情報を計測可能な場合、デジタルカメラ１００の略水平方向に移動した際の回転について考慮することが可能となる。
　カードスロット２３０は、メモリカード２４０を装着可能である。カードスロット２３０は、機械的及び電気的にメモリカード２４０と接続可能である。
　メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
　操作部材２５０は、使用者から種々の指示を受け付けるための部材である。操作部材２５０は例えば、使用者により設定された、視聴環境条件と、ＣＣＤイメージセンサ１５０で撮像される画像データの画像サイズとを受け付ける。視聴環境条件は、撮影した静止画を表示装置（例えば、液晶テレビやプラズマテレビ）で表示する際の視聴距離、表示装置の画面の大きさを示すディスプレイサイズ、被写体の目標視差量、等の情報を含む。なお、視聴距離は、表示装置のディスプレイサイズから設定してもよい。この場合、例えば、画面の高さ（ｈ）の約３倍の距離（３ｈ）を視聴距離として設定すればよい。ディスプレイサイズから視聴距離を設定する方法に関しては、上記の方法に限定されるものではなく、一般的な他の方法を用いてもよい。
　また、操作部材２５０は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンが半押しされると、コントローラ２１０を介してＡＦ（自動焦点）制御及び、ＡＥ（自動露出）制御を開始する。また、レリーズボタンが全押しされると、被写体の撮影動画が実行される。
　ズームレバー２６０は、使用者からズーム倍率の変更指示を受け付ける部材である。
　液晶モニタ２７０は、ＣＣＤイメージセンサ１５０で生成した画像データが示す画像や、メモリカード２４０から読み出した画像データが示す画像を表示可能である。また、液晶モニタ２７０は、デジタルカメラ１００の各種の設定情報を表示可能である。例えば、液晶モニタ２７０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、ＩＳＯ感度等を表示可能である。
　内部メモリ２８０は、フラッシュメモリや強誘電低メモリなどで構成される。内部メモリ２８０は、操作部材２５０で受け付けた視聴環境条件及び画像サイズを格納する。また、内部メモリ２８０は、デジタルカメラ１００全体を制御するための制御プログラム、制御パラメータ等を格納する。
　撮影モード設定ボタン２９０は、デジタルカメラ１００で画像を撮影する際の撮影モードを設定するボタンである。「撮影モード」とは、使用者が想定する撮影シーンに応じた好適な撮影を可能とするモードである。撮影モードは、例えば、（１）人物モード、（２）子供モード、（３）ペットモード、（４）マクロモード、（５）風景モード、（６）３Ｄ撮影モードなどを含む。デジタルカメラ１００は、この撮影モードを基に、適切な撮影パラメータを設定して撮影を行う。なお、デジタルカメラ１００は、自動的に撮影モードを設定するカメラ自動設定モードを含んでもよい。
　　１－２－２．内部メモリに格納される視聴環境条件及び画像サイズ
　内部メモリ２８０に格納される、視聴距離、ディスプレイサイズ、目標視差量等の視聴環境条件、及び画像サイズについて説明する。
　ディスプレイサイズは、デジタルカメラ１００で撮影した画像データが表示される表示装置（例えば、テレビ装置）の画面の垂直方向及び水平方向のサイズを含む。以下の説明では、垂直方向のディスプレイサイズをｈ１、水平方向のディスプレイサイズをｗ１とする。
　図２は、デジタルカメラ１００で撮影したステレオ画像を視認する際の視聴環境を説明した図である。図２の例では、視認者３０は、表示装置の画面３００から距離ｌdだけ飛び出した位置に被写体１０ｂを視認できる。
　視聴距離Ｌは、ステレオ画像を表示する表示装置の画面３００と、視認者３０との間の距離である。視聴距離Ｌは、使用者により撮影時に設定されてもよい。また、視聴距離Ｌは、デジタルカメラ１００の出荷時にメーカー側で設定された値であってもよい。また、視聴距離Ｌがディスプレイサイズから設定される場合、視聴距離Ｌは垂直方向のディスプレイサイズｈ１の３倍つまり３ｈ１に設定されてもよい。
　目標視差量ｄ１は、デジタルカメラ１００で撮影するステレオ画像の視差量である。目標視差量ｄ１は、人の両眼の間隔ｄ０、注目被写体に対する画面からの飛び出し量ｌｄ、垂直方向のディスプレイサイズｈ１を用いて例えば次式で算出できる。
Figure JPOXMLDOC01-appb-M000001
　目標視差量ｄ１は、デジタルカメラ１００にプリセットされたものでもよい。使用者によって設定されるようにしてもよい。または、デジタルカメラ１００において、両眼の間隔ｄ０、飛び出し量ｌｄ、垂直方向のディスプレイサイズｈ１を使用者が設定できるようにし、デジタルカメラ１００が、設定されたパラメータの値に基づき目標視差量ｄ１を算出するようにしてもよい。または、目標視差量ｄ１は、所定の基準に応じてデジタルカメラ１００により自動的に設定されてもよい。例えば、目標視差量ｄ１は、撮影したステレオ画像を視認した際に、視認者が当該ステレオ画像を立体として認識可能な視差量、または、安全性を重視する場合は、当該ステレオ画像を視認した際に視認者の身体の安全が保障される所定の視差量に設定されてもよい。また、目標視差量ｄ１は、撮影モード（人物モード、マクロモード、風景モード等）に応じて適宜設定されるようにしてもよい。
　内部メモリ２８０に格納される視聴環境条件は、視聴距離Ｌ、目標視差量ｄ１、ディスプレイサイズ（ｈ１×ｗ１）を含むとしたが、視聴環境条件は少なくともディスプレイサイズ（ｈ１×ｗ１）及び目標視差量ｄ１を含んでいればよい。
　画像サイズは、画像処理部１６０によりＪＰＥＧ規格等に準拠した圧縮形式で圧縮された画像データのサイズである。画像サイズは、例えば、１９２０×１０８０画素のように、画像データの垂直方向の画素数（ｈ２）及び水平方向の画素数（ｗ２）で表されてもよいし、５Ｍ、１Ｍのように、画像データが有する総画素数で表されてもよい。本実施の形態では、画像サイズは、少なくとも水平方向の画像サイズ（ｗ２）に関する情報を有するとする。
　１－３．動作
　　１－３－１．ステレオ画像の生成
　本実施形態のデジタルカメラ１００は３Ｄ撮影モードにおいて、以下のようにして３Ｄ表示用のステレオ画像を構成する１組の左眼用画像と右眼用画像を生成する。図３に示すように、デジタルカメラ１００は、まず、第１視点位置において１枚目の静止画を撮影する。その後、デジタルカメラ１００は、第１視点位置から水平方向に移動した第２視点位置において２枚目の静止画を撮影する。このようにして撮影された２つの静止画がステレオ画像を構成する。なお、本実施形態では、ステレオ画像を生成するために最初に画像が撮影される位置を「第１視点位置」と称し、次に画像が撮影される位置を「第２視点位置」と称している。また、第１視点位置で撮影された画像を「第１視点画像」と称し、第２視点位置で撮影された画像を「第２視点画像」と称する。図３の例では、第１視点位置で左眼用画像を撮影し、第２視点位置で右眼用画像を撮影しているが、第１視点位置で右眼用画像を撮影し、第２視点位置で左眼用画像を撮影してもよい。
　　１－３－２．３Ｄ撮影モードにおける予測画像の生成、表示動作
　本実施の形態におけるデジタルカメラ１００の３Ｄ撮影モードにおける予測画像の生成、表示動作について図面を参照しながら説明する。
　図４は、３Ｄ撮影モードにおける予測画像の生成、表示動作を示すフローチャートである。使用者によって撮影モード設定ボタン２９０を介して３Ｄ撮影モードに設定されると、デジタルカメラ１００は３Ｄ撮影モードに移行する（Ｓ１０１）。
　３Ｄ撮影モードに設定されると、コントローラ２１０は、操作部材２５０におけるレリーズボタンが全押しされるまで待機する（Ｓ１０２）。
　使用者は、第１視点位置においてステレオ画像を構成する画像のうちの一方の画像を撮影する場合、レリーズボタンを全押しする。
　使用者によりレリーズボタンが全押しされると（Ｓ１０２でＹＥＳ）、コントローラ２１０は、光学系１１０及びＣＣＤイメージセンサ１５０を介して被写体画像の撮像動作を行い、画像データを生成する（Ｓ１０３）。
　画像データが生成後、画像処理部１６０は、生成された画像データに対して圧縮処理などの画像処理を行い、ＪＰＥＧ画像データ（すなわち、第１視点画像）を生成する（Ｓ１０４）。
　第１視点画像が生成されると、コントローラ２１０は、生成した第１視点画像をメモリカード２４０に格納する（Ｓ１０５）。
　同時に、コントローラ２１０は、第１視点画像に基づき、ステレオ画像を構成する画像のうちの他方の画像の位置を予測する予測画像を生成する（Ｓ１０６）。予測画像の生成動作の詳細については後述する。
　予測画像が生成されると、コントローラ２１０は、液晶モニタ２７０に生成した予測画像を表示する（Ｓ１０７）。この予測画像の表示動作の詳細については後述する。
　なお、上記の例では、コントローラ２１０が予測画像をＪＰＥＧ画像データである第１視点画像から生成する構成を説明したが、メモリ２００に格納されるＣＣＤイメージセンサ１５０で生成される画像データを用いて予測画像を構成してもよい。その場合、ステップＳ１０６及びＳ１０７の動作フローは、ステップＳ１０３の後に行う。
　　１－３－２－１．予測画像の生成動作
　本実施の形態におけるデジタルカメラ１００の予測画像の生成動作について図面を参照しながら説明する。
　最初に、撮影環境条件について説明する。図５は、デジタルカメラ１００を用いて画像を撮影する際の撮影環境を説明した図である。被写体距離ｌは、デジタルカメラ１００から撮影対象である被写体１０までの距離を示す。被写体距離ｌは、撮影時において取得可能なパラメータである。前述のように、水平方向の画像サイズｗ２及び視聴距離Ｌは予め内部メモリ２８０に格納されている。視聴距離Ｌは、デジタルカメラ１００から仮想スクリーン３００（仮想的な表示装置の画面）までの距離に設定されている。視差量ｄ２は、撮影画像における被写体１０の視差量を示す。カメラ間距離Ｓは、第１視点位置と第２視点位置の間の距離であって、所望のまたは所定の視聴距離Ｌ、被写体距離ｌ及び視差量ｄ２を満たすように設定される。
　次に、図６を参照して、デジタルカメラ１００の予測画像の生成動作について説明を行う。
　図６は、デジタルカメラ１００の予測画像を生成する際の動作を示すフローチャートである。使用者によって撮影モード設定ボタン２９０を介して３Ｄ撮影モードに設定され、第１視点画像が生成されると、予測画像の生成動作に移行する（Ｓ２０１）。
　予測画像は、第１の視点画像を水平方向に視差量ｄ２だけシフトすることにより生成される。このため、コントローラ２１０は、視差量ｄ２を算出する（Ｓ２０２）。
　視差量ｄ２は、例えば、水平方向のディスプレイサイズｗ１と、目標視差量ｄ１と、水平方向の画像サイズｗ２とを用いて、コントローラ２１０は次式（２）に示す関係式に基づき算出できる。
Figure JPOXMLDOC01-appb-M000002
　式（２）は、画像が視認される環境での目標視差量ｄ１を、実際に撮影される画像上の視差量ｄ２に変換している。例えば、水平方向のディスプレイサイズｗ１が１０８０画素、目標視差量ｄ１が１２画素、水平方向の画像サイズｗ２が６４０画素である場合、コントローラ２１０は、式（２）から、視差量ｄ２として、８画素が算出される。
　視差量ｄ２を算出すると、コントローラ２１０は、第１視点画像と視差量ｄ２とに基き、予測画像を生成する（Ｓ２０３）。
　予測画像は、第１視点画像の全体または一部を略水平方向に視差量ｄ２だけシフトすることにより生成される。ここで、第１視点位置において左眼用画像が撮影されるか右眼用画像が撮影されるかは、事前にデジタルカメラ１００に設定されているとする。その設定に基づき水平方向のシフト方向が決定される。すなわち、第１視点位置において左眼用画像が撮影されるときは、予測画像を生成するために、第１視点画像は左方向にシフトされ、第１視点位置において右眼用画像が撮影されるときは、第１視点画像は右方向にシフトされる。
　図７は、第１視点画像全体をシフトして予測画像を生成する動作を説明した図である。コントローラ２１０は、視差量ｄ２の算出後、予め得られる第１視点画像６１の全体を視差量ｄ２だけシフトすることで予測画像を生成する。第１視点画像６１を視差量ｄ２だけシフトすると、予測画像６３において、元々のデータが存在しない領域６０１が含まれる。この領域６０１に対しては、コントローラ２１０は任意の値を設定する。例えば、コントローラ２１０は、データがない領域６０１に対して黒データ、若しくは、グレーデータ、白データ等を設定するようにしても構わない。図８は、第１視点画像全体をシフトして予測画像を生成する場合の一例を示した図である。図８（ａ）に、第１視点画像の一例を示す。図８（ｂ）は、図８（ａ）に示す第１視点画像全体をシフトして生成された予測画像を示した図である。
　図９は、第１視点画像の一部の領域をシフトして予測画像を生成する動作を説明した図である。コントローラ２１０は、視差量ｄ２の算出後、予め得られる第１視点画像の部分領域のみを視差量ｄ２だけシフトすることで予測画像を生成する。部分領域はある被写体の全体を含む領域であってもよいし、ある被写体の一部のみを含む領域であってもよい。例えば、図９に示す例において、第１視点画像７１に含まれる１つのオブジェクト７０１が、１つの被写体全体である場合、コントローラ２１０は、当該オブジェクト７０１のみを略水平方向にシフトして予測画像７２を生成する。図１０（ａ）に、図８（ａ）に示す第１視点画像の一部の領域をシフトして生成した予測画像の例を示す。この場合、図１０（ｂ）に示すように、第１視点画像の一部の領域を示す線状の画像（ワイヤフレーム）９３で表しても良い。または、第１視点画像の一部の領域を示す画像は、矩形状、棒状、円形等の任意の形状の画像でよい。
　なお、コントローラ２１０は、予測画像７２において部分領域７０１以外の領域７０３に関しては、黒データ、グレーデータ、白データ等を設定するようにしても構わない。また、シフトする部分領域の決定方法は、上記の方法に限定されるものではない。例えば、デジタルカメラ１００で画像を撮影する際に光学系１１０によりフォーカスした位置を中心にした所定の領域（例えば、矩形状の領域）を、シフトする部分領域に設定してもよい。または、使用者により指定された領域を含む所定の領域を、シフトする部分領域に設定にしてもよい。
　また、予測画像の生成方法は上記の方法に限定されるものではない。第１視点画像の全体若しくは一部をシフトした画像データが得られる方法であれば、どのような方法を用いても構わない。
　また、コントローラ２１０は予測画像を生成する際、ＣＣＤイメージセンサ１５０において生成された画像データ、すなわち、画像処理部１６０による画像処理がなされていない画像データを用いても構わない。
　また、上述のようにして、第１視点画像全体または一部をシフトして生成した画像に対して、さらに、以下の処理を行って予測画像を生成してもよい。
　上述のように第１視点画像全体または一部をシフトして生成した画像に対して、さらに、エッジ強調処理を行って予測画像を生成してもよい。または、上述のように第１視点画像全体または一部をシフトして生成した画像からさらに輪郭を抽出して予測画像を生成してもよい。または、上述のように第１視点画像全体または一部をシフトして生成した画像に対してネガポジ反転処理を行なって予測画像を生成してもよい。このような処理をさらに行うことで、後述するように予測画像とレビュー画像とを同時に表示する際に、予測画像の視認性を向上することができる。
　　１－３－２－２．　予測画像の表示動作
　上記のようにして生成された予測画像を液晶モニタ２７０に表示する際のコントローラ２１０による表示動作に関して説明する。
　コントローラ２１０は、第２視点画像を撮影する際、第２視点位置でのレビュー画像と、予測画像とを同時に液晶モニタ２７０に表示するように制御を行う。予測画像をレビュー画像と同時に表示する際、コントローラ２１０は、例えばレビュー画像と予測画像とをアルファブレンディングして表示する。
　また、レビュー画像を液晶モニタ２７０に表示する際、レビュー画像の解像度が液晶モニタ２７０の画面解像度よりも大きい若しくは、小さい場合、コントローラ２１０は、当該レビュー画像の解像度を液晶モニタ２７０の画面解像度に設定する。
　また、レビュー画像と予測画像とを同時に表示する際、コントローラ２１０は、視差量ｄ２を液晶モニタ２７０に表示するようにしてもよい。その際、コントローラ２１０は、画素単位で算出されている視差量ｄ２を国際単位系(SI)における長さの単位に換算して表示してもよい。コントローラ２１０は、デジタルカメラ１００の位置、被写体の位置、仮想スクリーンの位置、視差量ｄ２、カメラ間距離Ｓに基づき画素を長さの単位に換算することができる。
　図１１，図１２、図１３に、液晶モニタ２７０上に同時に表示されたレビュー画像と予測画像の例を示す。図１１は、第１視点画像全体がシフトされて生成された予測画像がレビュー画像と同時に表示されている状態を示す。図１２（ａ）は、第１視点画像の一部の領域がシフトされて生成された予測画像がレビュー画像と同時に表示されている状態を示す。図１２（ｂ）は、第１視点画像の一部の領域がシフトされて生成された予測画像がレビュー画像と同時に表示され、かつ、予測画像において一部の領域がワイヤフレーム９３で表された状態を示す。図１３（ａ）、（ｂ）は、第１視点画像の一部の領域がシフトされて生成された予測画像がレビュー画像と同時に表示され、かつ、予測画像において一部の領域が矩形画像９２、９２で表された状態を示す。このように、液晶モニタ２７０上に表示された予測画像とレビュー画像とを参照することで、使用者は第２視点画像の撮影のためにどれだけカメラを移動させればよいかを容易に認識することができる。つまり、使用者は、レビュー画像と予測画像とを参照しながら、レビュー画像と予測画像が一致するまでデジタルカメラ１００を水平方向に移動させることで、デジタルカメラ１００を、第２視点画像を撮影するための好適な位置に容易かつ精度よく移動させることができる。なお、レビュー画像と予測画像とを同時に表示する代わりに、レビュー画像と予測画像とを所定の周期で時間的に交互に切替えながら表示してもよい。交互に切り替えた場合であっても、使用者は、第２視点画像の撮影のためにどれだけカメラを移動させればよいかを容易に認識することができる。
　１－３－３．第２視点画像の撮影動作
　第２視点画像を撮影する際のデジタルカメラ１００における動作について図面を参照しながら説明する。図１４は、第２視点画像を撮影動作のフローチャートである。以下、説明の便宜上、レビュー画像と予測画像の解像度は同一のものとする。
　３Ｄ撮影モードにおいて第１視点画像の撮影が完了すると、デジタルカメラ１００は、第２視点画像を撮影するためのモードに移行する（Ｓ８０１）。このとき、液晶モニタ２７０上にはレビュー画像と予測画像とが表示されている。使用者は、第２視点画像を撮影するために、液晶モニタ２０上のレビュー画像と予測画像を見ながらデジタルカメラを水平方向に移動させる。レビュー画像は、デジタルカメラ１００の位置に応じて変化する。よって、デジタルカメラ１００の水平方向の移動により、レビュー画像と予測画像との重なりの程度（一致度）が増していき、やがてレビュー画像と予測画像とが一致する。
　第２視点画像を撮影するためのモードに移行すると、コントローラ２１０は、周期的に画像処理部１０６で生成されるレビュー画像を取得する（Ｓ８０２）。
　レビュー画像を取得すると、コントローラ２１０は、レビュー画像と予測画像に対して画素マッチング（すなわち、両画像の一致度の判定）を行い、レビュー画像と予測画像との視差量（すなわち、一致度）を取得する（Ｓ８０３）。画素マッチングは、画面間差分の絶対値総和により実現することが出来る。ここで、レビュー画像の座標（ｘ、ｙ）における画素データをＦ（ｘ、ｙ）とし、予測画像の座標（ｘ、ｙ）における画素データをＰ（ｘ、ｙ）とする。さらに、ｘ、ｙのオフセット値をそれぞれｏｆｆｓｅｔ＿ｘ、ｏｆｆｓｅｔ＿ｙとする。コントローラ２１０は、ｏｆｆｓｅｔ＿ｘ、ｏｆｆｓｅｔ＿ｙを所定の範囲で変更しながら、式（３）で得られる値（ＳＡＤ）を求める。コントローラ２１０は、式（３）で得られる値（ＳＡＤ）が最小となるｏｆｆｓｅｔ＿ｘ、ｏｆｆｓｅｔ＿ｙの値を視差量Ｖとして取得する。
Figure JPOXMLDOC01-appb-M000003
　画素マッチングを行った後、デジタルカメラ１００は、視差量Ｖに基き、レビュー画像と予測画像とが重なったか（一致したか）否かを判定する（Ｓ８０４）。レビュー画像と予測画像との重なりを判定する方法は、視差量Ｖが所定値以下か否かを判定することで実現できる。例えば、視差量Ｖが略零値であれば、レビュー画像と予測画像とが重なっていると判定できる。所定値はどのような値を設定してもよく、視差量ｄ２の１０％の値のように、視差量ｄ２を基準にして設定してもよい。また、レビュー画像と予測画像との重なり（一致）の精度を使用者が多段階に変更できるようにしてもよい。例えば、使用者は、重なりの精度を「重なり大」、「重なり中」、「重なり小」の中から選択できるようにしてもよい。この場合、各精度に対する所定値は、それぞれ異なる値に設定される。
　レビュー画像と予測画像とが重なったと判定すると、コントローラ２１０は自動的に撮影動作を開始する。すなわち、コントローラ２１０は、ＣＣＤイメージセンサ１５０により生成された画像データに対して、画像処理部１６０により、圧縮処理などの画像処理を実行し、ＪＰＥＧ画像データ（すなわち、第２視点画像）を生成する（Ｓ８０５）。
　例えば、図１５（ａ）に示すようにレビュー画像と予測画像が表示された状態から、デジタルカメラ１００を水平方向にシフトし、図１５（ｂ）に示すようにレビュー画像と予測画像が重なったとき（一致したとき）に、その時点でシャッタボタンが押下されたときのように、第２視点画像が自動的に生成される。
　第２視点画像が生成されると、コントローラ２１０は、生成した第２視点画像をメモリカード２４０に格納する（Ｓ８０６）。
　１－４．まとめ
　以上のように、本実施形態のデジタルカメラ１００は、立体視を可能とするステレオ画像を構成する第１視点画像と第２視点画像を撮影する３Ｄ画像撮影装置である。デジタルカメラ１００は、被写体像を形成する光学系１１０と、光学系１１０で形成された被写体像から画像データを生成するＣＣＤイメージセンサ１５０と、デジタルカメラ１００における画像撮影動作を制御するコントローラ２１０とを備える。コントローラ２１０は、第１視点においてＣＣＤイメージセンサ１５０により生成された画像データに基づき第１視点画像を生成し、その後に、第２視点においてＣＣＤイメージセンサ１５０により生成された画像データに基づき第２視点画像を生成する３Ｄ撮影モードを有する。コントローラ２１０は、３Ｄ撮影モードにおいて、第１視点においてＣＣＤイメージセンサ１５０により生成された画像データと、視差量とに基づき、第２視点画像の少なくとも一部の位置を予測する予測画像を生成する。この構成により、適切な第２視点画像を得るためのデジタルカメラ１００の好適な位置を使用者に提示することができる予測画像（ガイド表示）を生成することができる。
　デジタルカメラ１００は、さらに、ＣＣＤイメージセンサ１５０で生成された画像データに基づく画像をリアルタイムに表示する液晶モニタ２７０を備える。コントローラ２１０は、ＣＣＤイメージセンサ１５０で生成された画像データに基づく画像と、予測画像とを同時にまたは時間的に交互に切替えながらリアルタイムに表示するよう液晶モニタ２７０を制御する。このように表示された予測画像を参照することにより、使用者は、第２視点画像を撮影するために、どの程度デジタルカメラ１００を移動させればよいかを容易に認識することができる。
　さらに、ＣＣＤイメージセンサ１５０で生成された画像データに基づく画像と予測画像が表示部にリアルタイムで表示されているときに、コントローラ２１０は、ＣＣＤイメージセンサ１５０で生成された画像データに基づく画像と予測画像の一致度（視差量Ｖ）を判定し、一致度が所定範囲内になったと判定した時点で、ＣＣＤイメージセンサ１５０により生成された画像データに基づき第２視点画像を生成するようにしてもよい。この構成により、デジタルカメラ１００が第２視点画像を撮影するための適切な位置に位置したときに、自動的に第２視点画像が撮影され、精度よく第２視点画像を撮影でき、よって品質の高いステレオ画像の撮影が可能となる。
２．他の実施の形態
　以上、実施の形態１では、本発明の一つの実施形態について説明したが、以下に示すような変形例も考えられる。
　（１）実施の形態１では、図５のフローチャートにおけるステップＳ２０２で視差量ｄ２を算出した。視差量ｄ２は所定値であってもよい。その際、複数の所定値を内部メモリ２８０に格納しておき、撮影モードに応じて適切な所定値を選択するようにしてもよい。または、レンズ交換式カメラの場合、交換レンズの特性に応じて視差量ｄ２の適切な所定値を選択するようにしてもよい。
　（２）実施の形態１では、レビュー画像と予測画像とが重なったと判定された時点で自動的に撮影動作、すなわち、第２視点画像の生成動作が開始されたが、自動的に撮影動作、すなわち、第２視点画像の生成動作を開始しないようにしてもよい。つまり、コントローラ２１０は、レビュー画像と予測画像とが重なったと判定されたときに、さらに使用者によりレリーズボタンが全押しされたときに、第２視点画像を生成するようにしてもよい。
　（３）また、コントローラ２１０は、レビュー画像と予測画像とが重なったと判定した際、適切な位置にデジタルカメラ１００が位置していることを報知するための表示（マーク、アイコン等）を液晶モニタ２７０に表示してもよい。この表示により、使用者は、直感的に、レビュー画像と予測画像とが重なったと認識することができ、デジタルカメラ１００が第２視点画像の撮影における適切な位置にあることを認識することが可能となる。
　（４）コントローラ２１０は、レビュー画像と予測画像とを同時に表示している際、視差量Ｖの大きさに応じて表示方法が変化する指標（マーク、アイコン等）を表示させてもよい。例えば、視差量Ｖが所定値以下になったときに、指標（マーク、アイコン等）を点滅させたり、表示色を変化させたりしてもよい。または、視差量Ｖに応じて、指標（マーク、アイコン等）の点滅周期や、表示色を変化させたりしてもよい。
　（５）または、コントローラ２１０は、レビュー画像と予測画像とを表示している際、視差量Ｖの大きさに応じた音声を出力するようにしてもよい。例えば、視差量Ｖの大きさに応じて、音声の音色や、音声を断続的に出力する場合の出力間隔を変化させるようにしてもよい。このように報知することで、使用者は、レビュー画像と予測画像とがどのくらい近づいているかを直感的に認識することが可能となる。
　（６）実施の形態１では、使用者が予想画像とレビュー画像の重なり程度を見ながらデジタルカメラ１００を移動できるように、予想画像を液晶モニタ２７０に表示した。しかしながら、予測画像を液晶モニタ２７０に表示せず、デジタルカメラ１００の位置が第２視点画像の撮影に好適な位置に近づいたことを判定するための画像の一致判定処理（図１４のフローチャートのＳ８０２～Ｓ８０４）にのみ使用してもよい。この場合、液晶モニタ２７０には、レビュー画像とデジタルカメラ１００の移動方向を示す矢印の画像を表示してもよい。または、液晶モニタ２７０には、デジタルカメラ１００の移動方向を示す矢印の画像のみを表示してもよい。または、液晶モニタ２７０にはレビュー画像のみを表示し、デジタルカメラ１００の位置が第２視点画像の撮影に好適な位置に近づいたことを音声により使用者に報知するようにしてもよい。
　本発明は、デジタルスチルカメラやデジタルカメラ等のデジタル画像を撮影する撮影装置に適用可能である。
　１００　デジタルカメラ
　１１０　光学系
　１１１　ズームレンズ
　１１２　ＯＩＳ
　１１３　フォーカスレンズ
　１２０　ズームモータ
　１３０　ＯＩＳアクチュエータ
　１４０　フォーカスモータ
　１５０　ＣＣＤ
　１６０　画像処理部
　２００　メモリ
　２１０　コントローラ
　２２０　ジャイロセンサ
　２３０　カードスロット
　２４０　メモリカード
　２５０　操作部材
　２６０　ズームレバー
　２７０　液晶モニタ
　２８０　内部メモリ
　２９０　撮影モード設定ボタン
　６０１　データがない領域
　７０１　部分領域（オブジェクト）
　７０２　予測画像
　７０３　領域

Claims (14)

  1. 　立体視を可能とするステレオ画像を構成する第１視点画像と第２視点画像を撮影する３Ｄ画像撮影装置において、
    　被写体像を形成する光学系と、
    　前記光学系で形成された被写体像から画像データを生成する撮像部と、
    　前記３Ｄ画像撮影装置における画像撮影動作を制御する制御部と、を備え、
    　前記制御部は、
    　　第１視点において前記撮像部により生成された画像データに基づき第１視点画像を生成し、その後に、第２視点において前記撮像部により生成された画像データに基づき第２視点画像を生成する３Ｄ撮影モードを有し、
    　　前記３Ｄ撮影モードにおいて、前記第１視点において前記撮像部により生成された画像データと、視差量とに基づき、前記第２視点画像の少なくとも一部の位置を予測する予測画像を生成する、
    ３Ｄ画像撮影装置。
  2. 　前記撮像部で生成された画像データに基づく画像をリアルタイムに表示する表示部をさらに備え、
    　前記制御部は、前記撮像部で生成された画像データに基づく画像と、前記予測画像とを同時にまたは時間的に交互に切替えながらリアルタイムに表示するよう前記表示部を制御する、
    請求項１記載の３Ｄ画像撮影装置。
  3. 　前記制御部は、前記第１視点において前記撮像部により生成された画像データに基づく画像の全部の領域を前記視差量だけシフトして前記予測画像を生成する、こと特徴とする請求項１に記載の３Ｄ画像撮影装置。
  4. 　前記制御部は、前記シフトした画像に基づいてデータを設定できない前記予測画像の一部の領域に所定のデータを設定する、
    ことを特徴とする請求項３に記載の３Ｄ画像撮影装置。
  5. 　前記制御部は、前記第１視点において前記撮像部により生成された画像データに基づく画像の一部の領域を前記視差量だけシフトして前記予測画像を生成する、こと特徴とする請求項１に記載の３Ｄ画像撮影装置。
  6. 　前記画像の一部の領域は使用者により設定された領域である、こと特徴とする請求項５に記載の３Ｄ画像撮影装置。
  7. 　前記画像の一部の領域は前記光学系においてフォーカスされた位置を含む領域であることを特徴とする請求項５に記載の３Ｄ画像撮影装置。
  8. 　前記制御部は、前記撮像部で生成された画像データに基づく画像と前記予測画像が前記表示部にリアルタイムで表示されているときに、
    　前記撮像部で生成された画像データに基づく画像と前記予測画像の一致度を判定し、
    　前記一致度が所定範囲内になったと判定した時点で、前記撮像部により生成された画像データに基づき前記第２視点画像を生成する、
    請求項２に記載の３Ｄ画像撮影装置。
  9. 　前記制御部は、前記撮像部で生成された画像データに基づく画像と前記予測画像が前記表示部にリアルタイムで表示されているときに、
    　前記撮像部で生成された画像データに基づく画像と前記予測画像の一致度を判定し、
    　前記一致度が所定範囲内になったと判定したときに、報知情報を表示するように前記表示部を制御する、
    　請求項２に記載の３Ｄ画像撮影装置。
  10. 　前記制御部は、前記第１及び第２視点画像を視認する際の視聴環境条件と、撮影動作により記録される画像データのサイズとから前記視差量を算出する、こと特徴とする請求項１に記載の３Ｄ画像撮影装置。
  11. 　前記制御部は、被写体の一部の領域を示す画像を、前記被写体の一部の領域から前記視差量だけシフトした位置に配置することで前記予測画像を生成する、請求項１に記載の３Ｄ画像撮影装置。
  12. 　前記被写体の一部の領域を示す画像は線状の画像である、請求項１１に記載の３Ｄ画像撮影装置。
  13. 　前記制御部は、前記第１視点において前記撮像部により生成された画像データに基づく画像からエッジを抽出してエッジ画像を生成し、そのエッジ画像を前記視差量だけシフトした位置に配置することにより前記予測画像を生成する、請求項１に記載の３Ｄ画像撮影装置。
  14. 　立体視を可能とするステレオ画像を構成する第１視点画像と第２視点画像を撮影するための３Ｄ画像撮影装置の制御方法であって、
    　前記３Ｄ画像撮影装置は、光学系で形成された被写体像から画像データを生成する撮像部と、画像撮影動作を制御する制御部と、前記撮像部で生成された画像データに基づく画像をリアルタイムに表示する表示部とを備え、
    　前記制御方法は、前記制御部により、
    　　第１視点において前記撮像部により生成された画像データを取得して第１視点画像を生成し、
    　　前記取得した画像データと、視差量とに基づき、第２視点画像の少なくとも一部の位置を予測する予測画像を生成し、
    　　前記取得した画像データに基づく画像と前記予測画像とを前記表示部に同時にまたは時間的に交互に切替えながらリアルタイムに表示させ、
    　　前記表示部に表示された前記取得した画像データに基づく画像と前記予測画像の一致度を判定し、
    　　前記一致度が所定範囲内になったと判定した時点で、前記撮像部により生成された画像データを取得し、その取得した画像データに基づき第２視点画像を生成する、
    ３Ｄ画像撮影装置の制御方法。
PCT/JP2011/000094 2010-01-14 2011-01-12 ３ｄ画像撮影装置及びその制御方法 WO2011086898A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-005469 2010-01-14
JP2010005469A JP2013062557A (ja) 2010-01-14 2010-01-14 デジタル撮影装置及び、３ｄ撮影方法

Publications (1)

Publication Number Publication Date
WO2011086898A1 true WO2011086898A1 (ja) 2011-07-21

Family

ID=44304176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000094 WO2011086898A1 (ja) 2010-01-14 2011-01-12 ３ｄ画像撮影装置及びその制御方法

Country Status (2)

Country Link
JP (1) JP2013062557A (ja)
WO (1) WO2011086898A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038640A (ja) * 2011-08-09 2013-02-21 Nikon Corp 撮像装置およびプログラム
JP2014527756A (ja) * 2011-08-12 2014-10-16 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 立体画像ペアを獲得するためのシステムおよび方法
JP2016504828A (ja) * 2012-11-30 2016-02-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2004128588A (ja) * 2002-09-30 2004-04-22 Seiko Epson Corp 撮像装置
JP2004343290A (ja) * 2003-05-14 2004-12-02 Sharp Corp 立体画像表示装置
JP2006238086A (ja) * 2005-02-25 2006-09-07 Casio Comput Co Ltd 立体写真用デジタルカメラ及び立体写真撮影方法
JP2007504511A (ja) * 2003-09-04 2007-03-01 シャープ株式会社 立体画像を選択するための方法および装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2004128588A (ja) * 2002-09-30 2004-04-22 Seiko Epson Corp 撮像装置
JP2004343290A (ja) * 2003-05-14 2004-12-02 Sharp Corp 立体画像表示装置
JP2007504511A (ja) * 2003-09-04 2007-03-01 シャープ株式会社 立体画像を選択するための方法および装置
JP2006238086A (ja) * 2005-02-25 2006-09-07 Casio Comput Co Ltd 立体写真用デジタルカメラ及び立体写真撮影方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038640A (ja) * 2011-08-09 2013-02-21 Nikon Corp 撮像装置およびプログラム
JP2014527756A (ja) * 2011-08-12 2014-10-16 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 立体画像ペアを獲得するためのシステムおよび方法
JP2016504828A (ja) * 2012-11-30 2016-02-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム

Also Published As

Publication number Publication date
JP2013062557A (ja) 2013-04-04

Similar Documents

Publication Publication Date Title
JP5789793B2 (ja) ３次元撮像装置、レンズ制御装置、およびプログラム
US8743181B2 (en) Image pickup apparatus
JP2012085258A (ja) カメラ本体、撮像装置、カメラ本体の制御方法、プログラムおよびプログラムを記録した記録媒体
JP5640155B2 (ja) 立体画像撮像装置及びその合焦状態確認用画像表示方法
JP2011029701A (ja) 立体画像表示装置、方法およびプログラムならびに撮像装置
US20130027520A1 (en) 3d image recording device and 3d image signal processing device
KR20140109868A (ko) 화상 처리 장치, 화상 처리 방법, 및 비일시적 컴퓨터 판독가능 기억 매체
US20130050536A1 (en) Compound-eye imaging device
JP6155471B2 (ja) 画像生成装置、撮像装置および画像生成方法
US20130050532A1 (en) Compound-eye imaging device
WO2011086898A1 (ja) ３ｄ画像撮影装置及びその制御方法
US20130088580A1 (en) Camera body, interchangeable lens unit, image capturing device, method for controlling camera body, program, and recording medium on which program is recorded
US9124866B2 (en) Image output device, method, and recording medium therefor
JP2015017999A (ja) 撮像装置
JP5586788B2 (ja) 画像表示装置及び画像撮像装置
US20130076867A1 (en) Imaging apparatus
WO2012017585A1 (ja) 撮像装置
JP2012220603A (ja) ３ｄ映像信号撮影装置
JP5221827B1 (ja) 立体映像撮影装置及びズーム動作の制御方法
JP2012054919A (ja) 撮像装置
JP2012209896A (ja) 画像処理装置、撮像装置およびプログラム
WO2012095899A1 (ja) ３次元映像処理装置、方法、およびプログラム
JP2012151538A (ja) ３ｄ撮像装置
JP2013015679A (ja) 立体写真撮影装置、及び立体写真撮影方法
JP2013044845A (ja) 撮像装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11732773

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP