WO2013001839A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2013001839A1
WO2013001839A1 PCT/JP2012/004249 JP2012004249W WO2013001839A1 WO 2013001839 A1 WO2013001839 A1 WO 2013001839A1 JP 2012004249 W JP2012004249 W JP 2012004249W WO 2013001839 A1 WO2013001839 A1 WO 2013001839A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
superimposed
eye
parallax
Prior art date
Application number
PCT/JP2012/004249
Other languages
English (en)
French (fr)
Inventor
公輔 齋藤
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2013001839A1 publication Critical patent/WO2013001839A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Definitions

  • the technology disclosed herein relates to an imaging apparatus, and more particularly to an imaging apparatus capable of generating left-eye image data and right-eye image data for a 3D (three-dimension) image.
  • Patent Document 1 discloses a playback device that automatically superimposes another video on a depth that is easy to see when another video is superimposed on a stereoscopic video.
  • an imaging device When an image indicating the position of a predetermined object included in the three-dimensional image is superimposed on the three-dimensional image, an imaging device is desired in which the image indicating the position of the predetermined object is displayed more easily for the user.
  • Patent Document 1 discloses a telop as image data of another video superimposed on a stereoscopic video. That is, the playback device described in Patent Document 1 superimposes a telop on a stereoscopic video.
  • An image that is not directly related to an object in the 3D image, such as a telop, is not displayed at different positions in the vertical direction in the left-eye image and the right-eye image.
  • an image indicating the position of the object in the 3D image for example, a face frame image indicating the position of the human face
  • an image superimposed on the image for the left eye and an image superimposed on the image for the right eye The display position in the vertical direction may be shifted.
  • an optical system that captures an image for the left eye and an optical system that captures an image for the right eye have a vertical shift, an object is detected from each image, and an image indicating the position of the detected object is Such a situation occurs when the image is superimposed on the image.
  • stereoscopic display of an image in which the position in the vertical direction of the image for the left eye is shifted from the position in the vertical direction of the image for the right eye is very difficult for the user to see.
  • the following imaging device is provided.
  • the imaging device captures a subject image and generates first image data and second image data constituting a stereoscopic image, and at least one of the first image data and the second image data.
  • An object detection unit for detecting the position of a predetermined object, and first superimposed image data indicating the position of the predetermined object detected from one of the first image data and the second image data, Combining the second superimposed image data indicating a position different from the position based on the first superimposed image data in the horizontal direction with the other image data of the first image data and the second image data; Is provided.
  • an imaging device capable of capturing a stereoscopic image and a non-stereoscopic image.
  • An image capturing unit that captures a subject image to generate image data
  • a detection unit that detects a position of a predetermined object from the image data
  • a predetermined image in the image based on the image data based on the position of the predetermined object detected by the detection unit
  • a combining unit that generates superimposed image data indicating the position of the object and combines it with the image data.
  • the synthesizing unit generates the superimposed image data so that the size of the image based on the superimposed image data at the time of capturing the stereoscopic image is larger than the size of the image based on the superimposed image data at the time of capturing the non-stereoscopic image.
  • the imaging apparatus captures a subject image and generates first image data and second image data that form a stereoscopic image, and at least one of the first image data and the second image data.
  • An object detection unit that detects a position of the predetermined object; first superimposed image data that indicates a position of the predetermined object in an image based on the first image data based on the position of the predetermined object detected by the object detection unit; 2nd superimposition image data which shows the position of the predetermined object in the image based on 2 image data, and the synthetic
  • a parallax calculating section for calculating a parallax between the images based on the image and the second image data.
  • the imaging device in the above aspect when an image indicating the position of the predetermined object included in the stereoscopic image is superimposed on the stereoscopic image, the image indicating the position of the predetermined object can be displayed more easily for the user than before. It becomes.
  • the image based on the first superimposed image data and the image based on the second superimposed image data are set to have the same vertical position, so that the image based on the first and second superimposed image data is displayed more easily than before. It becomes possible to do.
  • the image based on the superimposed image data at the time of capturing the stereoscopic image can indicate the position of the predetermined object.
  • the first and second superimposed images are determined by determining the parallax between the image based on the first superimposed image data and the image based on the second superimposed image data based on the maximum parallax among the parallaxes for the plurality of predetermined objects. The image based on the data can be displayed easily.
  • Block diagram showing the electrical configuration of the digital video camera of the present embodiment Flowchart for explaining face frame display operation in 2D shooting mode
  • the figure for demonstrating the stereoscopic display of 3D image Flowchart for explaining face frame display operation in 3D shooting mode
  • the figure for demonstrating the position of the vertical direction of a face frame in the image for left eyes and the images for right eyes The flowchart for demonstrating the determination method of the position of the face frame image for left eyes and the face frame image for right eyes superimposed on the image for left eyes and the image for right eyes.
  • a digital video camera is used as an example of the embodiment.
  • the digital video camera of this embodiment includes a right-eye image generation unit and a left-eye image generation unit for generating 3D image data.
  • the digital video camera simultaneously acquires right-eye image data and left-eye image data for generating 3D image data through these two image generation units.
  • the digital video camera can display a 3D image based on the generated right-eye image data and left-eye image data on a liquid crystal display (LCD) provided in the digital video camera.
  • the digital video camera can detect a human face from the left-eye image drawn using the left-eye image data.
  • the digital video camera generates an image (superimposed image) to be superimposed on the captured image to indicate the position of the detected face.
  • the digital video camera displays a frame (hereinafter referred to as a “face frame”) as a superimposed image indicating the position of the detected face, superimposed on the 3D image at a position surrounding the detected face.
  • the digital video camera detects the position of the face from the left eye image and indicates the face position in the left eye image. Generate an image. Then, the digital video camera generates a right-eye face frame image indicating the position of the face image in the right-eye image based on the generated left-eye face frame image. That is, the vertical position of the right eye face frame image in the right eye image is the same as the vertical position of the left eye face frame image in the left eye image, and the horizontal position of the right eye face frame image is the left eye face.
  • the right-eye face frame image is generated so as to be different from the horizontal position of the frame image.
  • the left-eye and right-eye face frame images generated in this way are superimposed on the left-eye and right-eye images, respectively.
  • the face frame image can be displayed in 3D more easily than before, and the face frame image that can notify the position of the object more reliably than before can be displayed.
  • the digital video camera 100 captures the subject image formed by the optical system 210 with the CMOS image sensor 240. In addition, the digital video camera 100 captures a subject image formed by the optical system 310 with the CMOS image sensor 340.
  • the image data captured by the CMOS image sensor 340 (hereinafter referred to as “left-eye image data”) is subjected to various processes by the image processing unit 330.
  • Image data captured by the CMOS image sensor 240 (hereinafter referred to as “right-eye image data”) is subjected to various processes by the image processing unit 230.
  • the image processing unit 230 outputs the left-eye image data received from the image processing unit 330 and the right-eye image data subjected to various processes to the bus 480 at the same timing.
  • the image data output to the bus 480 is displayed on the LCD 440 or recorded on the recording medium via the recording medium I / F 470.
  • the configuration of the digital video camera 100 will be described in detail.
  • the digital video camera 100 includes a right-eye image generation unit 200, a left-eye image generation unit 300, a parallax calculation circuit 400, a compression / decompression unit 410, an OSD generation unit 420, a liquid crystal display (LCD) interface 430, Liquid crystal display (LCD) 440, external monitor OSD generation unit 450, external monitor interface 460, recording media interface 470, face detection circuit 500, controller 510, gyro sensor 520, internal memory 530, operation A member 540.
  • the right-eye image generation unit 200 includes an optical system 210 including a plurality of lenses, a lens driving unit 220, an image processing unit 230, and a CMOS image sensor 240. Similar to the right-eye image generation unit 200, the left-eye image generation unit 300 includes an optical system 310, a lens driving unit 320, an image processing unit 330, and a CMOS image sensor 340.
  • the optical system 310 has the same configuration as the optical system 210.
  • the lens driving unit 320 has the same configuration as the lens driving unit 220.
  • the CMOS image sensor 340 has the same configuration as the CMOS image sensor 240.
  • the image processing unit 330 has the same configuration as the image processing unit 230.
  • CMOS image sensors 240 and 340 convert subject images formed through the optical systems 210 and 310, respectively, into image data.
  • Image data generated by the CMOS image sensor 240 of the right-eye image generation unit 200 is right-eye image data.
  • Image data generated by the CMOS image sensor 340 of the left-eye image generation unit 300 is left-eye image data.
  • the image data for the right eye and the image data for the left eye are respectively used for the right eye and the left eye of the person who views the 3D image when displaying the 3D image.
  • the image processing units 230 and 330 perform various processes on the right-eye image data and the left-eye image data, respectively. Specifically, gamma correction, white balance correction, flaw correction, and the like are performed on the right-eye image data and the left-eye image data.
  • the image processing unit 330 processes the left-eye image data, and then inputs the left-eye image data to the face detection circuit 500 and the image processing unit 230 of the right-eye image generation unit 200.
  • the image processing unit 230 of the right-eye image generation unit 200 processes the right-eye image data and then outputs the right-eye image data and the left-eye image data to the bus 480 at the same time.
  • the right-eye image data and the left-eye image data output to the bus 480 are displayed on the LCD 440 or stored by the recording medium through the recording medium interface 470.
  • Each of the optical systems 210 and 310 includes a zoom lens, a camera shake correction lens, a focus lens, and a diaphragm.
  • the subject image is enlarged and reduced by moving the zoom lens along the optical axis.
  • the camera shake correction lens is configured to be movable in a plane direction perpendicular to the optical axis of the optical system 210. By moving the camera shake correction lens in the direction in which the shake of the digital video camera 100 is canceled, the influence on the image data caused by the shake of the digital video camera 100 can be suppressed.
  • the diaphragm adjusts the amount of light passing through the optical systems 210 and 310 by adjusting the size of the opening.
  • the lens driving units 220 and 320 drive various lenses and diaphragms included in the optical systems 210 and 310, respectively.
  • the lens driving units 220 and 320 respectively control a zoom actuator, a focus actuator, a camera shake correction actuator, a diaphragm actuator, and the like included in the optical system 210.
  • the CMOS image sensors 240 and 340 capture the subject images formed by the optical systems 210 and 310, respectively, and generate right-eye and left-eye image data.
  • the CMOS image sensors 240 and 340 perform various operations such as exposure, transfer, and electronic shutter.
  • the parallax calculation circuit 400 calculates the amount of parallax between the left-eye image and the right-eye image from the left-eye and right-eye image data input by the image processing unit 230. For example, the parallax calculation circuit 400 performs pattern matching between a part of the image data for the left eye and a part of the image data for the right eye, so that a part of the image for the left eye becomes a part of the corresponding image for the right eye. Calculate how much it deviates. The parallax calculation circuit 400 inputs the horizontal component of the calculated deviation amount to the controller 510 as the parallax amount.
  • the compression / decompression unit 410 compresses the image data input by the image processing unit 230.
  • the compression / decompression unit 410 decompresses image data read from the recording medium through the recording medium interface 470.
  • the compression / decompression unit 410 performs compression and decompression processing on the image data by, for example, a method based on the H.264 standard or a method based on the H.264 / MVC standard.
  • the OSD generation unit 420 generates an OSD (On Screen Display) to be superimposed on an image displayed on the LCD 440.
  • the LCD interface 430 converts the format of the image data input by the image processing unit 230 into a format that the LCD 440 can display. For example, the LCD interface 430 resizes the input image data to a size that can be displayed by the LCD 440, or changes the output order of the left-eye image data and the right-eye image data to correspond to the display method of the LCD 440. To do.
  • the LCD 440 can display the captured image so that it can be stereoscopically viewed using the right-eye image data generated by the right-eye image generation unit 200 and the left-eye image data generated by the left-eye image generation unit 300. Further, the LCD 440 can acquire 3D image data stored in the recording medium through the recording medium interface 470 and display an image based on the 3D image data so that the image can be viewed stereoscopically. Further, the LCD 440 can display a 2D image (either a right-eye image or a left-eye image or a 2D image stored in a recording medium) based on 2D image (non-3D image) data as a planar image.
  • a 2D image either a right-eye image or a left-eye image or a 2D image stored in a recording medium
  • 2D image non-3D image
  • the external monitor OSD generation unit 450 generates an OSD to be displayed superimposed on an image displayed on an external monitor connected through the external monitor interface 460.
  • the external monitor interface 460 converts the format of the image data input by the image processing unit 230 into a format that can be displayed by the external monitor connected to the external monitor interface 460.
  • the recording media interface 470 is an interface that allows the recording media to be attached and detached.
  • the recording medium interface 470 can be mechanically and electrically connected to the recording medium by mounting the recording medium.
  • the recording media interface 470 can be loaded with an SD card, for example.
  • the face detection circuit 500 detects a human face area included in the left-eye image data input by the image processing unit 330. For example, the face detection circuit 500 determines whether or not the left eye image data includes data similar to the data indicating the characteristics of the human face stored in the internal memory 530 in advance. Detect face area.
  • the controller 510 controls each part of the digital video camera 100.
  • Image processing units 230 and 330, parallax calculation circuit 400, compression / decompression unit 410, OSD generation unit 420, LCD interface 430, external monitor OSD generation unit 450, external monitor interface 460, and recording media interface 470, the face detection circuit 500, and the controller 510 can be realized by a DSP (Digital Signal Processor), a microcomputer, or the like.
  • DSP Digital Signal Processor
  • the gyro sensor 520 is a sensor that detects the angular velocity of the digital video camera 100.
  • the gyro sensor 520 can detect the angular velocity of the digital video camera 100 in the yaw direction, pitch direction, and roll direction.
  • the internal memory 530 stores in advance a control program for controlling each part of the digital video camera 100, data used by the face detection circuit 500 to detect a human face area included in the left-eye image data, and the like. is doing.
  • the internal memory 530 is realized by a flash memory or a ferroelectric memory.
  • the operation member 540 is a generic term for user interfaces that receive user operations.
  • the operation member 540 is a cross key or a determination button that receives an operation from the user.
  • the right eye image generation unit 200 and the left eye image generation unit 300 are examples of first and second imaging units, respectively.
  • the face detection circuit 500 is an example of an object detection unit.
  • the OSD generation unit 420 and the external monitor OSD generation unit 450 are examples of a synthesis unit.
  • the digital video camera 100 can be set to a 2D shooting mode capable of capturing a 2D image and a 3D shooting mode capable of capturing a 3D image.
  • the digital video camera 100 captures an object using only the left-eye image generation unit 300.
  • the digital video camera 100 simultaneously performs imaging using the right-eye image generation unit 200 and imaging using the left-eye image generation unit 300.
  • the right-eye and left-eye images generated by the right-eye image generation unit 200 and the left-eye image generation unit 300 are displayed on the LCD 440 as through images.
  • the LCD 440 displays the right-eye and left-eye images so that the user can stereoscopically view them.
  • the digital video camera 100 automatically detects a human face image included in the generated image data in accordance with the shooting mode, and converts a frame (face frame) surrounding the face image into a captured image. The image is superimposed and displayed on the LCD 440.
  • the face frame display operation in the 2D shooting mode will be described with reference to FIG.
  • an image is generated by the left-eye image generation unit 300.
  • the face detection circuit 500 determines whether or not a human face is included in the generated image (S110).
  • controller 510 generates an OSD to generate image data of a face frame corresponding to the detected human face.
  • the generation unit 420 and / or the external monitor OSD generation unit 450 is instructed (S120).
  • the face frame is generated so as to be displayed superimposed on a position surrounding the detected face.
  • the face frame superimposed on the image displayed on the LCD 440 is, for example, the frame 600 shown in FIG. H1 indicates the size of the frame 600.
  • the controller 510 instructs both the OSD generation unit 420 and the external monitor OSD generation unit 450 to generate a face frame.
  • the controller 510 instructs only the OSD generation unit 420 to generate a face frame.
  • the face frame may be superimposed on all the human faces, or the face frame may be superimposed only on the human faces that meet a predetermined condition. May be.
  • 3D shooting mode The display on the LCD 440 in the 3D shooting mode will be described with reference to FIG.
  • the right-eye image generation unit 200 and the left-eye image generation unit 300 generate a right-eye image and a left-eye image.
  • the right-eye image and the left-eye image are displayed on the user's right eye and left eye by the LCD 440, respectively, thereby enabling stereoscopic viewing.
  • a face frame is superimposed on each of the right-eye image and the left-eye image
  • the image captured by the right-eye image generation unit 200 and the left-eye image generation unit 300 is given to the face frame with an appropriate amount of parallax.
  • stereoscopic viewing is possible.
  • the right-eye image and the left-eye image are alternately switched at a predetermined cycle and displayed on the LCD 440, and the user wears them.
  • the left and right lenses of the spectacles are alternately closed in synchronism with the period at which the LCD 440 switches images.
  • the 3D image display method of the digital video camera 100 is not limited to the method described above. As long as the right-eye image and the left-eye image are stereoscopically displayed on the LCD 440, the idea of this embodiment can be applied.
  • the right-eye image generation unit 200 and the left-eye image generation unit 300 generate a right-eye image and a left-eye image.
  • the face detection circuit 500 determines whether or not a human face is included in the left-eye image (S210). When the face detection circuit 500 determines that a human face is included in the left eye image (YES in step S210), the face detection circuit 500 detects all human faces included in the left eye image (S220). ).
  • the controller 510 calculates the amount of parallax between the first face detected from the left eye image and the human face in the right eye image corresponding to the first face.
  • the parallax calculation circuit 400 is instructed to do so (S230).
  • the controller 510 determines whether or not the parallax amounts of all the faces detected by the face detection circuit 500 have been calculated (S240). If it is determined that the amount of parallax for all detected faces has not been calculated (NO in step S240), the controller 510 instructs the parallax calculation circuit 400 to calculate the amount of parallax for the next face (S230). ).
  • This operation (S230 to S240) is repeated until the parallax amounts of all the faces are calculated. If the controller 510 determines that all of the parallax amounts have been calculated (YES in step S240), the maximum parallax amount among the calculated parallax amounts is a predetermined amount (in this example, 10 pixels. However, other amounts are also possible.
  • the sum of “good” is determined as the face frame parallax amount (S250).
  • the “face frame parallax amount” is a parallax amount given to the face frame superimposed on the detected human face.
  • the controller 510 calculates the difference between the parallax amount of the face other than the face having the maximum parallax amount and the face frame parallax amount (S260).
  • the controller 510 determines whether or not the face frame parallax amount is equal to or less than the predetermined value ⁇ (S270).
  • the predetermined value ⁇ is set to the maximum amount of parallax among the amount of parallax that does not cause discomfort to the viewer of the 3D image.
  • the reason why the face frame parallax amount is compared with the predetermined value ⁇ is to determine whether or not the parallax amount given to the image is too large. This is because if the amount of parallax applied to the image is too large, there is a risk of discomfort to the viewer of the 3D image.
  • controller 510 determines that the face frame parallax amount is equal to or smaller than predetermined value ⁇ (YES in step S270)
  • green face frame is superimposed at a predetermined position on a face satisfying the predetermined condition among the detected faces.
  • the OSD generation unit 420 and / or the external monitor OSD generation unit 450 are instructed (S290). At this time, the parallax amount given to the face frame is set to the face frame parallax amount.
  • the predetermined condition is that the difference calculated in step S260 is equal to or smaller than a predetermined value ⁇ . That is, a face frame is generated only for faces whose difference calculated in step S260 is equal to or less than the predetermined value ⁇ .
  • the predetermined value ⁇ is a threshold value for determining whether or not the face is too far (that is, whether or not the amount of parallax is too small) with reference to the front face (that is, the amount of parallax is maximum). is there.
  • the face frame is not superimposed on the face whose difference from the face frame parallax amount is larger than the predetermined value ⁇ . If the face parallax amount and the face frame parallax amount are greatly different, the person viewing the 3D image is forced to move a large focus. This is because a 3D image that is difficult to see is displayed.
  • the predetermined position where the face frame is superimposed will be described later.
  • controller 510 determines that the face frame parallax amount is greater than predetermined value ⁇ (NO in step S270), controller 510 determines a face that satisfies a predetermined condition (difference in parallax amount is equal to or smaller than predetermined value ⁇ ) among detected faces.
  • the OSD generation unit 420 and / or the external monitor OSD generation unit 450 are instructed to generate a face frame having an orange color and a given parallax amount at a predetermined value ⁇ at a predetermined position ( S280).
  • the parallax amount of the face frame superimposed on the face is set to the predetermined value ⁇ , not the face frame parallax amount.
  • the face frame is superimposed only on faces whose calculated difference is equal to or less than the predetermined value ⁇ , as in the case where it is determined that the face frame parallax amount is equal to or less than the predetermined value ⁇ .
  • the parallax amount given to the face frame is set to the predetermined value ⁇ .
  • the parallax amount given to the face frame is set to the predetermined value ⁇ .
  • the face frame color is set to orange. This makes it possible for the user to more easily grasp that a 3D image that is difficult to see because the imaging target is too close is captured.
  • the size of the face frame superimposed on each person's face is determined according to the size of the person's face detected in the 3D image.
  • FIG. 6A shows a 3D image displayed on the LCD 440 in the 3D shooting mode.
  • FIG. 6B is a diagram illustrating the amount of parallax between the human face and the face frame included in FIG. 6A.
  • A, B, and C each represent a person included in the 3D image.
  • the face frame parallax amount is determined to be an amount obtained by adding 10 pixels to the parallax amount calculated based on the face of the person A.
  • D1 and D2 in FIG. 6B indicate differences in the parallax amounts of the faces of the person B and the person C with respect to the face frame parallax amount, respectively. Since the amount of parallax corresponds to the depth to the object in the three-dimensional space, for convenience of explanation, in FIG. 6B, the differences D1 and D2 in the amount of parallax are shown as the depth.
  • ⁇ represents a depth corresponding to the predetermined value ⁇ described above. In this example, it is assumed that difference D1 ⁇ predetermined value ⁇ ⁇ difference D2.
  • the face frame 650 is superimposed on the face of the person B.
  • the difference D2 in the amount of parallax is larger than the predetermined value ⁇ , the face frame is not superimposed on the face of the person C.
  • a face frame 640 is superimposed on the face of the person A.
  • the color of all the face frames is set to green, and the parallax amount given to the face frames is set to the face frame parallax amount (S290).
  • the face frame parallax amount is larger than the predetermined value ⁇ , the color of all the face frames is set to orange, and the parallax amount given to the face frame is set to the predetermined value ⁇ (S280).
  • the face frame parallax amount is determined based on the maximum parallax amount among the calculated parallax amounts. As a result, the face frame parallax amount is determined based on the face having the largest parallax amount, thereby preventing the face frame from being displayed behind the face or the face frame from being embedded in the face.
  • the parallax amount of all the face frames to be superimposed is set to the face frame parallax amount or a predetermined value ⁇ . This eliminates the need for the digital video camera 100 to manage individual face frames for each human face, and allows a simple method to display a face frame having a stereoscopic effect for each human face. In addition, since it is not necessary for the viewer to move the focus when viewing a plurality of face frames, it is possible to display a 3D image that is easier to see than in the past.
  • an imaging apparatus including two optical systems for 3D imaging
  • the two optical systems when the two optical systems are oriented in a direction shifted in the vertical direction, for example, left-eye and right-eye images as illustrated in FIG. 7 are generated.
  • the position of the person in the right eye image in the vertical direction is lower than the position of the person in the left eye image in the vertical direction.
  • the face is determined based on each of the left-eye and right-eye images as in the conventional imaging device.
  • the face frame 630 is superimposed on the left-eye image
  • the face frame 660 is superimposed on the right-eye image.
  • the vertical position of the face frame 660 is lower than the vertical position of the face frame 630.
  • the digital video camera 100 has the same vertical position of the right-eye face frame image in the right-eye image as the vertical position of the left-eye face frame image in the left-eye image. Set to the position of. A specific procedure for this setting will be described below with reference to FIG.
  • the face detection circuit 500 detects the position of the face included in the left eye image generated by the left eye image generation unit 300.
  • the parallax calculation circuit 400 calculates the parallax amount of the human face included in the left-eye and right-eye images.
  • the OSD generation unit 420 and / or the external monitor OSD generation unit 450 determines the horizontal and vertical positions of the left-eye face frame image in the left-eye image according to the face position detected by the face detection circuit 500 ( S310). Subsequently, the OSD generation unit 420 and / or the external monitor OSD generation unit 450 determines the horizontal position of the right-eye face frame image in the right-eye image, the horizontal position of the face detected in the left-eye image, and The face frame parallax amount (or the predetermined value ⁇ ) determined by the controller 510 is determined (S320).
  • the OSD generation unit 420 and / or the external monitor OSD generation unit 450 then sets the vertical position of the right-eye face frame image in the right-eye image to be the same as the vertical position of the left-eye face frame image in the left-eye image.
  • the position is determined (S330). That is, the vertical position of the right-eye face frame image is determined according to the vertical position of the left-eye face frame image in the left-eye image, regardless of the vertical position of the human face in the right-eye image.
  • the digital video camera 100 captures a subject image and generates right-eye and left-eye image generation units 200 and 300 for generating right-eye and left-eye image data constituting a 3D image, and the left-eye.
  • a face detection circuit 500 that detects the position of a human face from the image data, and a left-eye face frame image data indicating the position of a predetermined object detected from the left-eye image data are combined with the left-eye image data to obtain a left-eye face.
  • an OSD generation unit 420 that synthesizes right-eye face frame image data indicating a position different from the position based on the frame image data in the horizontal direction with the right-eye image data.
  • the right-eye face frame image data includes a right-eye face frame image based on the right-eye face frame image data and a left-eye face frame image based on the left-eye face frame image data in the vertical direction. Generate to be in the same position. Thereby, the digital video camera 100 can display the face frame image based on the right-eye and left-eye face frame image data more easily than conventional.
  • the digital video camera 100 captures a subject image and generates right-eye and left-eye image generation units 200 and 300 for generating right-eye and left-eye image data constituting a 3D image, and a left-eye image. Based on the face detection circuit 500 that detects the position of the human face from the data and the position of the human face detected by the face detection circuit 500, the position of the human face in the right-eye image based on the right-eye image data is shown.
  • the parallax amount between the image for the right eye and the image for the left eye is calculated for the human face detected by the OSD generation unit 420 that synthesizes the frame image data and the face detection circuit 500.
  • the parallax calculating circuit 400 a.
  • the OSD generation unit 420 uses the right-eye face frame image data based on the maximum parallax amount among the parallax amounts for the plurality of human faces.
  • the amount of parallax between the face frame image and the left eye face frame image based on the left eye face frame image data is determined.
  • the digital video camera 100 having this configuration determines the parallax amount of the face frame image based on the face of the person with the largest parallax amount, so that the face frame image is displayed behind the human face or on the human face. It is possible to prevent the display from being embedded. Also, the digital video camera 100 assigns the same amount of parallax (the amount of face frame parallax or the predetermined value ⁇ ) to all the face frame images to be superimposed, so that a plurality of face frame images can be converted into 3D images by a simpler method than before. It is possible to display 3D images that are easier to see than before.
  • the face frame is superimposed only on the face whose difference in the parallax amount with respect to the face frame parallax amount is equal to or less than the predetermined value ⁇ . As a result, it is possible to prevent a difficult-to-see 3D image from being displayed due to a large difference in the amount of parallax between the face and the face frame.
  • the parallax amount given to the face frame superimposed on the face is set to the predetermined value ⁇ to prevent a face frame that is difficult to see for the viewer from being displayed. it can.
  • the face frame color is set to green
  • the face frame color is set to orange
  • the face frame image indicating the position of the detected human face can be displayed in 3D more easily than before.
  • the human face is exemplified as the object detected from the generated image.
  • an object other than a human face may be detected.
  • the upper body of the person, the whole body of the person, the face of the animal, the whole body of the animal, etc. may be detected.
  • things, such as a plastic bottle and a clock, may be detected.
  • an object that is one independent unit may be detected. The idea of the above-described embodiment can also be applied to a configuration in which such an object is detected.
  • the face frame image is superimposed on the detected human face.
  • the image superimposed on the detected face may be other than the frame.
  • it may be a telop describing the detected face, or an arrow pointing to the detected face.
  • the idea of the above-described embodiment can also be applied to these superimposed images.
  • the amount of parallax to be given to the face frame is determined based on the face of the foremost person (the face of the person with the largest amount of parallax).
  • the amount of parallax given to the face frame may be determined based on the face of the person with the highest detection accuracy.
  • the idea of the above-described embodiment can also be applied to the face frame determined in this way.
  • the digital video camera 100 includes two image sensors (the CMOS image sensor 210 included in the right-eye image generation unit 200 and the CMOS image sensor 310 included in the left-eye image generation unit 300).
  • the image sensor may have one configuration. The idea of the above-described embodiment can also be applied to a digital video camera having such a configuration.
  • the face detection circuit 500 detects a human face from the left-eye image data.
  • the face detection circuit 500 may detect a human face from the right-eye image data, or may detect a human face from each of the right-eye image data and the left-eye image data.
  • the face detection circuit 500 detects a human face from the right-eye image data
  • the vertical position of the left-eye face frame image in the left-eye image is the same as the vertical position of the right-eye face frame image in the right-eye image. The position is set.
  • the face detection circuit 500 detects a human face from each of the right-eye image data and the left-eye image data, either the right-eye face frame image in the right-eye image or the left-eye face frame image in the left-eye image.
  • the vertical position is set to the same position as the other vertical position of the right-eye face frame image in the right-eye image and the left-eye face frame image in the left-eye image.
  • the amount of parallax given to the face frame superimposed on the 3D image displayed on the LCD 440 and the face frame superimposed on the 3D image displayed on the external monitor connected to the external monitor interface 460 was the same as the amount of parallax given to the.
  • the amount of parallax given to the face frame superimposed on the 3D image displayed on the LCD 440 may be larger than the amount of parallax given to the face frame superimposed on the 3D image displayed on the external monitor.
  • the amount of parallax given to the face frame superimposed on the 3D image displayed on the external monitor may be larger than the amount of parallax given to the face frame superimposed on the 3D image displayed on the LCD 440.
  • the feeling of popping out the face frame can be calmed down on a small screen, and the feeling of popping out of the face frame can be exerted on a large screen.
  • the ratio of the face frame superimposed on the 3D image displayed on the LCD 440 to the size of the LCD 440 and the size of the external monitor on the face frame superimposed on the 3D image displayed on the external monitor was the same.
  • the ratio of the face frame superimposed on the 3D image displayed on the LCD 440 to the size of the LCD 440 is made larger than the ratio of the face frame superimposed on the 3D image displayed on the external monitor to the size of the external monitor. Also good. Thereby, even if it is a small screen, it becomes possible to make a person who sees the position of a face frame grasp more certainly than before.
  • the ratio of the face frame superimposed on the 3D image displayed on the external monitor to the size of the external monitor is made larger than the ratio of the face frame superimposed on the 3D image displayed on the LCD 440 to the size of the LCD 440. Also good. As a result, it is possible to calm the face frame on a small screen and to exert force on the face frame on a large screen.
  • the size of the face frame superimposed on the image in the 2D shooting mode is the same as the size of the face frame superimposed on the image in the 3D shooting mode.
  • the size of the face frame superimposed on the image in the 3D shooting mode may be set larger than the size of the face frame superimposed on the image in the 2D shooting mode.
  • FIGS. FIG. 9 shows a left-eye image displayed on the LCD 440 in the 3D shooting mode.
  • the size of the face frame superimposed on the human face in 3D shooting mode (size H2 in FIG. 9) is the size of the face frame superimposed on the human face in 2D shooting mode (size H1 in FIG. 3). (H2> H1).
  • the digital video camera 100 is a digital video camera capable of capturing 3D images and non-3D images, and captures a subject image and generates right-eye and left-eye image data generation unit 200.
  • a face detection circuit 500 for detecting the position of the human face from the image data for the left eye, an image based on the image data for the right eye and the left eye based on the position of the human face detected by the face detection circuit 500
  • An OSD generation unit 420 may be provided that generates right-eye and left-eye face frame image data indicating the position of a human face in each of the images based on the image data, and synthesizes the right-eye and left-eye image data.
  • the OSD generation unit 420 determines that the size of the image based on the right-eye and left-eye face frame image data at the time of 3D image capturing is larger than the size of the image based on the right-eye and left-eye face frame image data at the time of non-3D image capturing.
  • the right-eye and left-eye face frame image data is generated so as to increase.
  • the digital video camera 100 includes the CMOS image sensors 240 and 340 as image sensors.
  • the idea of the above-described embodiment can be applied to a digital video camera provided with, for example, a CCD image sensor or an nMOS image sensor as an image sensor. In short, it is sufficient if a device capable of generating image data from a subject image is provided.
  • the digital video camera 100 includes a liquid crystal display (LCD) 440 as an image display device.
  • LCD liquid crystal display
  • the idea of the above-described embodiment can also be applied to a digital video camera including an organic EL display, an inorganic EL display, a plasma display, or the like as an image display device. Any device capable of displaying an image may be used.
  • the idea of the above-described embodiment can be applied to a digital video camera in which some or all of these components are realized by a single chip.
  • the generated image data is stored in a recording medium connected to the recording medium interface 470.
  • a configuration is not necessarily required.
  • the idea of the above embodiment can be applied to a digital video camera configured to be stored in a flash memory or a hard disk built in the digital video camera 100.
  • the image processing unit 230 of the right-eye image generation unit 200 outputs the right-eye image data and the left-eye image data to the bus 480 at the same time.
  • a configuration is not necessarily required.
  • the idea of the above-described embodiment can be applied to a configuration in which right-eye image data and left-eye image data are alternately output.
  • the digital video camera is exemplified as the imaging device.
  • an imaging device other than a digital video camera may be used.
  • the idea of the above-described embodiment can be applied to any imaging apparatus that includes two optical systems for capturing a 3D image.
  • an imaging apparatus such as a digital video camera, a digital still camera, a mobile phone with a camera function, a smartphone with a camera function, or the like.
  • DESCRIPTION OF SYMBOLS 100 Digital video camera 200: Right eye image generation unit 300: Left eye image generation unit 210, 310: Optical system 220, 320: Lens drive part 230, 330: Image processing part 240, 340: CMOS image sensor 400: Parallax calculation Circuit 410: Compression / decompression unit 420: OSD generation unit 430: Liquid crystal display (LCD) interface 440: Liquid crystal display (LCD) 450: OSD generation unit for external monitor 460: External monitor interface 470: Recording media interface 500: Face detection circuit 510: Controller 520: Gyro sensor 530: Internal memory 540: Operation member

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　撮像装置（１００）は、被写体像を撮像して、立体画像を構成する第１画像データおよび第２画像データを生成する撮像部（２００、３００）と、第１画像データおよび第２画像データの少なくとも一方から所定のオブジェクトの位置を検出するオブジェクト検出部（５００）と、第１画像データおよび第２画像データのうちの一方の画像データから検出された所定オブジェクトの位置を示す第１重畳画像データを、一方の画像データに合成し、第１重畳画像データに基づく位置と水平方向において異なる位置を示す第２重畳画像データを、第１画像データおよび第２画像データのうちの他方の画像データに合成する合成部（４２０、４５０）と、を備える。

Description

撮像装置
　ここに開示される技術は撮像装置に関し、特に、３Ｄ（three-dimension）画像のための左目用の画像データと右目用の画像データとを生成できる撮像装置に関する。
　近年、３Ｄ画像を表示可能なテレビジョン受像機の普及に伴って、３Ｄ画像を撮影可能な撮像装置が普及してきている。このような撮像装置において、撮像された３Ｄ画像に対してその３Ｄ画像とは別の画像を３Ｄ画像として重畳する技術が知られている。３Ｄ画像に別の画像を重畳するとき、元の３Ｄ画像の視差と重畳される別の画像の視差とが大きく異なると、見づらい３Ｄ画像となってしまうという問題が知られている。
　この問題に対して例えば特許文献１は、立体映像に別の映像を重畳するときに、その別の映像を見やすい奥行きに自動的に重畳する再生装置を開示する。
　また、３Ｄ画像に含まれる所定のオブジェクト（人の顔や、動物など）の位置を自動で検出し、その位置を見る者に示す画像（枠など）を３Ｄ画像に重畳する装置が知られている。
特開２０１１－１０１２８号公報
　立体画像にその立体画像に含まれる所定オブジェクトの位置を示す画像が重畳されるとき、所定オブジェクトの位置を示す画像が使用者にとって従来より見やすく表示される撮像装置が要望される。
　特許文献１は、立体映像に重畳される別の映像の画像データとして、テロップを開示する。つまり、特許文献１記載の再生装置は、立体映像にテロップを重畳する。
　テロップのように特に３Ｄ画像内のオブジェクトと直接的に関係のない画像は、左目用の画像と右目用の画像とにおいて垂直方向で異なる位置に表示されない。
　しかしながら、３Ｄ画像内のオブジェクトの位置を示す画像（例えば、人の顔の位置を示す顔枠画像）については、左目用の画像に重畳される画像と右目用の画像に重畳される画像との垂直方向の表示位置がずれる場合がある。例えば、左目用の画像を撮像する光学系と右目用の画像を撮像する光学系とが垂直方向にずれを有し、各画像からオブジェクトが検出され、検出されたオブジェクトの位置を示す画像が各画像に重畳されるような場合に、このような事態が生じる。左目用の画像の垂直方向の位置と右目用の画像の垂直方向の位置とがずれた画像の立体表示は使用者にとって非常に見づらいという問題がある。
　このような問題を解決するため、以下の撮像装置が提供される。
　第１の態様において撮像装置は、被写体像を撮像して、立体画像を構成する第１画像データおよび第２画像データを生成する撮像部と、第１画像データおよび第２画像データの少なくとも一方から所定のオブジェクトの位置を検出するオブジェクト検出部と、第１画像データおよび第２画像データのうちの一方の画像データから検出された所定オブジェクトの位置を示す第１重畳画像データを、一方の画像データに合成し、第１重畳画像データに基づく位置と水平方向において異なる位置を示す第２重畳画像データを、第１画像データおよび第２画像データのうちの他方の画像データに合成する合成部と、を備える。
　第２の態様において、立体画像及び非立体画像が撮像可能な撮像装置が提供される。被写体像を撮像して画像データを生成する撮像部と、画像データから所定オブジェクトの位置を検出する検出部と、検出部によって検出された所定オブジェクトの位置に基づいて、画像データに基づく画像における所定オブジェクトの位置を示す重畳画像データを生成し、画像データに合成する合成部とを備える。合成部は、立体画像撮像時における重畳画像データに基づく画像の大きさが、非立体画像撮像時における重畳画像データに基づく画像の大きさよりも大きくなるように、重畳画像データを生成する。
　第３の態様において撮像装置は、被写体像を撮像して、立体画像を構成する第１画像データおよび第２画像データを生成する撮像部と、第１画像データおよび第２画像データの少なくとも一方から、所定オブジェクトの位置を検出するオブジェクト検出部と、オブジェクト検出部によって検出された所定オブジェクトの位置に基づいて、第１画像データに基づく画像における所定オブジェクトの位置を示す第１重畳画像データと、第２画像データに基づく画像における所定オブジェクトの位置を示す第２重畳画像データとを作成し、第１画像データおよび第２画像データに第１重畳画像データおよび第２重畳画像データをそれぞれ合成する合成部と、オブジェクト検出部により検出された所定オブジェクトに対して、第１画像データに基づく画像と第２画像データに基づく画像間の視差を算出する視差算出部とを備える。オブジェクト検出部により複数の所定オブジェクトが検出された場合、合成部は、複数の所定オブジェクトに対する視差の中の最大視差に基づいて、第１重畳画像データに基づく画像と第２重畳画像データに基づく画像間の視差を決定する。
　前記態様における撮像装置によれば、立体画像にその立体画像に含まれる所定オブジェクトの位置を示す画像が重畳されるとき、所定オブジェクトの位置を示す画像を使用者にとって従来より見やすく表示することが可能となる。例えば、第１重畳画像データに基づく画像と第２重畳画像データに基づく画像とが垂直方向の位置が同じに設定されることで、第１および第２重畳画像データに基づく画像を従来より見やすく表示することが可能となる。また、立体画像の撮像時の重畳画像データに基づく画像の大きさを、非立体画像の撮像時の重畳画像データに基づく画像の大きさよりも大きくすることで、立体画像の撮像時に重畳画像データに基づく画像が所定オブジェクトからずれた場合にも、重畳画像データに基づく画像は所定オブジェクトの位置を示すことが可能である。また、複数の所定オブジェクトに対する視差の中の最大視差に基づいて、第１重畳画像データに基づく画像と第２重畳画像データに基づく画像間の視差を決定することで、第１および第２重畳画像データに基づく画像を見やすく表示できる。
本実施形態のデジタルビデオカメラの電気的構成を示すブロック図 ２Ｄ撮影モードにおける顔枠の表示動作を説明するためのフローチャート ２Ｄ撮影モードにおける顔枠の表示を示す図 ３Ｄ画像の立体表示について説明するための図 ３Ｄ撮影モードにおける顔枠の表示動作を説明するためのフローチャート ３Ｄ撮影モードにおいて複数の人の顔が検出された場合の、顔枠の表示を示す図 ３Ｄ撮影モードにおいて複数の人の顔が検出された場合の、人の顔までの距離と顔枠との関係を示す図 左目用および右目用画像における、顔枠の垂直方向の位置を説明するための図 左目用画像および右目用画像に重畳される左目用顔枠画像および右目用顔枠画像の位置の決定方法を説明するためのフローチャート ３Ｄ撮影モードにおける顔枠の大きさを示す図
　以下、添付の図面を参照しながら実施形態について説明する。実施形態の例としてデジタルビデオカメラを用いる。
＜１－１．概要＞
　まず、本実施形態のデジタルビデオカメラの概要を説明する。本実施形態のデジタルビデオカメラは、３Ｄ画像データを生成するための右目用画像生成ユニットおよび左目用画像生成ユニットを備える。デジタルビデオカメラは、これら２つの画像生成ユニットを通じて、３Ｄ画像データを生成するための右目用画像データおよび左目用画像データを同時に取得する。
　また、デジタルビデオカメラは、生成された右目用画像データおよび左目用画像データに基づく３Ｄ画像を、デジタルビデオカメラに設けられた液晶ディスプレイ（ＬＣＤ）に表示できる。このときデジタルビデオカメラは、左目用画像データを用いて描画される左目用画像から人の顔を検出できる。デジタルビデオカメラは、検出された顔の位置を示すための、撮像された画像に重畳される画像（重畳画像）を生成する。デジタルビデオカメラは、検出された顔の位置を示す重畳画像として枠（以下、「顔枠」という）を、検出された顔を囲む位置に、３Ｄ画像に重畳して表示する。
　このとき、顔枠が３Ｄ画像内の顔に重畳して表示されるために、デジタルビデオカメラは、左目用画像から顔の位置を検出し、左目用画像における顔の位置を示す左目用顔枠画像を生成する。そしてデジタルビデオカメラは、生成された左目用顔枠画像に基づいて、右目用画像における顔画像の位置を示す右目用顔枠画像を生成する。すなわち、右目用顔枠画像の右目用画像における垂直方向の位置が左目用顔枠画像の左目用画像における垂直方向の位置と同じであり、右目用顔枠画像の水平方向の位置が左目用顔枠画像の水平方向の位置と異なるように、右目用顔枠画像は生成される。このようにして生成された左目用および右目用顔枠画像はそれぞれ、左目用および右目用画像に重畳される。これにより、顔枠画像を従来より見やすく３Ｄ表示することができ、従来より確実にオブジェクトの位置を通知できる顔枠画像を表示できる。
＜１－２．デジタルビデオカメラの構成＞
　図１を参照してデジタルビデオカメラの電気的構成について説明する。デジタルビデオカメラ１００は、光学系２１０によって形成された被写体像をＣＭＯＳイメージセンサ２４０で撮像する。また、デジタルビデオカメラ１００は、光学系３１０によって形成された被写体像をＣＭＯＳイメージセンサ３４０で撮像する。ＣＭＯＳイメージセンサ３４０で撮像された画像データ（以下、「左目用画像データ」という）は、画像処理部３３０で各種処理が施される。ＣＭＯＳイメージセンサ２４０で撮像された画像データ（以下、「右目用画像データ」という）は、画像処理部２３０で各種処理が施される。画像処理部２３０は、画像処理部３３０から受信された左目用画像データと各種処理を施した右目用画像データとを、同じタイミングでバス４８０に出力する。バス４８０に出力された画像データは、ＬＣＤ４４０に表示されたり、記録メディアＩ／Ｆ４７０を介して記録メディアに記録されたりする。以下、デジタルビデオカメラ１００の構成について詳細に説明する。
　デジタルビデオカメラ１００は、右目用画像生成ユニット２００と、左目用画像生成ユニット３００と、視差算出回路４００と、圧縮／伸張部４１０と、ＯＳＤ生成部４２０と、液晶ディスプレイ（ＬＣＤ）インタフェース４３０と、液晶ディスプレイ（ＬＣＤ）４４０と、外部モニタ用ＯＳＤ生成部４５０と、外部モニタインタフェース４６０と、記録メディアインタフェース４７０と、顔検出回路５００と、コントローラ５１０と、ジャイロセンサ５２０と、内部メモリ５３０と、操作部材５４０とを備える。
　右目用画像生成ユニット２００は、複数のレンズなどで構成される光学系２１０と、レンズ駆動部２２０と、画像処理部２３０と、ＣＭＯＳイメージセンサ２４０とを備える。左目用画像生成ユニット３００は、右目用画像生成ユニット２００と同様に、光学系３１０と、レンズ駆動部３２０と、画像処理部３３０と、ＣＭＯＳイメージセンサ３４０とを備える。
　ここで光学系３１０は、光学系２１０と同一の構成を有する。レンズ駆動部３２０は、レンズ駆動部２２０と同一の構成を有する。ＣＭＯＳイメージセンサ３４０は、ＣＭＯＳイメージセンサ２４０と同一の構成を有する。画像処理部３３０は、画像処理部２３０と同一の構成を有する。
　ＣＭＯＳイメージセンサ２４０、３４０はそれぞれ、光学系２１０、３１０を通じて形成された被写体像を画像データに変換する。右目用画像生成ユニット２００のＣＭＯＳイメージセンサ２４０によって生成された画像データが右目用画像データである。左目用画像生成ユニット３００のＣＭＯＳイメージセンサ３４０によって生成された画像データが左目用画像データである。右目用画像データおよび左目用画像データはそれぞれ、３Ｄ画像を表示する際に３Ｄ画像を見る者の右目および左目に対して使用される。
　画像処理部２３０、３３０はそれぞれ、右目用画像データおよび左目用画像データに対して各種処理を施す。具体的には、ガンマ補正、ホワイトバランス補正、傷補正などが右目用画像データおよび左目用画像データに対して施される。画像処理部３３０は、左目用画像データに処理を施した後、左目用画像データを顔検出回路５００および右目用画像生成ユニット２００の画像処理部２３０へ入力する。右目用画像生成ユニット２００の画像処理部２３０は、右目用画像データに処理を施した後、右目用画像データおよび左目用画像データとを同時にバス４８０へ出力する。
　バス４８０に出力された右目用画像データおよび左目用画像データは、ＬＣＤ４４０によって表示されたり、記録メディアインタフェース４７０を通じて記録メディアによって記憶されたりする。
　光学系２１０、３１０はそれぞれ、ズームレンズと、手振れ補正レンズと、フォーカスレンズと、絞りとを含む。ズームレンズが光軸に沿って移動されることで、被写体像が拡大および縮小される。フォーカスレンズが光軸に沿って移動されることで、被写体像のピントが調整される。また、手振れ補正レンズは、光学系２１０の光軸に垂直な面方向に移動可能に構成される。デジタルビデオカメラ１００の振れを打ち消す方向に手振れ補正レンズが移動することで、デジタルビデオカメラ１００の振れによって生じる画像データへの影響を抑制できる。また、絞りは、開口部の大きさを調整することにより、光学系２１０、３１０を通過する光量を調整する。
　レンズ駆動部２２０、３２０はそれぞれ、光学系２１０、３１０に含まれる各種レンズ及び絞りを駆動する。レンズ駆動部２２０、３２０はそれぞれ、光学系２１０に含まれるズームアクチュエータや、フォーカスアクチュエータ、手振れ補正アクチュエータ、絞りアクチュエータなどを制御する。
　ＣＭＯＳイメージセンサ２４０、３４０はそれぞれ、光学系２１０、３１０によって形成された被写体像を撮像して、右目用および左目用画像データを生成する。ＣＭＯＳイメージセンサ２４０、３４０は、露光、転送、電子シャッタなどの各種動作を行う。
　視差算出回路４００は、画像処理部２３０によって入力された左目用および右目用画像データから、左目用画像と右目用画像との間の視差量を算出する。例えば視差算出回路４００は、左目用画像データの一部と右目用画像データの一部とのパターンマッチングを行うことで、左目用の画像の一部が、対応する右目用の画像の一部とどれだけずれているかを算出する。視差算出回路４００は、算出されたずれ量の水平成分を視差量としてコントローラ５１０に入力する。
　圧縮／伸張部４１０は、画像処理部２３０によって入力された画像データを圧縮する。また、圧縮／伸張部４１０は、記録メディアインタフェース４７０を通じて記録メディアから読み出された画像データを伸張する。圧縮／伸張部４１０は画像データに対して、例えばH.264規格に準拠した方式やH.264/MVC規格に準拠した方式で、圧縮および伸張処理を施す。
　ＯＳＤ生成部４２０は、ＬＣＤ４４０に表示される画像に重畳されるＯＳＤ（On Screen Display）を生成する。
　ＬＣＤインタフェース４３０は、画像処理部２３０によって入力された画像データの形式をＬＣＤ４４０が表示可能な形式に変換する。ＬＣＤインタフェース４３０は、例えば、入力された画像データのサイズをＬＣＤ４４０が表示可能なサイズへとリサイズしたり、ＬＣＤ４４０の表示方式に対応させるために左目用画像データと右目用画像データの出力順序を変更したりする。
　ＬＣＤ４４０は、右目用画像生成ユニット２００によって生成された右目用画像データおよび左目用画像生成ユニット３００によって生成された左目用画像データを用いて、撮像画像を立体視できるように表示できる。また、ＬＣＤ４４０は、記録メディアに記憶されている３Ｄ画像データを記録メディアインタフェース４７０を通じて取得して、その３Ｄ画像データに基づく画像を、立体視できるように表示できる。また、ＬＣＤ４４０は、２Ｄ画像（非３Ｄ画像）データに基づく２Ｄ画像（右目用画像および左目用画像のいずれか一方、または記録メディアに記憶された２Ｄ画像）を平面画像として表示できる。
　外部モニタ用ＯＳＤ生成部４５０は、外部モニタインタフェース４６０を通じて接続された外部モニタに表示される画像に、重畳して表示するためのＯＳＤを生成する。
　外部モニタインタフェース４６０は、画像処理部２３０によって入力された画像データの形式を、外部モニタインタフェース４６０に接続された外部モニタが表示可能な形式に変換する。
　記録メディアインタフェース４７０は、記録メディアを着脱可能なインタフェースである。記録メディアインタフェース４７０は、記録メディアが装着されることで、その記録メディアと機械的および電気的に接続できる。記録メディアインタフェース４７０は、例えばＳＤカードを装着できる。
　顔検出回路５００は、画像処理部３３０によって入力された左目用画像データに含まれる人の顔の領域を検出する。例えば、顔検出回路５００は、予め内部メモリ５３０に記憶されている人の顔の特徴を示すデータに類似するデータが、左目用画像データに含まれているか否かを判定することにより、人の顔の領域を検出する。
　コントローラ５１０は、デジタルビデオカメラ１００の各部を制御する。
　画像処理部２３０、３３０と、視差算出回路４００と、圧縮／伸張部４１０と、ＯＳＤ生成部４２０と、ＬＣＤインタフェース４３０と、外部モニタ用ＯＳＤ生成部４５０と、外部モニタインタフェース４６０と、記録メディアインタフェース４７０と、顔検出回路５００と、コントローラ５１０とは、ＤＳＰ（Digital Signal Processor）やマイコンなどで実現可能である。
　ジャイロセンサ５２０は、デジタルビデオカメラ１００の角速度を検出するセンサである。ジャイロセンサ５２０は、デジタルビデオカメラ１００のヨー方向、ピッチ方向、ロール方向の角速度を検出できる。
　内部メモリ５３０は、デジタルビデオカメラ１００の各部を制御するための制御プログラムや、顔検出回路５００が左目用画像データに含まれる人の顔の領域を検出するために使用するデータなどを、予め記憶している。内部メモリ５３０は、フラッシュメモリや強誘電体メモリなどで実現される。
　操作部材５４０は、使用者の操作を受け付けるユーザ・インタフェースの総称である。例えば、使用者からの操作を受け付ける十字キーや決定釦等が操作部材５４０である。
＜１－２－１．用語の対応＞
　右目用画像生成ユニット２００と左目用画像生成ユニット３００とはそれぞれ、第１および第２撮像部の一例である。顔検出回路５００はオブジェクト検出部の一例である。ＯＳＤ生成部４２０および外部モニタ用ＯＳＤ生成部４５０は合成部の一例である。
＜１－３．デジタルビデオカメラの動作＞
　本実施形態のデジタルビデオカメラ１００は、２Ｄ画像を撮像できる２Ｄ撮影モードと３Ｄ画像を撮影できる３Ｄ撮影モードとに設定できる。２Ｄ撮影モードにおいてデジタルビデオカメラ１００は、左目用画像生成ユニット３００のみを用いて被写体を撮像する。一方、３Ｄ撮影モードにおいては、デジタルビデオカメラ１００は、右目用画像生成ユニット２００を用いる撮像と左目用画像生成ユニット３００を用いる撮像とを同時に行なう。右目用画像生成ユニット２００および左目用画像生成ユニット３００によって生成された右目用および左目用画像は、スルー画像としてＬＣＤ４４０によって表示される。このときＬＣＤ４４０は、右目用および左目用画像を使用者が立体視可能に表示する。そしてデジタルビデオカメラ１００は、撮影モードに即して、生成された画像データに含まれる人の顔の画像を自動で検出し、その顔画像を囲む枠（顔枠）を、撮像された画像に重畳してＬＣＤ４４０に表示させる。
　以下、デジタルビデオカメラ１００の２Ｄ撮影モードおよび３Ｄ撮影モードにおける顔枠の表示動作について説明する。
＜１－３－１．２Ｄ撮影モードにおける顔枠の表示動作＞
　図２を参照して、２Ｄ撮影モードにおける顔枠の表示動作について説明する。２Ｄ撮影モードの場合、左目用画像生成ユニット３００によって画像が生成される。画像の生成が開始されると（Ｓ１００）、顔検出回路５００は、生成された画像に人の顔が含まれているか否かを判定する（Ｓ１１０）。顔検出回路５００によって画像に人の顔が含まれていると判断された場合（ステップＳ１１０におけるＹＥＳ）、コントローラ５１０は、検出された人の顔に対応する顔枠の画像データを生成するようＯＳＤ生成部４２０および／または外部モニタＯＳＤ生成部４５０に命令する（Ｓ１２０）。ここで、顔枠は、検出された顔を囲む位置に重畳して表示されるよう、生成される。
　このときＬＣＤ４４０に表示される画像に重畳される顔枠は、例えば図３に示された枠６００である。Ｈ１は枠６００の大きさを示す。
　なお、外部モニタインタフェース４６０に外部モニタが接続されている場合、コントローラ５１０は、ＯＳＤ生成部４２０および外部モニタ用ＯＳＤ生成部４５０の双方に顔枠を生成するよう命令する。外部モニタインタフェース４６０に外部モニタが接続されていない場合には、コントローラ５１０は、ＯＳＤ生成部４２０のみに対して顔枠を生成するよう命令する。
　また、生成された画像から複数の人の顔が検出された場合、その全ての人の顔に顔枠が重畳されてもよいし、所定の条件に合致する人の顔のみに顔枠が重畳されてもよい。
＜１－３－２．３Ｄ撮影モードにおける顔枠の表示動作＞
　図４を参照して３Ｄ撮影モードにおけるＬＣＤ４４０の表示について説明する。３Ｄ撮影モードの場合、右目用画像生成ユニット２００および左目用画像生成ユニット３００によって右目用画像および左目用画像が生成される。これら右目用画像および左目用画像がそれぞれＬＣＤ４４０によって使用者の右目および左目に対して表示されることで、立体視が可能となる。右目用画像および左目用画像にそれぞれ顔枠が重畳された場合、顔枠は、適切な視差量が付与されることで、右目用画像生成ユニット２００および左目用画像生成ユニット３００によって撮像された画像と同様に、立体視が可能となる。右目用画像および左目用画像をそれぞれ右目および左目に対して表示する具体的な方法として、例えば、右目用画像および左目用画像を所定周期で交互に切り替えてＬＣＤ４４０に表示し、そして使用者が装着した眼鏡の左右のレンズを、ＬＣＤ４４０が画像を切り替える周期に同期して交互に塞ぐという方法がある。
　なお、デジタルビデオカメラ１００の３Ｄ画像の表示方法は前述の方法に限定されない。右目用画像および左目用画像がＬＣＤ４４０に立体表示される方法であれば、本実施形態の思想を適用できる。
　図５を参照して、３Ｄ撮影モードにおける顔枠の表示動作について説明する。３Ｄ撮影モードの場合、右目用画像生成ユニット２００および左目用画像生成ユニット３００によって右目用画像および左目用画像が生成される。
　右目用画像および左目用画像の生成が開始されると（Ｓ２００）、顔検出回路５００は左目用画像に人の顔が含まれるか否かを判定する（Ｓ２１０）。顔検出回路５００によって左目用画像に人の顔が含まれていると判断された場合（ステップＳ２１０におけるＹＥＳ）、顔検出回路５００は左目用画像に含まれる全ての人の顔を検出する（Ｓ２２０）。
　全ての顔が検出されると、コントローラ５１０は、左目用画像から検出された１つめの顔と、その１つめの顔に対応する右目用画像内の人の顔との間の視差量を算出するよう、視差算出回路４００に命令する（Ｓ２３０）。１つめの顔について視差量が算出されると、コントローラ５１０は、顔検出回路５００によって検出された全ての顔の視差量が算出されたか否かを判定する（Ｓ２４０）。検出された全ての顔についての視差量が算出されていないと判断された場合（ステップＳ２４０におけるＮＯ）、コントローラ５１０は、次の顔の視差量を算出するよう視差算出回路４００に命令する（Ｓ２３０）。全ての顔の視差量が算出されるまで、この動作（Ｓ２３０～Ｓ２４０）が繰り返される。コントローラ５１０は、全ての視差量が算出されたと判断した場合（ステップＳ２４０におけるＹＥＳ）、算出された視差量の中で最大の視差量に所定量（本例では１０画素。しかしこれ以外の量でもよい）を加算したものを、顔枠視差量に決定する（Ｓ２５０）。「顔枠視差量」は、検出された人の顔に重畳される顔枠に付与される視差量である。
　顔枠視差量が決定されると、コントローラ５１０は、視差量が最大であった顔以外の顔の視差量と顔枠視差量との差分を算出する（Ｓ２６０）。
　全ての差分が算出されると、コントローラ５１０は顔枠視差量が所定値α以下であるか否かを判定する（Ｓ２７０）。所定値αは、例えば、３Ｄ画像を見る者に不快感を与えない視差量のうちで最大の視差量に設定される。ここで、顔枠視差量が所定値αと比較されるのは、画像に付与される視差量が大きすぎるか否かを判定するためである。画像に付与される視差量が大きすぎると、３Ｄ画像を見る者に不快感を与える恐れがあるからである。
　コントローラ５１０は、顔枠視差量が所定値α以下であると判断すると（ステップＳ２７０におけるＹＥＳ）、検出された顔のうち所定条件を満たす顔に対して、所定位置に緑色の顔枠を重畳するよう、ＯＳＤ生成部４２０および／または外部モニタ用ＯＳＤ生成部４５０に命令する（Ｓ２９０）。このとき、顔枠に付与される視差量は顔枠視差量に設定される。
　ここで、所定条件とは、ステップＳ２６０で算出された差分が所定値β以下であることである。つまり、ステップＳ２６０で算出された差分が所定値β以下の顔のみに対して顔枠が生成される。所定値βは、一番手前の（つまり視差量が最大の）顔を基準にして顔が遠すぎるか否か（つまり、視差量が小さすぎるか否か）を判定するためのしきい値である。顔枠視差量との差分が所定値βより大きい顔に顔枠が重畳されないのは、顔の視差量と顔枠の視差量が大きく異なると、３Ｄ画像を見る者に大きな焦点移動を強いることで、見づらい３Ｄ画像が表示されるからである。
　顔枠が重畳される所定位置については後述する。
　一方、コントローラ５１０は、顔枠視差量が所定値αより大きいと判断すると（ステップＳ２７０におけるＮＯ）、検出された顔のうち所定条件（視差量の差分が所定値β以下）を満たす顔に対して、色がオレンジ色であり、かつ付与される視差量が所定値αである顔枠を、所定位置に生成するよう、ＯＳＤ生成部４２０および／または外部モニタ用ＯＳＤ生成部４５０に命令する（Ｓ２８０）。つまり、顔枠視差量が所定値αより大きいと判断された場合、顔に重畳される顔枠の視差量は、顔枠視差量ではなく、所定値αに設定される。この場合も、顔枠視差量が所定値α以下であると判断された場合と同様に、算出された差分が所定値β以下の顔のみに対して顔枠が重畳される。
　このように、顔枠視差量が所定値αより大きい場合、顔枠に付与される視差量は所定値αに設定された。これにより、視差が大きすぎて見づらい３Ｄ画像が表示されることを防止できる。
　また、顔枠視差量が所定値αより大きい場合、顔枠の色はオレンジ色に設定された。これにより、撮像対象が近すぎて見づらい３Ｄ画像が撮像されていることを、使用者に従来より容易に把握させることが可能となる。
　なお、左目用および右目用顔枠画像の大きさは同じである。
　また、各人の顔に重畳される顔枠の大きさは、３Ｄ画像において検出される人の顔の大きさに従って決定される。
　図６Ａおよび図６Ｂを参照して、３Ｄ画像に重畳される顔枠の具体例を説明する。図６Ａは、３Ｄ撮影モードにおいてＬＣＤ４４０に表示される３Ｄ画像を示す。図６Ｂは、図６Ａに含まれる人の顔および顔枠の視差量を説明した図である。Ａ、Ｂ、Ｃはそれぞれ３Ｄ画像に含まれる人物を示す。
　図６Ａで示す例では、３Ｄ画像の中で最も手前に存在する（つまり、視差量が最大である）のは人物Ａである。よって、顔枠視差量は、人物Ａの顔に基づいて算出される視差量に１０画素を加算した量に決定される。
　ここで、図６ＢのＤ１およびＤ２はそれぞれ、顔枠視差量に対する人物Ｂおよび人物Ｃの顔の視差量の差分を示す。視差量は、３次元空間におけるオブジェクトまでの奥行きに対応するため、説明の便宜上、図６Ｂでは視差量の差分Ｄ１、Ｄ２が奥行きとして示される。また、βは、前述の所定値βに対応する奥行きを示す。本例では、差分Ｄ１＜所定値β＜差分Ｄ２であるとする。
　本例では、視差量の差分Ｄ１は所定値βより小さいため、人物Ｂの顔に顔枠６５０が重畳される。一方、視差量の差分Ｄ２は所定値βより大きいため、人物Ｃの顔には顔枠が重畳されない。また、人物Ａの顔に顔枠６４０が重畳される。
　また、このとき顔枠視差量が所定値α以下であれば、全ての顔枠の色は緑色に設定され、顔枠に付与される視差量は顔枠視差量に設定される（Ｓ２９０）。一方、顔枠視差量が所定値αより大きければ、全ての顔枠の色はオレンジ色に設定され、顔枠に付与される視差量は所定値αに設定される（Ｓ２８０）。
　本実施形態では、３Ｄ撮影モードにおいて、複数の人の顔に顔枠が重畳されるとき、算出された視差量の中で最大の視差量に基づいて顔枠視差量が決定された。これにより、視差量が最大の顔に基づいて顔枠視差量が決定されることで、顔枠が顔より後ろに表示されたり顔枠が顔にめり込んで表示されることを防止できる。
　また、重畳される全ての顔枠の視差量が顔枠視差量または所定値αに設定された。これにより、デジタルビデオカメラ１００が人の顔毎に個別の顔枠を管理する必要がなく、簡便な方法で人の顔毎に対して立体感のある顔枠を表示できる。また、見る者が複数の顔枠を見る際に焦点移動を行なう必要がないので、従来より見やすい３Ｄ画像を表示することが可能である。
　次に図７を参照して、３Ｄ撮影モードでの、左目用画像および右目用画像における顔枠の垂直方向の位置の決定方法について説明する。
　３Ｄ撮像用の２つの光学系を備える撮像装置において、２つの光学系が垂直方向にずれた方向を向いていた場合、例えば図７で示されるような左目用および右目用画像が生成される。この例では、右目用画像における人の垂直方向の位置が、左目用画像における人の垂直方向の位置よりも下となる。このように、同一の被写体の垂直方向の位置が右目用画像と左目用画像とで上下にずれている場合において、従来の撮像装置のようにこの左目用および右目用画像のそれぞれに基づいて顔検出がそれぞれ行われて顔枠が重畳されると、顔枠６３０が左目用画像に重畳され、顔枠６６０が右目用画像に重畳されることとなる。図７で示される例では、顔枠６６０の垂直方向の位置が、顔枠６３０の垂直方向の位置より下になる。このような垂直方向の位置が異なる２つの画像に基づいて立体表示が行われると、見る者にとって見づらい３Ｄ画像が表示されるという問題がある。
　この問題を解決するために、本実施形態のデジタルビデオカメラ１００は、右目用画像における右目用顔枠画像の垂直方向の位置を、左目用画像における左目用顔枠画像の垂直方向の位置と同一の位置に設定する。この設定の具体的な手順を、図８を参照して以下に説明する。
　顔検出回路５００は、左目用画像生成ユニット３００によって生成された左目用画像に含まれる顔の位置を検出する。また、視差算出回路４００は、左目用および右目用画像に含まれる人の顔の視差量を算出する。
　ＯＳＤ生成部４２０および／または外部モニタ用ＯＳＤ生成部４５０は、左目用画像における左目用顔枠画像の水平方向および垂直方向の位置を、顔検出回路５００によって検出された顔の位置に従って決定する（Ｓ３１０）。続いて、ＯＳＤ生成部４２０および／または外部モニタ用ＯＳＤ生成部４５０は、右目用画像における右目用顔枠画像の水平方向の位置を、左目用画像において検出された顔の水平方向の位置、およびコントローラ５１０によって決定された顔枠視差量（または所定値α）に従って決定する（Ｓ３２０）。そしてＯＳＤ生成部４２０および／または外部モニタ用ＯＳＤ生成部４５０は、右目用画像における右目用顔枠画像の垂直方向の位置を、左目用画像における左目用顔枠画像の垂直方向の位置と同一の位置に決定する（Ｓ３３０）。つまり、右目用顔枠画像の垂直方向の位置は、右目用画像における人の顔の垂直方向の位置に関わらず、左目用画像における左目用顔枠画像の垂直方向の位置に従って決定される。
＜１－４．本実施形態のまとめ＞
　以上のとおり本実施形態のデジタルビデオカメラ１００は、被写体像を撮像して、３Ｄ画像を構成する右目用および左目用画像データを生成する右目用および左目用画像生成ユニット２００、３００と、左目用画像データから人の顔の位置を検出する顔検出回路５００と、左目用画像データから検出された所定オブジェクトの位置を示す左目用顔枠画像データを、左目用画像データに合成し、左目用顔枠画像データに基づく位置と水平方向において異なる位置を示す右目用顔枠画像データを、右目用画像データに合成するＯＳＤ生成部４２０と、を備える。
　この構成を有するデジタルビデオカメラ１００は、右目用顔枠画像データを、右目用顔枠画像データに基づく右目用顔枠画像と左目用顔枠画像データに基づく左目用顔枠画像とが垂直方向に同じ位置にあるように、生成する。これによりデジタルビデオカメラ１００は、右目用および左目用顔枠画像データに基づく顔枠画像を従来より見やすく表示できる。
　また、本実施形態のデジタルビデオカメラ１００は、被写体像を撮像して、３Ｄ画像を構成する右目用および左目用画像データを生成する右目用および左目用画像生成ユニット２００、３００と、左目用画像データから人の顔の位置を検出する顔検出回路５００と、顔検出回路５００によって検出された人の顔の位置に基づいて、右目用画像データに基づく右目用画像における人の顔の位置を示す右目用顔枠画像データと、左目用画像データに基づく左目用画像における人の顔の位置を示す左目用顔枠画像データとを作成し、右目用および左目用画像データに右目用および左目用顔枠画像データをそれぞれ合成するＯＳＤ生成部４２０と、顔検出回路５００により検出された人の顔に対して、右目用画像と左目用画像との間の視差量を算出する視差算出回路４００と、を備える。顔検出回路５００により複数の人の顔が検出された場合、ＯＳＤ生成部４２０は、複数の人の顔に対する視差量の中の最大視差量に基づいて、右目用顔枠画像データに基づく右目用顔枠画像と左目用顔枠画像データに基づく左目用顔枠画像との間の視差量を決定する。
　この構成を有するデジタルビデオカメラ１００は、視差量が最大の人の顔に基づいて顔枠画像の視差量を決定することにより、顔枠画像が人の顔の後ろに表示されたり人の顔にめり込んで表示されることを防止できる。またデジタルビデオカメラ１００は、重畳される全ての顔枠画像に同じ視差量（顔枠視差量または所定値α）を付与することにより、従来より簡便な方法で複数の顔枠画像を３Ｄ画像として表示でき、また、従来より見やすい３Ｄ画像を表示できる。
　また、顔枠視差量に対する視差量の差分が所定値β以下の顔のみに対して顔枠を重畳する。これにより、顔と顔枠の視差量が大きく異なることに起因する見づらい３Ｄ画像が表示されることを防止できる。
　また、顔枠視差量が所定値αより大きい場合、顔に重畳される顔枠に付与される視差量を所定値αに設定することで、見る者にとって見づらい顔枠が表示されることを防止できる。
　また、顔枠視差量が所定値α以下の場合に顔枠の色を緑色に設定し、顔枠視差量が所定値αより大きい場合には顔枠の色をオレンジ色に設定する。これにより、視差量が大きすぎて３Ｄ表示に好適でない画像を撮像していることを従来より容易に使用者に通知することが可能となる。
　以上のように、本実施形態のデジタルビデオカメラ１００によれば、検出された人の顔の位置を示す顔枠画像を、従来より見やすく３Ｄ表示することが可能である。
＜２．他の実施形態＞
　本実施形態の思想は、前述の実施形態に限定されない。以下、他の実施形態について説明する。
　前述の実施形態において、生成された画像から検出されるオブジェクトとして人の顔を例示した。しかし人の顔以外のオブジェクトが検出されてもよい。例えば、人の上半身や人の全身、動物の顔、動物の全身などが検出されてもよい。または、ペットボトルや時計などの物が検出されてもよい。要するに、１つの独立した単位であるオブジェクトが検出されればよい。そのようなオブジェクトが検出される構成にも、前述の実施形態の思想を適用できる。
　また、前述の実施形態において、検出された人の顔に顔枠画像が重畳された。しかし検出された顔に重畳される画像（重畳画像）は枠以外のものであってもよい。例えば、検出された顔を説明するテロップであってもよいし、検出された顔を指し示す矢印などであってもよい。これらの重畳画像にも、前述の実施形態の思想を適用できる。
　また、前述の実施形態において、最も手前の人の顔（視差量が最大の人の顔）に基づいて顔枠に付与される視差量が決定された。しかし必ずしもこのような構成である必要はない。例えば、検出精度が最も高い人の顔に基づいて顔枠に付与される視差量が決定されてもよい。このように決定された顔枠に対しても、前述の実施形態の思想を適用できる。
　また、前述の実施形態において、デジタルビデオカメラ１００は２つのイメージセンサ（右目用画像生成ユニット２００に含まれるＣＭＯＳイメージセンサ２１０および左目用画像生成ユニット３００に含まれるＣＭＯＳイメージセンサ３１０）を備えた。しかし必ずしもこのような構成である必要はない。デジタルビデオカメラ１００が１つのイメージセンサ上に右目用画像および左目用画像を結像できる光学系を備える場合は、イメージセンサが１つの構成であってもよい。そのような構成のデジタルビデオカメラにも、前述の実施形態の思想を適用できる。
　また、前述の実施形態において、顔検出回路５００は左目用画像データから人の顔を検出した。しかし必ずしもこのような構成である必要はない。顔検出回路５００が右目用画像データから人の顔を検出してもよいし、右目用および左目用画像データのそれぞれから人の顔を検出してもよい。顔検出回路５００が右目用画像データから人の顔を検出する場合、左目用画像における左目用顔枠画像の垂直方向の位置は、右目用画像における右目用顔枠画像の垂直方向の位置と同一の位置に設定される。また、顔検出回路５００が右目用および左目用画像データのそれぞれから人の顔を検出する場合は、右目用画像における右目用顔枠画像および左目用画像における左目用顔枠画像のいずれか一方の垂直方向の位置が、右目用画像における右目用顔枠画像および左目用画像における左目用顔枠画像の他方の垂直方向の位置と同一の位置に設定される。いずれの場合であっても、前述の実施形態の思想を適用できる。
　また、前述の実施形態において、ＬＣＤ４４０で表示される３Ｄ画像に重畳される顔枠に付与される視差量と外部モニタインタフェース４６０に接続された外部モニタで表示される３Ｄ画像に重畳される顔枠に付与される視差量とは同一であった。しかし必ずしもこのような構成である必要はない。例えば、ＬＣＤ４４０で表示される３Ｄ画像に重畳される顔枠に付与される視差量を、外部モニタで表示される３Ｄ画像に重畳される顔枠に付与される視差量より大きくしてもよい。これにより、小さい画面であっても顔枠の飛び出し感を、従来より充分に見る者に実感させることが可能となる。あるいは、外部モニタで表示される３Ｄ画像に重畳される顔枠に付与される視差量を、ＬＣＤ４４０で表示される３Ｄ画像に重畳される顔枠に付与される視差量より大きくしてもよい。これにより、小さな画面では顔枠の飛び出し感を落ち着かせ、大きな画面では顔枠の飛び出し感に迫力をもたせることが可能となる。
　また、前述の実施形態において、ＬＣＤ４４０で表示される３Ｄ画像に重畳される顔枠のＬＣＤ４４０の大きさに対する比率と、外部モニタで表示される３Ｄ画像に重畳される顔枠の外部モニタの大きさに対する比率とは同一であった。しかし必ずしもこのような構成である必要はない。例えば、ＬＣＤ４４０で表示される３Ｄ画像に重畳される顔枠のＬＣＤ４４０の大きさに対する比率を、外部モニタで表示される３Ｄ画像に重畳される顔枠の外部モニタの大きさに対する比率より大きくしてもよい。これにより、小さい画面であっても顔枠の位置を、従来より確実に見る者に把握させることが可能となる。あるいは、外部モニタで表示される３Ｄ画像に重畳される顔枠の外部モニタの大きさに対する比率を、ＬＣＤ４４０で表示される３Ｄ画像に重畳される顔枠のＬＣＤ４４０の大きさに対する比率より大きくしてもよい。これにより、小さな画面では顔枠を落ち着かせ、大きな画面では顔枠に迫力をもたせることが可能となる。
　また、前述の実施形態において、２Ｄ撮影モードにおいて画像に重畳される顔枠の大きさと、３Ｄ撮影モードにおいて画像に重畳される顔枠の大きさとが同一であった。しかし必ずしもこのような構成である必要はない。例えば、３Ｄ撮影モードにおいて画像に重畳される顔枠の大きさが、２Ｄ撮影モードにおいて画像に重畳される顔枠の大きさより大きく設定されてもよい。このことを図３および図９を参照して説明する。図９は、３Ｄ撮影モードにおいてＬＣＤ４４０に表示される左目用画像を示す。３Ｄ撮影モードにおいて人の顔に重畳される顔枠の大きさ（図９における大きさＨ２）は、２Ｄ撮影モードにおいて人の顔に重畳される顔枠の大きさ（図３における大きさＨ１）よりも大きくなるよう（Ｈ２＞Ｈ１）、設定される。このように顔枠の大きさが設定されることで、図６の右目用画像における顔枠６２０のように、人の顔が顔枠６２０からはみ出そうな場合にも、人の顔を顔枠６２０内に収めることが可能となる。
　すなわち、デジタルビデオカメラ１００は、３Ｄ画像及び非３Ｄ画像が撮像可能なデジタルビデオカメラであって、被写体像を撮像して右目用および左目用画像データを生成する右目用および左目用画像生成ユニット２００、３００と、左目用画像データから人の顔の位置を検出する顔検出回路５００と、顔検出回路５００によって検出された人の顔の位置に基づいて、右目用画像データに基づく画像および左目用画像データに基づく画像のそれぞれにおける人の顔の位置を示す右目用および左目用顔枠画像データを生成し、右目用および左目用画像データに合成するＯＳＤ生成部４２０とを備えてもよい。ＯＳＤ生成部４２０は、３Ｄ画像撮像時における右目用および左目用顔枠画像データに基づく画像の大きさが、非３Ｄ画像撮像時における右目用および左目用顔枠画像データに基づく画像の大きさよりも大きくなるように、右目用および左目用顔枠画像データを生成する。
　また、前述の実施形態においてデジタルビデオカメラ１００はイメージセンサとしてＣＭＯＳイメージセンサ２４０、３４０を備えた。しかし、イメージセンサとして例えばＣＣＤイメージセンサやｎＭＯＳイメージセンサなどを備えたデジタルビデオカメラにも、前述の実施形態の思想を適用できる。要するに、被写体像から画像データを生成できるデバイスが備えられていればよい。
　また、前述の実施形態においてデジタルビデオカメラ１００は画像表示装置として液晶ディスプレイ（ＬＣＤ）４４０を備えた。しかし、画像表示装置として例えば有機ＥＬディスプレイや無機ＥＬディスプレイ、プラズマディスプレイなどを備えたデジタルビデオカメラにも、前述の実施形態の思想を適用できる。画像を表示できるデバイスであればよい。
　また、前述の実施形態において、画像処理部２３０、３３０と、視差算出回路４００と、圧縮／伸張部４１０と、ＯＳＤ生成部４２０と、液晶ディスプレイインタフェース４３０と、外部モニタ用ＯＳＤ生成部４５０と、外部モニタインタフェース４６０と、記録メディアインタフェース４７０と、顔検出回路５００と、コントローラ５１０とは、個別に構成されるとした。しかし必ずしもこのような構成である必要はない。例えば、これらの構成要素の一部または全部が１つのチップで実現されたデジタルビデオカメラにも、前述の実施形態の思想を適用できる。
　また、前述の実施形態において、生成された画像データは記録メディアインタフェース４７０に接続された記録メディアに記憶されるとした。しかし必ずしもこのような構成である必要はない。例えば、デジタルビデオカメラ１００に内蔵されたフラッシュメモリやハードディスクなどに記憶される構成のデジタルビデオカメラにも、前述の実施形態の思想を適用できる。
　また、前述の実施形態において、右目用画像生成ユニット２００の画像処置部２３０は、右目用画像データおよび左目用画像データを同時にバス４８０に出力した。しかし必ずしもこのような構成である必要はない。例えば、右目用画像データおよび左目用画像データを交互に出力する構成であっても、前述の実施形態の思想を適用できる。
　また、前述の実施形態において、撮像装置としてデジタルビデオカメラを例示した。しかし、デジタルビデオカメラ以外の撮像装置であってもよい。３Ｄ画像を撮像するための２つの光学系を備えた撮像装置であれば、前述の実施形態の思想を適用できる。
　前述の実施形態の思想は、デジタルビデオカメラやデジタルスチルカメラやカメラ機能付携帯電話やカメラ機能付スマートフォンなどの撮像装置などに適用できる。
　　１００：デジタルビデオカメラ
　　２００：右目用画像生成ユニット
　　３００：左目用画像生成ユニット
　　２１０、３１０：光学系
　　２２０、３２０：レンズ駆動部
　　２３０、３３０：画像処理部
　　２４０、３４０：ＣＭＯＳイメージセンサ
　　４００：視差算出回路
　　４１０：圧縮／伸張部
　　４２０：ＯＳＤ生成部
　　４３０：液晶ディスプレイ（ＬＣＤ）インタフェース
　　４４０：液晶ディスプレイ（ＬＣＤ）
　　４５０：外部モニタ用ＯＳＤ生成部
　　４６０：外部モニタインタフェース
　　４７０：記録メディアインタフェース
　　５００：顔検出回路
　　５１０：コントローラ
　　５２０：ジャイロセンサ
　　５３０：内部メモリ
　　５４０：操作部材

Claims (7)

  1. 　被写体像を撮像して、立体画像を構成する第１画像データおよび第２画像データを生成する撮像部と、
    　前記第１画像データおよび第２画像データの少なくとも一方から所定のオブジェクトの位置を検出するオブジェクト検出部と、
    　前記第１画像データおよび第２画像データのうちの一方の画像データから検出された所定オブジェクトの位置を示す第１重畳画像データを、前記一方の画像データに合成し、前記第１重畳画像データに基づく位置と水平方向において異なる位置を示す第２重畳画像データを、前記第１画像データおよび第２画像データのうちの他方の画像データに合成する合成部と、
    を備えた撮像装置。
  2. 　前記第１重畳画像データに基づく画像の大きさは、前記第２重畳画像データに基づく画像の大きさと同じであり、前記第１重畳画像データに基づく画像と前記第２重畳画像データに基づく画像は、垂直方向の位置が同じであるが、水平方向の位置が異なる、
    請求項１記載の撮像装置。
  3. 　前記オブジェクト検出部により検出された所定オブジェクトについて、前記第１画像データに基づく画像と前記第２画像データに基づく画像との間の視差を算出する視差算出部をさらに備え、
    　前記合成部は、前記第１重畳画像データに基づく画像と前記第２重畳画像データに基づく画像間の視差を、前記視差算出部によって算出された視差の値以上の値に設定する、
    請求項１または２記載の撮像装置。
  4. 　前記合成部は、前記第１重畳画像データに基づく画像および前記第２重畳画像データに基づく画像の少なくとも一方の色を、前記視差算出部により算出された視差が所定値より大きい場合と所定値未満の場合とで異ならせる、
    請求項３記載の撮像装置。
  5. 　前記オブジェクト検出部により複数の所定オブジェクトが検出された場合、前記合成部は、前記複数の所定オブジェクトに対する視差の中の最大視差に基づいて、前記第１重畳画像データに基づく画像と前記第２重畳画像データに基づく画像間の視差を決定する、
    請求項３記載の撮像装置。
  6. 　立体画像及び非立体画像が撮像可能な撮像装置であって、
    　被写体像を撮像して画像データを生成する撮像部と、
    　前記画像データから所定オブジェクトの位置を検出する検出部と、
    　前記検出部によって検出された所定オブジェクトの位置に基づいて、前記画像データに基づく画像における前記所定オブジェクトの位置を示す重畳画像データを生成し、前記画像データに合成する合成部と
    を備え、
    　前記合成部は、立体画像撮像時における重畳画像データに基づく画像の大きさが、非立体画像撮像時における重畳画像データに基づく画像の大きさよりも大きくなるように、前記重畳画像データを生成する、
    撮像装置。
  7. 　被写体像を撮像して、立体画像を構成する第１画像データおよび第２画像データを生成する撮像部と、
    　前記第１画像データおよび第２画像データの少なくとも一方から、所定オブジェクトの位置を検出するオブジェクト検出部と、
    　前記オブジェクト検出部によって検出された所定オブジェクトの位置に基づいて、前記第１画像データに基づく画像における所定オブジェクトの位置を示す第１重畳画像データと、前記第２画像データに基づく画像における所定オブジェクトの位置を示す第２重畳画像データとを作成し、前記第１画像データおよび第２画像データに前記第１重畳画像データおよび第２重畳画像データをそれぞれ合成する合成部と、
    　前記オブジェクト検出部により検出された所定オブジェクトに対して、前記第１画像データに基づく画像と前記第２画像データに基づく画像間の視差を算出する視差算出部と
    を備え、
    　前記オブジェクト検出部により複数の所定オブジェクトが検出された場合、前記合成部は、前記複数の所定オブジェクトに対する視差の中の最大視差に基づいて、前記第１重畳画像データに基づく画像と前記第２重畳画像データに基づく画像間の視差を決定する、
    撮像装置。
PCT/JP2012/004249 2011-06-29 2012-06-29 撮像装置 WO2013001839A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-144030 2011-06-29
JP2011144030A JP2014170981A (ja) 2011-06-29 2011-06-29 撮像装置

Publications (1)

Publication Number Publication Date
WO2013001839A1 true WO2013001839A1 (ja) 2013-01-03

Family

ID=47423756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/004249 WO2013001839A1 (ja) 2011-06-29 2012-06-29 撮像装置

Country Status (2)

Country Link
JP (1) JP2014170981A (ja)
WO (1) WO2013001839A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131405A (ja) * 2006-11-21 2008-06-05 Sony Corp 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2011077900A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 画像処理装置、カメラ及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008131405A (ja) * 2006-11-21 2008-06-05 Sony Corp 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2011077900A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp 画像処理装置、カメラ及び画像処理方法

Also Published As

Publication number Publication date
JP2014170981A (ja) 2014-09-18

Similar Documents

Publication Publication Date Title
US20120154551A1 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US20120263372A1 (en) Method And Apparatus For Processing 3D Image
JP2011064894A (ja) 立体画像表示装置
US20110304693A1 (en) Forming video with perceived depth
TW201205181A (en) Video camera providing videos with perceived depth
US20110149050A1 (en) Stereoscopic image display apparatus
JPWO2011114683A1 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
WO2010092823A1 (ja) 表示制御装置
JP5874192B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2013088629A1 (en) Image processing apparatus, method thereof, and non-transitory computer readable storage medium
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
JP6155471B2 (ja) 画像生成装置、撮像装置および画像生成方法
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
CN103339948B (zh) 3d视频再现装置、3d成像装置和3d视频再现方法
WO2012043003A1 (ja) 立体画像表示装置および立体画像表示方法
JP5347987B2 (ja) 映像処理装置
TWI505708B (zh) 多鏡頭影像擷取裝置及其立體影像顯示方法
JP2012015818A (ja) 立体画像表示装置及び表示方法
JP2012089906A (ja) 表示制御装置
JP2006267767A (ja) 画像表示装置
JP2012134885A (ja) 画像処理装置及び画像処理方法
CN102547340A (zh) 立体显示系统、眼镜装置、显示装置和图像显示系统
WO2013001839A1 (ja) 撮像装置
JP4249187B2 (ja) 立体映像処理装置並びにそのプログラム
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12804892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12804892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP