WO2012105433A1 - 撮像装置、データ処理方法、およびプログラム - Google Patents
撮像装置、データ処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2012105433A1 WO2012105433A1 PCT/JP2012/051770 JP2012051770W WO2012105433A1 WO 2012105433 A1 WO2012105433 A1 WO 2012105433A1 JP 2012051770 W JP2012051770 W JP 2012051770W WO 2012105433 A1 WO2012105433 A1 WO 2012105433A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- eye
- eye image
- imaging
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
- G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Definitions
- the present invention relates to an imaging device, a data processing method, and a program.
- the present invention relates to a compound-eye imaging device that generates stereoscopic image data, a data processing method in the imaging device, and a program for controlling the imaging device.
- a compound-eye imaging device that generates stereoscopic image data for displaying a stereoscopic image based on left-eye image data and right-eye image data obtained by imaging is known.
- Patent Document 1 discloses a compound-eye digital camera as a compound-eye imaging device.
- the compound-eye digital camera includes a plurality of imaging units, a detection unit that detects whether or not vertical shooting is performed, and a recording unit that records an image obtained from a part or all of the plurality of imaging units on a recording medium. And an image obtained from some of the plurality of imaging means when the vertical shooting is detected by the detection means and the shooting is instructed by the shutter button. Control means for controlling the recording means so as to record the information.
- Patent Document 2 discloses a compound eye camera as a compound eye type imaging apparatus.
- the compound-eye camera determines whether an obstacle is included in the angle of view of the viewpoint image acquired by the two imaging units. Specifically, the compound eye camera determines whether or not an obstacle is included in a predetermined range area around the viewpoint image.
- the compound-eye camera corrects the viewpoint images acquired by the two imaging units so that the obstacle region including the obstacle can be stereoscopically viewed. Furthermore, the compound eye camera performs a three-dimensional process using the corrected viewpoint image, and generates a stereoscopic display image.
- the compound-eye digital camera of Patent Document 1 records only an image obtained from a predetermined imaging unit among a plurality of imaging units on a recording medium in the case of vertical shooting. For this reason, when an object such as a user's finger or a strap of the compound-eye digital camera is placed on the lens of the predetermined imaging means, the user can obtain only an image showing the object.
- the object is placed on the lens of one image pickup unit, it is based on the left-eye image data, the right-eye image data, the left-eye image data, and the right-eye image data.
- the stereoscopic image data generated in this way is recorded on a recording medium.
- image data having low utility value for the user is recorded on the recording medium. Therefore, the storable capacity of the recording medium is reduced due to the presence of such image data.
- the compound eye camera of Patent Document 2 repairs a missing portion of the subject image due to an obstacle using another subject image. Therefore, the compound eye camera can prevent image data that is considered to be a failure for the user from being stored in the recording medium.
- the compound-eye camera requires data processing for determining whether an obstacle is included and data processing for correcting at least one of the viewpoint images acquired by the two imaging units. Processing takes time.
- the present invention has been made in view of the above problems, and its purpose is to enable efficient use of memory in a configuration in which a missing portion of a subject image due to an obstacle is not repaired using another subject image.
- an imaging device is a compound-eye imaging device that generates stereoscopic image data for displaying a stereoscopic image based on left-eye image data and right-eye image data obtained by imaging.
- the imaging apparatus includes a first imaging element for generating left-eye image data, a second imaging element for generating right-eye image data, a processor, left-eye image data, and the right-eye image data
- a memory for storing the stereoscopic image data.
- the processor determines whether or not the left-eye image data includes an image of an object that blocks external light from entering the first image sensor.
- the processor determines whether or not the right-eye image data includes an image of an object that blocks external light from entering the second image sensor.
- the processor erases one image data from the memory when one of the left-eye image data and the right-eye image data includes an object image and the other image data does not include an object image. .
- the processor when erasing one image data from the memory, the processor further erases the stereoscopic image data generated based on the left-eye image data and the right-eye image data from the memory.
- the imaging apparatus further includes a shutter button and a mechanical shutter that operates by pressing the shutter button.
- the processor determines whether or not each of the left-eye image data and the right-eye image data obtained by imaging using the mechanical shutter includes an object image. If the processor determines that the image of the object is included only in the image data for the left eye obtained by imaging using the mechanical shutter, the processor deletes the image data for the left eye from the memory, and performs imaging using the mechanical shutter. When it is determined that only the obtained right-eye image data includes an object image, the right-eye image data is deleted from the memory.
- the imaging apparatus further includes a display, an electronic shutter for displaying a through image on the display, a shutter button, and a mechanical shutter that operates by pressing the shutter button.
- the processor determines whether or not each of the left-eye image data and the right-eye image data obtained by imaging using the electronic shutter includes an object image.
- the processor determines that the image of the object is included only in the image data for the left eye obtained by imaging using the electronic shutter, the image is obtained by imaging using the mechanical shutter when the shutter button is depressed.
- the left-eye image data is erased from the memory.
- the processor determines that the image of the object is included only in the image data for the right eye obtained by imaging using the electronic shutter, the image is obtained by imaging using the mechanical shutter when the shutter button is depressed. Erase the image data for the right eye from the memory.
- the imaging device further includes an autofocus function.
- the processor uses the image data for the left eye and the image data for the right eye obtained by imaging using the electronic shutter in a state in focus by the autofocus function, and uses the image data for the left eye and the image data for the right eye, respectively. It is determined whether an image is included.
- the memory includes a volatile memory and a nonvolatile memory.
- the processor stores left-eye image data and right-eye image data in the volatile memory. If the processor determines that one of the left-eye image data and the right-eye image data includes an object image, and the other image data does not include an object image, the processor stores the volatile memory. One image data is erased from the image data and the other image data is stored in the nonvolatile memory.
- a data processing method includes a compound-eye imaging device that generates stereoscopic image data for displaying a stereoscopic image based on left-eye image data and right-eye image data obtained by imaging. Is a data processing method.
- the imaging apparatus includes a first imaging element for generating left-eye image data, a second imaging element for generating right-eye image data, a processor, left-eye image data, and the right-eye image data A memory for storing the stereoscopic image data.
- the processor determines whether or not the left-eye image data includes an image of an object that blocks the incidence of external light on the first image sensor; Determining whether or not an image of an object that blocks incidence of external light on the second image sensor is included, and one of the left-eye image data and the right-eye image data And a step of erasing one image data from the memory when an image is included and the other image data does not include an object image.
- a program uses a compound-eye imaging device that generates stereoscopic image data for displaying a stereoscopic image based on left-eye image data and right-eye image data obtained by imaging. It is a program for controlling.
- the imaging device includes a first imaging device for generating left-eye image data, a second imaging device for generating right-eye image data, a processor, left-eye image data, right-eye image data, and a stereoscopic image. And a memory for storing image data.
- the program determines whether the image data for the left eye includes an image of an object that blocks external light from entering the first image sensor, and the image data for the right eye to the second image sensor.
- the processor is caused to execute the step of deleting one of the image data from the memory.
- the imaging device examples include a digital single lens reflex camera, a compact digital camera, a mobile phone including a smartphone, and a PDA (Personal Digital Assistant).
- a mobile phone will be described as an example of the imaging device.
- FIG. 1 is a diagram showing the appearance of the mobile phone 1.
- FIG. 1A is a front view of the mobile phone 1.
- FIG. 1B is a back view of the mobile phone 1.
- the mobile phone 1 includes a display 20 and operation buttons 18 including a shutter button 181.
- the shutter button 181 may function as a button for instructing execution of processing other than imaging when the mode is not for imaging.
- the mobile phone 1 includes a camera 11, a camera 12, and a strobe 19 on the surface opposite to the surface on which the display 20 is provided.
- the mobile phone 1 is based on an image captured by the camera 11 (hereinafter also referred to as “left-eye image”) and an image captured by the camera 12 (hereinafter also referred to as “right-eye image”).
- 3D images (hereinafter referred to as “stereoscopic images” or “3D images”) are generated. When obtaining a 3D image, simultaneous imaging by the camera 11 and the camera 12 is performed.
- FIG. 2 is a diagram for explaining a first example of data processing performed by the mobile phone 1 when a subject is imaged using the two cameras 11 and 12.
- FIG. 2A is a diagram illustrating a state in which the user of the mobile phone 1 holds the mobile phone 1 with both hands for imaging a subject.
- FIG. 2B is a diagram showing the contents of data processing in time series when the shutter button 181 is pressed in the state of FIG.
- the right and left fingers of the user are not on camera 11 and camera 12. For this reason, a finger does not appear in the captured left-eye image and right-eye image.
- an image processing engine which will be described later, includes left-eye image data 801 obtained by imaging using the camera 11 and right-eye image data 802 obtained by imaging using the camera 12. 13 is stored in the RAM 310 (see FIG. 6).
- the mobile phone 1 generates 3D image data 803 from the left-eye image data 801 and the right-eye image data 802 by the image processing engine 13.
- the mobile phone 1 stores left-eye image data 801, right-eye image data 802, and 3D image data 803 in a RAM (Random Access Memory) 16 provided outside the image processing engine 13 (FIGS. 5 and 6). Forward to Browse).
- the mobile phone 1 further records image data 801, 802, and 803 stored in the RAM 16 in an IC (Integrated Circuit) record when receiving a data storage instruction from the user or automatically without waiting for the instruction. Write to the medium 221 (see FIGS. 5 and 6).
- FIG. 3 is a diagram for explaining a second example of data processing performed by the mobile phone 1 when a subject is imaged using the two cameras 11 and 12.
- FIG. 3A shows a state in which the user of the mobile phone 1 holds the mobile phone 1 with both hands for imaging a subject, and the middle finger 901 of the left hand is applied to a part of the lens of the camera 11.
- FIG. 3B is a diagram showing the contents of the data processing in time series when the shutter button 181 is pressed in the state of FIG.
- the middle finger 901 of the user's left hand is on the camera 11, the middle finger 901 is shown in the captured image for the left eye.
- left-eye image data 801 obtained by imaging using the camera 11 and right-eye image data 802 obtained by imaging using the camera 12 are included in the image processing engine 13. Stored in the RAM 310.
- the left-eye image data 801 includes image data representing the middle finger 901.
- the mobile phone 1 generates 3D image data 803 from the left-eye image data 801 and the right-eye image data 802 by the image processing engine 13.
- the 3D image data 803 also includes image data representing the middle finger 901.
- the mobile phone 1 transfers the left-eye image data 801, the right-eye image data 802, and the 3D image data 803 to the RAM 16 provided outside the image processing engine 13.
- the mobile phone 1 erases the left-eye image data 801 in which the middle finger 901 is reflected from the RAM 16. Further, the mobile phone 1 erases the 3D image data 803 generated using the left-eye image data 801 in which the middle finger 901 is captured from the RAM 16.
- the mobile phone 1 writes only the right-eye image data 802 left in the RAM 16 without being erased when an instruction to save data is received from the user or automatically, to the IC recording medium 221.
- FIG. 4 is a diagram for explaining a third example of data processing performed by the mobile phone 1 when a subject is imaged using the two cameras 11 and 12.
- FIG. 4A shows a state in which the user of the mobile phone 1 holds the mobile phone 1 with both hands for imaging a subject, and the middle finger 902 of the right hand is applied to a part of the lens of the camera 12.
- FIG. 4B is a diagram showing the contents of the data processing in time series when the shutter button 181 is pressed in the state of FIG.
- the middle finger 902 of the user's right hand is on the camera 12
- the middle finger 902 is shown in the captured right-eye image.
- left-eye image data 801 obtained by imaging using the camera 11 and right-eye image data 802 obtained by imaging using the camera 12 are included in the image processing engine 13.
- the right eye image data 802 includes image data representing the middle finger 902.
- the mobile phone 1 generates 3D image data 803 from the left-eye image data 801 and the right-eye image data 802 by the image processing engine 13.
- the 3D image data 803 also includes image data representing the middle finger 902.
- the mobile phone 1 transfers the left-eye image data 801, the right-eye image data 802, and the 3D image data 803 to the RAM 16 provided outside the image processing engine 13.
- the mobile phone 1 erases the right-eye image data 802 showing the middle finger 902 from the RAM 16. Further, the mobile phone 1 erases the 3D image data 803 generated using the right-eye image data 802 in which the middle finger 902 is captured from the RAM 16.
- the mobile phone 1 writes only the left-eye image data 801 left in the RAM 16 without being erased into the IC recording medium 221 when a data storage instruction is received from the user or automatically.
- the mobile phone 1 erases the image data in which the middle finger 901 or the middle finger 902 is captured from the RAM 16 and erases the 3D image data 803 generated based on the image data from the RAM 16. In addition, after erasing the image data, the mobile phone 1 stores the image data that has not been deleted and remains in the RAM 16 in an IC recording medium 221 that can be attached to and detached from the mobile phone 1.
- the mobile phone 1 only the image data of the finger not captured can be stored in the IC recording medium 221. That is, of the left-eye image data 801 and the right-eye image data 802, only image data that is considered to be successful can be stored in the IC recording medium 221 without storing image data that is considered to be unsuccessful for the user. For this reason, it is possible to prevent image data considered to be a failure for the user from being stored in the IC recording medium 221. For this reason, by using the mobile phone 1, the storage area of the IC recording medium 221 can be used efficiently.
- the 3D image data 803 generated based on the image data in which the finger is captured is image data that is considered to be a failure for the user. Therefore, the mobile phone 1 can efficiently use the storage area of the IC recording medium 221 by not storing the 3D image data 803 in the IC recording medium 221.
- the mobile phone 1 is configured so that the left-eye image data 801 and the 3D image data 803 are deleted from the RAM 16 after the right-eye image data 802 is stored in the IC recording medium 221. Also good.
- the mobile phone 1 is configured such that the right-eye image data 802 and the 3D image data 803 are deleted from the RAM 16 after the left-eye image data 801 is stored in the IC recording medium 221. Also good.
- FIG. 5 is a diagram showing a hardware configuration of the mobile phone 1.
- a mobile phone 1 includes a camera 11, a camera 12, an image processing engine 13, a CPU (Central Processing Unit) 14 that executes a program, and a ROM (Read that stores data in a nonvolatile manner). Only Memory) 15, RAM 16 for storing data in a volatile manner, NAND flash memory 17, operation button 18 for receiving an instruction input by the user of the mobile phone 1, strobe 19, display 20, communication An IF (Interface) 21, a reader / writer 22, and a power supply unit 23 are provided.
- IF Interface
- the image processing engine 13 generates image data based on charges generated by irradiating light to the image sensors included in the cameras 11 and 12. Details of the image processing engine 13 will be described later.
- the CPU 14 performs data processing other than the data processing performed by the image processing engine 13.
- the flash memory 17 is a nonvolatile semiconductor memory.
- the flash memory 17 volatilely stores various data such as various programs for controlling the mobile phone 1, data generated by the mobile phone 1, and data acquired from an external device of the mobile phone 1.
- the communication IF 21 performs signal processing for the mobile phone 1 to perform wireless communication with an external communication device.
- the power supply unit 23 supplies power to the cameras 11 and 12, the image processing engine 13, the CPU 14, the strobe 19, the display 20, the communication IF 21, the reader / writer 22, and the like via the data bus.
- Each component 11 to 23 is connected to each other by a data bus.
- An IC recording medium 221 is attached to the reader / writer 22.
- the processing in the mobile phone 1 is realized by software executed by each hardware, the image processing engine 13 and the CPU 14.
- Such software may be stored in advance in the image processing engine 13 and the flash memory 17.
- the software may be stored in the IC recording medium 221 or other storage medium and distributed as a program product.
- the software may be provided as a program product that can be downloaded by an information provider connected to the so-called Internet.
- Such software is read from the storage medium by the reader / writer 22 or other reading device, or downloaded via the communication IF and then temporarily stored in the flash memory 17.
- the software is read from the flash memory 17 by the CPU 14 and further stored in the flash memory 17 or the image processing engine 13 in the form of an executable program.
- the image processing engine 13 or the CPU 14 executes the program.
- each component constituting the mobile phone 1 shown in the figure is a general one. Therefore, it can be said that the essential part of the present invention is the software stored in the image processing engine 13, the flash memory 17, the IC recording medium 221 and other storage media, or the software downloadable via the network. Since the operation of each hardware of mobile phone 1 is well known, detailed description will not be repeated.
- the recording medium is not limited to an IC card, but is a DVD-ROM, CD-ROM, FD (Flexible Disk), hard disk, magnetic tape, cassette tape, optical disk (MO (Magnetic Optical Disc) / MD (Mini Disc) / It carries fixed programs such as semiconductor memories such as DVD (Digital Versatile Disc), optical card, mask ROM, EPROM (Electronically Programmable Read-Only Memory), EEPROM (Electronically Erasable Programmable Read-Only Memory), flash ROM, etc. It may be a medium.
- the recording medium is a non-temporary medium that can be read by the computer.
- the program here includes not only a program directly executable by the CPU but also a program in a source program format, a compressed program, an encrypted program, and the like.
- FIG. 6 is a diagram showing a main part of the hardware configuration of the mobile phone 1.
- the mobile phone 1 includes a camera 11, a camera 12, an image processing engine 13, a RAM 16, a display 20, a reader / writer 22, and an A / D (Analog / Digital) converter 24. And an A / D converter 25.
- An IC recording medium 221 is attached to the reader / writer 22.
- the camera 11 includes a lens 111, a mechanical shutter 112, and an image sensor 113.
- the camera 12 includes a lens 121, a mechanical shutter 122, and an image sensor 123.
- the lens 111 collects external light (light reflected by the subject, etc.).
- the mechanical shutter 112 is a device for switching whether to irradiate the image sensor 113 with the light that has passed through the lens 111.
- the mechanical shutter 112 operates when the shutter button 181 is pressed. More specifically, the mechanical shutter 112 operates based on a command from the CPU 14.
- the image sensor 113 converts light into an electrical signal. Further, the image sensor 113 sends an electric signal to the A / D converter 24.
- the image sensor 113 is, for example, a CCD (Charge Coupled Device) or a CMOS (Charge Coupled Device).
- the lens 121 collects external light (light reflected by the subject).
- the mechanical shutter 122 is a device for switching whether to irradiate the image sensor 123 with the light that has passed through the lens 121.
- the mechanical shutter 122 operates when the shutter button 181 is pressed. More specifically, the mechanical shutter 122 operates based on a command from the CPU 14.
- the image sensor 123 converts light into an electrical signal. Further, the image sensor 123 sends an electric signal to the A / D converter 25.
- the image sensor 123 is also the same type of element as the image sensor 113.
- the A / D converter 24 converts the analog signal output from the image sensor 113 into a digital signal.
- the A / D converter 24 sends the digital signal obtained by the conversion to the image processing engine 13.
- the A / D converter 25 converts the analog signal output from the image sensor 123 into a digital signal.
- the A / D converter 25 sends the digital signal obtained by the conversion to the image processing engine 13.
- the image processing engine 13 includes a processor 300, a RAM 310, and a ROM 320.
- the processor 300 includes a CPU 301 and a DSP (Digital Signal Processor) 302.
- the CPU 301, the DSP 302, the RAM 310, and the ROM 320 are connected to each other via a data bus.
- the processor 300 executes processing based on a program stored in the ROM 320.
- the CPU 301 executes processing related to overall control and communication in the image processing engine 13.
- the CPU 301 is, for example, a CPU of RISC (Reduced Instruction Set Computer) architecture.
- the DSP 302 is a processor dedicated to image processing. Note that the number of DSPs 302 constituting the processor 300 is not limited to one.
- the RAM 310 functions as a buffer memory that temporarily stores digital signals input from the A / D converters 24 and 25.
- the RAM 310 also functions as a work memory when data processing is performed by the CPU 301 and the DSP 302.
- ROM 320 includes a program executed by processor 300.
- the CPU 301 executes writing of data into the RAMs 310 and 16, reading of data from the RAMs 310 and 16, and erasing of data recorded in the RAMs 310 and 16. In addition, the CPU 301 controls writing of data to the IC recording medium 221, reading of data from the IC recording medium 221, and erasing of data recorded on the IC recording medium 221.
- a configuration including the RAM 310, the RAM 16, and the IC recording medium 221 is referred to as a “memory 90”.
- FIG. 7 is a flowchart showing the flow of processing performed in the mobile phone 1. Specifically, FIG. 7 shows a flow of data processing in a state where the operation mode of the mobile phone 1 is switched to the imaging mode.
- step S2 CPU 14 determines whether shutter button 181 has been pressed by the user.
- shutter button 181 is pressed refers to a half-press of the shutter button 181 for focusing with the autofocus function.
- the CPU 301 of the image processing engine 13 receives an instruction from the CPU 14 that the shutter button 181 has not been pressed (NO in step S2), the CPU 301 captures an image of the subject using the electronic shutter.
- the electronic shutter is a shutter realized by the image processing engine 13 and does not require a physical light shielding plate.
- the CPU 301 When performing imaging using an electronic shutter, for example, the CPU 301 opens the mechanical shutter 112 and closes the mechanical shutter 122.
- the CPU 301 receives a digital signal based on the analog signal output from the image sensor 113. Both mechanical shutters 112 and 122 may be opened.
- step S4 the CPU 301 generates digital data (hereinafter referred to as “RAW data”).
- step S6 the CPU 301 develops the generated RAW data.
- the RAW data becomes visible image data that can be recognized as an image by human eyes.
- step S ⁇ b> 10 the CPU 301 displays a through image on the display 20. Thereby, the user can visually recognize the image of the subject imaged using the electronic shutter on the display 20 in real time.
- step S2 When the CPU 301 receives an instruction from the CPU 14 that the shutter button 181 has been pressed (YES in step S2), the CPU 301 performs imaging of the subject using the two mechanical shutters 112 and 122 in step S12. In step S14, the CPU 301 generates RAW data based on the digital signals output from the A / D converters 24 and 25, respectively. That is, the CPU 301 generates two RAW data.
- step S16 the CPU 301 determines whether or not the detailed setting in the imaging mode is set to the mode for saving the RAW data. If the mobile phone 1 does not have a function for storing RAW data, the CPU 301 advances the process to step S22 without performing the determination.
- step S16 If the CPU 301 determines that the mode for saving RAW data is set (YES in step S16), the CPU 301 compresses the RAW data in step S18. Specifically, the CPU 301 performs lossless compression on the RAW data. In step S20, the CPU 301 writes the reversibly compressed RAW data to the IC recording medium 221, and then proceeds to step S22.
- CPU 301 determines that the mode for saving RAW data is not set (NO in step S16), it performs development processing in step S22. Specifically, the CPU 301 performs sensor correction processing, demosaic processing, pixel interpolation processing, color correction processing (white balance adjustment, color matrix conversion, gamma conversion), and RGB image processing (sharpness correction, tone correction, exposure correction, etc.). Do.
- step S22 left-eye image data 801 and right-eye image data 802 as shown in FIGS. 2 to 4 are stored in the RAM 310 in the image processing engine 13.
- step S24 the CPU 301 generates 3D image data using the left-eye image data and the right-eye image data obtained by the development processing in step S22.
- the CPU 301 stores the generated 3D image data in the RAM 310.
- step S26 the CPU 301 writes the left-eye image data and right-eye image data obtained in the development process in step S22 and the 3D image data obtained in the process in step S24 into the RAM 16. Specifically, the CPU 301 transfers the left-eye image data, the right-eye image data, and the 3D image data to the RAM 16 in association with each other.
- step S28 the CPU 301 executes the specification of the image data to be deleted from the RAM 16 among the left-eye image data, the right-eye image data, and the 3D image data, and the deletion of the specified image data from the RAM 16. Details of the processing in step S28 will be described later (FIG. 9).
- step S30 the CPU 301 compresses the image data that has not been deleted from the RAM 16 out of the left-eye image data, the right-eye image data, and the 3D image data. Specifically, the CPU 301 irreversibly compresses image data that has not been deleted from the RAM 16. For example, the CPU 301 converts image data that has not been erased from the RAM 16 into image data in a predetermined format (JPEG format, DCF format, Exif format, or TIFF format). In step S ⁇ b> 32, the CPU 301 writes the image data compressed in step S ⁇ b> 30 on the IC recording medium 221.
- a predetermined format JPEG format, DCF format, Exif format, or TIFF format
- the CPU 301 ends the series of processes.
- the order of data processing performed by the CPU 301 is not limited to the order shown in FIG.
- the CPU 301 may perform the process of step S18 and the process of step S20 in parallel with the processes of step S22 to step S32.
- the image data to be deleted may be deleted from the RAM 16 after the writing of the image data to the IC recording medium 221 shown in step S32 is completed.
- the order of the process of step S28 and the process of step S30 may be interchanged.
- the process of storing the left-eye image data and the right-eye image data obtained in step S22 in the RAM 16 may be performed before the 3D image data generation shown in step S24.
- FIG. 8 is a flowchart showing details of the process in step S28 of FIG.
- the CPU 301 includes an image of an object such as a finger (hereinafter also referred to as “obstacle”) that blocks external light from entering the image sensor 113 in the left-eye image data. Judge whether or not. The determination can use the technique described as background art, for example.
- the CPU 301 includes an obstacle image in the left-eye image data when the left-eye image based on the left-eye image data includes a region whose luminance is equal to or less than a threshold value over a predetermined area. You may judge.
- the CPU 301 has a region in which the luminance is equal to or less than a threshold over a predetermined area in the left-eye image based on the left-eye image data, and the predetermined wide area in the right-eye image based on the right-eye image data. It may be determined that an image of an obstacle is included in the left-eye image data when there is no region where the luminance is less than or equal to the threshold.
- a method for determining whether or not an image of an obstacle is included is not particularly limited.
- step S104 the obstacle that blocks external light from entering the image sensor 123 in the right-eye image data. It is determined whether an object image is included. The determination can use the technique described as background art, for example. Alternatively, the CPU 301 may determine that an image of an obstacle is included in the right-eye image data when there is an area in which the luminance is equal to or smaller than a threshold value over a predetermined area in the right-eye image. .
- the CPU 301 has a region where the luminance is less than or equal to the threshold over a predetermined area in the right eye image, and there is no region where the luminance is less than or equal to the threshold over the predetermined area in the left eye image.
- a method for determining whether or not an image of an obstacle is included is not particularly limited.
- the series of processing ends. That is, the CPU 301 does not erase any of the left-eye image data, the right-eye image data, and the 3D image data from the RAM 16. On the other hand, if the CPU 301 determines that the obstacle image is not included in the right-eye image data (NO in step S104), the CPU 301 deletes the left-eye image data and the 3D image data from the RAM 16 in step S106.
- step S108 the CPU 301 determines whether the right-eye image data includes an obstacle image. To do.
- the series of processing ends. That is, the CPU 301 does not erase any of the left-eye image data, the right-eye image data, and the 3D image data from the RAM 16.
- step S110 right-eye image data and 3D image data are erased from RAM 16.
- the CPU 301 satisfies the condition that each of the left-eye image data and the right-eye image data captured using the mechanical shutters 112 and 122 does not include an image of an obstacle such as a finger. Determine whether. When the CPU 301 determines that one of the left-eye image data and the right-eye image data does not satisfy the condition, the CPU 301 deletes the one image data from the RAM 16. If the CPU 301 determines that one of the left-eye image data and the right-eye image data does not satisfy the condition, the CPU 301 further generates the image data based on the left-eye image data and the right-eye image data. The 3D image data is erased from the RAM 16.
- the left-eye image data and the right-eye image data are not erased when the left-eye image data and the right-eye image data include an obstacle image.
- the present invention is not limited to this.
- the mobile phone 1 may be configured to erase the left-eye image data and the right-eye image data when an obstacle image is included in the left-eye image data and the right-eye image data.
- the mobile phone 1 may be configured not to generate the 3D image data. Further, when the image data for the left eye and the image data for the right eye includes an obstacle image, the mobile phone 1 may be configured not to generate the 3D image data.
- FIG. 9 is a flowchart showing another flow of processing performed in the mobile phone 1. Specifically, FIG. 9 shows another flow of processing when image data to be erased is specified before imaging using the mechanical shutters 112 and 122 and after imaging using the electronic shutter. It is the flowchart which showed.
- step S202 is performed between the process of step S8 and the process of step S10.
- step S204 and step S206 are provided between the process of step S24 and the process of step S26 instead of the process of step S28. Therefore, the following description will mainly focus on differences from the flowchart of FIG.
- the mobile phone 1 opens both the mechanical shutters 112 and 122 during imaging using the electronic shutter. Further, the mobile phone 1 will be described as having an autofocus function.
- step S202 the CPU 301 specifies image data to be erased using the left-eye image data and the right-eye image data captured using the electronic shutter. Specifically, the CPU 301 performs the following processing.
- each of the left-eye image data and the right-eye image data captured using the electronic shutter includes an image of an obstacle such as a finger. More specifically, the CPU 301 determines whether each of the left-eye image data and the right-eye image data captured using the electronic shutter in an in-focus state includes an image of an obstacle such as a finger. Determine whether. For example, when the CPU 301 determines that the subject is in focus when the shutter button 181 is half-pressed, the CPU 301 determines whether or not an image of an obstacle is included. The CPU 301 specifies a camera that has output image data including an image of an obstacle such as a finger to the image processing engine 13.
- the CPU 301 identifies that the camera 11 has output the left-eye image data including the obstacle image to the image processing engine 13, the image data for erasing the left-eye image data captured using the mechanical shutter 112 is used. As specified.
- the CPU 301 specifies that the camera 12 has output the right-eye image data including the obstacle image to the image processing engine 13, the image data for erasing the right-eye image data captured using the mechanical shutter 122 is used. As specified. In these cases, 3D image data generated based on the left-eye image data and the right-eye image data captured by the mechanical shutters 112 and 122 is also specified as an erasure target. Data indicating the specified erasure target is stored in the RAM 310.
- the CPU 301 does not specify that the camera 11 and the camera 12 are the cameras that output the image data including the obstacle image to the image processing engine 13, the left-eye image data and the right-eye image are displayed. Data and 3D image data are not subject to deletion.
- step S204 the CPU 301 determines whether image data to be deleted is specified. If the CPU 301 determines that it has been specified (YES in step S204), it deletes the specified image data from the RAM 310 of the image processing engine 13 in step S206. If the image to be deleted is not specified (NO in step S204), CPU 301 advances the process to step S30.
- the shutter button 181 is pressed (that is, mechanical).
- the image data specified in advance among the image data obtained by the images taken by the mechanical shutters 112 and 122 is deleted from the RAM 310.
- step S26 among the left-eye image data, right-eye image data, and 3D image data, the image data that has not been erased in the RAM 310 is written into the RAM 16.
- the 3D image data may be generated after the left-eye image data and the right-eye image data are written in the RAM 16.
- the CPU 301 determines whether an image of an obstacle is included in each of the left-eye image data and the right-eye image data obtained by imaging using the electronic shutter.
- the CPU 301 determines that the image of the object is included only in the image data for the left eye obtained by imaging using the electronic shutter, when the shutter button 181 is pressed, the CPU 301 obtains it by imaging using the mechanical shutter 112. The left-eye image data thus obtained is erased from the RAM 310.
- the CPU 301 determines that the image of the obstacle is included only in the image data for the right eye obtained by imaging using the electronic shutter, when the shutter button 181 is depressed, the CPU 301 performs imaging using the mechanical shutter 122.
- the obtained right eye image data is erased from the RAM 310.
- the configuration for erasing the image data specified as the erasure target from the RAM 310 has been described as an example. However, the present invention is not limited to this.
- the CPU 301 deletes the left-eye image data or the right-eye image data specified as the erasure target from the RAM 16.
- the type telephone 1 may be configured.
- the CPU 301 may delete the 3D image data when it is stored in the RAM 16.
- the image data for determining whether or not an obstacle is included is sent to the electronic shutter at a predetermined time from when the shutter button 181 for operating the mechanical shutters 112 and 122 is pressed. It is good also as image data acquired using.
- the CPU 301 has been described with respect to the configuration in which the image data specified as the erasure target among the left-eye image data, right-eye image data, and 3D image data is erased from the RAM 16 or the RAM 310. It is not limited.
- the mobile phone 1 is configured to delete the image data specified as the deletion target from the IC recording medium 221. May be configured.
- the IC recording medium 221 can also be referred to as an external storage memory, and the RAMs 310 and 16 can be referred to as internal storage memories.
- the erasing timing of the image data to be erased is not particularly limited.
- the 3D image data may not be generated, or the 3D image data may be deleted after generating the 3D image data. That is, whether or not 3D image data is generated is not particularly limited.
- the mobile phone 1 is a compound-eye imaging device that generates stereoscopic image data for displaying a stereoscopic image based on left-eye image data and right-eye image data obtained by imaging.
- the mobile phone 1 includes an image sensor 113 for generating left-eye image data, an image sensor 123 for generating right-eye image data, a CPU 301, left-eye image data, right-eye image data, and stereoscopic image data. And a memory 90 for storing.
- the CPU 301 determines whether the image data for the left eye includes an image of an obstacle that blocks the incidence of external light on the image sensor 113, and the incident of the external light on the image sensor 123 is included in the image data for the right eye It is determined whether or not an image of an obstacle that obstructs is included.
- the CPU 301 includes an obstacle image when one of the left-eye image data and the right-eye image data includes an obstacle image, and the other image data does not include an obstacle image. The other image data is erased from the memory 90.
- the mobile phone 1 described above it is possible to store only the image data that does not show the obstacle in the IC recording medium 221 or save the image data that does not show the obstacle in the IC recording medium. It is possible to continue. That is, of the left-eye image data 801 and the right-eye image data 802, the image data that is considered to be unsuccessful for the user is stored, or only the image data that is considered to be successful is stored in the IC recording medium 221 without being continuously stored. Or you can keep saving. For this reason, it is possible to prevent image data considered to be a failure for the user from being stored in the IC recording medium 221 or from being stored continuously. For this reason, by using the mobile phone 1, the storage area of the IC recording medium 221 can be used efficiently.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Signal Processing For Recording (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
Abstract
障害物による被写体画像の欠落部分を他の被写体画像を用いて修復しない構成において、メモリの効率的な利用が可能な撮像装置を得る。携帯型電話機(1)は、左目用画像データ(801)を生成するための第1の撮像素子と、右目用画像データ(802)を生成するための第2の撮像素子と、CPUと、RAM(16)とを備える。CPUは、左目用画像データ(801)に、第1の撮像素子への外光の入射を遮る指(901)等の障害物の画像が含まれているか否かを判断し、右目用画像データ(802)に、第2の撮像素子への外光の入射を遮る障害物の画像が含まれているか否かを判断する。CPUは、左目用画像データ(801)および右目用画像データ(802)のうち、一方の画像データに障害物の画像が含まれ、他方の画像データに障害物の画像が含まれないとき、当該一方の画像データをRAM(16)から消去する。
Description
本発明は、撮像装置、データ処理方法、およびプログラムに関する。特に、本発明は、立体画像データを生成する複眼式の撮像装置、当該撮像装置におけるデータ処理方法、および当該撮像装置を制御するためのプログラムに関する。
従来、撮像により得られた左目用画像データと右目用画像データとに基づいて、立体画像を表示するための立体画像データを生成する複眼式の撮像装置が知られている。
特開2008-141514号公報(特許文献1)には、複眼式の撮像装置として、複眼デジタルカメラが開示されている。当該複眼デジタルカメラは、複数の撮像手段と、縦撮りか否かを検出する検出手段と、複数の撮像手段のうちの一部又は全部の撮像手段から得られる画像を記録媒体に記録する記録手段と、撮影を指示するシャッタボタンと、検出手段により縦撮りが検出され、かつシャッタボタンにより撮影が指示された場合に、複数の撮像手段のうちの一部の撮像手段から得られる画像を記録媒体に記録するように記録手段を制御する制御手段とを備える。
特開2010-288253号公報(特許文献2)には、複眼式の撮像装置として、複眼カメラが開示されている。複眼カメラは、2つの撮影部が取得した視点画像の画角に障害物が含まれているか否かを判定する。具体的には、複眼カメラは、視点画像の周囲の所定範囲の領域に障害物が含まれるか否かを判定する。複眼カメラは、障害物が含まれていると判定された場合、障害物が含まれる障害物領域を立体視可能なように、2つの撮影部が取得した視点画像を修正する。さらに、複眼カメラは、修正された視点画像を用いて3次元処理を行い、立体表示用画像を生成する。
しかしながら、特許文献1の複眼式デジタルカメラは、縦撮りの場合、複数の撮像手段のうち予め定められた撮像手段から得られる画像のみを記録媒体に記録する。このため、当該予め定められた撮像手段のレンズにユーザの指や当該複眼式デジタルカメラのストラップ等の物体がかかった場合、ユーザは、物体が写った画像しか得られない。
また、横撮りの場合、たとえば1つの撮像手段のレンズに上記物体がかかった場合であっても、左目用画像データと、右目用画像データと、当該左目用画像データおよび右目用画像データに基づいて生成された立体画像データとが、記録媒体に記録される。
したがって、ユーザにとって利用価値の低い画像データが、記録媒体に記録されることになる。それゆえ、記録媒体における記憶可能容量が、このような画像データの存在により少なくなる。
また、特許文献2の複眼カメラは、障害物による被写体画像の欠落部分を他の被写体画像を用いて修復する。したがって、複眼カメラは、ユーザにとって失敗と考えられる画像データが記録媒体に格納されることは防ぐことができる。しかしながら、複眼カメラは、障害物が含まれるか否かを判断するためのデータ処理と、2つの撮像部が取得した視点画像の少なくとも一方を修正するためのデータ処理とが必要であるため、データ処理に時間を要する。
本願発明は、上記の問題点に鑑みなされたものであって、その目的は、障害物による被写体画像の欠落部分を他の被写体画像を用いて修復しない構成において、メモリの効率的な利用が可能な撮像装置、データ処理方法、およびプログラムを提供することにある。
本発明のある局面に従うと、撮像装置は、撮像により得られた左目用画像データと右目用画像データとに基づいて、立体画像を表示するための立体画像データを生成する複眼式の撮像装置である。撮像装置は、左目用画像データを生成するための第1の撮像素子と、右目用画像データを生成するための第2の撮像素子と、プロセッサと、左目用画像データと前記右目用画像データと前記立体画像データとを格納するためのメモリとを備える。プロセッサは、左目用画像データに、第1の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断する。プロセッサは、右目用画像データに、第2の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断する。プロセッサは、左目用画像データおよび右目用画像データのうち、一方の画像データに物体の画像が含まれ、他方の画像データに物体の画像が含まれないとき、一方の画像データをメモリから消去する。
好ましくは、プロセッサは、一方の画像データをメモリから消去する場合には、さらに、左目用画像データと右目用画像データとに基づいて生成された立体画像データをメモリから消去する。
好ましくは、撮像装置は、シャッタボタンと、シャッタボタンの押下により動作するメカニカルシャッタとをさらに備える。プロセッサは、メカニカルシャッタを用いた撮像により得られた左目用画像データおよび右目用画像データの各々に、物体の画像が含まれているか否かを判断する。プロセッサは、メカニカルシャッタを用いた撮像により得られた左目用画像データのみに物体の画像が含まれていると判断した場合、当該左目用画像データをメモリから消去し、メカニカルシャッタを用いた撮像により得られた右目用画像データのみに物体の画像が含まれていると判断した場合、当該右目用画像データをメモリから消去する。
好ましくは、撮像装置は、ディスプレイと、ディスプレイにスルー画像を表示させるための電子シャッタと、シャッタボタンと、シャッタボタンの押下により動作するメカニカルシャッタとをさらに備える。プロセッサは、電子シャッタを用いた撮像により得られた左目用画像データおよび右目用画像データの各々に、物体の画像が含まれるか否かを判断する。プロセッサは、電子シャッタを用いた撮像により得られた左目用画像データのみに物体の画像が含まれていると判断した場合に、シャッタボタンが押し下げられると、メカニカルシャッタを用いた撮像により得られた左目用画像データを、メモリから消去する。プロセッサは、電子シャッタを用いた撮像により得られた右目用画像データのみに物体の画像が含まれていると判断した場合に、シャッタボタンが押し下げられると、メカニカルシャッタを用いた撮像により得られた右目用画像データを、メモリから消去する。
好ましくは、撮像装置は、オートフォーカス機能を更に備える。プロセッサは、オートフォーカス機能によってピントが合った状態で電子シャッタを用いた撮像により得られた左目用画像データおよび右目用画像データを用いて、左目用画像データおよび右目用画像データの各々に物体の画像が含まれるか否かを判断する。
好ましくは、メモリは、揮発性メモリと不揮発性メモリとを含む。プロセッサは、揮発性メモリに、左目用画像データと右目用画像データとを格納する。プロセッサは、左目用画像データおよび右目用画像データのうち、一方の画像データに物体の画像が含まれ、他方の画像データに物体の画像が含まれていないと判断した場合には、揮発性メモリから一方の画像データを消去し、他方の画像データを不揮発性メモリに格納する。
好ましくは、不揮発性メモリは、撮像装置に着脱可能な記録媒体である。
本発明の他の局面に従うと、データ処理方法は、撮像により得られた左目用画像データと右目用画像データとに基づいて立体画像を表示するための立体画像データを生成する複眼式の撮像装置におけるデータ処理方法である。撮像装置は、左目用画像データを生成するための第1の撮像素子と、右目用画像データを生成するための第2の撮像素子と、プロセッサと、左目用画像データと前記右目用画像データと前記立体画像データとを格納するためのメモリとを備える。データ処理方法は、プロセッサが、左目用画像データに、第1の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、プロセッサが、右目用画像データに、第2の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、左目用画像データおよび右目用画像データのうち、一方の画像データに物体の画像が含まれ、他方の画像データに物体の画像が含まれていないときに、プロセッサが、一方の画像データをメモリから消去するステップとを備える。
本発明の他の局面に従うと、データ処理方法は、撮像により得られた左目用画像データと右目用画像データとに基づいて立体画像を表示するための立体画像データを生成する複眼式の撮像装置におけるデータ処理方法である。撮像装置は、左目用画像データを生成するための第1の撮像素子と、右目用画像データを生成するための第2の撮像素子と、プロセッサと、左目用画像データと前記右目用画像データと前記立体画像データとを格納するためのメモリとを備える。データ処理方法は、プロセッサが、左目用画像データに、第1の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、プロセッサが、右目用画像データに、第2の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、左目用画像データおよび右目用画像データのうち、一方の画像データに物体の画像が含まれ、他方の画像データに物体の画像が含まれていないときに、プロセッサが、一方の画像データをメモリから消去するステップとを備える。
本発明のさらに他の局面に従うと、プログラムは、撮像により得られた左目用画像データと右目用画像データとに基づいて立体画像を表示するための立体画像データを生成する複眼式の撮像装置を制御するためのプログラムである。撮像装置は、左目用画像データを生成するための第1の撮像素子と、右目用画像データを生成するための第2の撮像素子と、プロセッサと、左目用画像データと右目用画像データと立体画像データとを格納するためのメモリとを備える。プログラムは、左目用画像データに、第1の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、右目用画像データに、第2の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、左目用画像データおよび右目用画像データのうち、一方の画像データに物体の画像が含まれ、他方の画像データに物体の画像が含まれていないときに、一方の画像データをメモリから消去するステップとを、プロセッサに実行させる。
本発明によれば、障害物による被写体画像の欠落部分を他の被写体画像を用いて修復しない構成において、メモリの効率的な利用が可能となる。
以下、図面を参照しつつ、本発明の実施の形態に係る撮像装置について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
撮像装置としては、デジタル一眼レフカメラ、コンパクトデジタルカメラ、スマートフォンを含む携帯型電話機、PDA(Personal Digital Assistant)等が挙げられる。以下では、撮像装置として携帯型電話機を例に挙げて説明する。
<携帯型電話機の外観>
図1は、携帯型電話機1の外観を示した図である。図1(a)は、携帯型電話機1の正面図である。図1(b)は、携帯型電話機1の裏面図である。図1(a)を参照して、携帯型電話機1は、ディスプレイ20と、シャッタボタン181を含む操作ボタン18とを備える。なお、シャッタボタン181は、撮像を行なうモードでない場合には、撮像以外の処理の実行を指示するためのボタンとして機能してもよい。図1(b)を参照して、携帯型電話機1は、ディスプレイ20が設けられた表面とは反対側の表面に、カメラ11と、カメラ12と、ストロボ19とを備える。
図1は、携帯型電話機1の外観を示した図である。図1(a)は、携帯型電話機1の正面図である。図1(b)は、携帯型電話機1の裏面図である。図1(a)を参照して、携帯型電話機1は、ディスプレイ20と、シャッタボタン181を含む操作ボタン18とを備える。なお、シャッタボタン181は、撮像を行なうモードでない場合には、撮像以外の処理の実行を指示するためのボタンとして機能してもよい。図1(b)を参照して、携帯型電話機1は、ディスプレイ20が設けられた表面とは反対側の表面に、カメラ11と、カメラ12と、ストロボ19とを備える。
携帯型電話機1は、カメラ11により撮像された画像(以下、「左目用画像」とも称する)と、カメラ12により撮像された画像(以下、「右目用画像」とも称する)とに基づき、観察者から立体的に見える画像(以下、「立体画像」または「3D画像」と称する)を生成する。なお、3D画像を得るときには、カメラ11とカメラ12とによる同時撮像が行なわれる。
<携帯型電話機のデータ処理の概要>
図2は、2つのカメラ11,12を用いて被写体を撮像したときに、携帯型電話機1で行なわれるデータ処理の第1の例を説明するための図である。図2(a)は、携帯型電話機1のユーザが、被写体の撮像のために、両手で携帯型電話機1を把持した状態を示した図である。図2(b)は、図2(a)の状態でシャッタボタン181が押下された場合における、データ処理の内容を時系列に沿って示した図である。
図2は、2つのカメラ11,12を用いて被写体を撮像したときに、携帯型電話機1で行なわれるデータ処理の第1の例を説明するための図である。図2(a)は、携帯型電話機1のユーザが、被写体の撮像のために、両手で携帯型電話機1を把持した状態を示した図である。図2(b)は、図2(a)の状態でシャッタボタン181が押下された場合における、データ処理の内容を時系列に沿って示した図である。
図2(a)を参照して、ユーザの右手の指および左手の指は、カメラ11およびカメラ12にかかっていない。このため、撮像された左目用画像および右目用画像には、指が写ることはない。
図2(b)を参照して、カメラ11を用いた撮像より得られた左目用画像データ801と、カメラ12を用いた撮像により得られた右目用画像データ802とが、後述する画像処理エンジン13内のRAM310(図6参照)に格納される。携帯型電話機1は、画像処理エンジン13により、左目用画像データ801と右目用画像データ802とから3D画像データ803を生成する。
携帯型電話機1は、左目用画像データ801と、右目用画像データ802と、3D画像データ803とを、画像処理エンジン13の外部に設けられたRAM(Random Access Memory)16(図5,図6参照)に転送する。携帯型電話機1は、さらに、ユーザからデータ保存の指示を受け付けた場合、あるいは当該指示を待つことなく自動的に、RAM16に格納された画像データ801,802,803を、IC(Integrated Circuit)記録メディア221(図5,図6参照)に書き込む。
図3は、2つのカメラ11,12を用いて被写体を撮像したときに、携帯型電話機1で行なわれるデータ処理の第2の例を説明するための図である。図3(a)は、携帯型電話機1のユーザが、被写体の撮像のために、両手で携帯型電話機1を把持した状態であって、左手の中指901がカメラ11のレンズの一部にかかっている状態を示した図である。図3(b)は、図3(a)の状態でシャッタボタン181が押下された場合における、データ処理の内容を時系列に沿って示した図である。
図3(a)を参照して、ユーザの左手の中指901がカメラ11にかかっているため、撮像された左目用画像には中指901が写ることになる。
図3(b)を参照して、カメラ11を用いた撮像より得られた左目用画像データ801と、カメラ12を用いた撮像により得られた右目用画像データ802とが、画像処理エンジン13内のRAM310に格納される。この場合、左目用画像データ801は、中指901を表す画像データを含むことになる。
携帯型電話機1は、画像処理エンジン13により、左目用画像データ801と右目用画像データ802とから3D画像データ803を生成する。この場合、3D画像データ803にも、中指901を表す画像データが含まれることになる。携帯型電話機1は、左目用画像データ801と、右目用画像データ802と、3D画像データ803とを、画像処理エンジン13の外部に設けられたRAM16に転送する。
携帯型電話機1は、中指901が写っている左目用画像データ801をRAM16から消去する。さらに、携帯型電話機1は、中指901が写っている左目用画像データ801を用いて生成された3D画像データ803をRAM16から消去する。
携帯型電話機1は、さらに、ユーザからデータ保存の指示を受け付けた場合、あるいは自動的に、消去することなくRAM16に残した右目用画像データ802のみを、IC記録メディア221に書き込む。
図4は、2つのカメラ11,12を用いて被写体を撮像したときに、携帯型電話機1で行なわれるデータ処理の第3の例を説明するための図である。図4(a)は、携帯型電話機1のユーザが、被写体の撮像のために、両手で携帯型電話機1を把持した状態であって、右手の中指902がカメラ12のレンズの一部にかかっている状態を示した図である。図4(b)は、図4(a)の状態でシャッタボタン181が押下された場合における、データ処理の内容を時系列に沿って示した図である。
図4(a)を参照して、ユーザの右手の中指902がカメラ12にかかっているため、撮像された右目用画像には中指902が写ることになる。
図4(b)を参照して、カメラ11を用いた撮像より得られた左目用画像データ801と、カメラ12を用いた撮像により得られた右目用画像データ802とが、画像処理エンジン13内のRAM310に格納される。この場合、右目用画像データ802は、中指902を表す画像データを含むことになる。
携帯型電話機1は、画像処理エンジン13により、左目用画像データ801と右目用画像データ802とから3D画像データ803を生成する。この場合、3D画像データ803にも、中指902を表す画像データが含まれることになる。携帯型電話機1は、左目用画像データ801と、右目用画像データ802と、3D画像データ803とを、画像処理エンジン13の外部に設けられたRAM16に転送する。
携帯型電話機1は、中指902が写っている右目用画像データ802をRAM16から消去する。さらに、携帯型電話機1は、中指902が写っている右目用画像データ802を用いて生成された3D画像データ803をRAM16から消去する。
携帯型電話機1は、さらに、ユーザからデータ保存の指示を受け付けた場合、あるいは自動的に、消去することなくRAM16に残した左目用画像データ801のみを、IC記録メディア221に書き込む。
以上のように、携帯型電話機1は、中指901または中指902が写ってしまった画像データをRAM16から消去するとともに、当該画像データに基づき生成された3D画像データ803をRAM16から消去する。また、携帯型電話機1は、画像データの消去後に、消去されずにRAM16に残った画像データを、携帯型電話機1に着脱可能なIC記録メディア221へ保存する。
したがって、携帯型電話機1によれば、指が写っていない方の画像データのみを、IC記録メディア221へ保存可能となる。つまり、左目用画像データ801および右目用画像データ802のうち、ユーザにとって失敗と考えられる画像データを保存することなく、成功と考えられる画像データのみを、IC記録メディア221へ保存できる。このため、ユーザにとって失敗と考えられる画像データが、IC記録メディア221に格納されることが防げる。このため、携帯型電話機1を用いることにより、IC記録メディア221の記憶領域を効率よく利用可能となる。
また、指が写った画像データに基づいて生成された3D画像データ803は、ユーザにとって失敗と考えられる画像データである。それゆえ、携帯型電話機1は、当該3D画像データ803をIC記録メディア221へ保存しないことにより、より効率的にIC記録メディア221の記憶領域を効率よく利用可能となる。
ところで、図3の場合においては、右目用画像データ802をIC記録メディア221に保存した後に、左目用画像データ801および3D画像データ803をRAM16から消去するように、携帯型電話機1を構成してもよい。また、図4の場合においては、左目用画像データ801をIC記録メディア221に保存した後に、右目用画像データ802および3D画像データ803をRAM16から消去するように、携帯型電話機1を構成してもよい。
以下では、このようなデータ処理を実現するための携帯型電話機1の具体的な構成について、説明する。
<ハードウェア構成>
図5は、携帯型電話機1のハードウェア構成を示した図である。図5を参照して、携帯型電話機1は、カメラ11と、カメラ12と、画像処理エンジン13と、プログラムを実行するCPU(Central Processing Unit)14と、データを不揮発的に格納するROM(Read Only Memory)15と、データを揮発的に格納するRAM16と、NAND型のフラッシュメモリ17と、携帯型電話機1のユーザによる指示の入力を受ける操作ボタン18と、ストロボ19と、ディスプレイ20と、通信IF(Interface)21と、リーダライタ22と、電源ユニット23とを備える。
図5は、携帯型電話機1のハードウェア構成を示した図である。図5を参照して、携帯型電話機1は、カメラ11と、カメラ12と、画像処理エンジン13と、プログラムを実行するCPU(Central Processing Unit)14と、データを不揮発的に格納するROM(Read Only Memory)15と、データを揮発的に格納するRAM16と、NAND型のフラッシュメモリ17と、携帯型電話機1のユーザによる指示の入力を受ける操作ボタン18と、ストロボ19と、ディスプレイ20と、通信IF(Interface)21と、リーダライタ22と、電源ユニット23とを備える。
画像処理エンジン13は、カメラ11,12に含まれる各撮像素子に光が照射されることにより発生した電荷に基づいて画像データを生成する。画像処理エンジン13の詳細については、後述する。
CPU14は、画像処理エンジン13が担うデータ処理以外のデータ処理を行なう。
フラッシュメモリ17は、不揮発性の半導体メモリである。フラッシュメモリ17は、携帯型電話機1を制御するための各種のプログラム、携帯型電話機1が生成したデータ、携帯型電話機1の外部装置から取得したデータ等の各種データを揮発的に格納する。
フラッシュメモリ17は、不揮発性の半導体メモリである。フラッシュメモリ17は、携帯型電話機1を制御するための各種のプログラム、携帯型電話機1が生成したデータ、携帯型電話機1の外部装置から取得したデータ等の各種データを揮発的に格納する。
通信IF21は、携帯型電話機1が外部の通信装置と無線通信を行なうための信号処理を行なう。電源ユニット23は、データバスを介して、カメラ11,12、画像処理エンジン13、CPU14、ストロボ19、ディスプレイ20、通信IF21、リーダライタ22等に電力を供給する。
各構成要素11~23は、相互にデータバスによって接続されている。リーダライタ22には、IC記録メディア221が装着される。
携帯型電話機1における処理は、各ハードウェアと画像処理エンジン13とCPU14とにより実行されるソフトウェアによって実現される。このようなソフトウェアは、画像処理エンジン13、フラッシュメモリ17に予め記憶されている場合がある。また、ソフトウェアは、IC記録メディア221その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、リーダライタ22その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信IFを介してダウンロードされた後、フラッシュメモリ17に一旦格納される。そのソフトウェアは、CPU14によってフラッシュメモリ17から読み出され、さらに実行可能なプログラムの形式でフラッシュメモリ17あるいは画像処理エンジン13に格納される。画像処理エンジン13またはCPU14は、そのプログラムを実行する。
同図に示される携帯型電話機1を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、画像処理エンジン13、フラッシュメモリ17、IC記録メディア221その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、携帯型電話機1の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、記録媒体としては、ICカードに限られず、DVD-ROM、CD-ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。また、記録媒体は、当該プログラム等をコンピュータが読取可能な一時的でない媒体である。
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
図6は、携帯型電話機1のハードウェア構成の要部を示した図である。図6を参照して、携帯型電話機1は、カメラ11と、カメラ12と、画像処理エンジン13と、RAM16と、ディスプレイ20と、リーダライタ22と、A/D(Analog/Digital)変換器24と、A/D変換器25とを含む。リーダライタ22には、IC記録メディア221が装着されている。
カメラ11は、レンズ111と、メカニカルシャッタ112と、撮像素子113とを備える。カメラ12は、レンズ121と、メカニカルシャッタ122と、撮像素子123とを備える。
レンズ111は、外光(被写体により反射した光等)を集光する。メカニカルシャッタ112は、レンズ111を通過した光を、撮像素子113に照射するか否かを切換えるための装置である。メカニカルシャッタ112は、シャッタボタン181の押下により動作する。より詳しくは、メカニカルシャッタ112は、CPU14の指令に基づき動作する。撮像素子113は、光を電気信号に変換する。また、撮像素子113は、電気信号をA/D変換器24に送る。撮像素子113は、たとえば、CCD(Charge Coupled Device)、CMOS(Charge Coupled Device)である。
レンズ121は、外光(被写体により反射した光)を集光する。メカニカルシャッタ122は、レンズ121を通過した光を、撮像素子123に照射するか否かを切換えるための装置である。メカニカルシャッタ122は、シャッタボタン181の押下により動作する。より詳しくは、メカニカルシャッタ122は、CPU14の指令に基づき動作する。撮像素子123は、光を電気信号に変換する。また、撮像素子123は、電気信号をA/D変換器25に送る。撮像素子123も、撮像素子113と同じタイプの素子である。
A/D変換器24は、撮像素子113が出力したアナログ信号をデジタル信号に変換する。A/D変換器24は、変換により得られたデジタル信号を画像処理エンジン13に送る。
A/D変換器25は、撮像素子123が出力したアナログ信号をデジタル信号に変換する。A/D変換器25は、変換により得られたデジタル信号を画像処理エンジン13に送る。
次に、画像処理エンジン13について説明する。画像処理エンジン13は、プロセッサ300と、RAM310と、ROM320とを備える。プロセッサ300は、CPU301と、DSP(Digital Signal Processor)302とを有する。CPU301と、DSP302と、RAM310と、ROM320とは、データバスにより互いに接続されている。
プロセッサ300は、ROM320に格納されているプログラムに基づいた処理を実行する。CPU301は、画像処理エンジン13における全体制御および通信に関する処理を実行する。CPU301は、たとえばRISC(Reduced Instruction Set Computer)アーキテクチャのCPUである。DSP302は、画像処理専用のプロセッサである。なお、プロセッサ300を構成するDSP302の数は、1個に限定されるものではない。
RAM310は、A/D変換器24,25から入力されるデジタル信号を一時的に記憶するバッファメモリとして機能する。また、RAM310は、CPU301およびDSP302によるデータ処理の際のワークメモリとしても機能する。ROM320は、プロセッサ300が実行するプログラムを含んでいる。
CPU301は、RAM310,16へのデータの書き込み、RAM310,16からのデータの読み出し、RAM310,16に記録されたデータの消去を実行する。また、CPU301は、IC記録メディア221へのデータの書き込み、IC記録メディア221からのデータの読み出し、IC記録メディア221に記録されたデータの消去を制御する。
なお、画像処理エンジン13により実行される他の各処理については、後述する(図7,8)。また、以下では、RAM310と、RAM16と、IC記録メディア221とを含んだ構成を、「メモリ90」と称する。
<制御構造>
図7は、携帯型電話機1において行われる処理の流れを示したフローチャートである。具体的には、図7は、携帯型電話機1の動作モードが撮像モードに切換った状態におけるデータ処理の流れを示している。
図7は、携帯型電話機1において行われる処理の流れを示したフローチャートである。具体的には、図7は、携帯型電話機1の動作モードが撮像モードに切換った状態におけるデータ処理の流れを示している。
図7を参照して、ステップS2において、CPU14は、ユーザによってシャッタボタン181が押下されたか否かを判断する。ここで、「シャッタボタン181が押下された」とは、オートフォーカス機能によりピントを合わせるためのシャッタボタン181の半押を除くものとする。
画像処理エンジン13のCPU301は、CPU14からシャッタボタン181の押下げがなされていない旨の指示を受け付けると(ステップS2においてNO)、電子シャッタを用いた被写体の撮像を行なう。なお、電子シャッタは、画像処理エンジン13により実現されるシャッタであり、物理的な遮光板は不要である。
電子シャッタを用いた撮像を行なう場合、CPU301は、たとえば、メカニカルシャッタ112を開状態にし、メカニカルシャッタ122を閉状態にしておく。CPU301は、撮像素子113が出力したアナログ信号に基づくデジタル信号を受け付ける。なお、両方のメカニカルシャッタ112,122を開状態としてもよい。
ステップS4において、CPU301は、デジタルデータ(以下、「RAWデータ」と称する)を生成する。ステップS6において、CPU301は、生成されたRAWデータを現像処理する。当該現像処理により、RAWデータは、人間の目で画像として認識可能な可視画像データとなる。ステップS10において、CPU301は、ディスプレイ20にスルー画像を表示させる。これにより、ユーザは、電子シャッタを用いて撮像している被写体の画像を、ディスプレイ20でリアルタイムに視認可能となる。
CPU301は、CPU14からシャッタボタン181の押下げがなされた旨の指示を受け付けつけると(ステップS2においてYES)、ステップS12において、2つのメカニカルシャッタ112,122を用いて被写体の撮像を行なう。ステップS14において、CPU301は、A/D変換器24,25からそれぞれ出力されたデジタル信号に基づいて、RAWデータを生成する。つまり、CPU301は、2つのRAWデータを生成する。
ステップS16において、CPU301は、撮像モードにおける詳細設定において、RAWデータを保存するモードに設定されているか否かを判断する。なお、携帯型電話機1がRAWデータを保存する機能を有していない場合には、当該判定は行なわれることなく、CPU301は、処理をステップS22に進める。
CPU301は、RAWデータを保存するモードに設定されていると判断した場合(ステップS16においてYES)、ステップS18において、RAWデータを圧縮する。詳しくは、CPU301は、RAWデータを可逆圧縮する。ステップS20において、CPU301は、可逆圧縮したRAWデータを、IC記録メディア221へ書き込み、その後、処理をステップS22に進める。
CPU301は、RAWデータを保存するモードに設定されていないと判断した場合(ステップS16においてNO)、ステップS22において、現像処理を行なう。具体的には、CPU301は、センサ補正処理、デモザイク処理、画素補間処理、色補正処理(ホワイトバランス調整、カラーマトリクス変換、ガンマ変換)、RGB画像処理(シャープネス補正、トーン補正、露出補正等)を行なう。
ステップS22の処理の結果、たとえば図2~図4で示したような、左目用画像データ801と右目用画像データ802とが、画像処理エンジン13内のRAM310に格納される。ステップS24において、CPU301は、ステップS22の現像処理で得られた左目用画像データと右目用画像データとを用いて、3D画像データを生成する。CPU301は、生成した3D画像データをRAM310に格納する。
ステップS26において、CPU301は、ステップS22の現像処理で得られた左目用画像データおよび右目用画像データと、ステップS24の処理で得られた3D画像データとを、RAM16に書き込む。具体的には、CPU301は、左目用画像データと、右目用画像データと、3D画像データとを、対応付けてRAM16に転送する。
ステップS28において、CPU301は、左目用画像データ、右目用画像データ、および3D画像データのうち、RAM16から消去する画像データの特定と、当該特定した画像データのRAM16からの消去とを実行する。ステップS28の処理の詳細については、後述する(図9)。
ステップS30において、CPU301は、左目用画像データ、右目用画像データ、および3D画像データのうち、RAM16から消去しなかった画像データを圧縮する。具体的には、CPU301は、RAM16から消去しなかった画像データを非可逆圧縮する。たとえば、CPU301は、RAM16から消去しなかった画像データを、予め定められたフォーマット(JPEGフォーマット、DCFフォーマット、Exifフォーマット、またはTIFFフォーマット)の画像データに変換する。ステップS32において、CPU301は、ステップS30で圧縮した画像データを、IC記録メディア221に書き込む。
以上により、CPU301は、一連の処理を終了する。
ところで、CPU301が行なうデータ処理の順序は、図7に示した順序に限定されるものではない。たとえば、CPU301は、ステップS18の処理およびステップS20の処理を、ステップS22からステップS32の処理と並列に行なってもよい。また、ステップS32に示したIC記録メディア221への画像データの書き込みが終了した後に、RAM16から消去すべき画像データを消去してもよい。また、ステップS28の処理と、ステップS30との処理の順序を入れ換えてもよい。また、ステップS22で得られた左目用画像データと右目用画像データとをRAM16に格納する処理は、ステップS24に示した3D画像データの生成よりも前であってもよい。
ところで、CPU301が行なうデータ処理の順序は、図7に示した順序に限定されるものではない。たとえば、CPU301は、ステップS18の処理およびステップS20の処理を、ステップS22からステップS32の処理と並列に行なってもよい。また、ステップS32に示したIC記録メディア221への画像データの書き込みが終了した後に、RAM16から消去すべき画像データを消去してもよい。また、ステップS28の処理と、ステップS30との処理の順序を入れ換えてもよい。また、ステップS22で得られた左目用画像データと右目用画像データとをRAM16に格納する処理は、ステップS24に示した3D画像データの生成よりも前であってもよい。
図8は、図7のステップS28における処理の詳細を示したフローチャートである。図8を参照して、ステップS102において、CPU301は、左目用画像データに、撮像素子113への外光の入射を遮る指等の物体(以下、「障害物」とも称する)の画像が含まれているか否かを判断する。当該判断は、たとえば、背景技術として記載した技術を用いることができる。あるいは、CPU301は、左目用画像データに基づく左目用画像において、予め定められた広さにわたり輝度が閾値以下となる領域が存在する場合に、左目用画像データに障害物の画像が含まれていると判断してもよい。あるいは、CPU301は、左目用画像データに基づく左目用画像において予め定められた広さにわたり輝度が閾値以下となる領域が存在し、かつ、右目用画像データに基づく右目用画像において予め定められた広さにわたり輝度が閾値以下となる領域が存在しない場合に、左目用画像データに障害物の画像が含まれていると判断してもよい。障害物の画像が含まれているか否かの手法は、特に限定されるものではない。
CPU301は、左目用画像データに障害物の画像が含まれていると判断した場合(ステップS102においてYES)、ステップS104において、右目用画像データに、撮像素子123への外光の入射を遮る障害物の画像が含まれているか否かを判断する。当該判断は、たとえば、背景技術として記載した技術を用いることができる。あるいは、CPU301は、右目用画像において、予め定められた広さにわたり輝度が閾値以下となる領域が存在する場合に、右目用画像データに障害物の画像が含まれていると判断してもよい。あるいは、CPU301は、右目用画像において予め定められた広さにわたり輝度が閾値以下となる領域が存在し、かつ、左目用画像において予め定められた広さにわたり輝度が閾値以下となる領域が存在しない場合に、右目用画像データに障害物の画像が含まれていると判断してもよい。障害物の画像が含まれているか否かの手法は、特に限定されるものではない。
CPU301は、右目用画像データに障害物の画像が含まれていると判断した場合(ステップS104においてYES)、一連の処理を終了する。つまり、CPU301は、左目用画像データ、右目用画像データ、および3D画像用データのいずれもRAM16から消去しない。一方、CPU301は、右目用画像データに障害物の画像が含まれていないと判断した場合(ステップS104においてNO)、ステップS106において、左目用画像データと3D画像データとをRAM16から消去する。
CPU301は、左目用画像データに障害物の画像が含まれていないと判断した場合(ステップS102においてNO)、ステップS108において、右目用画像データに障害物の画像が含まれているか否かを判断する。CPU301は、右目用画像データに障害物の画像が含まれていないと判断した場合(ステップS108においてNO)、一連の処理を終了する。つまり、CPU301は、左目用画像データ、右目用画像データ、および3D画像用データのいずれかもRAM16から消去しない。一方、CPU301は、右目用画像データに障害物の画像が含まれていると判断した場合(ステップS108においてYES)、ステップS110において、右目用画像データと3D画像データとをRAM16から消去する。
以上のように、CPU301は、メカニカルシャッタ112,122を用いて撮像された左目用画像データおよび右目用画像データの各々が、指等の障害物の画像を含んでいないといった条件を満たしているか否かを判断する。CPU301は、左目用画像データおよび右目用画像データのうちの一方の画像データが当該条件を満たしていないと判断した場合、当該一方の画像データをRAM16から消去する。CPU301は、左目用画像データおよび右目用画像データのうちの一方の画像データが当該条件を満たしていないと判断した場合、さらに、当該左目用画像データと当該右目用画像データとに基づいて生成された3D画像データを、RAM16から消去する。
<変形例>
(1)上記においては、左目用画像データおよび右目用画像データに障害物の画像が含まれているときに、左目用画像データおよび右目用画像データを消去しない構成を例に挙げて説明したが、これに限定されるものではない。たとえば、左目用画像データおよび右目用画像データに障害物の画像が含まれているときに、左目用画像データおよび右目用画像データを消去するように、携帯型電話機1を構成してもよい。
(1)上記においては、左目用画像データおよび右目用画像データに障害物の画像が含まれているときに、左目用画像データおよび右目用画像データを消去しない構成を例に挙げて説明したが、これに限定されるものではない。たとえば、左目用画像データおよび右目用画像データに障害物の画像が含まれているときに、左目用画像データおよび右目用画像データを消去するように、携帯型電話機1を構成してもよい。
(2)また、左目用画像データまたは右目用画像データに障害物の画像が含まれているときには、3D画像データを生成しないように、携帯型電話機1を構成してもよい。さらに、左目用画像データおよび右目用画像データに障害物の画像が含まれているときには、3D画像データを生成しないように、携帯型電話機1を構成してもよい。
(3)上記においては、図7に示したとおり、メカニカルシャッタ112,122を用いて撮像を行なった後に、消去する画像データを特定する構成を例に挙げ説明した。より詳しくは、左目用画像データと右目用画像データと3D画像データとをRAM16に書き込んだ後に、消去するデータを特定する構成を例に挙げて説明した。
以下では、メカニカルシャッタ112,122を用いた撮像を行なう前であって、かつ電子シャッタを用いた撮像を行なった後に、消去する画像データを特定する構成について説明する。具体的には、メカニカルシャッタ112,122を用いて得られた左目用画像データおよび右目用画像データがRAM16に書き込まれる前に、何れかのデータを消去する構成について説明する。
図9は、携帯型電話機1において行われる処理の他の流れを示したフローチャートである。詳しくは、図9は、メカニカルシャッタ112,122を用いた撮像を行なう前であって、かつ電子シャッタを用いた撮像を行なった後に、消去する画像データを特定する場合における、処理の他の流れを示したフローチャートである。
図9を参照して、ステップS8の処理とステップS10との処理の間にステップS202の処理を行なう点において、図9のフローチャートは図7のフローチャートと異なる。また、ステップS28の処理の代わりに、ステップS24の処理とステップS26の処理との間にステップS204およびステップS206を備える点において、図9のフローチャートは図7のフローチャートと異なる。したがって、以下では、主として、図7のフローチャートと異なる点を説明する。
なお、以下では、電子シャッタを用いた撮像の際には、携帯型電話機1は、両方のメカニカルシャッタ112,122を開状態にするものとする。さらに、携帯型電話機1は、オートフォーカス機能を備えるものとして説明する。
ステップS202において、CPU301は、電子シャッタを用いて撮像された左目用画像データおよび右目用画像データを用いて、消去する画像データの特定を行なう。具体的には、CPU301は、以下の処理を行なう。
まず、電子シャッタを用いて撮像された左目用画像データおよび右目用画像データの各々が、指等の障害物の画像を含んでいるか否かを判断する。より詳しくは、CPU301は、オートフォーカス機能によってピントが合った状態で電子シャッタを用いて撮像された左目用画像データおよび右目用画像データの各々が、指等の障害物の画像を含んでいるか否かを判断する。具体例を挙げれば、CPU301は、シャッタボタン181が半押されることによりピントが合ったと判断したときに、障害物の画像を含んでいるか否かを判断する。CPU301は、指等の障害物の画像を含んでいる画像データを画像処理エンジン13に出力したカメラを特定する。
次いで、CPU301は、カメラ11が障害物の画像を含んだ左目用画像データを画像処理エンジン13に出力したと特定した場合、メカニカルシャッタ112を用いて撮像された左目用画像データを消去する画像データとして特定する。一方、CPU301は、カメラ12が障害物の画像を含んだ右目用画像データを画像処理エンジン13に出力したと特定した場合、メカニカルシャッタ122を用いて撮像された右目用画像データを消去する画像データとして特定する。これらの場合、メカニカルシャッタ112,122により撮像された左目用画像および右目用画像データに基づき生成される3D画像データについても、消去対象として特定する。特定した消去対象を示すデータは、RAM310に格納される。
なお、CPU301は、カメラ11およびカメラ12を、障害物の画像を含んでいる画像データを画像処理エンジン13に出力したカメラであると特定しなかった場合には、左目用画像データと右目用画像データと3D画像データとは消去対象とはしない。
ステップS204において、CPU301は、消去する画像データが特定されているか否かを判断する。CPU301は、特定されていると判断した場合(ステップS204においてYES)、ステップS206において、当該特定された画像データを、画像処理エンジン13のRAM310から消去する。CPU301は、消去する画像が特定されていない場合(ステップS204においてNO)、処理をステップS30に進める。
このように、CPU301は、当該左目用画像データおよび当該右目用画像データのうちの一方の画像データが障害物の画像を含んでいると判断した場合、シャッタボタン181が押下される(つまり、メカニカルシャッタ112,122による撮像が行なわれる)と、メカニカルシャッタ112,122による撮像により得られた画像データのうち、予め特定しておいた画像データをRAM310から消去する。
この場合、ステップS26では、左目用画像データと右目用画像データと3D画像データとのうち、RAM310において消去されなかった画像データを、RAM16に書き込む。なお、3D画像データの生成は、RAM16に左目用画像データと右目用画像データとが書き込まれた後であってもよい。
以上のように、CPU301は、電子シャッタを用いた撮像により得られた左目用画像データおよび右目用画像データの各々に、障害物の画像が含まれるか否かを判断する。CPU301は、電子シャッタを用いた撮像により得られた左目用画像データのみに物体の画像が含まれていると判断した場合に、シャッタボタン181が押し下げられると、メカニカルシャッタ112を用いた撮像により得られた左目用画像データを、RAM310から消去する。CPU301は、電子シャッタを用いた撮像により得られた右目用画像データのみに障害物の画像が含まれていると判断した場合に、シャッタボタン181が押し下げられると、メカニカルシャッタ122を用いた撮像により得られた右目用画像データを、RAM310から消去する。
また、上記においては、RAM310から消去対象として特定した画像データを消去する構成を例に挙げて説明したが、これに限定されるものではない。一旦、CPU301が、RAM310に格納した左目用画像データおよび右目用画像データを、RAM16に書き込んだ後に、RAM16から消去対象として特定された左目用画像データまたは右目用画像データを消去するように、携帯型電話機1を構成してもよい。CPU301は、3D画像データについても、RAM16に格納された時点で消去すればよい。
また、障害物が含まれているか否かを判断する画像データを、メカニカルシャッタ112,122を動作させるためのシャッタボタン181の押下げがあった時点より予め定められた前の時間に電子シャッタを用いて取得した画像データとしてもよい。
(4)上記においては、CPU301は、左目用画像データ、右目用画像データ、および3D画像データのうち、消去対象として特定した画像データを、RAM16またはRAM310から消去する構成について説明したが、これに限定されるものではない。
たとえば、CPU301が、IC記録メディア221に左目用画像データと右目用画像データと3D画像データを書き込んだ後に、IC記録メディア221から消去対象として特定した画像データを消去するように、携帯型電話機1を構成してもよい。なお、IC記録メディア221を外部記憶メモリと、RAM310,16を内部記憶メモリと称することもできる。
このように、携帯型電話機1においては、消去対象となる画像データの消去のタイミングは、特に限定されるものではない。
また、左目用画像データおよび右目用画像データの一方を消去する場合、3D画像データを生成しなくてもよいし、あるいは3D画像データを生成してから当該3D画像データを消去してもよい。つまり、3D画像データの生成の有無は特に限定されるものではない。
<まとめ>
携帯型電話機1は、撮像により得られた左目用画像データと右目用画像データとに基づいて、立体画像を表示するための立体画像データを生成する複眼式の撮像装置である。携帯型電話機1は、左目用画像データを生成するための撮像素子113と、右目用画像データを生成するための撮像素子123と、CPU301と、左目用画像データと右目用画像データと立体画像データとを格納するためのメモリ90とを備える。CPU301は、左目用画像データに、撮像素子113への外光の入射を遮る障害物の画像が含まれているか否かを判断し、右目用画像データに、撮像素子123への外光の入射を遮る障害物の画像が含まれているか否かを判断する。CPU301は、左目用画像データおよび右目用画像データのうち、一方の画像データに障害物の画像が含まれ、他方の画像データに障害物の画像が含まれないとき、障害物の画像が含まれた方の画像データをメモリ90から消去する。
携帯型電話機1は、撮像により得られた左目用画像データと右目用画像データとに基づいて、立体画像を表示するための立体画像データを生成する複眼式の撮像装置である。携帯型電話機1は、左目用画像データを生成するための撮像素子113と、右目用画像データを生成するための撮像素子123と、CPU301と、左目用画像データと右目用画像データと立体画像データとを格納するためのメモリ90とを備える。CPU301は、左目用画像データに、撮像素子113への外光の入射を遮る障害物の画像が含まれているか否かを判断し、右目用画像データに、撮像素子123への外光の入射を遮る障害物の画像が含まれているか否かを判断する。CPU301は、左目用画像データおよび右目用画像データのうち、一方の画像データに障害物の画像が含まれ、他方の画像データに障害物の画像が含まれないとき、障害物の画像が含まれた方の画像データをメモリ90から消去する。
したがって、上述した携帯型電話機1によれば、障害物が写っていない方の画像データのみをIC記録メディア221に保存可能、あるいは障害物が写っていない方の画像データをIC記録メディアに保存し続けることが可能となる。つまり、左目用画像データ801および右目用画像データ802のうち、ユーザにとって失敗と考えられる画像データを保存する、あるいは保存し続けることなく、成功と考えられる画像データのみを、IC記録メディア221に保存、あるいは保存し続けることができる。このため、ユーザにとって失敗と考えられる画像データが、IC記録メディア221に格納されること、あるいは格納され続けることを防げる。このため、携帯型電話機1を用いることにより、IC記録メディア221の記憶領域を効率よく利用可能となる。
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 携帯型電話機、11,12 カメラ、13 画像処理エンジン、14,301 CPU、16,310 RAM、17 フラッシュメモリ、18 操作ボタン、19 ストロボ、20 ディスプレイ、22 リーダライタ、23 電源ユニット、90 メモリ、111,121 レンズ、112,122 メカニカルシャッタ、113,123 撮像素子、181 シャッタボタン、221 IC記録メディア、300 プロセッサ、302 DSP、320 ROM、801 左目用画像データ、802 右目用画像データ、803 3D画像データ、901,902 中指。
Claims (9)
- 撮像により得られた左目用画像データと右目用画像データとに基づいて、立体画像を表示するための立体画像データを生成する複眼式の撮像装置であって、
前記左目用画像データを生成するための第1の撮像素子と、
前記右目用画像データを生成するための第2の撮像素子と、
プロセッサと、
前記左目用画像データと、前記右目用画像データと、前記立体画像データとを格納するためのメモリとを備え、
前記プロセッサは、
前記左目用画像データに、前記第1の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断し、
前記右目用画像データに、前記第2の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断し、
前記左目用画像データおよび前記右目用画像データのうち、一方の画像データに前記物体の画像が含まれ、他方の画像データに前記物体の画像が含まれないとき、前記一方の画像データを前記メモリから消去する、撮像装置。 - 前記プロセッサは、前記一方の画像データを前記メモリから消去する場合には、さらに、前記左目用画像データと前記右目用画像データとに基づいて生成された前記立体画像データを前記メモリから消去する、請求項1に記載の撮像装置。
- シャッタボタンと、
前記シャッタボタンの押下により動作するメカニカルシャッタとをさらに備え、
前記プロセッサは、
前記メカニカルシャッタを用いた撮像により得られた前記左目用画像データおよび前記右目用画像データの各々に、前記物体の画像が含まれているか否かを判断し、
前記メカニカルシャッタを用いた撮像により得られた前記左目用画像データのみに前記物体の画像が含まれていると判断した場合、当該左目用画像データを前記メモリから消去し、
前記メカニカルシャッタを用いた撮像により得られた前記右目用画像データのみに前記物体の画像が含まれていると判断した場合、当該右目用画像データを前記メモリから消去する、請求項1に記載の撮像装置。 - ディスプレイと、
前記ディスプレイにスルー画像を表示させるための電子シャッタと、
シャッタボタンと、
前記シャッタボタンの押下により動作するメカニカルシャッタとをさらに備え、
前記プロセッサは、
前記電子シャッタを用いた撮像により得られた前記左目用画像データおよび前記右目用画像データの各々に、前記物体の画像が含まれるか否かを判断し、
前記電子シャッタを用いた撮像により得られた前記左目用画像データのみに前記物体の画像が含まれていると判断した場合に、前記シャッタボタンが押し下げられると、前記メカニカルシャッタを用いた撮像により得られた前記左目用画像データを、前記メモリから消去し、
前記電子シャッタを用いた撮像により得られた前記右目用画像データのみに前記物体の画像が含まれていると判断した場合に、前記シャッタボタンが押し下げられると、前記メカニカルシャッタを用いた撮像により得られた前記右目用画像データを、前記メモリから消去する、請求項1に記載の撮像装置。 - オートフォーカス機能を更に備え、
前記プロセッサは、前記オートフォーカス機能によってピントが合った状態で前記電子シャッタを用いた撮像により得られた前記左目用画像データおよび前記右目用画像データを用いて、前記左目用画像データおよび前記右目用画像データの各々に前記物体の画像が含まれるか否かを判断する、請求項4に記載の撮像装置。 - 前記メモリは、揮発性メモリと不揮発性メモリとを含み、
前記プロセッサは、
前記揮発性メモリに、前記左目用画像データと前記右目用画像データとを格納し、
前記左目用画像データおよび前記右目用画像データのうち、一方の画像データに前記物体の画像が含まれ、他方の画像データに前記物体の画像が含まれていないと判断した場合には、前記揮発性メモリから前記一方の画像データを消去し、前記他方の画像データを前記不揮発性メモリに格納する、請求項1に記載の撮像装置。 - 前記不揮発性メモリは、前記撮像装置に着脱可能な記録媒体である、請求項6に記載の撮像装置。
- 撮像により得られた左目用画像データと右目用画像データとに基づいて立体画像を表示するための立体画像データを生成する複眼式の撮像装置におけるデータ処理方法であって、
前記撮像装置は、前記左目用画像データを生成するための第1の撮像素子と、前記右目用画像データを生成するための第2の撮像素子と、プロセッサと、前記左目用画像データと、前記右目用画像データと、前記立体画像データとを格納するためのメモリとを備え、
前記データ処理方法は、
前記プロセッサが、前記左目用画像データに、前記第1の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、
前記プロセッサが、前記右目用画像データに、前記第2の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、
前記左目用画像データおよび前記右目用画像データのうち、一方の画像データに前記物体の画像が含まれ、他方の画像データに前記物体の画像が含まれていないときに、前記プロセッサが、前記一方の画像データを前記メモリから消去するステップとを備える、データ処理方法。 - 撮像により得られた左目用画像データと右目用画像データとに基づいて立体画像を表示するための立体画像データを生成する複眼式の撮像装置を制御するためのプログラムであって、
前記撮像装置は、前記左目用画像データを生成するための第1の撮像素子と、前記右目用画像データを生成するための第2の撮像素子と、プロセッサと、前記左目用画像データと、前記右目用画像データと、前記立体画像データとを格納するためのメモリとを備え、
前記左目用画像データに、前記第1の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、
前記右目用画像データに、前記第2の撮像素子への外光の入射を遮る物体の画像が含まれているか否かを判断するステップと、
前記左目用画像データおよび前記右目用画像データのうち、一方の画像データに前記物体の画像が含まれ、他方の画像データに前記物体の画像が含まれていないときに、前記一方の画像データを前記メモリから消去するステップとを、前記プロセッサに実行させる、プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201280007294.XA CN103797791B (zh) | 2011-02-01 | 2012-01-27 | 用于显示内容的电子装置和方法 |
US13/982,701 US20130314507A1 (en) | 2011-02-01 | 2012-01-27 | Image capturing device and data processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-019683 | 2011-02-01 | ||
JP2011019683A JP5758138B2 (ja) | 2011-02-01 | 2011-02-01 | 撮像装置、データ処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012105433A1 true WO2012105433A1 (ja) | 2012-08-09 |
Family
ID=46602649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/051770 WO2012105433A1 (ja) | 2011-02-01 | 2012-01-27 | 撮像装置、データ処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130314507A1 (ja) |
JP (1) | JP5758138B2 (ja) |
CN (1) | CN103797791B (ja) |
WO (1) | WO2012105433A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012186790A (ja) * | 2011-02-18 | 2012-09-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
CN103916589A (zh) * | 2013-01-03 | 2014-07-09 | 三星电子株式会社 | 用于运行摄像机的方法及其电子设备 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9380286B2 (en) | 2013-04-19 | 2016-06-28 | Adobe Systems Incorporated | Stereoscopic target region filling |
US9350969B2 (en) | 2013-04-19 | 2016-05-24 | Adobe Systems Incorporated | Target region filling involving source regions, depth information, or occlusions |
US20150097827A1 (en) * | 2013-10-09 | 2015-04-09 | Adobe Systems Incorporated | Target Region Fill Utilizing Transformations |
US9154697B2 (en) * | 2013-12-06 | 2015-10-06 | Google Inc. | Camera selection based on occlusion of field of view |
DE102015003537B4 (de) | 2014-03-19 | 2023-04-27 | Htc Corporation | Blockierungsdetektionsverfahren für eine kamera und eine elektronische vorrichtung mit kameras |
WO2016182502A1 (en) * | 2015-05-14 | 2016-11-17 | Medha Dharmatilleke | Multi purpose mobile device case/cover integrated with a camera system & non electrical 3d/multiple video & still frame viewer for 3d and/or 2d high quality videography, photography and selfie recording |
JP6147829B2 (ja) * | 2015-10-28 | 2017-06-14 | 京セラ株式会社 | 電子機器および電子機器の録画制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004040712A (ja) * | 2002-07-08 | 2004-02-05 | Minolta Co Ltd | 撮像装置 |
JP2010154311A (ja) * | 2008-12-25 | 2010-07-08 | Fujifilm Corp | 複眼撮像装置及び立体画像取得方法 |
JP2010288253A (ja) * | 2009-05-14 | 2010-12-24 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
JP2012023546A (ja) * | 2010-07-14 | 2012-02-02 | Jvc Kenwood Corp | 制御装置、立体映像撮像装置、および制御方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6865289B1 (en) * | 2000-02-07 | 2005-03-08 | Canon Kabushiki Kaisha | Detection and removal of image occlusion errors |
DE10201523A1 (de) * | 2002-01-17 | 2003-07-31 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Verdeckungsdetektion bei Bildsensorsystemen |
JP2008271324A (ja) * | 2007-04-23 | 2008-11-06 | Olympus Imaging Corp | 画像記憶装置及び撮影装置 |
JP2010114760A (ja) * | 2008-11-07 | 2010-05-20 | Fujifilm Corp | 撮影装置、指がかり通知方法およびプログラム |
CN102696230A (zh) * | 2010-01-07 | 2012-09-26 | 汤姆森特许公司 | 为视频内容显示提供的方法和装置 |
BRPI1006035A2 (pt) * | 2010-03-31 | 2016-12-06 | Fujifilm Corp | "aparelho de coletar imagem estereiscópica ". |
-
2011
- 2011-02-01 JP JP2011019683A patent/JP5758138B2/ja not_active Expired - Fee Related
-
2012
- 2012-01-27 WO PCT/JP2012/051770 patent/WO2012105433A1/ja active Application Filing
- 2012-01-27 CN CN201280007294.XA patent/CN103797791B/zh not_active Expired - Fee Related
- 2012-01-27 US US13/982,701 patent/US20130314507A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004040712A (ja) * | 2002-07-08 | 2004-02-05 | Minolta Co Ltd | 撮像装置 |
JP2010154311A (ja) * | 2008-12-25 | 2010-07-08 | Fujifilm Corp | 複眼撮像装置及び立体画像取得方法 |
JP2010288253A (ja) * | 2009-05-14 | 2010-12-24 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
JP2012023546A (ja) * | 2010-07-14 | 2012-02-02 | Jvc Kenwood Corp | 制御装置、立体映像撮像装置、および制御方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012186790A (ja) * | 2011-02-18 | 2012-09-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
CN103916589A (zh) * | 2013-01-03 | 2014-07-09 | 三星电子株式会社 | 用于运行摄像机的方法及其电子设备 |
CN103916589B (zh) * | 2013-01-03 | 2018-10-09 | 三星电子株式会社 | 用于运行摄像机的方法及其电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP5758138B2 (ja) | 2015-08-05 |
CN103797791B (zh) | 2016-10-05 |
CN103797791A (zh) | 2014-05-14 |
US20130314507A1 (en) | 2013-11-28 |
JP2012159715A (ja) | 2012-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5758138B2 (ja) | 撮像装置、データ処理方法、およびプログラム | |
JP4137085B2 (ja) | 撮像装置 | |
JP4035543B2 (ja) | 撮像装置 | |
JP5366584B2 (ja) | 撮像装置、画像処理方法およびプログラム | |
KR20130084468A (ko) | 디지털 영상 처리장치 및 그 제어방법 | |
CN105103534A (zh) | 摄像装置、校准方法、程序以及记录介质 | |
US9609167B2 (en) | Imaging device capable of temporarily storing a plurality of image data, and control method for an imaging device | |
JP6323022B2 (ja) | 画像処理装置 | |
KR101630287B1 (ko) | 손 떨림 보정 모듈을 구비하는 디지털 촬영 장치 및 이의 제어 방법 | |
CN104956657A (zh) | 摄像装置、图像处理方法、图像处理程序和记录介质 | |
JP2007208903A (ja) | 撮影システム及び撮影指示装置 | |
JP4591120B2 (ja) | 撮像装置、オートフォーカス制御方法、及びオートフォーカス制御プログラム | |
JP3885013B2 (ja) | 撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム | |
JP5794657B2 (ja) | 撮影制御装置及び撮影制御方法 | |
JP4948011B2 (ja) | 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体 | |
KR101533279B1 (ko) | 영상의 흔들림을 판단하는 디지털 영상 신호 처리 장치의 제어 방법, 이를 기록한 기록 매체, 및 상기 제어 방법에 의해 실행하는 디지털 영상 신호 처리 장치 | |
KR101946574B1 (ko) | 영상 재생 장치, 방법, 및 컴퓨터 판독가능 저장매체 | |
JP4751692B2 (ja) | デジタルカメラ | |
JP2007060292A (ja) | デジタルカメラ及び画質補正方法 | |
KR101369750B1 (ko) | 디지털 촬영장치 및 그 제어 방법 | |
JP5288962B2 (ja) | 撮像装置及びその制御方法 | |
JP5274223B2 (ja) | 撮像装置およびその制御方法 | |
JP2010098588A (ja) | 撮像装置、画像保存方法及びプログラム | |
JP2010152395A (ja) | 撮像装置、オートフォーカス制御方法、及びオートフォーカス制御プログラム | |
JP2018207418A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12741484 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13982701 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12741484 Country of ref document: EP Kind code of ref document: A1 |