WO2014077047A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2014077047A1
WO2014077047A1 PCT/JP2013/076870 JP2013076870W WO2014077047A1 WO 2014077047 A1 WO2014077047 A1 WO 2014077047A1 JP 2013076870 W JP2013076870 W JP 2013076870W WO 2014077047 A1 WO2014077047 A1 WO 2014077047A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging unit
exposure time
time zone
unit
image processing
Prior art date
Application number
PCT/JP2013/076870
Other languages
English (en)
French (fr)
Inventor
成昊 銭
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2014077047A1 publication Critical patent/WO2014077047A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program.
  • a 3D camera that captures an image with parallax using a plurality of image sensors has been developed.
  • the user can perceive the captured image three-dimensionally by displaying the image captured by such a 3D camera on a dedicated 3D display device.
  • Patent Document 1 discloses a technique for extracting color information from color image data, extracting luminance information from monochrome image data, and combining the extracted color information and luminance information to generate combined image data. It is disclosed.
  • the image quality of the photographed image greatly depends on the photographing conditions. For example, when an extremely dark image is taken in an environment with low illuminance, or when the exposure time is set short, a subject moving at high speed is perceived to move unnaturally between successive frames. Will be.
  • the present disclosure proposes a new and improved image processing apparatus, image processing method, and program capable of adaptively capturing images under various shooting conditions.
  • a first imaging unit a second imaging unit, an exposure time zone of the first imaging unit, and an exposure of the second imaging unit Based on a result of the determination by the determination unit, a determination unit that determines whether or not the time zone is different, and an exposure time zone of the first imaging unit and an exposure time zone of the second imaging unit
  • an image processing apparatus including an exposure control unit for controlling.
  • an image processing apparatus including a first imaging unit and a second imaging unit can detect an exposure time zone of the first imaging unit. It is determined whether or not the exposure time zone of the second imaging unit is different, and the exposure time zone of the first imaging unit and the second are determined by the image processing device based on the determination result. And controlling an exposure time zone of the imaging unit.
  • an exposure of the first imaging unit is performed by an image processing apparatus including a first imaging unit and a second imaging unit in a computer. Determining whether or not the time zone and the exposure time zone of the second imaging unit are different from each other; and by the image processing device, based on the result of the determination, the exposure time zone of the first imaging unit and A program for controlling the exposure time zone of the second imaging unit is provided.
  • FIG. 3 is a functional block diagram illustrating a configuration of an image processing device according to an embodiment of the present disclosure. It is explanatory drawing which showed roughly the time transition of the operation
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of configurations having substantially the same functional configuration are distinguished as the lens 100a and the lens 100b as necessary.
  • only the same reference numerals are given.
  • the lens 100 when there is no need to distinguish between the lens 100a and the lens 100b, they are simply referred to as the lens 100.
  • the image processing apparatus 10 is an apparatus used for shooting a still image or a moving image in a general shooting environment. Further, the image processing apparatus 10 may be able to shoot both the two-dimensional display image and the three-dimensional display image, or may be able to shoot only one of them.
  • the image processing apparatus 10 includes a lens 100a and a lens 100b.
  • the lens 100a and the lens 100b collect visible light emitted from a shooting environment including a subject on the first imaging unit 102 or the second imaging unit 104 shown in FIG.
  • Each of the first imaging unit 102 and the second imaging unit 104 forms an image of the condensed visible light and converts it into an electrical signal, thereby capturing an image of the subject.
  • the image processing apparatus according to the comparative example of the present disclosure has two imaging units, a first imaging unit and a second imaging unit, but the exposure time zone by the first imaging unit and the exposure time by the second imaging unit. It is assumed that the belt cannot be different.
  • FIG. 2 is an explanatory diagram showing operations of the first imaging unit and the second imaging unit during moving image shooting by the image processing apparatus of the comparative example of the present disclosure.
  • the first imaging unit and the second imaging unit always perform exposure in the same time zone.
  • both the first imaging unit and the second imaging unit perform exposure in a time period from t0 to t1.
  • FIG. 3 is an explanatory diagram showing a moving image photographed by the image processing apparatus of the comparative example of the present disclosure together with the photographing time.
  • FIG. 3 shows an example in which a scene in which a spherical object moves from top to bottom is captured, and an example in which camera shake occurs by a photographer during a time period from t1 to t3.
  • the first imaging unit and the second imaging unit always perform exposure in the same time zone. For this reason, as shown in FIG. 3, in the image 30b by the first imaging unit and the image 32b by the second imaging unit, the object is recorded with the same blur.
  • the image processing apparatus 10 has been created by focusing on the above circumstances.
  • the image processing apparatus 10 according to an embodiment of the present disclosure can adaptively capture an image under various shooting conditions.
  • such an embodiment of the present disclosure will be described in detail.
  • FIG. 4 is an explanatory diagram illustrating a configuration of the image processing apparatus 10 according to the embodiment of the present disclosure.
  • the image processing apparatus 10 includes a lens 100, a first imaging unit 102, a second imaging unit 104, an analog signal processing unit 106, an A / D conversion unit 108, A control unit 110, a display unit 118, a recording unit 120, an operation unit 122, a memory 124, a focus unit 126, an iris unit 128, a zoom unit 130, and an exposure control unit 132 are included.
  • the control unit 110 includes a determination unit 112, an image correction unit 114, and an encoder / decoder 116.
  • the lens 100a or the lens 100b collects visible light emitted from a shooting environment including a subject on the first imaging unit 102 or the second imaging unit 104, respectively.
  • the first imaging unit 102 is configured by an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the first imaging unit 102 has a function of forming an image of visible light collected by the lens 100a and converting it into an electrical signal.
  • the second imaging unit 104 includes an imaging element such as a CCD or a CMOS.
  • the second imaging unit 104 forms an image of the visible light collected by the lens 100b and converts it into an electrical signal. Note that the second imaging unit 104 may have the same imaging characteristics as the first imaging unit 102.
  • the analog signal processing unit 106 performs various types of signal processing such as predetermined gamma correction and white balance on the electrical signal converted by the first imaging unit 102 or the second imaging unit 104.
  • the A / D conversion unit 108 converts the electric signal subjected to the signal processing by the analog signal processing unit 106 into a digital signal based on the strength of the electric signal.
  • Control unit 110 The control unit 110 has a function of controlling the overall operation of the image processing apparatus 10. For example, the control unit 110 controls operations of the display unit 118, the recording unit 120, the operation unit 122, the memory 124, the focus unit 126, the iris unit 128, the zoom unit 130, and the exposure control unit 132.
  • control unit 110 detects the distance to the subject by using, for example, an autofocus sensor or other distance sensor provided in the focus unit 126.
  • control unit 110 sets the exposure time length of the first imaging unit 102 and the second imaging unit 104 to a predetermined length.
  • the control unit 110 may change the exposure time of the first imaging unit 102 or the length of the exposure time of the second imaging unit 104 by, for example, an operation on the operation unit 122 by the user.
  • control unit 110 detects the illuminance in the image data converted by the A / D conversion unit 108.
  • the determination unit 112 determines whether or not the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 are different.
  • the operation of 104 will be schematically described.
  • the first imaging unit 102 performs exposure in the time period t0 to t1
  • the second imaging unit 104 Exposure is started at a time between t0 and t1, and exposure is ended at a time later than t1.
  • the image photographed by the first imaging unit 102 and the image photographed by the second imaging unit 104 generally do not have the same brightness.
  • the determination unit 112 may determine whether or not the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 are different based on the shooting conditions.
  • the shooting conditions include, for example, the illuminance of the shooting environment, the distance to the subject, the length of the exposure time of the first imaging unit or the second imaging unit, and the like.
  • the determination unit 112 determines that the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 are different. May be. Further, the determination unit 112 determines that the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 are the same when the illuminance of the shooting environment is greater than a predetermined value. May be.
  • the determination unit 112 makes the exposure time zone of the first imaging unit 102 different from the exposure time zone of the second imaging unit 104. May be judged. Further, when the distance to the subject is smaller than a predetermined value, the determination unit 112 sets the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 to be the same. May be judged.
  • the determination unit 112 determines the exposure time zone of the first imaging unit 102 and the exposure time of the second imaging unit 104. It may be determined that the belt is different. In addition, when the length of the exposure time of the first imaging unit 102 is greater than a predetermined value, the determination unit 112 determines the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104. May be determined to be the same. Details of the function and significance of the determination unit 112 described above will be described later.
  • the image correcting unit 114 corrects at least one of the images based on the difference between the image captured by the first image capturing unit 102 and the image captured by the second image capturing unit 104.
  • FIG. 6 an example in which a spherical object 20 is captured by the image processing apparatus 10 as an example will be described here.
  • FIG. 6 an example of a correction method related to a three-dimensional display image will be described.
  • the image correction unit 114 is controlled by either one of the two imaging units based on the horizontal position shift of the subject in the images captured by the first imaging unit 102 and the second imaging unit 104. Correct the captured image.
  • the lens 100a and the lens 100b are arranged horizontally, and when the first imaging unit 102 and the second imaging unit 104 capture images at the same time, the position of the subject in the captured image This difference is assumed to occur only in the horizontal direction.
  • the image correction unit 114 for example, the captured image with the closest imaging time before the imaging time tb by the first imaging unit 102 with respect to the captured image 42a illustrated in FIG.
  • a difference value in the horizontal direction is calculated for each subject image included in the captured image with the image 40a.
  • the image correction unit 114 displaces the captured image 42a in the horizontal direction by the calculated difference value of the subject image for each subject image, as in the image 50a illustrated in FIG. To correct.
  • FIG. 8 is an explanatory diagram showing a frame image after correction by the example of the correction method with respect to the moving image shown in FIG. 7, together with the frame time.
  • the image correction unit 114 can correct the image 42b shown in FIG. 7 as the image 50b shown in FIG. 8 by the correction method described above.
  • the image processing apparatus 10 includes a gyroscope (not shown), and the image correction unit 114 shifts the position of the subject included in the captured image in the inclination direction of the image processing apparatus 10 detected by the gyroscope. Based on the above, an image captured by either one of the two imaging units may be corrected.
  • the image correction unit 114 compares the corrected images 50a and 50b illustrated in FIG. 8 when shooting a subject that moves at high speed, for example, as compared with the comparative example of the present disclosure.
  • the image can be taken so that the subject is perceived to move more naturally.
  • the image correcting unit 114 also causes the object 20 to vibrate in the horizontal direction during the time period t1 to t3, for example, compared with the method of interpolating the preceding and following frame images such as the image 40a and the image 40b shown in FIG.
  • various movements such as moving up and down, there is an advantage that the blur of the object 20 is smaller and a clear image can be taken.
  • the encoder / decoder 116 performs data compression / conversion on the digital signal converted by the A / D conversion unit 108 or the image data processed by the image correction unit 114 using a predetermined codec. For example, the encoder / decoder 116 converts the above image data into a JPEG format, an MPEG format, or the like.
  • the encoder / decoder 116 decompresses and restores data using a predetermined codec for still images or moving images recorded in the recording unit 120 described later.
  • the encoder / decoder 116 converts JPEG format data recorded in the recording unit 120 into data that can be displayed on the display unit 118 described later.
  • the display unit 118 is configured by, for example, a liquid crystal display (LCD) or an organic light emitting diode (OLED).
  • the display unit 118 displays an image captured by the first imaging unit 102 and the second imaging unit 104, an operation screen, and the like. Further, the display unit 118 displays the image captured by the first imaging unit 102 and the image captured by the second imaging unit 104 separately on the left and right eyes of the observer, for example. You may have a three-dimensional display function for making the said observer perceive an image
  • the recording unit 120 includes, for example, an IC memory card or a built-in memory.
  • the recording unit 120 has a function of recording images captured by the first imaging unit 102 and the second imaging unit 104.
  • the operation unit 122 has a function of accepting user operations such as activation of the image processing apparatus 10 and photographing by the image processing apparatus 10 with respect to the image processing apparatus 10.
  • the operation unit 122 may include, for example, a touch panel, a button, a switch, a dial, and the like.
  • the memory 124 is a storage device configured by a RAM (Random Access Memory) or the like.
  • the memory 124 is used as an area for temporarily storing programs, data, and the like processed by the control unit 110, for example.
  • the focus unit 126 receives the instruction from the control unit 110 and focuses the lens 100 on the subject.
  • the iris unit 128 adjusts the aperture of the lens 100 in response to an instruction from the control unit 110.
  • the zoom unit 130 changes the focal length of the lens 100 in response to an instruction from the control unit 110.
  • the exposure control unit 132 controls the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 based on the determination result by the determination unit 112. For example, the exposure control unit 132 performs control so that a part of the exposure time zone of the first imaging unit 102 overlaps the exposure time zone of the second imaging unit 104.
  • hardware such as a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM built in the image processing apparatus 10 are configured according to each configuration of the image processing apparatus 10 described above. It is also possible to provide a computer program for causing equivalent functions. A storage medium storing the computer program is also provided.
  • FIG. 4 illustrates an example having two lenses, the lens 100a and the lens 100b, the lens 100a may have only one lens such as the lens 100a. In this case, the first imaging unit 102 and the second imaging unit 104 share and use the lens 100a.
  • the operation unit 122 and the display unit 118 are distinguished from each other, but the functions of the operation unit 122 and the display unit 118 may be integrally configured in the image processing apparatus 10.
  • the determination unit 112 determines whether or not the illuminance of the shooting environment is equal to or less than a predetermined value (S105).
  • the image processing apparatus 10 performs the alternate shooting process 1 (S113).
  • the alternate shooting process 1 is a process of shooting with the exposure time zone of the first imaging unit 102 different from the exposure time zone of the second imaging unit 104. The detailed operation of the alternate shooting process 1 will be described later.
  • the determination unit 112 determines whether the distance to the subject is equal to or greater than the predetermined value (S107). ).
  • the image processing apparatus 10 performs the alternate shooting process 2 (S115).
  • the alternate shooting process 2 is a process of shooting with the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 different from each other as in the alternate shooting process 1. The detailed operation of the alternate shooting process 2 will be described later.
  • the determination unit 112 has the exposure time length of the first imaging unit 102 equal to or smaller than the predetermined value. It is determined whether or not (S109). If it is determined that the length of the exposure time of the first imaging unit 102 is equal to or less than the predetermined value (S109: Yes), the image processing apparatus 10 performs the alternate imaging process 2 (S115). On the other hand, when it is determined that the exposure time length of the first imaging unit 102 is greater than the predetermined value (S109: No), the determination unit 112 sets an exposure time zone to the operation unit 122 in advance by the user. It is determined whether or not a different operation has been performed (S111).
  • the image processing apparatus 10 When it is determined that the user has performed an operation for changing the exposure time zone on the operation unit 122 (S111: Yes), the image processing apparatus 10 performs the alternate imaging process 2 (S115). On the other hand, when it is determined that the user has not performed an operation for changing the exposure time zone on the operation unit 122 (S111: No), the image processing apparatus 10 performs normal shooting (S117). As will be described later, this normal shooting may be similar to the shooting according to the comparative example of the present disclosure.
  • the determination unit 112 automatically selects whether to perform the alternate shooting process or the normal shooting, whereas in S111, The difference is that which one to implement is selected based on the user's operation.
  • control unit 110 determines whether or not continuous shooting is performed, for example, as in moving image shooting (S119).
  • determination unit 112 performs the operation of S105 described above.
  • the image processing apparatus 10 ends the shooting mode, for example, and ends the shooting.
  • control unit 110 transmits a control signal instructing to make the exposure time zone of the first imaging unit 102 different from the exposure time zone of the second imaging unit 104 to the exposure control unit 132 (S151).
  • the exposure control unit 132 changes the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 to change the first imaging unit. 102 and the second imaging unit 104 are caused to capture an image (S153).
  • FIG. 11 is an explanatory diagram showing the operations of the first imaging unit 102 and the second imaging unit 104 when the exposure time zones in S153 are varied.
  • the upper part of FIG. 11 shows an example of the photographing operation in the alternate photographing process 1
  • the lower part of FIG. 11 shows an example of the photographing operation of the normal photographing in S117 or the comparative example of the present disclosure described above.
  • the captured images are stored in the memory 124. It corresponds to the time to transfer to.
  • the exposure control unit 132 causes the first imaging unit 102 to perform exposure during the time period t0 to t3, whereas the second imaging unit In step 104, exposure is performed in a time period from t2 to t5.
  • the exposure control unit 132 makes the exposure time zone of the first imaging unit 102 different from the exposure time zone of the second imaging unit 104 and sets the exposure time zone of the first imaging unit 102. Control is performed so that the portion (time zone t2 to t3) overlaps the exposure time zone of the second imaging unit 104.
  • FIG. 11 illustrates an example in which the exposure time lengths of the first imaging unit 102 and the second imaging unit 104 are set to be the same, but the present disclosure is not limited to such an example, and the first The length of the exposure time of the imaging unit 102 and the length of the exposure time of the second imaging unit 104 may be different.
  • the image correction unit 114 is based on at least one of the differences between the image captured by the first imaging unit 102 and the image captured by the second imaging unit 104, for example, by the correction method described above.
  • the image is corrected (S155).
  • the recording unit 120 records the image corrected in S155 or the image taken in S153.
  • the display part 118 displays the image correct
  • FIG. 12 is an explanatory diagram showing the operation of the first imaging unit 102 and the second imaging unit 104 when the exposure time zones in the alternate imaging process 2 are varied.
  • the upper part of FIG. 12 illustrates an example of the photographing operation in the alternate photographing process 2
  • the lower part of FIG. 12 illustrates the photographing operation of the normal photographing in S117 or the photographing operation according to the comparative example of the present disclosure described above.
  • the time period from t1 to t2 in the first imaging unit 102, the time period from tb to tc in the second imaging unit 104, and the like correspond to the time for transferring the captured image to the memory 124, respectively. To do.
  • the length of the exposure time of the first imaging unit 102 and the second imaging unit 104 is shorter than that in the alternate imaging process 1. Therefore, even when shooting a subject moving at high speed, a moving image can be shot so that the subject is perceived as moving continuously between consecutive frames.
  • the image processing apparatus 10 determines whether or not the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 are different. Then, based on the result of the determination, the exposure time zone of the first imaging unit 102 and the exposure time zone of the second imaging unit 104 are controlled. For this reason, the image processing apparatus 10 makes the exposure time zone of the first imaging unit 102 different from the exposure time zone of the second imaging unit 104 based on shooting conditions such as illuminance and exposure time of the shooting environment, for example. Therefore, it is possible to shoot images with good image quality under various shooting conditions.
  • the image processing apparatus 10 performs the above-described alternate shooting process 1 when the illuminance of the shooting environment is equal to or less than a predetermined value.
  • the alternate imaging process 1 since the exposure times of the first imaging unit 102 and the second imaging unit 104 are substantially increased, in an imaging environment with low illuminance, the image processing apparatus according to the comparative example of the present disclosure is used. Even bright images can be taken.
  • the image processing apparatus 10 includes a part of the exposure time zone of the first imaging unit 102 that overlaps the exposure time zone of the second imaging unit 104 and a part of the exposure time zone of the first imaging unit 102. Can be controlled so as not to overlap the exposure time zone of the second imaging unit 104. Therefore, compared with the case where the exposure time is set to be long in order to capture a bright image in the image processing apparatus according to the comparative example of the present disclosure, for example, even if camera shake occurs, for example, FIGS. As shown in the above, there is an advantage that it can be corrected well.
  • the image processing apparatus 10 performs the above-described alternate imaging process 2 when the length of the exposure time of the first imaging unit 102 or the second imaging unit 104 is equal to or less than a predetermined value. Therefore, even when shooting a subject moving at high speed, as shown in FIGS. 7 to 8, for example, the subject is less blurred between consecutive frames, and a clear image can be shot. There is an advantage.
  • the image processing apparatus 10 performs the above-described alternate imaging process 2 when the distance to the subject is equal to or greater than a predetermined value.
  • the parallax between the two imaging units is reduced, so that the image processing apparatus 10 is brighter by appropriately correcting an image captured by shifting the exposure time zone, It is also possible to shoot images with little blur.
  • the first imaging unit 102 and the second imaging unit 104 do not require advanced imaging characteristics, and can be configured by imaging elements having the same imaging characteristics. For this reason, there is an advantage that the image processing apparatus 10 can be manufactured at low cost.
  • FIG. 4 illustrates an example having two imaging units, the first imaging unit 102 and the second imaging unit 104
  • the image processing apparatus 10 may include three or more imaging units. Good.
  • the number of frame images to be corrected by the image correcting unit 114 can be increased by the number of image capturing units, so that, for example, when shooting a subject moving at high speed, the blur of the subject is further reduced. Still images or moving images can be taken so that they are clearly perceived.
  • An image processing apparatus according to 1.
  • the image processing apparatus is illuminance of a photographing environment.
  • the image processing apparatus is a distance to a subject.
  • the image processing apparatus is a length of an exposure time of the first imaging unit.
  • the determination unit determines that the exposure time zone of the first imaging unit is different from the exposure time zone of the second imaging unit when the illuminance of the shooting environment is equal to or less than a predetermined value.
  • the determination unit determines that the exposure time zone of the first imaging unit and the exposure time zone of the second imaging unit are the same when the illuminance of the shooting environment is greater than a predetermined value.
  • the image processing apparatus according to (7).
  • the determination unit makes the exposure time zone of the first imaging unit different from the exposure time zone of the second imaging unit.
  • the image processing apparatus according to (5), wherein the determination is performed.
  • the determination unit sets the exposure time zone of the first imaging unit and the exposure time zone of the second imaging unit to be the same when the distance to the subject is smaller than a predetermined value.
  • the image processing apparatus according to (9), wherein the determination is performed.
  • the determination unit When the length of the exposure time of the first imaging unit is equal to or less than a predetermined value, the determination unit includes an exposure time zone of the first imaging unit and an exposure time zone of the second imaging unit. The image processing apparatus according to (6), wherein the image processing apparatus determines that they are different from each other. (12) If the length of the exposure time of the first imaging unit is greater than a predetermined value, the determination unit determines an exposure time zone of the first imaging unit and an exposure time zone of the second imaging unit. The image processing apparatus according to (11), wherein it is determined to be the same. (13) The image processing apparatus further includes an image correction unit that corrects at least one of the images based on a difference between an image captured by the first imaging unit and an image captured by the second imaging unit.
  • the image processing apparatus according to any one of (1) to (12).
  • (14) The image processing apparatus according to any one of (1) to (13), wherein the first imaging unit and the second imaging unit have the same imaging characteristics.
  • (15) Determining whether or not the exposure time zone of the first imaging unit and the exposure time zone of the second imaging unit are different from each other by an image processing apparatus including a first imaging unit and a second imaging unit; When, Controlling the exposure time zone of the first imaging unit and the exposure time zone of the second imaging unit based on the result of the determination by the image processing device;
  • An image processing method comprising: (16) On the computer, Determining whether or not the exposure time zone of the first imaging unit and the exposure time zone of the second imaging unit are different from each other by an image processing apparatus including a first imaging unit and a second imaging unit; When, Controlling the exposure time zone of the first imaging unit and the exposure time zone of the second imaging unit based on the result of the determination by the image processing device;

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

【課題】多様な撮影条件下において適応的に画像を撮影することが可能な、新規かつ改良された画像処理装置、画像処理方法、及びプログラムを提供する。 【解決手段】第１の撮像部と、第２の撮像部と、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断する判断部と、前記判断部による前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御する露光制御部と、を備える、画像処理装置。

Description

画像処理装置、画像処理方法、及びプログラム
　本開示は、画像処理装置、画像処理方法、及びプログラムに関する。
　近日、複数の撮像素子により、視差をつけて画像を撮影する３Ｄカメラが開発されている。ユーザは、このような３Ｄカメラにより撮影された画像を専用の３Ｄ表示装置に表示させることにより、撮影された画像を立体的に知覚することができる。
　また、異なる撮像素子により撮影された複数の画像を合成する技術も研究されている。例えば、特許文献１では、カラー画像データから色情報を抽出し、モノクロ画像データから輝度情報を抽出し、そして、抽出された色情報と輝度情報とを合成し、合成画像データを生成する技術が開示されている。
特開２０１１－２３９２５９号公報
　しかしながら、上記の技術では、撮影画像の画質が撮影条件に大きく依存してしまう。例えば、照度が低い環境では著しく暗い画像が撮影されてしまったり、また露光時間が短く設定されている場合には、高速に移動する被写体に関して、連続するフレーム間で不自然に移動するように知覚されてしまう。
　そこで、本開示では、多様な撮影条件下において適応的に画像を撮影することが可能な、新規かつ改良された画像処理装置、画像処理方法、及びプログラムを提案する。
　上記課題を解決するために、本開示のある観点によれば、第１の撮像部と、第２の撮像部と、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断する判断部と、前記判断部による前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御する露光制御部と、を備える、画像処理装置が提供される。
　また、上記課題を解決するために、本開示の別の観点によれば、第１の撮像部と第２の撮像部とを備える画像処理装置により、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断することと、前記画像処理装置により、前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御することと、を備える、画像処理方法が提供される。
　また、上記課題を解決するために、本開示の別の観点によれば、コンピュータに、第１の撮像部と第２の撮像部とを備える画像処理装置により、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断することと、前記画像処理装置により、前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御することと、を実行させるためのプログラムが提供される。
　以上説明したように本開示によれば、多様な撮影条件下において適応的に画像を撮影することができる。
本開示の実施形態による画像処理装置の外部構成を示した説明図である。 本開示の比較例による動画撮影時の動作の時間的推移を示した説明図である。 同比較例により撮影される動画像の一例を示した説明図である。 本開示の実施形態による画像処理装置の構成を示した機能ブロック図である。 同実施形態による動画撮影時の動作の時間的推移を概略的に示した説明図である。 同実施形態により球形の物体を動画撮影するシーンを示した説明図である。 同実施形態により撮影される動画像の一例を示した説明図である。 同実施形態により補正処理された動画像の一例を示した説明図である。 同実施形態による動作を示したフローチャートである。 同実施形態による交互撮影処理１または交互撮影処理２の動作を詳細に示したフローチャートである。 同実施形態の交互撮影処理１による動画撮影時の動作の時間的推移を示した説明図である。 同実施形態の交互撮影処理２による動画撮影時の動作の時間的推移を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてレンズ１００ａおよびレンズ１００ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、レンズ１００ａおよびレンズ１００ｂを特に区別する必要が無い場合には、単にレンズ１００と称する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　１．画像処理装置の外部構成
　２．本開示の比較例
　３．本開示の実施形態の詳細な説明
　４．変形例
　＜１．画像処理装置の外部構成＞
　本開示は、一例として「３．本開示の実施形態の詳細な説明」において詳細に説明するように、多様な形態で実施され得る。最初に、本開示の実施形態による画像処理装置１０の外部構成について図１を参照して説明する。
　画像処理装置１０は、一般的な撮影環境において静止画または動画を撮影するために用いられる装置である。また、画像処理装置１０は、２次元表示用画像および３次元表示用画像の両方を撮影することができてもよいし、いずれか一方のみを撮影することができてもよい。
　図１に示したように、画像処理装置１０は、レンズ１００ａおよびレンズ１００ｂを含む。レンズ１００ａおよびレンズ１００ｂは、被写体を含む撮影環境から発せられる可視光をそれぞれ、図４に示す第１の撮像部１０２または第２の撮像部１０４に集光する。また、第１の撮像部１０２または第２の撮像部１０４はそれぞれ、集光された可視光を結像し、電気信号に変換することにより、当該被写体の画像を撮影する。
　＜２．本開示の比較例＞
　続いて、本開示の実施形態の特徴を明確に示すために、本開示の比較例による画像処理装置について説明する。本開示の比較例による画像処理装置は、第１の撮像部と第２の撮像部との２つの撮像部を有するが、第１の撮像部による露光時間帯と第２の撮像部による露光時間帯とを異ならすことはできないことを前提とする。
　図２は、本開示の比較例の画像処理装置による動画撮影時における、第１の撮像部および第２の撮像部の動作について示した説明図である。図２に示したように、本開示の比較例の画像処理装置では、第１の撮像部および第２の撮像部は、常に同じ時間帯に露光を行う。例えば、図２において、１枚目のフレーム画像に関して、第１の撮像部および第２の撮像部は、ともにｔ０～ｔ１の時間帯に露光を行う。
　また、図３は、本開示の比較例の画像処理装置により撮影される動画像を、撮影時刻とともに示した説明図である。この図３は、球形の物体が上から下へ移動する場面が撮影された例を示しており、また、ｔ１～ｔ３の時間帯において撮影者による手ブレが生じた例を示している。上述したように、第１の撮像部および第２の撮像部は常に同じ時間帯に露光を行う。このため、図３に示したように、第１の撮像部による画像３０ｂおよび第２の撮像部による画像３２ｂでは、物体が同程度にブレて記録される。
　　（課題の整理）
　このように、本開示の比較例では、第１の撮像部により撮影される画像と、第２の撮像部により撮影される画像とは露光時間帯が同じであるので、撮影される画像の画質は、例えば照度や露光時間といった撮影条件に大きく依存して変化する。例えば照度の低い環境では、２つの撮像部に集光される光量は少なくなるので、２つの撮像部により撮影される画像はいずれも暗い画像となってしまう。また、露光時間の長さが短く設定されている場合には、高速に移動する被写体の動画撮影時において、連続するフレーム間で当該被写体が不自然に移動するように知覚されるように、撮影されてしまう。
　そこで、上記事情を一着眼点にして本開示の実施形態による画像処理装置１０を創作するに至った。本開示の実施形態による画像処理装置１０は、多様な撮影条件下において適応的に画像を撮影することが可能である。以下、このような本開示の実施形態について詳細に説明する。
　＜３．本開示の実施形態の詳細な説明＞
　［３－１．構成］
　図４は、本開示の実施形態による画像処理装置１０の構成を示した説明図である。図４に示したように、本開示の実施形態による画像処理装置１０は、レンズ１００、第１の撮像部１０２、第２の撮像部１０４、アナログ信号処理部１０６、Ａ／Ｄ変換部１０８、制御部１１０、表示部１１８、記録部１２０、操作部１２２、メモリ１２４、フォーカス部１２６、アイリス部１２８、ズーム部１３０、および露光制御部１３２を有する。また、制御部１１０は、判断部１１２、画像補正部１１４、およびエンコーダ／デコーダ１１６を有する。
　（レンズ１００ａ、レンズ１００ｂ）
　レンズ１００ａまたはレンズ１００ｂは、被写体を含む撮影環境から発せられる可視光をそれぞれ第１の撮像部１０２または第２の撮像部１０４に集光する。
　（第１の撮像部１０２）
　第１の撮像部１０２は、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子により構成される。この第１の撮像部１０２は、レンズ１００ａにより集光された可視光を結像し、電気信号に変換する機能を有する。
　（第２の撮像部１０４）
　第２の撮像部１０４は、第１の撮像部１０２と同様に、例えばＣＣＤやＣＭＯＳなどの撮像素子により構成される。また、第２の撮像部１０４は、レンズ１００ｂにより集光された可視光を結像し、電気信号に変換する。なお、第２の撮像部１０４は、第１の撮像部１０２と同じ撮像特性を有してもよい。
　（アナログ信号処理部１０６）
　アナログ信号処理部１０６は、第１の撮像部１０２または第２の撮像部１０４により変換される電気信号に対して、所定のガンマ補正やホワイトバランス等の各種の信号処理を施す。
　（Ａ／Ｄ変換部１０８）
　Ａ／Ｄ変換部１０８は、アナログ信号処理部１０６により信号処理を施された電気信号に対して、電気信号の強弱に基づいてデジタル信号に変換する。
　（制御部１１０）
　制御部１１０は、画像処理装置１０の動作を全体的に制御する機能を有する。例えば、制御部１１０は、表示部１１８、記録部１２０、操作部１２２、メモリ１２４、フォーカス部１２６、アイリス部１２８、ズーム部１３０、および露光制御部１３２の動作を制御する。
　また、制御部１１０は、例えばフォーカス部１２６に備えられるオートフォーカスセンサまたは他の距離センサなどにより、被写体との間の距離を検知する。
　また、制御部１１０は、第１の撮像部１０２および第２の撮像部１０４の露光時間の長さを所定の長さに設定する。ここで、制御部１１０は、例えばユーザによる操作部１２２に対する操作により、第１の撮像部１０２の露光時間または第２の撮像部１０４の露光時間の長さを変化させてもよい。
　また、制御部１１０は、Ａ／Ｄ変換部１０８により変換された画像データにおける照度を検知する。
　（判断部１１２）
　判断部１１２は、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならすか否かを判断する。
　ここで、図５を参照して、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならした場合における、第１の撮像部１０２および第２の撮像部１０４の動作を概略的に説明する。図５に示したように、例えば１枚目のフレーム画像に関して、第１の撮像部１０２は、ｔ０～ｔ１の時間帯に露光を行っているのに対して、第２の撮像部１０４は、ｔ０とｔ１との間の時刻に露光を開始し、ｔ１よりも後の時刻に露光を終了している。このため、第１の撮像部１０２により撮影される画像と、第２の撮像部１０４により撮影される画像とは、一般的に同じ明るさにならない。
　また、判断部１１２は、撮影条件に基づいて、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならすか否かを判断してもよい。ここで、撮影条件は、例えば撮影環境の照度、被写体との間の距離、第１の撮像部または第２の撮像部の露光時間の長さなどである。
　例えば、判断部１１２は、撮影環境の照度が所定の値以下である場合には、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならすことを判断してもよい。また、判断部１１２は、撮影環境の照度が所定の値より大きい場合には、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを同一にすることを判断してもよい。
　また、判断部１１２は、被写体との間の距離が所定の値以上である場合には、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならすことを判断してもよい。また、判断部１１２は、被写体との間の距離が所定の値より小さい場合には、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを同一にすることを判断してもよい。
　また、判断部１１２は、第１の撮像部１０２の露光時間の長さが所定の値以下である場合には、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならすことを判断してもよい。また、判断部１１２は、第１の撮像部１０２の露光時間の長さが所定の値より大きい場合には、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを同一にすることを判断してもよい。なお、上述した判断部１１２の機能および意義の詳細については後に説明する。
　（画像補正部１１４）
　画像補正部１１４は、第１の撮像部１０２により撮影された画像と第２の撮像部１０４により撮影された画像との差分に基づいて、少なくともいずれかの画像を補正する。
　ここで、図６～図８を参照して、画像補正部１１４による補正方法の例について説明する。なお、図６に示したように、ここでは一例として、球形の物体２０を画像処理装置１０により動画撮影する例について説明する。また、ここでは３次元表示用画像に関する補正方法の例について説明する。
　図７は、図６に示した撮影環境において、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならして撮影される画像を、撮影時刻とともに示した説明図である。この図７は、球形の物体２０が上から下へ移動する場面が撮影された例を示している。なお、第１の撮像部１０２による画像４０ｂは、ｔ１～ｔ３の時間帯において露光されて撮影された画像である。また、第２の撮像部１０４による画像４２ａは、ｔ１よりも前の時刻に露光が開始され、ｔｂ（つまり、ｔ１とｔ３との間の時刻）に露光が終了されて撮影された画像である。
　‐補正方法の例‐
　例えば、画像補正部１１４は、第１の撮像部１０２および第２の撮像部１０４により撮影された画像における被写体の水平方向の位置のズレに基づいて、２個の撮像部のうちいずれか一方により撮影された画像を補正する。なお、ここでは、レンズ１００ａとレンズ１００ｂとが水平に配置されており、第１の撮像部１０２および第２の撮像部１０４により画像を同時刻に撮影した場合には、撮影画像における被写体の位置の差分は水平方向にのみ生じることを前提とする。
　具体的には、まず、画像補正部１１４は、例えば図７に示した撮影画像４２ａに対して、第１の撮像部１０２による、撮影時刻がｔｂ以前で最も撮影時刻が近い撮影画像、つまり撮影画像４０ａとの間で、撮影画像に含まれる被写体の画像ごとに水平方向の差分値を算出する。次に、画像補正部１１４は、撮影画像４２ａに対して、被写体の画像ごとに、算出された当該被写体の画像の差分値だけ水平方向に変位させることにより、図８に示した画像５０ａのように補正する。なお、図８は、図７に示した動画像に対して、当該補正方法の例により補正された後のフレーム画像を、フレームの時刻とともに示した説明図である。
　また、図８に示したように、画像補正部１１４は、上述した補正方法により、図７に示した画像４２ｂを、図８に示した画像５０ｂのように補正することができる。
　なお、図８では、２個の撮像部により撮影された撮影画像における被写体の水平方向の位置のズレに基づいて、第１の撮像部１０２により撮影された画像を補正する例について示しているが、画像補正部１１４は、第２の撮像部１０４により撮影された画像についても、同様の方法により補正することができる。
　また、上記の説明では、撮影画像に含まれる被写体の水平方向の位置のズレに基づいて、２個の撮像部のうちいずれか一方により撮影された画像を補正する例について説明したが、本開示はかかる例に限定されない。例えば、画像処理装置１０はジャイロスコープ（図示省略）を有し、画像補正部１１４は、当該ジャイロスコープによって検出される画像処理装置１０の傾きの方向における、撮影画像に含まれる被写体の位置のズレに基づいて、２個の撮像部のうちいずれか一方により撮影された画像を補正してもよい。
　上述したような補正方法により、画像補正部１１４は、本開示の比較例と比較して、例えば高速に移動する被写体を撮影する場合において、図８に示した補正後の画像５０ａおよび５０ｂのように当該被写体がより自然に移動するように知覚されるように、画像を撮影することができる。また、画像補正部１１４は、例えば図７に示した画像４０ａおよび画像４０ｂなど前後のフレーム画像を補間する方法と比較しても、例えばｔ１～ｔ３の時間帯に物体２０が水平方向に振動しながら上下方向に移動するなど多様に移動する場合において、物体２０のブレがより小さく、明瞭な画像を撮影することができるという利点がある。
　以上、３次元表示用画像に関する補正処理の例について説明したが、画像補正部１１４は、上述した補正方法に基づいて２次元表示用画像を生成することも可能である。例えば、画像補正部１１４は、第１の撮像部１０２および第２の撮像部１０４により撮影された撮影画像における被写体の水平方向の位置のズレの半分の値に基づいて、２個の撮像部のうちいずれか一方により撮影された画像を補正することにより、２次元表示用画像を生成することができる。
　（エンコーダ／デコーダ１１６）
　エンコーダ／デコーダ１１６は、Ａ／Ｄ変換部１０８により変換されたデジタル信号または画像補正部１１４により処理を施された画像データに対して、所定のコーデックによりデータ圧縮・変換を行う。例えば、エンコーダ／デコーダ１１６は、上記の画像データをＪＰＥＧ形式やＭＰＥＧ形式などに変換する。
　また、エンコーダ／デコーダ１１６は、後述する記録部１２０に記録された静止画または動画に対して、所定のコーデックによりデータの解凍・復元を行う。例えば、エンコーダ／デコーダ１１６は、記録部１２０に記録されたＪＰＥＧ形式のデータから、後述する表示部１１８に表示可能なデータに変換を行う。
　（表示部１１８）
　表示部１１８は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などにより構成される。この表示部１１８は、第１の撮像部１０２および第２の撮像部１０４により撮像された画像や操作画面などを表示する。また、表示部１１８は、例えば観察者の左右の眼に、第１の撮像部１０２により撮像された画像と、第２の撮像部１０４により撮像された画像と、を別々に表示させることにより、当該観察者に映像を立体的に知覚させるための３次元表示機能を有してもよい。
　（記録部１２０）
　記録部１２０は、例えばＩＣメモリカードや内蔵メモリなどから構成される。この記録部１２０は、第１の撮像部１０２および第２の撮像部１０４により撮像された画像を記録する機能を有する。
　（操作部１２２）
　操作部１２２は、画像処理装置１０に対して、例えば画像処理装置１０の起動や、画像処理装置１０による撮影などのユーザの操作を受け付ける機能を有する。この操作部１２２は、例えばタッチパネル、ボタン、スイッチ、ダイヤル等を含んでもよい。
　（メモリ１２４）
　メモリ１２４は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等で構成される記憶装置である。このメモリ１２４は、例えば制御部１１０で処理されるプログラムやデータ等を一時記憶する領域として利用される。
　（フォーカス部１２６）
　フォーカス部１２６は、制御部１１０の指示を受けて、レンズ１００の焦点を被写体に合わせる。
　（アイリス部１２８）
　アイリス部１２８は、制御部１１０の指示を受けて、レンズ１００の絞りを調節する。
　（ズーム部１３０）
　ズーム部１３０は、制御部１１０の指示を受けて、レンズ１００の焦点距離を変化させる。
　（露光制御部１３２）
　露光制御部１３２は、判断部１１２による判断の結果に基づいて、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを制御する。例えば、露光制御部１３２は、第１の撮像部１０２の露光時間帯の一部が第２の撮像部１０４の露光時間帯と重なるように制御する。
　なお、本開示の実施形態によれば、画像処理装置１０に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）およびＲＡＭなどのハードウェアを、上述した画像処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　以上、本開示の実施形態による画像処理装置１０について説明したが、本開示は上述した構成に限定されない。また、図４では、レンズ１００ａおよびレンズ１００ｂの２個のレンズを有する例を記載しているが、例えばレンズ１００ａだけのようにレンズを１個だけ有してもよい。この場合、第１の撮像部１０２と第２の撮像部１０４は、レンズ１００ａを共有して利用する。また、図４では、操作部１２２と表示部１１８とを区別して記載しているが、操作部１２２と表示部１１８との機能は、画像処理装置１０において一体的に構成されてもよい。
　また、レンズ１００、アナログ信号処理部１０６、Ａ／Ｄ変換部１０８、画像補正部１１４、エンコーダ／デコーダ１１６、表示部１１８、記録部１２０、操作部１２２、メモリ１２４、フォーカス部１２６、アイリス部１２８、およびズーム部１３０のうちいずれか一つ以上は、画像処理装置１０と通信可能な他の装置に備えられてもよい。
　［３－２．動作］
　（３－２－１．動作の基本的な流れ）
　続いて、本開示の実施形態による動作について説明する。図９に示したように、まず、操作部１２２に対するユーザの操作により、画像処理装置１０が起動する（Ｓ１０１）。次に、操作部１２２に対するユーザの操作により、静止画または動画を撮影するための撮像モードが起動する（Ｓ１０３）。
　続いて、判断部１１２は、撮影環境の照度が所定の値以下であるか否かを判定する（Ｓ１０５）。撮影環境の照度が所定の値以下であると判定される場合は（Ｓ１０５：Ｙｅｓ）、画像処理装置１０は交互撮影処理１を行う（Ｓ１１３）。ここで、交互撮影処理１は、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならして撮影する処理である。なお、交互撮影処理１の詳細な動作については後述する。
　一方、撮影環境の照度が所定の値より大きいと判定される場合は（Ｓ１０５：Ｎｏ）、判断部１１２は、被写体との間の距離が所定の値以上であるか否かを判定する（Ｓ１０７）。被写体との間の距離が所定の値以上であると判定される場合は（Ｓ１０７：Ｙｅｓ）、画像処理装置１０は交互撮影処理２を行う（Ｓ１１５）。ここで、交互撮影処理２は、交互撮影処理１と同様に、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならして撮影する処理である。なお、交互撮影処理２の詳細な動作については後述する。
　一方、被写体との間の距離が所定の値より小さいと判定される場合は（Ｓ１０７：Ｎｏ）、判断部１１２は、第１の撮像部１０２の露光時間の長さが所定の値以下であるか否かを判定する（Ｓ１０９）。第１の撮像部１０２の露光時間の長さが所定の値以下であると判定される場合は（Ｓ１０９：Ｙｅｓ）、画像処理装置１０は交互撮影処理２を行う（Ｓ１１５）。一方、第１の撮像部１０２の露光時間の長さが所定の値より大きいと判定される場合は（Ｓ１０９：Ｎｏ）、判断部１１２は、ユーザにより予め操作部１２２に対して露光時間帯を異ならす操作がなされたか否かを判定する（Ｓ１１１）。
　ユーザにより操作部１２２に対して露光時間帯を異ならす操作がなされたと判定される場合は（Ｓ１１１：Ｙｅｓ）、画像処理装置１０は交互撮影処理２を行う（Ｓ１１５）。一方、ユーザにより操作部１２２に対して露光時間帯を異ならす操作がなされていないと判定される場合は（Ｓ１１１：Ｎｏ）、画像処理装置１０は通常撮影を行う（Ｓ１１７）。なお、後述するように、この通常撮影は、本開示の比較例による撮影と同様であってもよい。
　なお、説明が重複するが、上述したＳ１０５、Ｓ１０７、およびＳ１０９では、判断部１１２が交互撮影処理と通常撮影とのいずれを実施するかを自動的に選択するのに対して、このＳ１１１では、いずれを実施するかがユーザの操作に基づいて選択される点が相違する。
　続いて、制御部１１０は、例えば動画撮影のように、連続して撮影がなされるか否かを判定する（Ｓ１１９）。連続して撮影がなされると判定される場合は（Ｓ１１９：Ｙｅｓ）、判断部１１２は、上述したＳ１０５の動作を行う。一方、連続して撮影がなされないと判定される場合は（Ｓ１１９：Ｎｏ）、画像処理装置１０は、例えば撮像モードを終了し、撮影を終了する。
　（３－２－２．交互撮影処理１の動作）
　以上、本開示の実施形態による動作の基本的な流れについて説明した。続いて、図１０を参照して、Ｓ１１３における交互撮影処理１の詳細な動作について説明する。まず、制御部１１０は、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならすことを指示する制御信号を露光制御部１３２に送信する（Ｓ１５１）。
　続いて、露光制御部１３２は、例えば図１１に示したように、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならせて、第１の撮像部１０２および第２の撮像部１０４に撮像させる（Ｓ１５３）。
　図１１は、Ｓ１５３における露光時間帯を異ならせた場合における、第１の撮像部１０２および第２の撮像部１０４の動作について示した説明図である。図１１の上段が、交互撮影処理１における撮影動作の例を示しており、図１１の下段が、Ｓ１１７における通常撮影の撮影動作の例、または上述した本開示の比較例を示している。なお、図１１において、第１の撮像部１０２におけるｔ３～ｔ４の時間帯、ｔ７～ｔ８の時間帯、および第２の撮像部１０４におけるｔ５～ｔ６の時間帯は、それぞれ撮影した画像をメモリ１２４に転送する時間に相当する。
　図１１に示したように、１枚目のフレーム画像に関して、露光制御部１３２は、第１の撮像部１０２にｔ０～ｔ３の時間帯に露光を行わせるのに対して、第２の撮像部１０４にはｔ２～ｔ５の時間帯に露光を行わせる。このように、露光制御部１３２は、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならせ、かつ、第１の撮像部１０２の露光時間帯の一部（ｔ２～ｔ３の時間帯）が第２の撮像部１０４の露光時間帯と重なるように制御する。
　なお、図１１では、第１の撮像部１０２および第２の撮像部１０４による露光時間の長さが同一に設定された例を示しているが、本開示はかかる例に限定されず、第１の撮像部１０２の露光時間の長さと第２の撮像部１０４の露光時間の長さとは異なってもよい。
　続いて、画像補正部１１４は、例えば上述した補正方法により、第１の撮像部１０２により撮影された画像と第２の撮像部１０４により撮影された画像との差分に基づいて、少なくともいずれかの画像を補正する（Ｓ１５５）。
　続いて、記録部１２０は、Ｓ１５５により補正された画像またはＳ１５３により撮影された画像を記録する。あるいは、表示部１１８は、Ｓ１５５により補正された画像またはＳ１５３により撮影された画像を表示する（Ｓ１５７）。
　（３－２－３．交互撮影処理２の動作）
　続いて、Ｓ１１５における交互撮影処理２の詳細な動作について説明する。なお、交互撮影処理２における動作の流れは、図１０に示した交互撮影処理１の動作と概略同様である。
　図１２は、交互撮影処理２における露光時間帯を異ならせた場合における、第１の撮像部１０２および第２の撮像部１０４の動作について示した説明図である。図１２の上段が、交互撮影処理２における撮影動作の例を示しており、図１２の下段が、Ｓ１１７における通常撮影の撮影動作、または上述した本開示の比較例による撮影動作を示している。なお、図１２において、例えば第１の撮像部１０２におけるｔ１～ｔ２の時間帯や第２の撮像部１０４におけるｔｂ～ｔｃの時間帯などは、それぞれ撮影した画像をメモリ１２４に転送する時間に相当する。
　図１２に示したように、交互撮影処理２では、交互撮影処理１と比較して、第１の撮像部１０２および第２の撮像部１０４の露光時間の長さが短い。このため、高速に移動する被写体を撮影する場合であっても、連続するフレーム間で、当該被写体が連続的に移動するように知覚されるように、動画像を撮影することができる。
　［３－３．効果］
　以上説明したように、本開示の実施形態によれば、画像処理装置１０は、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならすか否かを判断し、当該判断の結果に基づいて、第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを制御する。このため、画像処理装置１０は、例えば撮影環境の照度や露光時間などの撮影条件に基づいて第１の撮像部１０２の露光時間帯と第２の撮像部１０４の露光時間帯とを異ならすことができるので、多様な撮影条件下において良好な画質の画像を撮影することができる。
　また、画像処理装置１０は、撮影環境の照度が所定の値以下である場合には、上述した交互撮影処理１を行う。この交互撮影処理１では、第１の撮像部１０２および第２の撮像部１０４のそれぞれの露光時間を実質的に長くするので、照度が低い撮影環境において、本開示の比較例による画像処理装置よりも明るい画像を撮影することができる。
　また、画像処理装置１０は、第１の撮像部１０２の露光時間帯の一部が第２の撮像部１０４の露光時間帯と重なり、かつ、第１の撮像部１０２の露光時間帯の一部が第２の撮像部１０４の露光時間帯と重ならないように制御することができる。このため、本開示の比較例による画像処理装置において明るい画像を撮影するために露光時間が長く設定されている場合と比較すると、撮影時に例えば手ブレなどが生じても、例えば図７～図８に示したように良好に補正することができるという利点がある。
　また、画像処理装置１０は、第１の撮像部１０２または第２の撮像部１０４の露光時間の長さが所定の値以下である場合には、上述した交互撮影処理２を行う。このため、高速に移動する被写体を撮影する場合であっても、例えば図７～図８に示したように、連続するフレーム間で当該被写体のブレが小さく、明瞭な画像を撮影することができるという利点がある。
　また、画像処理装置１０は、被写体との間の距離が所定の値以上である場合には、上述した交互撮影処理２を行う。被写体との間の距離が遠い場合には２個の撮像部の視差が小さくなるので、画像処理装置１０は、露光時間帯をずらして撮影された画像を適切に補正することにより、より明るく、かつブレがほとんどない画像を撮影することができる。
　また、第１の撮像部１０２および第２の撮像部１０４は、いずれも高度な撮像特性を必要とせず、かつ、同一の撮像特性を有する撮像素子により構成することができる。このため、画像処理装置１０を安価に製造することができるという利点がある。
　＜４．変形例＞
　なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、図４では、第１の撮像部１０２および第２の撮像部１０４の２個の撮像部を有する例を記載しているが、画像処理装置１０は撮像部を３個以上有してもよい。この変形例によれば、画像補正部１１４により補正されるフレーム画像の枚数を撮像部の数だけ増やすことができるので、例えば高速に移動する被写体を撮影する場合において、当該被写体のブレがさらに小さく、明瞭に知覚されるように、静止画像または動画像を撮影することができる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１の撮像部と、
　第２の撮像部と、
　前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断する判断部と、
　前記判断部による前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御する露光制御部と、
　を備える、画像処理装置。
（２）
　前記露光制御部は、前記第１の撮像部の露光時間帯の一部が前記第２の撮像部の露光時間帯と重なるように制御する、前記（１）に記載の画像処理装置。
（３）
　前記判断部は、撮影条件に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断する、前記（１）または（２）に記載の画像処理装置。
（４）
　前記撮影条件は、撮影環境の照度である、前記（３）に記載の画像処理装置。
（５）
　前記撮影条件は、被写体との間の距離である、前記（３）に記載の画像処理装置。
（６）
　前記撮影条件は、前記第１の撮像部の露光時間の長さである、前記（３）に記載の画像処理装置。
（７）
　前記判断部は、前記撮影環境の照度が所定の値以下である場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすことを判断する、前記（４）に記載の画像処理装置。
（８）
　前記判断部は、前記撮影環境の照度が所定の値より大きい場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを同一にすることを判断する、前記（７）に記載の画像処理装置。
（９）
　前記判断部は、前記被写体との間の距離が所定の値以上である場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすことを判断する、前記（５）に記載の画像処理装置。
（１０）
　前記判断部は、前記被写体との間の距離が所定の値より小さい場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを同一にすることを判断する、前記（９）に記載の画像処理装置。
（１１）
　前記判断部は、前記第１の撮像部の露光時間の長さが所定の値以下である場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすことを判断する、前記（６）に記載の画像処理装置。
（１２）
　前記判断部は、前記第１の撮像部の露光時間の長さが所定の値より大きい場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを同一にすることを判断する、前記（１１）に記載の画像処理装置。
（１３）
　前記画像処理装置は、前記第１の撮像部により撮影された画像と前記第２の撮像部により撮影された画像との差分に基づいて、少なくともいずれかの画像を補正する画像補正部をさらに備える、前記（１）～（１２）のいずれか一項に記載の画像処理装置。
（１４）
　前記第１の撮像部と前記第２の撮像部とは、同じ撮像特性を有する、前記（１）～（１３）のいずれか一項に記載の画像処理装置。
（１５）
　第１の撮像部と第２の撮像部とを備える画像処理装置により、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断することと、
　前記画像処理装置により、前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御することと、
　を備える、画像処理方法。
（１６）
　コンピュータに、
　第１の撮像部と第２の撮像部とを備える画像処理装置により、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断することと、
　前記画像処理装置により、前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御することと、
　を実行させるためのプログラム。
１０　画像処理装置
１００　レンズ
１０２　第１の撮像部
１０４　第２の撮像部
１０６　アナログ信号処理部
１０８　Ａ／Ｄ変換部
１１０　制御部
１１２　判断部
１１４　画像補正部
１１６　エンコーダ／デコーダ
１１８　表示部
１２０　記録部
１２２　操作部
１２４　メモリ
１２６　フォーカス部
１２８　アイリス部
１３０　ズーム部
１３２　露光制御部

Claims (16)

  1. 　第１の撮像部と、
    　第２の撮像部と、
    　前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断する判断部と、
    　前記判断部による前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御する露光制御部と、
    　を備える、画像処理装置。
  2. 　前記露光制御部は、前記第１の撮像部の露光時間帯の一部が前記第２の撮像部の露光時間帯と重なるように制御する、請求項１に記載の画像処理装置。
  3. 　前記判断部は、撮影条件に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断する、請求項２に記載の画像処理装置。
  4. 　前記撮影条件は、撮影環境の照度である、請求項３に記載の画像処理装置。
  5. 　前記撮影条件は、被写体との間の距離である、請求項３に記載の画像処理装置。
  6. 　前記撮影条件は、前記第１の撮像部の露光時間の長さである、請求項３に記載の画像処理装置。
  7. 　前記判断部は、前記撮影環境の照度が所定の値以下である場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすことを判断する、請求項４に記載の画像処理装置。
  8. 　前記判断部は、前記撮影環境の照度が所定の値より大きい場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを同一にすることを判断する、請求項７に記載の画像処理装置。
  9. 　前記判断部は、前記被写体との間の距離が所定の値以上である場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすことを判断する、請求項５に記載の画像処理装置。
  10. 　前記判断部は、前記被写体との間の距離が所定の値より小さい場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを同一にすることを判断する、請求項９に記載の画像処理装置。
  11. 　前記判断部は、前記第１の撮像部の露光時間の長さが所定の値以下である場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすことを判断する、請求項６に記載の画像処理装置。
  12. 　前記判断部は、前記第１の撮像部の露光時間の長さが所定の値より大きい場合には、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを同一にすることを判断する、請求項１１に記載の画像処理装置。
  13. 　前記画像処理装置は、前記第１の撮像部により撮影された画像と前記第２の撮像部により撮影された画像との差分に基づいて、少なくともいずれかの画像を補正する画像補正部をさらに備える、請求項３に記載の画像処理装置。
  14. 　前記第１の撮像部と前記第２の撮像部とは、同じ撮像特性を有する、請求項１３に記載の画像処理装置。
  15. 　第１の撮像部と第２の撮像部とを備える画像処理装置により、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断することと、
    　前記画像処理装置により、前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御することと、
    　を備える、画像処理方法。
  16. 　コンピュータに、
    　第１の撮像部と第２の撮像部とを備える画像処理装置により、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを異ならすか否かを判断することと、
    　前記画像処理装置により、前記判断の結果に基づいて、前記第１の撮像部の露光時間帯と前記第２の撮像部の露光時間帯とを制御することと、
    　を実行させるためのプログラム。
     
PCT/JP2013/076870 2012-11-15 2013-10-02 画像処理装置、画像処理方法、及びプログラム WO2014077047A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-251027 2012-11-15
JP2012251027 2012-11-15

Publications (1)

Publication Number Publication Date
WO2014077047A1 true WO2014077047A1 (ja) 2014-05-22

Family

ID=50730968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/076870 WO2014077047A1 (ja) 2012-11-15 2013-10-02 画像処理装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2014077047A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3310036A1 (en) * 2016-10-15 2018-04-18 Canon Kabushiki Kaisha Image pickup system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341134A (ja) * 2004-05-26 2005-12-08 Matsushita Electric Ind Co Ltd 画像処理装置
JP2006013884A (ja) * 2004-06-25 2006-01-12 Fuji Photo Film Co Ltd カメラ
JP2012124622A (ja) * 2010-12-07 2012-06-28 Sharp Corp 撮像装置
JP2012205117A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 電子機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341134A (ja) * 2004-05-26 2005-12-08 Matsushita Electric Ind Co Ltd 画像処理装置
JP2006013884A (ja) * 2004-06-25 2006-01-12 Fuji Photo Film Co Ltd カメラ
JP2012124622A (ja) * 2010-12-07 2012-06-28 Sharp Corp 撮像装置
JP2012205117A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 電子機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3310036A1 (en) * 2016-10-15 2018-04-18 Canon Kabushiki Kaisha Image pickup system
JP2018064257A (ja) * 2016-10-15 2018-04-19 キヤノン株式会社 撮像システム
CN107959771A (zh) * 2016-10-15 2018-04-24 佳能株式会社 图像拾取系统
US10948288B2 (en) 2016-10-15 2021-03-16 Canon Kabushiki Kaisha Image pickup system with overlap and non-overlap exposure period

Similar Documents

Publication Publication Date Title
TWI387330B (zh) 具有用於拍攝平移圖像之平移模式的攝像裝置
JP5368350B2 (ja) 立体撮像装置
JP2008129554A (ja) 撮像装置及びオートフォーカス制御方法
CN108156365B (zh) 摄像装置、摄像方法以及记录介质
JP2009133903A (ja) 撮像装置およびその撮像方法
JP2011039486A (ja) 撮像装置、方法およびプログラム
TW201205181A (en) Video camera providing videos with perceived depth
JP2010268388A (ja) 撮像装置
US20150304529A1 (en) Image processing device, imaging device, program, and image processing method
US8743181B2 (en) Image pickup apparatus
US20150189142A1 (en) Electronic apparatus and method of capturing moving subject by using the same
KR102375688B1 (ko) 촬상 장치, 촬영 시스템 및 촬영 방법
US20190132501A1 (en) Imaging device, control method of imaging device, and storage medium
JP2012222495A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20170067634A (ko) 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법
CN107637067B (zh) 图像处理设备和图像处理方法
US11388331B2 (en) Image capture apparatus and control method thereof
JPWO2014148031A1 (ja) 画像生成装置、撮像装置および画像生成方法
KR20140014288A (ko) 촬상 장치
CN103685876A (zh) 摄像装置及摄像方法
JP2009213114A (ja) 撮像装置及びプログラム
JP6155471B2 (ja) 画像生成装置、撮像装置および画像生成方法
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2012133185A (ja) 撮像装置
US20190182432A1 (en) Display control apparatus and control method for the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13855250

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13855250

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP