WO2019181299A1 - 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム - Google Patents

撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム Download PDF

Info

Publication number
WO2019181299A1
WO2019181299A1 PCT/JP2019/005392 JP2019005392W WO2019181299A1 WO 2019181299 A1 WO2019181299 A1 WO 2019181299A1 JP 2019005392 W JP2019005392 W JP 2019005392W WO 2019181299 A1 WO2019181299 A1 WO 2019181299A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
control
movable lens
condition value
state
Prior art date
Application number
PCT/JP2019/005392
Other languages
English (en)
French (fr)
Inventor
長谷川　亮
小林　誠
仁史 桜武
智紀 増田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020507433A priority Critical patent/JP6765027B2/ja
Publication of WO2019181299A1 publication Critical patent/WO2019181299A1/ja
Priority to US17/020,792 priority patent/US10992872B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing

Definitions

  • the present invention relates to an imaging control device, an imaging device, an imaging control method, and an imaging control program.
  • a dark image signal obtained from the imaging device is obtained in a light-shielded state where no subject light is incident on the imaging device, and imaging is performed with the subject light being incident on the imaging device. This dark image signal is subtracted from the captured image signal obtained from the element.
  • Patent Document 1 describes that a dark image signal is obtained by controlling a neutral density filter disposed in front of an image sensor to a non-transmissive state.
  • Japanese Patent Laid-Open No. 2004-228561 controls a diaphragm disposed in front of an image sensor, performs two images with different amounts of light incident on the image sensor, and compares captured image signals obtained by the two images. Thus, obtaining a dark image signal is described.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging control device, an imaging device, an imaging control method, and an imaging control program capable of accurately obtaining a dark image signal.
  • An imaging control apparatus of the present invention causes an imaging element that images a subject to pass through a movable lens and an optical element having a variable amount of transmitted light to perform first imaging for recording, and further, the light shielding state of the imaging element. Based on a plurality of first captured image signals obtained from the image sensor by the plurality of second imaging operations, and a control unit that performs a plurality of second imaging operations for obtaining dark image signals generated in A dark image signal acquisition unit that obtains the dark image signal, and the control unit controls the optical element, and a plurality of exposure states in which the amount of light incident on the imaging element is greater than 0 and different from each other.
  • Each of the second imaging is performed, and the control unit controls the movable lens at the time of the second imaging, and is determined by a control state of the movable lens at the time of the second imaging.
  • One imaging condition value and Second imaging condition value is different from a state determined by the control state of the first of said movable lens at the time of imaging, thereby obtaining a.
  • the imaging device of the present invention includes the imaging control device and the imaging element.
  • an imaging element that captures an image of a subject through a movable lens and an optical element having a variable amount of transmitted light performs first imaging for recording, and further the light shielding state of the imaging element.
  • a dark image signal acquisition step for obtaining the dark image signal, and in the control step the optical element is controlled, and a plurality of exposure states in which the amount of light incident on the imaging element is greater than 0 and different from each other
  • the movable lens is controlled at the time of the second imaging, and the control state of the movable lens at the time of the second imaging is controlled.
  • Whole a first imaging condition value, thereby obtaining a second imaging condition value is different from the state, which is determined by the control state of the movable lens
  • the imaging control program of the present invention causes an imaging element that images a subject to pass through a movable lens and an optical element having a variable amount of transmitted light to perform first imaging for recording, and further, the light shielding state of the imaging element. Based on a plurality of first captured image signals obtained from the image sensor by the plurality of times of the second imaging, and a control step for performing the second imaging of the plurality of times for obtaining the dark image signal generated in step A dark image signal acquisition step for obtaining the dark image signal, wherein the control step controls the optical element so that the amount of light incident on the imaging element is less than zero.
  • the second imaging is performed in each of a plurality of large and different exposure states, and in the control step, the movable lens is controlled during the second imaging, A state in which the first imaging condition value determined by the control state of the movable lens at the time of the second imaging is different from the second imaging condition value determined by the control state of the movable lens at the time of the first imaging.
  • an imaging control device an imaging device, an imaging control method, and an imaging control program capable of accurately obtaining a dark image signal.
  • FIG. 1 is a diagram illustrating a schematic configuration of a digital camera 100 that is an embodiment of an imaging apparatus of the present invention. It is a functional block diagram of the system control part 11 shown in FIG. 3 is a flowchart for explaining an operation in an imaging mode of the digital camera 100 shown in FIG. 1. 6 is a flowchart for explaining a first modification of the operation of the digital camera 100 shown in FIG. 1 in the imaging mode. 10 is a flowchart for explaining a second modification of the operation of the digital camera 100 shown in FIG. 1 in the imaging mode. 10 is a flowchart for explaining a second modification of the operation of the digital camera 100 shown in FIG. 1 in the imaging mode.
  • the external appearance of the smart phone 200 which is one Embodiment of the imaging device of this invention is shown. It is a block diagram which shows the structure of the smart phone 200 shown in FIG.
  • FIG. 1 is a diagram showing a schematic configuration of a digital camera 100 which is an embodiment of an imaging apparatus of the present invention.
  • a digital camera 100 shown in FIG. 1 includes a lens device 40A having an imaging lens 1, an aperture 2, a lens controller 4, a lens driver 8, and an aperture driver 9, and a main body 40B.
  • the lens device 40A may be detachable from the main body 40B, or may be integrated with the main body 40B. In the configuration in which the lens device 40A can be attached to and detached from the main body 40B, the main body 40B constitutes an imaging device.
  • the imaging lens 1 includes a focus lens and a zoom lens that are movable in the optical axis direction.
  • the focus lens and the zoom lens each constitute a movable lens.
  • the focus lens is a lens for adjusting the focal position of the imaging lens 1, and is composed of a single lens or a plurality of lenses.
  • the focus position is adjusted by moving the focus lens in the optical axis direction of the imaging lens 1.
  • a liquid lens capable of changing the focal position by variably controlling the curved surface of the lens may be used.
  • the zoom lens is a lens for adjusting the focal length of the imaging lens 1 and is composed of a single lens or a plurality of lenses.
  • the focal length is changed by moving the zoom lens in the optical axis direction of the imaging lens 1.
  • the lens control unit 4 of the lens device 40A is configured to be able to communicate with the system control unit 11 of the main body unit 40B by wire or wirelessly.
  • the lens control unit 4 controls the focus lens included in the imaging lens 1 via the lens driving unit 8 in accordance with a command from the system control unit 11 to change the position (focus position) of the main point of the focus lens.
  • the zoom lens included in the imaging lens 1 is controlled via the lens driving unit 8 to change the position (focal length) of the zoom lens, or the aperture value of the aperture 2 is controlled via the aperture driving unit 9. .
  • the main body 40B includes an imaging element 5 such as a CCD (Charged Coupled Device) type image sensor or a MOS (Metal Oxide Semiconductor) type image sensor that images a subject through an imaging optical system including an imaging lens 1 and a diaphragm 2, and an imaging element 5.
  • the imaging device 5 has an imaging surface in which a plurality of pixels are two-dimensionally arranged, and a subject image formed on the imaging surface by an imaging optical system is converted into a pixel signal by the plurality of pixels and output. .
  • a set of pixel signals output from each pixel of the image sensor 5 is hereinafter referred to as a captured image signal.
  • the image sensor driving unit 5A drives the image sensor 5 by generating a drive signal based on a command from the system control unit 11 and supplying the drive signal to the image sensor 5.
  • the variable ND filter 3 is an optical element having a variable amount of transmitted light.
  • a characteristic element for example, a liquid crystal element or an electrochromic element
  • whose light transmittance can be changed by an applied voltage is two-dimensionally arranged. is there.
  • the variable ND filter 3 may be formed integrally with the image sensor 5.
  • the imaging device 5 includes an imaging device chip, a package that accommodates the imaging device chip, and a protective cover that seals the package.
  • the variable ND filter 3 may be laminated
  • the ND driving unit 3A controls the transmittance of the variable ND filter 3 by controlling the voltage applied to each characteristic element of the variable ND filter 3 in accordance with an instruction from the system control unit 11.
  • the system control unit 11 performs overall control of the entire digital camera 100, and has a hardware structure including various processors that execute processing by executing programs including an imaging control program.
  • programmable logic which is a processor whose circuit configuration can be changed after manufacturing, such as a CPU (Central Processing Unit) and an FPGA (Field Programmable Gate Array), which are general-purpose processors that execute programs and perform various processes Examples include a dedicated electrical circuit that is a processor having a circuit configuration that is specifically designed to execute a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit).
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • the structures of these various processors are electric circuits in which circuit elements such as semiconductor elements are combined.
  • the system control unit 11 may be configured by one of various types of processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). May be.
  • the main unit 40B further includes a memory 16 including a RAM (Random Access Memory) and a ROM (Read only memory), a memory control unit 15 that controls data storage in the memory 16 and data reading from the memory 16, and imaging A digital signal processing unit 17 that performs digital signal processing on the captured image signal output from the element 5 to generate captured image data according to various formats such as JPEG (Joint Photographic Experts Group) format, and a storage medium 21
  • the ROM included in the memory 16 stores a program including an imaging control program executed by the system control unit 11.
  • the memory control unit 15, the digital signal processing unit 17, the external memory control unit 20, and the display unit 22 are connected to each other by a control bus 24 and a data bus 25, and are controlled by a command from the system control unit 11.
  • the digital signal processing unit 17 is the various processors exemplified above that execute processing by executing a program including an imaging control program.
  • FIG. 2 is a functional block diagram of the system control unit 11 shown in FIG.
  • the system control unit 11 functions as the control unit 11A and the dark image signal acquisition unit 11B by executing a program including an imaging control program stored in the ROM of the memory 16.
  • the control unit 11A causes the imaging device 5 to perform the first imaging for recording, and further controls the variable ND filter 3 so that the amount of light incident on the imaging device 5 is greater than 0 and different from each other.
  • the image pickup device 5 is caused to perform the second image pickup for obtaining the dark image signal generated in the light shielding state of the image pickup device 5.
  • control unit 11A controls the focus lens during the second imaging, and the focus position, which is the first imaging condition value determined by the control state of the focus lens during the second imaging, A state in which the focal position, which is the second imaging condition value determined by the control state of the focus lens during imaging, is different.
  • the dark image signal acquisition unit 11B obtains a dark image signal based on a plurality of captured image signals obtained from the image sensor 5 by the second imaging of the plurality of times.
  • FIG. 3 is a flowchart for explaining the operation of the digital camera 100 shown in FIG. 1 in the imaging mode.
  • the system control unit 11 controls the transmittance of all characteristic elements of the variable ND filter 3 to 100%.
  • the system control unit 11 causes the imaging device 5 to perform imaging for displaying a live view image (step S1).
  • the captured image signal output from the image sensor 5 by this imaging is processed by the digital signal processing unit 17 to generate image data for live view display, and the live view image is displayed on the display unit 22 based on this image data. (Step S2).
  • step S2 the process of step S1 and step S2 is repeated until an instruction to execute AE (Auto Exposure) and AF (Auto Focus) is given by pressing a release button included in the operation unit 14 in step S3. It is.
  • AE Auto Exposure
  • AF Automatic Focus
  • step S3 When an instruction to execute AE and AF is given in step S3 (step S3: YES), the system control unit 11 causes the image sensor 5 to perform photometry and AF imaging. When a captured image signal is output from the image sensor 5 by this imaging, the system control unit 11 obtains the brightness of the subject based on the captured image signal, and determines an appropriate exposure based on the brightness. Further, the system control unit 11 calculates a defocus amount based on the captured image signal.
  • the system control unit 11 sets and calculates an imaging condition including the exposure time of the imaging device 5, the aperture value of the aperture 2, the imaging sensitivity, and the transmittance of the variable ND filter 3 so that the determined appropriate exposure is obtained. Based on the defocus amount, the focus lens is controlled to perform focus control for adjusting the focus position to the target position (step S4).
  • the transmittance of the variable ND filter 3 set here is such that the amount of subject light incident on the image sensor 5 exceeds “0”.
  • step S4 the system control unit 11 waits for a recording imaging instruction to be issued by pressing the release button included in the operation unit 14, and if there is no imaging instruction (step S5: NO), step S3 Return processing to.
  • step S5 When there is an imaging instruction (step S5: YES), the control unit 11A of the system control unit 11 performs the first imaging for recording on the imaging element 5 under the imaging conditions and the in-focus state set in step S4. (Step S6).
  • step S6 the control unit 11A of the system control unit 11 controls the focus lens to change the focal position, and the changed focal position is different from the focal position at the time of the first imaging in step S6. Specifically, a state is obtained in which the difference between the changed focal position and the focal position at the time of the first imaging in step S6 is equal to or greater than a predetermined value (step S7). A defocus state is obtained by the process of step S7.
  • the above-mentioned predetermined value may be any value as long as the captured image is largely blurred with respect to the first imaging.
  • this value is set to half of the movable range of the focus lens (the maximum moving range of the focal position of the imaging lens 1).
  • control unit 11A of the system control unit 11 causes the image sensor 5 to perform the first second imaging for obtaining the dark image signal (step S8).
  • This second imaging is performed under the same imaging conditions as the first imaging except for the focal position.
  • control unit 11A of the system control unit 11 sets the transmittance of the variable ND filter 3 to a value smaller than the transmittance at the time of the first second imaging in step S8 (for example, at the time of the first second imaging).
  • the image sensor 5 is caused to perform the second second imaging for obtaining the dark image signal (step S9).
  • Steps S6 to S9 constitute a control step.
  • the dark image signal acquisition unit 11B outputs the captured image signal output from the image sensor 5 by the second imaging in step S8 and the captured image signal output from the image sensor 5 by the second imaging in step S9. And a dark image signal is calculated based on these two captured image signals (step S10).
  • Step S10 constitutes a dark image signal acquisition step.
  • the component corresponding to the subject light in the captured image signal output from the image sensor 5 by the second imaging in step S8 is Pa, and in the captured image signal output from the image sensor 5 by the second imaging in step S9.
  • the component corresponding to the subject light is Pb, and the dark image signal is Pob.
  • a captured image signal Sa of “Pa + Pob” is obtained by the second imaging in step S8, and a captured image signal Sb of “(Pa / 2) + Pob” is obtained by the second imaging in step S9.
  • the dark image signal Pob can be calculated by subtracting “Pa / 2” from the captured image signal Sb.
  • the dark image signal calculation method is not limited to this.
  • the dark image signal may be calculated by the method described in Patent Document 2.
  • step S10 the system control unit 11 subtracts the dark image signal calculated in step S10 from the captured image signal output from the image sensor 5 in the first imaging of step S6. Is performed (step S11).
  • the captured image signal after the black level correction processing is processed by the digital signal processing unit 17 to generate captured image data, which is stored in the storage medium 21 (step S12).
  • the digital camera 100 performs a plurality of second imaging operations performed in order to obtain a dark image signal in a defocused state. For this reason, even when the subject moves or the digital camera 100 moves during the plurality of times of the second imaging, the captured image signals obtained by each of the plurality of times of the second imaging are interchanged. The difference is less likely to occur. Therefore, the dark image signal can be accurately obtained.
  • FIG. 4 is a flowchart for explaining a first modification of the operation of the digital camera 100 shown in FIG.
  • step S7 is changed to step S7a.
  • FIG. 4 the same processes as those in FIG. In FIG. 4, it is assumed that the zoom lens included in the imaging lens 1 is sufficiently closer to the wide-angle end than the telephoto end during the first imaging in step S6.
  • the control unit 11A of the system control unit 11 controls the zoom lens to change the focal length, the changed focal length (first imaging condition value), and the first imaging in step S6.
  • a state is obtained in which the focal length (second imaging condition value) set at the time is different (step S7a).
  • the changed focal length is, for example, the longest settable focal length.
  • step S7a the processing after step S8 is performed.
  • the second imaging that is performed a plurality of times to obtain the dark image signal is performed in a state where the focal length is longest.
  • the captured image is likely to be blurred during the second imaging.
  • the captured image signals obtained by each of the plurality of times of the second imaging are interchanged. The difference is less likely to occur. Therefore, the dark image signal can be accurately obtained.
  • step S6 of FIG. 4 it is determined whether or not the focal length is greater than or equal to a predetermined value (longest value or a value close thereto). If it is determined that the focal length is greater than or equal to this value, step S6 is performed. Instead of the process of S7a, the process of step S7 in FIG. 3 may be performed, and if it is determined that the focal length is less than this value, the process of step S7a may be performed. In this way, it is possible to accurately obtain the dark image signal regardless of the zoom state.
  • a predetermined value longest value or a value close thereto
  • FIGS. 5 and 6 are flowcharts for explaining a second modification of the operation of the digital camera 100 shown in FIG. 1 in the imaging mode.
  • the flowchart shown in FIGS. 5 and 6 is the same as FIG. 3 except that steps S21 to S23 are added. 5 and 6, the same processes as those in FIG.
  • control unit 11A causes the image sensor 5 to perform image capturing a plurality of times under the same conditions (the same image capturing conditions and the same focal position) as in the first imaging (step S21).
  • control unit 11A determines whether or not a moving object is included in the subject being imaged based on a plurality of captured image signals obtained from the image sensor 5 by a plurality of times of imaging in step S21, or in the digital camera 100. It is determined whether or not there is a motion (synonymous with whether or not the image sensor 5 has a motion) (step S22).
  • step S23 When it is determined that the moving subject is included in the subject being imaged or the digital camera 100 is moving (step S23: YES), the control unit 11A performs steps S7 to S12.
  • step S23: NO the control unit 11A does not control the focus lens, that is, Then, the processes of Steps S8 to S12 are performed while maintaining the in-focus state during the first imaging.
  • step S7 when the moving subject is not included in the subject being imaged, or the digital camera 100 is not moving, the process of step S7 can be omitted. For this reason, reduction of power consumption and speeding up of an imaging process are realizable. The same effect can be obtained even if step S7 in FIG. 5 is changed to step S7a in FIG.
  • the digital camera 100 described so far obtains a plurality of captured image signals having different brightnesses by changing the transmittance of the variable ND filter 3 at the time of a plurality of second imaging operations, but is not limited thereto.
  • the variable ND filter 3 may be omitted, and a plurality of captured image signals with different brightnesses may be obtained by controlling the aperture value of the aperture 2 to a different value at the time of a plurality of second imaging operations.
  • the diaphragm 2 constitutes an optical element having a variable amount of transmitted light.
  • variable ND filter 3 and the ND driving unit 3A are built in the detachable lens device 40A, and the lens control unit 4 receives the ND driving unit in response to an instruction from the system control unit 11. 3A may be controlled.
  • FIG. 7 shows an appearance of a smartphone 200 that is an embodiment of the imaging apparatus of the present invention.
  • a smartphone 200 shown in FIG. 7 includes a flat housing 201, and a display input in which a display panel 202 as a display surface and an operation panel 203 as an input unit are integrated on one surface of the housing 201. Part 204 is provided.
  • Such a casing 201 includes a speaker 205, a microphone 206, an operation unit 207, and a camera unit 208.
  • the configuration of the housing 201 is not limited thereto, and for example, a configuration in which the display surface and the input unit are independent can be employed, or a configuration having a folding structure or a slide mechanism can be employed.
  • FIG. 8 is a block diagram showing a configuration of the smartphone 200 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 210, a display input unit 204, a call unit 211, an operation unit 207, a camera unit 208, a storage unit 212, and an external input / output unit. 213, a GPS (Global Positioning System) receiving unit 214, a motion sensor unit 215, a power supply unit 216, and a main control unit 220.
  • a wireless communication function for performing mobile wireless communication via a base station device BS (not shown) and a mobile communication network NW (not shown) is provided.
  • the wireless communication unit 210 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 220. Using this wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of web data or streaming data are performed.
  • the display input unit 204 displays images (still images and moving images) or character information and visually transmits information to the user, and performs user operations on the displayed information.
  • This is a so-called touch panel for detection, and includes a display panel 202 and an operation panel 203.
  • the display panel 202 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 203 is a device that is placed so that an image displayed on the display surface of the display panel 202 is visible and detects one or more coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 220.
  • the main control unit 220 detects an operation position (coordinates) on the display panel 202 based on the received detection signal.
  • the display panel 202 and the operation panel 203 of the smartphone 200 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 204.
  • the arrangement 203 covers the display panel 202 completely.
  • the operation panel 203 may have a function of detecting a user operation even in an area outside the display panel 202.
  • the operation panel 203 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 202 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 202. May be included).
  • the size of the display area and the size of the display panel 202 may be completely matched, it is not always necessary to match the two.
  • the operation panel 203 may include two sensitive areas of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 201 and the like.
  • examples of the position detection method employed in the operation panel 203 include a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
  • the call unit 211 includes a speaker 205 or a microphone 206, converts user's voice input through the microphone 206 into voice data that can be processed by the main control unit 220, and outputs the voice data to the main control unit 220 or wireless communication.
  • the audio data received by the unit 210 or the external input / output unit 213 is decoded and output from the speaker 205.
  • the speaker 205 can be mounted on the same surface as the surface on which the display input unit 204 is provided, and the microphone 206 can be mounted on the side surface of the housing 201.
  • the operation unit 207 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 207 is mounted on the side surface of the housing 201 of the smartphone 200 and is turned on when pressed with a finger or the like, and is turned off when the finger is released with a restoring force such as a spring. It is a push button type switch.
  • the storage unit 212 is a control program and control data of the main control unit 220, application software, address data that associates the name or telephone number of the communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, download The stored content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 212 includes an internal storage unit 217 built in the smartphone and an external storage unit 218 having a removable external memory slot.
  • Each of the internal storage unit 217 and the external storage unit 218 constituting the storage unit 212 includes a flash memory type (hard memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), This is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • a flash memory type hard memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the external input / output unit 213 serves as an interface with all external devices connected to the smartphone 200, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark) ZigBee) (registered trademark) or the like
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • Examples of external devices connected to the smartphone 200 include a wired / wireless headset, wired / wireless external charger, wired / wireless data port, a memory card (Memory card) connected via a card socket, and a SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit 213 transmits data received from such an external device to each component inside the smartphone 200, or causes the data inside the smartphone 200 to be transmitted to the external device. Can do.
  • the GPS receiving unit 214 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 220, executes a positioning calculation process based on the received plurality of GPS signals, A position consisting of longitude and altitude is detected.
  • the GPS reception unit 214 can acquire position information from the wireless communication unit 210 or the external input / output unit 213 (for example, a wireless LAN), the GPS reception unit 214 can also detect the position using the position information.
  • the motion sensor unit 215 includes, for example, a triaxial acceleration sensor, and detects the physical movement of the smartphone 200 in accordance with an instruction from the main control unit 220. By detecting the physical movement of the smartphone 200, the moving direction or acceleration of the smartphone 200 is detected. The detection result is output to the main control unit 220.
  • the power supply unit 216 supplies power stored in a battery (not shown) to each unit of the smartphone 200 in accordance with an instruction from the main control unit 220.
  • the main control unit 220 includes a microprocessor, operates according to a control program and control data stored in the storage unit 212, and controls each unit of the smartphone 200 in an integrated manner.
  • the main control unit 220 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication or data communication through the wireless communication unit 210.
  • the application processing function is realized by the main control unit 220 operating according to the application software stored in the storage unit 212.
  • Examples of the application processing function include an infrared communication function for controlling the external input / output unit 213 to perform data communication with the opposite device, an e-mail function for sending and receiving e-mails, and a web browsing function for browsing web pages. .
  • the main control unit 220 also has an image processing function such as displaying video on the display input unit 204 based on received data or downloaded image data such as streaming data (still image or moving image data).
  • the image processing function refers to a function in which the main control unit 220 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 204.
  • the main control unit 220 executes display control for the display panel 202 and operation detection control for detecting a user operation through the operation unit 207 and the operation panel 203.
  • the main control unit 220 By executing the display control, the main control unit 220 displays an icon for starting the application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 202.
  • the main control unit 220 detects a user operation through the operation unit 207, or accepts an operation on the icon and an input of a character string in the input field of the window through the operation panel 203. Or a display image scroll request through a scroll bar is accepted.
  • the main control unit 220 causes the operation position with respect to the operation panel 203 to overlap with the display panel 202 (display area) or an outer edge part (non-display area) that does not overlap with the other display panel 202.
  • a touch panel control function for controlling the sensitive area of the operation panel 203 or the display position of the software key.
  • the main control unit 220 can also detect a gesture operation on the operation panel 203 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation of drawing a trajectory with at least one of a plurality of positions by drawing a trajectory with a finger or the like, or simultaneously specifying a plurality of positions. means.
  • the camera unit 208 includes configurations other than the external memory control unit 20, the storage medium 21, the display unit 22, and the operation unit 14 in the digital camera 100 shown in FIG.
  • the captured image generated by the camera unit 208 can be stored in the storage unit 212 or output through the external input / output unit 213 or the wireless communication unit 210.
  • the camera unit 208 is mounted on the same surface as the display input unit 204, but the mounting position of the camera unit 208 is not limited to this and may be mounted on the back surface of the display input unit 204. .
  • the camera unit 208 can be used for various functions of the smartphone 200.
  • an image acquired by the camera unit 208 can be displayed on the display panel 202, or an image of the camera unit 208 can be used as one of operation inputs of the operation panel 203.
  • the position can also be detected with reference to an image from the camera unit 208.
  • the optical axis direction of the camera unit 208 of the smartphone 200 can be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 208 can also be used in the application software.
  • the posture information acquired by the motion sensor unit 215 can be added and stored in the storage unit 212, or can be output through the external input / output unit 213 or the wireless communication unit 210.
  • the dark image signal can be accurately obtained.
  • a control unit that performs first imaging for recording and further performs second imaging for a plurality of times to obtain a dark image signal generated in a light-shielding state of the imaging element;
  • a dark image signal acquisition unit that obtains the dark image signal based on a plurality of first captured image signals obtained from the image sensor by the second imaging of the plurality of times, and
  • the control unit controls the optical element to cause the second imaging to be performed in each of a plurality of exposure states in which the amount of light incident on the imaging element is greater than 0 and different from each other,
  • the control unit controls the movable lens during the second imaging, the first imaging condition value determined by the control state of the movable lens during the second imaging, and the first imaging
  • An imaging control device for obtaining a state different from a second imaging condition value determined by the control state of the movable lens at the time.
  • the imaging control device is a focus lens
  • the first imaging condition value and the second imaging condition value are imaging control devices that are focal positions.
  • the imaging control device controls the movable lens at the time of the second imaging, and a difference between the focal position as the first imaging condition value and the focal position as the second imaging condition value is determined in advance.
  • An imaging control device that obtains a state that is greater than or equal to the above value.
  • the imaging control device is a zoom lens
  • the imaging control device wherein the first imaging condition value and the second imaging condition value are focal lengths of the imaging optical system.
  • the imaging control device is an imaging control apparatus which controls the said movable lens at the time of said 2nd imaging, and obtains the state where the said focal distance becomes the longest.
  • the imaging control device includes a moving object in the subject based on a plurality of second captured image signals obtained from the imaging element by imaging the imaging element a plurality of times before the second imaging of the plurality of times. Whether or not there is movement in the imaging device, and if it is determined that the moving body is not included or there is no movement, the movable lens is moved to the first lens during the second imaging.
  • An imaging control apparatus that controls to obtain a second imaging condition value.
  • the optical element is controlled, and the second imaging is performed in each of a plurality of exposure states in which the amount of light incident on the imaging element is greater than 0 and different from each other
  • the movable lens is controlled during the second imaging, A state in which the first imaging condition value determined by the control state of the movable lens at the time of the second imaging is different from the second imaging condition value determined by the control state of the movable lens at the time of the first imaging.
  • the imaging control method according to any one of (10) to (15), In the control step, a moving object is included in the subject based on a plurality of second captured image signals obtained from the image sensor by capturing the image multiple times with the image sensor before the plurality of second images. Whether or not there is movement in the imaging device, and if it is determined that the moving body is not included or there is no movement, the movable lens is moved to the first lens during the second imaging.
  • the optical element is controlled, and the second imaging is performed in each of a plurality of exposure states in which the amount of light incident on the imaging element is greater than 0 and different from each other, Further, in the control step, the movable lens is controlled during the second imaging, A state in which the first imaging condition value determined by the control state of the movable lens at the time of the second imaging is different from the second imaging condition value determined by the control state of the movable lens at the time of the first imaging.
  • An imaging control program to obtain.
  • an imaging control device an imaging device capable of accurately obtaining a dark image signal
  • An imaging control method and an imaging control program can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

暗時画像信号を正確に求めることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供する。制御部（１１Ａ）は、フォーカスレンズと、可変ＮＤフィルタ（３）と、を通して被写体を撮像する撮像素子（５）に、記録のための第一の撮像を行わせ、更に、暗時画像信号を求めるための複数回の第二の撮像を行わせる。暗時画像信号取得部（１１Ｂ）は、この複数回の第二の撮像により撮像素子（５）から得られる複数の撮像画像信号に基づいて暗時画像信号を求める。制御部（１１Ａ）は、可変ＮＤフィルタ（３）を制御し、撮像素子（５）に入射する光量が（０）より大きく且つ互いに異なる複数の露光状態の各々にて上記第二の撮像を行わせ、更に、第二の撮像時においては、フォーカスレンズを制御してデフォーカス状態を得る。

Description

撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
　本発明は、撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムに関する。
　撮像素子によって被写体を撮像する場合には、撮像素子に被写体光が入射していない遮光状態にて撮像素子から得られる暗時画像信号を求め、撮像素子に被写体光が入射している状態で撮像素子から得られる撮像画像信号から、この暗時画像信号を減算することが行われる。
　特許文献１には、撮像素子の前方に配置される減光フィルタを非透過の状態に制御して暗時画像信号を得ることが記載されている。
　特許文献２には、撮像素子の前方に配置される絞りを制御して、撮像素子に入射する光量が異なる２回の撮像を行い、この２回の撮像で得られる撮像画像信号を比較することで、暗時画像信号を求めることが記載されている。
日本国特開２００４－２０７８９５号公報 日本国特開２０１２－１７５４０８号公報
　特許文献１に記載されている方法では、減光フィルタの透過率の下限値を０にすることが難しいため、暗時画像信号を精度よく求めることができない。
　特許文献２に記載されている方法では、絞りを変えて複数回の撮像を行う間に被写体に動きがあったり、撮像装置に動きが生じたりすると、複数回の撮像で得られる撮像画像信号の差と絞りの比との関係にずれが生じる。このため、暗時画像信号を正確にキャンセルことができない。
　本発明は、上記事情に鑑みてなされたものであり、暗時画像信号を正確に求めることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することを目的とする。
　本発明の撮像制御装置は、可動レンズと、透過光量が可変な光学素子と、を通して被写体を撮像する撮像素子に、記録のための第一の撮像を行わせ、更に、上記撮像素子の遮光状態にて生じる暗時画像信号を求めるための複数回の第二の撮像を行わせる制御部と、上記複数回の第二の撮像により上記撮像素子から得られる複数の第一の撮像画像信号に基づいて上記暗時画像信号を求める暗時画像信号取得部と、を備え、上記制御部は、上記光学素子を制御し、上記撮像素子に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて上記第二の撮像を行わせ、更に、上記制御部は、上記第二の撮像時において上記可動レンズを制御して、上記第二の撮像時の上記可動レンズの制御状態によって決まる第一の撮像条件値と、上記第一の撮像時の上記可動レンズの制御状態によって決まる第二の撮像条件値とが異なる状態、を得るものである。
　本発明の撮像装置は、上記撮像制御装置と、上記撮像素子と、を備えるものである。
　本発明の撮像制御方法は、可動レンズと、透過光量が可変な光学素子と、を通して被写体を撮像する撮像素子に、記録のための第一の撮像を行わせ、更に、上記撮像素子の遮光状態にて生じる暗時画像信号を求めるための複数回の第二の撮像を行わせる制御ステップと、上記複数回の第二の撮像により上記撮像素子から得られる複数の第一の撮像画像信号に基づいて上記暗時画像信号を求める暗時画像信号取得ステップと、を備え、上記制御ステップでは、上記光学素子を制御し、上記撮像素子に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて上記第二の撮像を行わせ、更に、上記制御ステップでは、上記第二の撮像時において上記可動レンズを制御して、上記第二の撮像時の上記可動レンズの制御状態によって決まる第一の撮像条件値と、上記第一の撮像時の上記可動レンズの制御状態によって決まる第二の撮像条件値とが異なる状態、を得るものである。
　本発明の撮像制御プログラムは、可動レンズと、透過光量が可変な光学素子と、を通して被写体を撮像する撮像素子に、記録のための第一の撮像を行わせ、更に、上記撮像素子の遮光状態にて生じる暗時画像信号を求めるための複数回の第二の撮像を行わせる制御ステップと、上記複数回の第二の撮像により上記撮像素子から得られる複数の第一の撮像画像信号に基づいて上記暗時画像信号を求める暗時画像信号取得ステップと、をコンピュータに実行させるためのプログラムであって、上記制御ステップでは、上記光学素子を制御し、上記撮像素子に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて上記第二の撮像を行わせ、更に、上記制御ステップでは、上記第二の撮像時において上記可動レンズを制御して、上記第二の撮像時の上記可動レンズの制御状態によって決まる第一の撮像条件値と、上記第一の撮像時の上記可動レンズの制御状態によって決まる第二の撮像条件値とが異なる状態、を得るものである。
　本発明によれば、暗時画像信号を正確に求めることのできる撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示すシステム制御部１１の機能ブロック図である。 図１に示すデジタルカメラ１００の撮像モード時の動作を説明するためのフローチャートである。 図１に示すデジタルカメラ１００の撮像モード時の動作の第一の変形例を説明するためのフローチャートである。 図１に示すデジタルカメラ１００の撮像モード時の動作の第二の変形例を説明するためのフローチャートである。 図１に示すデジタルカメラ１００の撮像モード時の動作の第二の変形例を説明するためのフローチャートである。 本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。 図７に示すスマートフォン２００の構成を示すブロック図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。
　図１に示すデジタルカメラ１００は、撮像レンズ１、絞り２、レンズ制御部４、レンズ駆動部８、及び絞り駆動部９を有するレンズ装置４０Ａと、本体部４０Ｂと、を備える。
　レンズ装置４０Ａは、本体部４０Ｂに着脱可能なものであってもよいし、本体部４０Ｂと一体化されたものであってもよい。レンズ装置４０Ａが本体部４０Ｂに着脱可能な構成では、本体部４０Ｂが撮像装置を構成する。
　撮像レンズ１は、光軸方向に移動可能なフォーカスレンズとズームレンズを含む。フォーカスレンズとズームレンズは、それぞれ可動レンズを構成する。
　フォーカスレンズは、撮像レンズ１の焦点位置を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが撮像レンズ１の光軸方向に移動することで焦点位置の調節が行われる。
　なお、フォーカスレンズとしては、レンズの曲面を可変制御して焦点位置を変えることのできる液体レンズを用いてもよい。
　ズームレンズは、撮像レンズ１の焦点距離を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。ズームレンズが撮像レンズ１の光軸方向に移動することで焦点距離の変更が行われる。
　レンズ装置４０Ａのレンズ制御部４は、本体部４０Ｂのシステム制御部１１と有線又は無線によって通信可能に構成される。
　レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置（焦点位置）を変更したり、レンズ駆動部８を介して撮像レンズ１に含まれるズームレンズを制御してズームレンズの位置（焦点距離）を変更したり、絞り駆動部９を介して絞り２の絞り値を制御したりする。
　本体部４０Ｂは、撮像レンズ１及び絞り２を含む撮像光学系を通して被写体を撮像するＣＣＤ（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型イメージセンサ又はＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の撮像素子５と、撮像素子５を駆動する撮像素子駆動部５Ａと、撮像素子５と撮像光学系の間に配置された可変ＮＤ（Ｎｅｕｔｒａｌ　Ｄｅｎｓｉｔｙ）フィルタ３と、可変ＮＤフィルタ３を駆動するＮＤ駆動部３Ａと、全体を統括制御するシステム制御部１１と、操作部１４と、を備える。
　撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像信号という。
　撮像素子駆動部５Ａは、システム制御部１１からの指令に基づいて駆動信号を生成してこの駆動信号を撮像素子５に供給することで、撮像素子５を駆動する。
　可変ＮＤフィルタ３は、透過光量が可変の光学素子であり、例えば、印加電圧によって光の透過率を変えられる特性素子（例えば液晶素子又はエレクトロクロミック素子等）が二次元状に配置された構成である。
　可変ＮＤフィルタ３は、撮像素子５と一体的に形成されたものであってもよい。例えば、撮像素子５は、撮像素子チップと、これを収容するパッケージと、このパッケージを封止する保護カバーとを備える。そして、この保護カバーに可変ＮＤフィルタ３が積層されていてもよい。
　ＮＤ駆動部３Ａは、システム制御部１１からの指示に応じて、可変ＮＤフィルタ３の各特性素子に印加する電圧を制御することによって可変ＮＤフィルタ３の透過率を制御する。
　システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。
　各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｓｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　本体部４０Ｂは、更に、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｓｅｓｓ　Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）を含むメモリ１６と、メモリ１６へのデータ記憶及びメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、撮像素子５から出力される撮像画像信号に対しデジタル信号処理を行って、例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、画像を表示するための有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル又は液晶パネル等を含む表示部２２と、を備える。
　メモリ１６に含まれるＲＯＭには、システム制御部１１が実行する撮像制御プログラムを含むプログラムが記憶されている。
　メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。
　デジタル信号処理部１７は、ハードウェア的な構造は、撮像制御プログラムを含むプログラムを実行して処理を行う上記に例示した各種のプロセッサである。
　図２は、図１に示すシステム制御部１１の機能ブロック図である。
　システム制御部１１は、メモリ１６のＲＯＭに記憶された撮像制御プログラムを含むプログラムを実行することにより、制御部１１Ａ及び暗時画像信号取得部１１Ｂとして機能する。
　制御部１１Ａは、撮像素子５に、記録のための第一の撮像を行わせ、更に、可変ＮＤフィルタ３を制御し、撮像素子５に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて、撮像素子５の遮光状態にて生じる暗時画像信号を求めるための第二の撮像を撮像素子５に行わせる。
　更に、制御部１１Ａは、この第二の撮像時においては、フォーカスレンズを制御して、第二の撮像時のフォーカスレンズの制御状態によって決まる第一の撮像条件値である焦点位置と、第一の撮像時のフォーカスレンズの制御状態によって決まる第二の撮像条件値である焦点位置とが異なる状態、を得る。
　暗時画像信号取得部１１Ｂは、上記の複数回の第二の撮像により撮像素子５から得られる複数の撮像画像信号に基づいて暗時画像信号を求める。
　図３は、図１に示すデジタルカメラ１００の撮像モード時の動作を説明するためのフローチャートである。
　なお、撮像モードを設定した初期の状態では、システム制御部１１は、可変ＮＤフィルタ３の全ての特性素子の透過率を１００％に制御している。
　撮像モードが設定されると、システム制御部１１は、撮像素子５によりライブビュー画像を表示するための撮像を行わせる（ステップＳ１）。
　この撮像によって撮像素子５から出力された撮像画像信号はデジタル信号処理部１７によって処理されてライブビュー表示用の画像データが生成され、この画像データに基づいてライブビュー画像が表示部２２に表示される（ステップＳ２）。
　ステップＳ２の後、ステップＳ３において、操作部１４に含まれるレリーズボタンの押下等によってＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）及びＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）の実行指示がなされるまでは、ステップＳ１とステップＳ２の処理が繰り返される。
　ステップＳ３においてＡＥ及びＡＦの実行指示がなされると（ステップＳ３：ＹＥＳ）、システム制御部１１は、撮像素子５により測光用及びＡＦ用の撮像を行わせる。この撮像により撮像素子５から撮像画像信号が出力されると、システム制御部１１は、この撮像画像信号に基づいて被写体の明るさを求め、この明るさに基づいて適正露出を決定する。更に、システム制御部１１は、この撮像画像信号に基づいてデフォーカス量を算出する。
　その後、システム制御部１１は、決定した適正露出となるように、撮像素子５の露光時間、絞り２の絞り値、撮像感度、及び可変ＮＤフィルタ３の透過率からなる撮像条件を設定し、算出したデフォーカス量に基づいてフォーカスレンズを制御して焦点位置を目標位置に合わせる合焦制御を行う（ステップＳ４）。ここで設定される可変ＮＤフィルタ３の透過率は、撮像素子５に入射する被写体光の光量が“０”を超える値となっている。
　ステップＳ４の後、システム制御部１１は、操作部１４に含まれるレリーズボタンの押下等によって記録用の撮像指示がなされるのを待機し、撮像指示がなされなければ（ステップＳ５：ＮＯ）ステップＳ３に処理を戻す。
　撮像指示があると（ステップＳ５：ＹＥＳ）、システム制御部１１の制御部１１Ａは、ステップＳ４にて設定された撮像条件及び合焦状態にて、撮像素子５に記録用の第一の撮像を行わせる（ステップＳ６）。
　ステップＳ６の後、システム制御部１１の制御部１１Ａは、フォーカスレンズを制御して焦点位置を変更し、変更後の焦点位置と、ステップＳ６の第一の撮像時における焦点位置とが異なる状態、具体的には、変更後の焦点位置と、ステップＳ６の第一の撮像時における焦点位置との差が予め決められた値以上となる状態を得る（ステップＳ７）。ステップＳ７の処理により、デフォーカス状態が得られる。
　上記の予め決められた値は、第一の撮像時に対して撮像画像が大きくボケた状態となる値であればよい。例えば、この値は、フォーカスレンズの可動範囲（撮像レンズ１の焦点位置の最大移動範囲）の半分に設定される。
　このデフォーカス状態にて、システム制御部１１の制御部１１Ａは、暗時画像信号を得るための１回目の第二の撮像を撮像素子５に行わせる（ステップＳ８）。この第二の撮像は、焦点位置以外は、第一の撮像と同じ撮像条件にて行われる。
　次に、システム制御部１１の制御部１１Ａは、可変ＮＤフィルタ３の透過率を、ステップＳ８の１回目の第二の撮像時における透過率よりも小さい値（例えば１回目の第二の撮像時の半分の値）に制御し、その状態にて、暗時画像信号を得るための２回目の第二の撮像を撮像素子５に行わせる（ステップＳ９）。ステップＳ６からステップＳ９は制御ステップを構成する。
　次に、暗時画像信号取得部１１Ｂは、ステップＳ８の第二の撮像によって撮像素子５から出力された撮像画像信号と、ステップＳ９の第二の撮像によって撮像素子５から出力された撮像画像信号と、を取得し、これら２つの撮像画像信号に基づいて、暗時画像信号を算出する（ステップＳ１０）。ステップＳ１０は暗時画像信号取得ステップを構成する。
　例えば、ステップＳ８の第二の撮像によって撮像素子５から出力された撮像画像信号における被写体光に応じた成分をＰａとし、ステップＳ９の第二の撮像によって撮像素子５から出力された撮像画像信号における被写体光に応じた成分をＰｂとし、暗時画像信号をＰｏｂとする。
　このようにすると、ステップＳ８の第二の撮像によって“Ｐａ＋Ｐｏｂ”の撮像画像信号Ｓａが得られ、ステップＳ９の第二の撮像によって“（Ｐａ／２）＋Ｐｏｂ”の撮像画像信号Ｓｂが得られる。
　撮像画像信号Ｓａから撮像画像信号Ｓｂを減算すると、“Ｐａ／２”が得られる。したがって、撮像画像信号Ｓｂから、この“Ｐａ／２”を減算することで、暗時画像信号Ｐｏｂを算出することができる。暗時画像信号の算出方法はこれに限らず、例えば、特許文献２に記載されている方法にて暗時画像信号を算出してもよい。
　ステップＳ１０の後、システム制御部１１は、ステップＳ６の第一の撮像にて撮像素子５から出力された撮像画像信号から、ステップＳ１０にて算出された暗時画像信号を減算する黒レベル補正処理を行う（ステップＳ１１）。
　その後、黒レベル補正処理後の撮像画像信号がデジタル信号処理部１７により処理されて撮像画像データが生成され、これが記憶媒体２１に記憶される（ステップＳ１２）。
　以上のように、デジタルカメラ１００は、暗時画像信号を得るために行われる複数回の第二の撮像をデフォーカス状態にて行っている。このため、この複数回の第二の撮像を行う間に、被写体が動いたり、デジタルカメラ１００が動いたりした場合であっても、複数回の第二の撮像の各々により得られる撮像画像信号同士に差は生じにくくなる。したがって、暗時画像信号を正確に求めることが可能となる。
　図４は、図１に示すデジタルカメラ１００の撮像モード時の動作の第一の変形例を説明するためのフローチャートである。
　図４に示すフローチャートは、ステップＳ７がステップＳ７ａに変更された点を除いては、図３と同じである。図４において図３と同じ処理には同一符号を付して説明を省略する。図４では、ステップＳ６の第一の撮像時において、撮像レンズ１に含まれるズームレンズの位置が望遠端よりも十分に広角端側にある場合を前提としている。
　ステップＳ６の後、システム制御部１１の制御部１１Ａは、ズームレンズを制御して、焦点距離を変更し、変更後の焦点距離（第一の撮像条件値）と、ステップＳ６の第一の撮像時において設定されていた焦点距離（第二の撮像条件値）とが異なる状態を得る（ステップＳ７ａ）。この変更後の焦点距離は、例えば、設定可能な焦点距離の最長値とされる。
　ステップＳ７ａの後はステップＳ８以降の処理が行われる。
　以上の第一の変形例によれば、暗時画像信号を得るために行われる複数回の第二の撮像が、焦点距離が最長となる状態にて行われる。このように、合焦状態にある第一の撮像から望遠状態に変化することで、第二の撮像時には、撮像画像にボケが生じやすくなる。このため、この複数回の第二の撮像を行う間に、被写体が動いたり、デジタルカメラ１００が動いたりした場合であっても、複数回の第二の撮像の各々により得られる撮像画像信号同士に差は生じにくくなる。したがって、暗時画像信号を正確に求めることが可能となる。
　なお、図４のステップＳ６において、焦点距離が予め決めた値（最長値又はそれに近い値）以上であるか否かを判定し、焦点距離がこの値以上であると判定した場合には、ステップＳ７ａの処理の代わりに図３のステップＳ７の処理を行い、焦点距離がこの値未満である判定した場合には、ステップＳ７ａの処理を行うようにしてもよい。このようにすることで、ズーム状態によらずに、暗時画像信号を正確に求めることが可能となる。
　図５及び図６は、図１に示すデジタルカメラ１００の撮像モード時の動作の第二の変形例を説明するためのフローチャートである。図５及び図６に示すフローチャートは、ステップＳ２１～ステップＳ２３が追加された点を除いては、図３と同じである。図５及び図６において図３と同じ処理には同一符号を付して説明を省略する。
　ステップＳ６の後、制御部１１Ａは、第一の撮像時と同一条件（同一撮像条件及び同一焦点位置）にて、複数回の撮像を撮像素子５に行わせる（ステップＳ２１）。
　次に、制御部１１Ａは、ステップＳ２１の複数回の撮像によって撮像素子５から得られる複数の撮像画像信号に基づいて、撮像中の被写体に動体が含まれるか否か、又は、デジタルカメラ１００に動きがあるか否か（撮像素子５に動きがあるか否かと同義）を判定する（ステップＳ２２）。
　制御部１１Ａは、撮像中の被写体に動体が含まれる、又は、デジタルカメラ１００に動きが生じていると判定した場合（ステップＳ２３：ＹＥＳ）には、ステップＳ７～ステップＳ１２の処理を行う。
　制御部１１Ａは、撮像中の被写体に動体が含まれない、又は、デジタルカメラ１００に動きが生じていないと判定した場合（ステップＳ２３：ＮＯ）には、フォーカスレンズの制御を行うことなく、つまり、第一の撮像時の合焦状態を維持したまま、ステップＳ８～ステップＳ１２の処理を行う。
　以上の第二の変形例によれば、撮像中の被写体に動体が含まれない、又は、デジタルカメラ１００に動きが生じていない場合には、ステップＳ７の処理を省略することができる。このため、消費電力の低減と撮像処理の高速化を実現することができる。なお、図５のステップＳ７を図４のステップＳ７ａに変更しても同様の効果を得ることができる。
　ここまで説明してきたデジタルカメラ１００は、複数回の第二の撮像時において、可変ＮＤフィルタ３の透過率を変えることで明るさの異なる複数の撮像画像信号を得ているが、これに限らない。例えば、可変ＮＤフィルタ３は削除した構成とし、複数回の第二の撮像時において、絞り２の絞り値を異なる値に制御することで、明るさの異なる複数の撮像画像信号を得てもよい。この構成では、絞り２が、透過光量が可変の光学素子を構成する。
　また、図１のデジタルカメラ１００において、可変ＮＤフィルタ３とＮＤ駆動部３Ａは、着脱可能なレンズ装置４０Ａに内蔵され、レンズ制御部４が、システム制御部１１からの指示に応じてＮＤ駆動部３Ａを制御するものであってもよい。
　次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。
　図７は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。
　図７に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示面としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
　また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示面と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。
　図８は、図７に示すスマートフォン２００の構成を示すブロック図である。
　図８に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。
　また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。
　表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的に利用者に情報を伝達するとともに、表示した情報に対する利用者操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３と、を備える。
　表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。
　操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、利用者の指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスを利用者の指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
　図８に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
　係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、利用者操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。
　さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。
　通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力された利用者の音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
　また、図７に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
　操作部２０７は、キースイッチ等を用いたハードウェアキーであって、利用者からの指示を受け付けるものである。例えば、図７に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。
　なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。
　外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。
　スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。
　外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。
　ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
　電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。
　また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。
　画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
　さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じた利用者操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
　なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じた利用者操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。
　さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
　ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部２０８は、図１に示したデジタルカメラ１００における外部メモリ制御部２０、記憶媒体２１、表示部２２、及び操作部１４以外の構成を含む。
　カメラ部２０８によって生成された撮像画像は、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。
　図７に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
　また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。
　また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。
　以上のような構成のスマートフォン２００においても、暗時画像信号を正確に求めることができる。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）
　可動レンズと、透過光量が可変な光学素子と、を通して被写体を撮像する撮像素子に、
記録のための第一の撮像を行わせ、更に、上記撮像素子の遮光状態にて生じる暗時画像信号を求めるための複数回の第二の撮像を行わせる制御部と、
　上記複数回の第二の撮像により上記撮像素子から得られる複数の第一の撮像画像信号に基づいて上記暗時画像信号を求める暗時画像信号取得部と、を備え、
　上記制御部は、上記光学素子を制御し、上記撮像素子に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて上記第二の撮像を行わせ、
　更に、上記制御部は、上記第二の撮像時において上記可動レンズを制御して、上記第二の撮像時の上記可動レンズの制御状態によって決まる第一の撮像条件値と、上記第一の撮像時の上記可動レンズの制御状態によって決まる第二の撮像条件値とが異なる状態、を得る撮像制御装置。
（２）
　（１）記載の撮像制御装置であって、
　上記可動レンズはフォーカスレンズであり、
　上記第一の撮像条件値と上記第二の撮像条件値は、焦点位置である撮像制御装置。
（３）
　（２）記載の撮像制御装置であって、
　上記制御部は、上記第二の撮像時において上記可動レンズを制御して、上記第一の撮像条件値としての焦点位置と上記第二の撮像条件値としての焦点位置との差が予め決められた値以上となる状態を得る撮像制御装置。
（４）
　（３）記載の撮像制御装置であって、
　上記予め決められた値は、上記撮像光学系の焦点位置の移動範囲として取り得る最大範囲の半分の値である撮像制御装置。
（５）
　（１）記載の撮像制御装置であって、
　上記可動レンズはズームレンズであり、
　上記第一の撮像条件値と上記第二の撮像条件値は、上記撮像光学系の焦点距離である撮像制御装置。
（６）
　（５）記載の撮像制御装置であって、
　上記制御部は、上記第二の撮像時において上記可動レンズを制御して、上記焦点距離が最も長くなる状態を得る撮像制御装置。
（７）
　（１）から（６）のいずれか１つに記載の撮像制御装置であって、
　上記制御部は、上記複数回の第二の撮像の前に、上記撮像素子により複数回撮像させて上記撮像素子から得られる複数の第二の撮像画像信号に基づいて、被写体に動体が含まれるか否か又は上記撮像素子に動きがあるか否かを判定し、上記動体が含まれない又は上記動きがないと判定した場合には、上記第二の撮像時において、上記可動レンズを上記第二の撮像条件値が得られる状態に制御する撮像制御装置。
（８）
　（１）から（７）のいずれか１つに記載の撮像制御装置と、
　上記撮像素子と、を備える撮像装置。
（９）
　（８）記載の撮像装置であって、
　上記光学素子を更に備える撮像装置。
（１０）
　可動レンズと、透過光量が可変な光学素子と、を通して被写体を撮像する撮像素子に、
記録のための第一の撮像を行わせ、更に、上記撮像素子の遮光状態にて生じる暗時画像信号を求めるための複数回の第二の撮像を行わせる制御ステップと、
　上記複数回の第二の撮像により上記撮像素子から得られる複数の第一の撮像画像信号に基づいて上記暗時画像信号を求める暗時画像信号取得ステップと、を備え、
　上記制御ステップでは、上記光学素子を制御し、上記撮像素子に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて上記第二の撮像を行わせ、
　更に、上記制御ステップでは、上記第二の撮像時において上記可動レンズを制御して、
上記第二の撮像時の上記可動レンズの制御状態によって決まる第一の撮像条件値と、上記第一の撮像時の上記可動レンズの制御状態によって決まる第二の撮像条件値とが異なる状態、を得る撮像制御方法。
（１１）
　（１０）記載の撮像制御方法であって、
　上記可動レンズはフォーカスレンズであり、
　上記第一の撮像条件値と上記第二の撮像条件値は、焦点位置である撮像制御方法。
（１２）
　（１１）記載の撮像制御方法であって、
　上記制御ステップでは、上記第二の撮像時において上記可動レンズを制御して、上記第一の撮像条件値としての焦点位置と上記第二の撮像条件値としての焦点位置との差が予め決められた値以上となる状態を得る撮像制御方法。
（１３）
　（１２）記載の撮像制御方法であって、
　上記予め決められた値は、上記焦点位置の移動範囲として取り得る最大範囲の半分の値である撮像制御方法。
（１４）
　（１０）記載の撮像制御方法であって、
　上記可動レンズはズームレンズであり、
　上記第一の撮像条件値と上記第二の撮像条件値は、焦点距離である撮像制御方法。
（１５）
　（１４）記載の撮像制御方法であって、
　上記制御ステップでは、上記第二の撮像時において上記可動レンズを制御して、上記焦点距離が最も長くなる状態を得る撮像制御方法。
（１６）
　（１０）から（１５）のいずれか１つに記載の撮像制御方法であって、
　上記制御ステップでは、上記複数回の第二の撮像の前に、上記撮像素子により複数回撮像させて上記撮像素子から得られる複数の第二の撮像画像信号に基づいて、被写体に動体が含まれるか否か又は上記撮像素子に動きがあるか否かを判定し、上記動体が含まれない又は上記動きがないと判定した場合には、上記第二の撮像時において、上記可動レンズを上記第二の撮像条件値が得られる状態に制御する撮像制御方法。
（１７）
　可動レンズと、透過光量が可変な光学素子と、を通して被写体を撮像する撮像素子に、
記録のための第一の撮像を行わせ、更に、上記撮像素子の遮光状態にて生じる暗時画像信号を求めるための複数回の第二の撮像を行わせる制御ステップと、
　上記複数回の第二の撮像により上記撮像素子から得られる複数の第一の撮像画像信号に基づいて上記暗時画像信号を求める暗時画像信号取得ステップと、をコンピュータに実行させるためのプログラムであって、
　上記制御ステップでは、上記光学素子を制御し、上記撮像素子に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて上記第二の撮像を行わせ、
　更に、上記制御ステップでは、上記第二の撮像時において上記可動レンズを制御して、
上記第二の撮像時の上記可動レンズの制御状態によって決まる第一の撮像条件値と、上記第一の撮像時の上記可動レンズの制御状態によって決まる第二の撮像条件値とが異なる状態、を得る撮像制御プログラム。
　以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０１８年３月２３日出願の日本特許出願（特願２０１８－０５７２４６）に基づくものであり、その内容は本出願の中に参照として援用される。
　本発明によれば、暗時画像信号を正確に求めることのできる撮像制御装置、撮像装置、
撮像制御方法、及び撮像制御プログラムを提供することができる。
１００　デジタルカメラ
４０Ａ　レンズ装置
１　撮像レンズ
２　絞り
４　レンズ制御部
８　レンズ駆動部
９　絞り駆動部
４０Ｂ　本体部
３　可変ＮＤフィルタ
３Ａ　ＮＤ駆動部
５　撮像素子
５Ａ　撮像素子駆動部
１１　システム制御部
１１Ａ　制御部
１１Ｂ　暗時画像信号取得部
１４　操作部
１５　メモリ制御部
１６　メモリ
１７　デジタル信号処理部
２０　外部メモリ制御部
２１　記憶媒体
２２　表示部
２４　制御バス
２５　データバス
２００　スマートフォン
２０１　筐体
２０２　表示パネル
２０３　操作パネル
２０４　表示入力部
２０５　スピーカ
２０６　マイクロホン
２０７　操作部
２０８　カメラ部
２１０　無線通信部
２１１　通話部
２１２　記憶部
２１３　外部入出力部
２１４　ＧＰＳ受信部
２１５　モーションセンサ部
２１６　電源部
２１７　内部記憶部
２１８　外部記憶部
２２０　主制御部
ＳＴ１～ＳＴｎ　ＧＰＳ衛星
 

Claims (17)

  1. 　可動レンズと、透過光量が可変な光学素子と、を通して被写体を撮像する撮像素子に、
    記録のための第一の撮像を行わせ、更に、前記撮像素子の遮光状態にて生じる暗時画像信号を求めるための複数回の第二の撮像を行わせる制御部と、
    　前記複数回の第二の撮像により前記撮像素子から得られる複数の第一の撮像画像信号に基づいて前記暗時画像信号を求める暗時画像信号取得部と、を備え、
    　前記制御部は、前記光学素子を制御し、前記撮像素子に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて前記第二の撮像を行わせ、
    　更に、前記制御部は、前記第二の撮像時において前記可動レンズを制御して、前記第二の撮像時の前記可動レンズの制御状態によって決まる第一の撮像条件値と、前記第一の撮像時の前記可動レンズの制御状態によって決まる第二の撮像条件値とが異なる状態、を得る撮像制御装置。
  2. 　請求項１記載の撮像制御装置であって、
    　前記可動レンズはフォーカスレンズであり、
    　前記第一の撮像条件値と前記第二の撮像条件値は、焦点位置である撮像制御装置。
  3. 　請求項２記載の撮像制御装置であって、
    　前記制御部は、前記第二の撮像時において前記可動レンズを制御して、前記第一の撮像条件値としての焦点位置と前記第二の撮像条件値としての焦点位置との差が予め決められた値以上となる状態を得る撮像制御装置。
  4. 　請求項３記載の撮像制御装置であって、
    　前記予め決められた値は、前記焦点位置の移動範囲として取り得る最大範囲の半分の値である撮像制御装置。
  5. 　請求項１記載の撮像制御装置であって、
    　前記可動レンズはズームレンズであり、
    　前記第一の撮像条件値と前記第二の撮像条件値は、焦点距離である撮像制御装置。
  6. 　請求項５記載の撮像制御装置であって、
    　前記制御部は、前記第二の撮像時において前記可動レンズを制御して、前記焦点距離が最も長くなる状態を得る撮像制御装置。
  7. 　請求項１から６のいずれか１項記載の撮像制御装置であって、
    　前記制御部は、前記複数回の第二の撮像の前に、前記撮像素子により複数回撮像させて前記撮像素子から得られる複数の第二の撮像画像信号に基づいて、被写体に動体が含まれるか否か又は前記撮像素子に動きがあるか否かを判定し、前記動体が含まれない又は前記動きがないと判定した場合には、前記第二の撮像時において、前記可動レンズを前記第二の撮像条件値が得られる状態に制御する撮像制御装置。
  8. 　請求項１から７のいずれか１項記載の撮像制御装置と、
    　前記撮像素子と、を備える撮像装置。
  9. 　請求項８記載の撮像装置であって、
    　前記光学素子を更に備える撮像装置。
  10. 　可動レンズと、透過光量が可変な光学素子と、を通して被写体を撮像する撮像素子に、
    記録のための第一の撮像を行わせ、更に、前記撮像素子の遮光状態にて生じる暗時画像信号を求めるための複数回の第二の撮像を行わせる制御ステップと、
    　前記複数回の第二の撮像により前記撮像素子から得られる複数の第一の撮像画像信号に基づいて前記暗時画像信号を求める暗時画像信号取得ステップと、を備え、
    　前記制御ステップでは、前記光学素子を制御し、前記撮像素子に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて前記第二の撮像を行わせ、
    　更に、前記制御ステップでは、前記第二の撮像時において前記可動レンズを制御して、
    前記第二の撮像時の前記可動レンズの制御状態によって決まる第一の撮像条件値と、前記第一の撮像時の前記可動レンズの制御状態によって決まる第二の撮像条件値とが異なる状態、を得る撮像制御方法。
  11. 　請求項１０記載の撮像制御方法であって、
    　前記可動レンズはフォーカスレンズであり、
    　前記第一の撮像条件値と前記第二の撮像条件値は、焦点位置である撮像制御方法。
  12. 　請求項１１記載の撮像制御方法であって、
    　前記制御ステップでは、前記第二の撮像時において前記可動レンズを制御して、前記第一の撮像条件値としての焦点位置と前記第二の撮像条件値としての焦点位置との差が予め決められた値以上となる状態を得る撮像制御方法。
  13. 　請求項１２記載の撮像制御方法であって、
    　前記予め決められた値は、前記焦点位置の移動範囲として取り得る最大範囲の半分の値である撮像制御方法。
  14. 　請求項１０記載の撮像制御方法であって、
    　前記可動レンズはズームレンズであり、
    　前記第一の撮像条件値と前記第二の撮像条件値は、焦点距離である撮像制御方法。
  15. 　請求項１４記載の撮像制御方法であって、
    　前記制御ステップでは、前記第二の撮像時において前記可動レンズを制御して、前記焦点距離が最も長くなる状態を得る撮像制御方法。
  16. 　請求項１０から１５のいずれか１項記載の撮像制御方法であって、
    　前記制御ステップでは、前記複数回の第二の撮像の前に、前記撮像素子により複数回撮像させて前記撮像素子から得られる複数の第二の撮像画像信号に基づいて、被写体に動体が含まれるか否か又は前記撮像素子に動きがあるか否かを判定し、前記動体が含まれない又は前記動きがないと判定した場合には、前記第二の撮像時において、前記可動レンズを前記第二の撮像条件値が得られる状態に制御する撮像制御方法。
  17. 　可動レンズと、透過光量が可変な光学素子と、を通して被写体を撮像する撮像素子に、
    記録のための第一の撮像を行わせ、更に、前記撮像素子の遮光状態にて生じる暗時画像信号を求めるための複数回の第二の撮像を行わせる制御ステップと、
    　前記複数回の第二の撮像により前記撮像素子から得られる複数の第一の撮像画像信号に基づいて前記暗時画像信号を求める暗時画像信号取得ステップと、をコンピュータに実行させるためのプログラムであって、
    　前記制御ステップでは、前記光学素子を制御し、前記撮像素子に入射する光量が０より大きく且つ互いに異なる複数の露光状態の各々にて前記第二の撮像を行わせ、
    　更に、前記制御ステップでは、前記第二の撮像時において前記可動レンズを制御して、
    前記第二の撮像時の前記可動レンズの制御状態によって決まる第一の撮像条件値と、前記第一の撮像時の前記可動レンズの制御状態によって決まる第二の撮像条件値とが異なる状態、を得る撮像制御プログラム。
     
PCT/JP2019/005392 2018-03-23 2019-02-14 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム WO2019181299A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020507433A JP6765027B2 (ja) 2018-03-23 2019-02-14 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
US17/020,792 US10992872B2 (en) 2018-03-23 2020-09-14 Imaging control device, imaging apparatus, imaging control method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-057246 2018-03-23
JP2018057246 2018-03-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/020,792 Continuation US10992872B2 (en) 2018-03-23 2020-09-14 Imaging control device, imaging apparatus, imaging control method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019181299A1 true WO2019181299A1 (ja) 2019-09-26

Family

ID=67987687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/005392 WO2019181299A1 (ja) 2018-03-23 2019-02-14 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム

Country Status (3)

Country Link
US (1) US10992872B2 (ja)
JP (1) JP6765027B2 (ja)
WO (1) WO2019181299A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116064A (ja) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd 撮像装置
JP2006345458A (ja) * 2005-06-10 2006-12-21 Casio Comput Co Ltd 撮像装置
JP2007336386A (ja) * 2006-06-16 2007-12-27 Canon Inc 撮像装置及び撮像方法
JP2012175408A (ja) * 2011-02-22 2012-09-10 Olympus Imaging Corp 撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004207895A (ja) 2002-12-24 2004-07-22 Sony Corp 動画像撮像装置および動画像撮像方法
TW201611602A (zh) * 2014-07-21 2016-03-16 提尼摩斯私人有限公司 影像擷取裝置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116064A (ja) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd 撮像装置
JP2006345458A (ja) * 2005-06-10 2006-12-21 Casio Comput Co Ltd 撮像装置
JP2007336386A (ja) * 2006-06-16 2007-12-27 Canon Inc 撮像装置及び撮像方法
JP2012175408A (ja) * 2011-02-22 2012-09-10 Olympus Imaging Corp 撮像装置

Also Published As

Publication number Publication date
JP6765027B2 (ja) 2020-10-07
US10992872B2 (en) 2021-04-27
JPWO2019181299A1 (ja) 2020-12-03
US20200412931A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
JP5982601B2 (ja) 撮像装置及び合焦制御方法
JP6307526B2 (ja) 撮像装置及び合焦制御方法
JP6028112B2 (ja) 撮像装置及び合焦制御方法
JP6785395B2 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
WO2014125682A1 (ja) 撮像装置及び合焦制御方法
JPWO2016080538A1 (ja) 撮像装置及び撮像方法
JPWO2017057104A1 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP5990665B2 (ja) 撮像装置及び合焦制御方法
US10863095B2 (en) Imaging apparatus, imaging method, and imaging program
JP6171105B2 (ja) 撮像装置及び合焦制御方法
US11082623B2 (en) Imaging control device, imaging apparatus, imaging control method, and imaging control program with light measurement
JP6446599B2 (ja) 合焦制御装置、レンズ装置、撮像装置、合焦制御方法、合焦制御プログラム
JP7210517B2 (ja) 撮像装置、撮像制御方法、撮像制御プログラム
WO2020209097A1 (ja) 画像表示装置、画像表示方法、及びプログラム
WO2019181299A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
JP7085651B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
US12062209B2 (en) Face region detection device, imaging apparatus, face region detection method, and face region detection program
WO2022145322A1 (ja) 撮像装置、フォーカス制御方法、及び、フォーカス制御プログラム
JP7186854B2 (ja) 画像表示装置、画像表示方法、及びプログラム
WO2014073441A1 (ja) 撮像装置およびその動作制御方法
WO2013145887A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19770565

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020507433

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19770565

Country of ref document: EP

Kind code of ref document: A1