WO2017043190A1 - 制御システム、撮像装置、およびプログラム - Google Patents

制御システム、撮像装置、およびプログラム Download PDF

Info

Publication number
WO2017043190A1
WO2017043190A1 PCT/JP2016/071433 JP2016071433W WO2017043190A1 WO 2017043190 A1 WO2017043190 A1 WO 2017043190A1 JP 2016071433 W JP2016071433 W JP 2016071433W WO 2017043190 A1 WO2017043190 A1 WO 2017043190A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
image
exposure
calculated
calculating
Prior art date
Application number
PCT/JP2016/071433
Other languages
English (en)
French (fr)
Inventor
野村　健一郎
Original Assignee
株式会社リコー
野村　健一郎
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 野村　健一郎 filed Critical 株式会社リコー
Priority to EP16844054.3A priority Critical patent/EP3349433B1/en
Priority to CN201680052016.4A priority patent/CN108028894B/zh
Priority to JP2017538905A priority patent/JP6455601B2/ja
Publication of WO2017043190A1 publication Critical patent/WO2017043190A1/ja
Priority to US15/911,423 priority patent/US10477106B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Definitions

  • the present invention relates to a control system for controlling an image pickup apparatus, an image pickup apparatus including the control system, and a program.
  • a camera as an imaging device includes an imaging device such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and converts light input by the imaging device into an image signal. Then, the camera calculates an exposure value for proper exposure based on the luminance value acquired from the image signal, and adjusts the set values such as the shutter speed and the aperture value from the exposure value according to the program diagram. Usually, a camera is provided with an automatic exposure control function (AE) that performs this adjustment automatically.
  • CMOS Complementary Metal Oxide Semiconductor
  • the luminance value is a value that represents the degree of brightness of the image
  • exposure means that the image sensor is exposed to light, and proper exposure is expressed by the natural brightness and color of the image as seen by humans.
  • the exposure value is a value that represents the degree to which the image sensor is exposed to light, and the shutter speed is used to expose the image sensor to light and open a shutter that can be opened and closed to block the light.
  • Exposure time Exposure time
  • the aperture value is a value that represents the brightness of an image shown on the image sensor, and is also called an F value.
  • the program diagram is a correspondence table in which exposure values are associated with shutter speeds and aperture values.
  • AE performs control to increase the shutter speed and decrease the aperture when the subject brightness increases.
  • Some cameras do not have a diaphragm mechanism in order to provide them at low cost. In such a case, exposure control is performed by changing the shutter speed (see, for example, Patent Documents 1 and 2).
  • the shutter speed resolution of a CMOS image sensor becomes coarser as the shutter speed increases.
  • the conventional technique has a problem that exposure cannot be adjusted by controlling the shutter speed in an environment where the luminance of the subject is high, and exposure control cannot be performed with high accuracy.
  • an imaging apparatus having a plurality of imaging elements corresponding to a plurality of lens optical systems
  • exposure and white balance are automatically controlled based on luminance values obtained from the plurality of imaging elements.
  • an overlapping area in the imaging range of images obtained from two imaging elements like an omnidirectional imaging camera that images all directions using a pair of fisheye lenses, stable control is not performed. The inventor has discovered.
  • the present invention has been made in view of the above problems, and is based on a first image acquired using a first fisheye lens and a second image acquired using a second fisheye lens.
  • exposure control can be performed with high accuracy.
  • FIG. 1A is a diagram illustrating an external view of an imaging apparatus and an image acquired by the imaging apparatus.
  • FIG. 1B is a diagram schematically showing the structure in the lens barrel unit mounted on the omnidirectional camera.
  • FIG. 2 is a diagram illustrating a hardware configuration of the imaging apparatus.
  • FIG. 3 is a flowchart showing a flow of processing performed by the imaging apparatus shown in FIG.
  • FIG. 4 is a functional block diagram of a control system implemented in the imaging apparatus.
  • FIG. 5 is a flowchart showing a flow of processing at the time of monitoring before imaging by the imaging apparatus.
  • FIG. 6 is a diagram illustrating an example in which an image is divided into a plurality of blocks.
  • FIG. 7 is a diagram illustrating an AE table.
  • FIG. 1A is a diagram illustrating an external view of an imaging apparatus and an image acquired by the imaging apparatus.
  • FIG. 1B is a diagram schematically showing the structure in the lens barrel unit mounted on the omnidirectional camera.
  • FIG. 8 is a diagram illustrating a program diagram.
  • FIG. 9 is a flowchart showing a flow of processing for calculating the shutter speed and the ISO sensitivity.
  • FIG. 10 is a diagram illustrating correction information referred to in the process shown in FIG.
  • FIG. 11 is a diagram illustrating a white extraction range referred to in the WB Gain process.
  • FIG. 1A is a diagram illustrating an external view of an imaging apparatus 10 according to an embodiment of the present invention and an image acquired by the imaging apparatus 10.
  • the imaging device 10 includes a pair of lens windows 11 and 12 at opposing positions, and can capture images from all directions from the imaging position.
  • the imaging device 10 is referred to as an omnidirectional imaging camera 10.
  • FIG. 1B is a diagram schematically showing the structure in the lens barrel unit 20 mounted on the omnidirectional imaging camera 10.
  • a first imaging optical system including an imaging optical system 21 and an imaging element 23 corresponding thereto, and an imaging optical system 22 and imaging corresponding thereto.
  • a second imaging optical system comprising the element 24 is included.
  • the imaging optical systems 21 and 22 are configured to include, for example, 6 groups of 7 fisheye lenses.
  • the positions of the optical elements (lens optical system, prism, filter, and aperture stop) of the two imaging optical systems 21 and 22 and the imaging elements 23 and 24 are the same as the imaging elements corresponding to the optical axes of the imaging optical systems 21 and 22.
  • the light receiving areas are positioned so as to be orthogonal to the central portions of the light receiving areas 23 and 24 and to be the image planes of the corresponding fisheye lenses.
  • the pair of fish-eye lenses constituting the lens optical system of the imaging optical systems 21 and 22 are arranged in opposite directions with the respective optical axes aligned.
  • the image sensors 23 and 24 are two-dimensional solid-state image sensors in which a light receiving region forms an area area.
  • the image sensors 23 and 24 convert the light collected by the corresponding imaging optical systems 21 and 22 into image data, and send it to a processor (not shown). Output.
  • the processor the partial images respectively input from the image sensors 23 and 24 are connected and synthesized to generate an image with a solid angle of 4 ⁇ radians (hereinafter referred to as “global celestial sphere image”).
  • the first image captured by one imaging optical system of the pair of imaging optical systems 21 and 22 is placed on the upper hemisphere side of the omnidirectional format, and the other.
  • the second image photographed by the imaging optical system is mapped to the lower hemisphere side, and the two images are connected to generate an omnidirectional image.
  • an area in which the imaging range overlaps between the images (hereinafter referred to as an overlapping area) is necessary.
  • the imaging optical systems 21 and 22 are simply referred to as fisheye lenses 21 and 22, respectively.
  • the imaging is performed by the photographer pressing the imaging SW 13 and using it as a trigger to simultaneously expose the two imaging elements.
  • the two image sensors acquire images by converting the received light into electrical signals. Since the acquired image is an image obtained using the fisheye lenses 21 and 22, it is called a fisheye image.
  • the two fisheye images acquired by the two image sensors are subjected to image conversion in the subsequent image processing, and are combined in the overlapping region to generate an omnidirectional image.
  • the omnidirectional imaging camera 10 stores the generated omnidirectional image data, outputs it to an output device having a display means such as a PC (not shown) in response to a request from the user, and causes the display means to display the data. Can do.
  • the omnidirectional imaging camera 10 can also output the generated omnidirectional image to an output device such as a printer or MFP (Multi Function Peripheral) not shown, and print it out. It is also possible to output to an MFP or PC as an output device and send it by fax or e-mail.
  • MFP Multi Function Peripheral
  • FIG. 1 also illustrates two fish-eye images as captured images captured by the omnidirectional imaging camera 10.
  • Each fisheye image indicates an image captured by sensors A and B (see FIG. 3), and the fisheye image captured by sensor B includes a high-luminance object such as the sun as a scene. For this reason, a white blurred image called flare is generated on the image sensor of the sensor B, and a difference in brightness occurs between the two fisheye images.
  • the two fisheye images are combined based on an image of an appropriate object at the boundary between the images to generate a composite image.
  • the flare may spread over the entire image sensor centering on a high-luminance object, and there may be no image of an appropriate object at the boundary.
  • the above-described composite image can be generated by performing image correction and image processing by a conventionally known method. Since this method is not directly related to the present invention, its description is omitted here.
  • FIG. 2 is a diagram illustrating a hardware configuration of the omnidirectional imaging camera 10.
  • the omnidirectional imaging camera 10 includes a lens barrel unit 20, and the lens barrel unit 20 includes imaging optical systems 21 and 22 and imaging elements 23 and 24.
  • the imaging optical systems 21 and 22 collect light from the subject and enter the imaging elements 23 and 24.
  • the image sensors 23 and 24 convert the incident light into an electrical signal.
  • the image sensors 23 and 24 are controlled by a control command from a CPU 31 in a processor 30 (described later) provided in the camera body.
  • CMOS is used as the image sensors 23 and 24.
  • NAND FLASH 32 used as ROM stores a program written in a code decodable by CPU 31 and setting values used for performing control.
  • the SW 33 is a power switch for turning on the power of the omnidirectional imaging camera 10.
  • the program is read out to a main memory (not shown) by the CPU 31 and executed.
  • the CPU 31 executes the program to control the operation of each unit in the camera, and temporarily stores data necessary for the control in the RAM 34 and a local SRAM (not shown) in the processor 30.
  • the ROM it is preferable to use a rewritable flash ROM because the program, setting values, and the like can be changed, and the function can be easily upgraded.
  • the processor 30 includes image signal processors (ISP) 40 and 41.
  • the ISPs 40 and 41 perform white balance processing and gamma correction processing on the image data output from the image sensors 23 and 24.
  • the white balance process is a process of multiplying a gain in order to express a white part as white according to the type of light source such as sunlight or a fluorescent lamp.
  • the gamma correction process is a correction process performed on the input signal so that the output has linearity in consideration of the characteristics of the output device.
  • the ISPs 40 and 41 perform conversion into luminance data as luminance information and color difference data as color difference information by extracting luminance values, color difference values, and the like by filtering processing on the image data.
  • the color difference is a quantified difference between the two colors.
  • the omnidirectional imaging camera 10 includes an SDRAM 35 and a triaxial acceleration sensor 36.
  • the SDRAM 35 temporarily stores image data before performing processing by the ISPs 40 and 41 and before performing distortion correction and composition processing described later.
  • the triaxial acceleration sensor 36 measures the acceleration of the omnidirectional imaging camera 10. The measured acceleration is used to determine the camera tilt and the vertical direction.
  • the processor 30 includes a distortion correction / combination processing unit 42.
  • the processor 30 combines the two image data output from the image sensors 23 and 24 and processed by the ISPs 40 and 41 to generate combined image data.
  • the distortion correction / combination processing unit 42 uses the information from the triaxial acceleration sensor 36 to perform the top-and-bottom correction simultaneously with the distortion correction, and generates a composite image in which the inclination is corrected.
  • distortion correction for example, a fisheye image is converted into a two-dimensional planar image using a conversion table.
  • the processor 30 includes a face detection unit 43, performs face detection using a composite image whose inclination is corrected, and specifies the position of the face. The identified face position is used for focusing at the time of imaging.
  • the SDRAM 35 is connected to the ARB MEMC 45 via the MEMC 44, and the triaxial acceleration sensor 36 is directly connected to the distortion correction / synthesis processing unit 42.
  • the MEMC 44 is a controller that controls reading of image data from the SDRAM 35 and writing of image data to the SDRAM 35.
  • the ARB MEMC 45 is a controller that mediates exchange of image data.
  • a DMAC 46 is provided between the ISPs 40 and 41, the distortion correction / combination processing unit 42, the face detection unit 43, and the ARB MEMC 45, and image data is directly transferred without the CPU 31.
  • the ARB MEMC 45 sends image data and the like to the image data transfer unit 48 via the DMAC 46 and the Imaging Processing (IP) block 47.
  • the IP block 47 performs various image processing on the image data.
  • the image data transfer unit 48 is connected to an SDRAM C 49 that controls reading of data from the RAM 34 and writing of data to the RAM 34.
  • the SDRAMC 49 is connected to the bridge 50, the memory card control block 51, the USB block 52, and the CPU 31.
  • the memory card control block 51 is connected to the NAND FLASH 32 and a memory card slot 37 for inserting a memory card for recording image data, reading data from the memory card, and writing data.
  • the memory card control block 51 controls reading / writing of data to / from them.
  • the USB block 52 is connected to an external device such as a PC via the USB connector 38 and performs USB communication with the external device.
  • the processor 30 is connected to a built-in memory (not shown), and can store image data of an image obtained by imaging even when no memory card is inserted in the memory card slot 37.
  • the processor 30 includes a serial block SPI 53, a JPEGCODEC block 54, an H.264 codec block 55, and a RESIZE block 56.
  • the serial block SPI 53 performs serial communication with an external device such as a PC via a wireless network interface 39 such as Wi-Fi.
  • the JPEGCODEC block 54 is a codec block for performing JPEG compression / decompression
  • the H.264 codec block 55 is a codec block for performing H.264 video compression / decompression.
  • the RESIZE block 56 is a block for enlarging or reducing the image size of the image data by interpolation processing.
  • the processor 30 further includes a peripheral block 57 that receives an ON / OFF command from the SW 33 and turns the power of the omnidirectional imaging camera 10 on and off, and a power controller 58 that controls power supply to each unit.
  • the processor 30 also includes an audio recording / reproducing unit 59 that records and reproduces audio.
  • the audio recording / reproducing unit 59 is connected to a microphone 60 to which a user inputs an audio signal and a speaker 61 to output a recorded audio signal.
  • the audio recording / reproducing unit 59 includes a microphone AMP that amplifies the audio signal input from the microphone 60 and an audio recording circuit that records the amplified audio signal.
  • the audio recording / reproducing unit 59 also includes an audio reproducing circuit that converts the recorded audio signal into a signal that can be output from the speaker 61, and an audio AMP that amplifies the converted audio signal and drives the speaker 61. Including.
  • the audio recording / reproducing unit 59 operates under the control of the CPU 31.
  • the image data stored in the SDRAM 35 or a built-in memory includes RAW-RGB image data that has been subjected to white balance setting and gamma setting by ISPs 40 and 41, and YUV image data that has been subjected to filtering processing. Can be mentioned. Also, JPEG image data compressed by JPEG in the JPEGCODEC block 54 can be used.
  • the processor 30 includes a drive circuit called an LCD driver 62 that drives an LCD monitor 63.
  • the LCD driver 62 converts the command from the CPU 31 into a signal for displaying image data and the current state (status) on the LCD monitor 63.
  • FIG. 3 is a flowchart showing the flow of processing performed by the omnidirectional imaging camera 10 shown in FIG.
  • the image sensor 23 is sensor A
  • the image sensor 24 is sensor B
  • the ISP 40 connected to the sensor A is ISP1-A
  • ISP2-A the ISP 41 connected to the sensor B is ISP1-B, ISP2-B.
  • the image data output from sensor A is input to ISP1-A
  • the image data output from sensor B is input to ISP1-B.
  • ISP1-A and ISP1-B perform OB correction, defective pixel correction, linear correction, shading correction, and area division averaging processing.
  • OB correction is optical black correction.
  • the output signal of the optical black area is acquired as a black reference level, and the output signal of the effective pixel area of the image data is corrected.
  • Sensors A and B are arranged with a large number of pixels, which are manufactured by forming a number of photosensitive elements such as photodiodes on a semiconductor substrate. In this manufacture, there may be a case where a defective pixel is locally incapable of taking in a pixel value due to impurities mixed into the semiconductor substrate. In order to give appropriate pixel values to such defective pixels, defective pixel correction is performed. In the defective pixel correction, the pixel value of the defective pixel is corrected based on a combined signal from a plurality of pixels adjacent to the defective pixel.
  • linear correction image data that has been subjected to defective pixel correction is converted into image data having linearity. This linear correction is performed for each RGB.
  • the distortion is corrected by multiplying the output signal of the effective pixel region by a predetermined correction coefficient so as to obtain an image having uniform brightness with respect to the luminance unevenness.
  • sensitivity correction for each region can be performed by multiplying a different correction coefficient for each RGB color.
  • the effective pixel area is divided into blocks each having a predetermined size. This block is used for calculating average luminance in AE processing and AWB processing described later.
  • Each sensor A and B has an independent simple AE processing function, and each sensor A and B can be set to an appropriate exposure independently.
  • the area integrated value (described later) obtained by the area division averaging process is adjusted so that the brightness of the image boundary part of the images of both eyes matches. Use and set each sensor A and B to proper exposure.
  • ISP2-A and ISP2-B When processing by ISP1-A and ISP1-B is completed, processing by ISP2-A and ISP2-B is executed.
  • ISP2-A and ISP2-B perform WB Gain processing, gamma correction processing, Bayer interpolation processing, YUV conversion processing, YCFLT processing, and color correction processing, and the results are stored in DRAM.
  • a color filter of any one of red (R), green (G), and blue (B) is attached to each pixel on a CMOS photodiode that accumulates the amount of light from the subject. Since the amount of transmitted light varies depending on the color of the filter, the amount of charge accumulated in the photodiode also varies. The color with the highest sensitivity is G, and R and B are about half of G. Therefore, in WB Gain processing (white balance processing), processing for multiplying R and B is performed in order to make white in the captured image appear white. Also, since the color of an object also changes depending on the type of light source (sun, fluorescent lamp, etc.), it has a function to change and control the gain so that white appears white even if the type of light source changes. Yes.
  • an output device such as a display
  • a device that performs non-linear input / output conversion in which a relationship between an input signal input to the output device and an output signal output for display is represented by a non-linear curve.
  • a non-linear output since there is no gradation in brightness and the image becomes dark, a person cannot see the image correctly. Therefore, in the gamma correction processing, the characteristics of the output device are taken into consideration, and the input signal is processed in advance so that the output maintains linearity.
  • CMOS is an array called a Bayer array.
  • a RGB color filter is attached to one pixel, and the output RAW data has only one color information per pixel.
  • information of three colors of RGB is required for one pixel.
  • an interpolation process for interpolating from surrounding pixels is performed in order to obtain information on two colors that are insufficient.
  • RAW data is an RGB data format with three colors RGB.
  • image data in the RGB data format is converted into a YUV data format having a color space consisting of luminance (Y) and color difference (UV) called YUV.
  • YCFLT processing is edge enhancement processing, where an edge portion is extracted from a luminance signal of an image, gain is applied to the extracted edge, and at the same time, image noise is removed by a low-pass filter (LPF).
  • LPF low-pass filter
  • a process of adding the edge data after the gain and the image data after the LPF process are performed.
  • the color correction process includes saturation setting, hue setting, partial hue change setting, color suppression setting, and the like.
  • Saturation setting is a process of setting a parameter that determines the color intensity, and indicates the UV color space.
  • the image data saved in DRAM is subjected to crop processing.
  • the cropping process is a process for cutting out a central area of an image and generating a thumbnail image.
  • the clipped image is called a regular image, and the regular image data is sent to the distortion correction / combination processing unit 42 shown in FIG.
  • the distortion correction / combination processing unit 42 Based on the information from the triaxial acceleration sensor 36, the distortion correction / combination processing unit 42 performs top / bottom correction as tilt correction.
  • the JPEG codec block 54 performs JPEG compression with a compression coefficient of 0.16, for example. This data is stored in DRAM and tagged.
  • this data is stored in the memory card inserted in the memory card slot 37 via the memory card control block 51.
  • a communication terminal such as a smartphone
  • transfer via wireless communication using a wireless LAN such as Wi-Fi, Bluetooth (registered trademark), or infrared communication via the serial block SPI 53 and the wireless network interface 39. Can do.
  • the configuration of the omnidirectional imaging camera 10 and the processing executed in the camera have been briefly described.
  • Conventional cameras cannot finely control exposure by controlling shutter speed as described above. In this case, when a moving image is picked up, the difference in exposure between frames is uncomfortable, resulting in an unconnected video.
  • the omnidirectional imaging camera 10 is provided with a control system including a functional unit as shown in FIG.
  • FIG. 4 is a functional block diagram of a control system implemented in the omnidirectional imaging camera 10.
  • the control system is mounted on the omnidirectional imaging camera 10, but it may be a separate device outside the omnidirectional imaging camera 10, or may be mounted on a server device or the like connected to the network. May be.
  • Each functional unit included in the control system is realized by the CPU 31 executing a program.
  • the omnidirectional imaging camera 10 will be described simply as a camera.
  • the control system 100 includes a calculation unit 101, a storage unit 102, a correction unit 103, and a setting unit 104 as functional units.
  • the camera includes an image sensor, and the image sensor captures light from the subject and converts it into an electrical signal to acquire an image of the subject. Note that the camera continues to acquire a subject image at a constant frame rate during monitoring before imaging.
  • the calculation unit 101 acquires a setting value for controlling the camera, which is set with respect to the control and processing of the camera, and calculates a photometric value representing the brightness of the subject based on the acquired setting value.
  • the calculated photometric value is a subject luminance value.
  • the calculation unit 101 includes a photometric value calculation unit for calculating the photometric value.
  • the calculation unit 101 calculates an exposure value representing the degree of exposure of the image sensor to light from the calculated photometric value. For this reason, the calculation unit 101 also includes an exposure value calculation unit for calculating the exposure value.
  • the exposure value is associated with the ISO speed as the sensitivity value that represents the sensitivity of the image sensor to light, and the shutter speed that represents the exposure time for exposing the image sensor to light to achieve proper exposure, according to the program diagram described below. ing. For this reason, by using the program diagram, it is possible to obtain the shutter speed and the ISO sensitivity for obtaining an appropriate exposure from the exposure value.
  • the calculation unit 101 calculates the shutter speed and the ISO sensitivity as the above set values from the calculated exposure value. Therefore, the calculation unit 101 also includes a set value calculation unit for calculating these set values.
  • the calculation unit 101 further includes an evaluation value calculation unit for calculating the AE evaluation value and the AWB evaluation value of the image sensor, and photometry for adjusting the photometry value calculated by the photometry value calculation unit based on the AE evaluation value of the image sensor. Includes a value adjuster. Details of the AE evaluation value and the AWB evaluation value will be described later.
  • the calculation unit 101 can calculate the shutter speed and the ISO sensitivity. However, when using a camera with an aperture, the calculation unit 101 can also calculate an aperture value (F value) that represents the degree of adjustment of the brightness.
  • F value an aperture value
  • the exposure time is shortened. For this reason, it is possible to image a moving subject without shaking.
  • the ISO sensitivity is increased, the electric signal converted by the image sensor is amplified, and the image can be brightened. For this reason, if the ISO value is doubled with the aperture value kept constant, the image becomes bright. Therefore, if the exposure time is shortened by double the shutter speed, the exposure can be adjusted appropriately.
  • the storage unit 102 stores a predetermined shutter speed and correction information for correcting the ISO sensitivity corresponding to the shutter speed. Details of the correction information will be described later.
  • the correction unit 103 determines whether the shutter speed calculated by the calculation unit 101 corresponds to any one of shutter speeds specified by the correction information stored in the storage unit 102. When it is determined that the correction unit 103 is applicable, the correction unit 103 corrects the shutter speed and the ISO sensitivity calculated by the calculation unit 101 based on the correction information stored in the storage unit 102.
  • the setting unit 104 sets the shutter speed and the ISO sensitivity corrected by the correction unit 103 to the camera as set values, and controls the exposure of the camera.
  • the camera captures an image of the subject by adjusting the shutter speed and ISO sensitivity after correction.
  • the conventional control cannot control the shutter speed in an environment where the brightness of the subject is high to achieve an appropriate exposure.
  • fine exposure control is possible, and proper exposure can be achieved even in environments with high subject brightness. It becomes possible.
  • FIG. 5 is a flowchart showing a flow of a series of AE processes during monitoring before imaging.
  • the AE process starts from step 500, and in step 505, initial values of shutter speed and ISO sensitivity are set for the sensors A and B.
  • the value to be set is a value common to the sensors A and B. For example, using the simple AE processing function, these values can be set so that proper exposure is obtained.
  • the value to be set is an Apex format value.
  • Apex format is a format that allows units with different units to be considered on the same scale. For this reason, operations such as addition and subtraction become possible.
  • the calculation unit 101 calculates a subject brightness value Bv and an exposure value Ev that are photometric values.
  • the shutter speed Tv and the ISO sensitivity Sv are used and calculated by the following equation (1).
  • Av is an aperture value, and in this example, since the omnidirectional imaging camera 10 that does not have an aperture is used as the camera, the value of Av is fixed.
  • 0x50 is a reference value of Sv, for example, a value of Sv at ISO 100.
  • Bv, Ev, Av, and 0x50 are all Apex format values.
  • step 510 the process waits for a detection value that is RAW-RGB data of the image to be acquired by the camera. Therefore, the determination in step 510 is repeated until the detection value is acquired. This detection value is acquired for each frame.
  • step 515 it is determined whether or not the set Tv and Sv are reflected detection values. If it is not the reflected detection value, the process returns to step 510, waits for acquisition of the detection value again, and acquires the detection value. Whether the reflected detection value is reflected or not can be determined based on whether the change in the exposure condition of each sensor is small and stable. If it is determined that the detection value is reflected, the process proceeds to step 520. Note that by determining whether or not the detection value is reflected here, it is not necessary to repeat processing such as area integrated value calculation described later until it is determined to be a reflected detection value, thereby reducing the calculation load. can do.
  • the calculation unit 101 calculates an area integrated value for each of the sensors A and B from the acquired detection value.
  • the area integrated value can be calculated as follows. First, equal division is performed from the RAW-RGB data of the fish-eye image shown in FIG. 6 using blocks that are a plurality of horizontal 16 ⁇ vertical 16 areas. Thus, the calculation unit 101 can include an area dividing unit that divides a plurality of areas. Note that the RAW-RGB data includes RGB values as pixel values of pixels constituting the image. Next, the RGB values are integrated for each divided block. Then, a luminance value (Y value) is obtained from the RGB value in block units by the following equation (2), and this Y value is set as an area integrated value.
  • R is an R value in RGB values
  • G is a G value in RGB values
  • B is a B value in RGB values.
  • the smaller the number of divisions the less calculation processing is possible and the calculation time can be shortened.
  • the number of divisions is set to 4 or more.
  • it is preferable that all divided blocks are divided into equal areas and the same shape.
  • the evaluation value calculation unit of calculation unit 101 calculates the AE evaluation value by dividing the area integrated value by the number of integrated RGB values (integrated number).
  • This AE evaluation value is an exposure evaluation value for evaluating the exposure of the image sensor, and is used for later exposure calculation.
  • step 530 the AE evaluation values of sensor A and sensor B that are below a certain value are averaged, and a difference ( ⁇ Ev) from the appropriate exposure is calculated based on the AE table.
  • the reason why the value is set to a certain value or less is to prevent the AE evaluation value having an error from being used when calculating the average.
  • the AE table is a table representing a difference ( ⁇ Ev) from the appropriate exposure corresponding to the AE evaluation value, as shown in FIG.
  • ⁇ Ev a difference from the appropriate exposure corresponding to the AE evaluation value
  • FIG. 9 The AE table is a table representing a difference ( ⁇ Ev) from the appropriate exposure corresponding to the AE evaluation value, as shown in FIG.
  • ⁇ Ev a difference from the appropriate exposure corresponding to the AE evaluation value, as shown in FIG.
  • ⁇ Ev is clipped to -3 which is the minimum value in the AE table or +3 which is the maximum value. Therefore, ⁇ Ev is calculated as ⁇ 3 regardless of whether the AE evaluation value is 50 or 25, and ⁇ Ev is calculated as +3 regardless of whether the AE evaluation value is 3681 or 5000.
  • the non-overlapping area excluding the overlapping area (that is, the circular center is excluded) from the unshielded circular inner portion of the RAW-RGB data of the fisheye image shown in FIG.
  • the area integrated value is calculated based only on the pixel values of the pixels constituting the 0 ° to 90 ° region). That is, for example, when the angle of view of the fisheye lenses 21 and 22 is 200 degrees, as shown in FIG. 6, in the RAW-RGB data of the fisheye image, the overlapping area (that is, the circular center is set to 0 degrees).
  • the pixel values of the pixels constituting the 90 ° to 100 ° region are not used for calculating the area integrated value (luminance value). This is because the following problems occur when the area integrated value (luminance value) is calculated based on the pixel values of the pixels constituting the overlapping region.
  • the overlapping area is obtained for the RAW-RGB data corresponding to each of the sensors A and B.
  • the area integrated value (brightness value) is calculated using the pixel values of the pixels constituting the AE
  • both the AE evaluation value of sensor A and the AE evaluation value of sensor B calculated in step 525 are influenced by the subject with high brightness.
  • the average value of the two AE evaluation values does not correctly reflect the actual luminance of the subject.
  • the RAW-RGB data corresponding to each of the sensors A and B is duplicated.
  • both the AE evaluation value of sensor A and the AE evaluation value of sensor B calculated in step 525 become smaller due to the influence of the low-luminance subject, resulting in two AE evaluation values. There arises a problem that the average value of the evaluation values does not correctly reflect the actual luminance of the subject.
  • the pixel values of the pixels constituting the overlapping region of the unshielded circular inner portion of the RAW-RGB data of the fisheye image shown in FIG. Since the area integrated value is calculated based only on the pixel values of the pixels constituting the non-overlapping area without being used for calculating the image area, it is affected by the subject existing in the imaging range where the fisheye lens 21 and the fisheye lens 22 overlap. Therefore, stable exposure control can be performed.
  • the photometric value adjustment unit of the calculation unit 101 adds ⁇ Ev to the previously calculated Bv, and updates the luminance value Bv of the subject. Based on the updated Bv, the calculation unit 101 calculates the exposure value using the above equation (1). For example, when ⁇ Ev is 0, it is determined that the exposure is appropriate, and Ev at which ⁇ Ev is 0 is calculated. In step 540, using the calculated Ev, for example, according to the program diagram shown in FIG. 8, the exposure conditions, that is, the shutter speed Tv and the ISO sensitivity Sv are calculated. Then, after the correction unit 103 performs correction, the setting unit 104 sets the corrected Tv and Sv for both the sensors A and B.
  • the evaluation value calculation unit of the calculation unit 101 divides the area integrated value calculated in the previous step 520 by the number of integrated RGB values (integrated number), and the following expressions (3) and (4) To calculate AWB evaluation values (G / R, G / B).
  • This AWB evaluation value is a white balance evaluation value for evaluating the white balance of the image sensor, and is used for the subsequent WB Gain processing (white balance processing).
  • the white balance gain (Rgain, Bgain) is averaged based on the AWB evaluation values (G / R, G / B) that are already in the white extraction range.
  • the white extraction range is a two-dimensional color coordinate having G / R as the x axis and G / B as the y axis, as shown in FIG.
  • step 550 the calculated Rgain and Bgain are set as setting values in the WB gain processing of ISP2-A and ISP2-B shown in FIG.
  • the pixels constituting the non-overlapping area without using the pixel values of the pixels constituting the overlapping area among the unshaded circular inner portions of the RAW-RGB data of the fish-eye image shown in FIG. Since the AWB evaluation values (G / R, G / B) described above are calculated based on the area integrated value (luminance value) calculated based only on the pixel value of the image, the imaging range where the fisheye lens 21 and the fisheye lens 22 overlap is calculated. Stable white balance processing can be performed without being affected by an existing subject.
  • step 555 it is determined whether monitoring is completed.
  • the monitoring is terminated when the imaging is started and the camera is turned off because the shutter before imaging is opened and light is incident on the imaging device. If the monitoring has not ended, the process returns to step 510 and the processing from step 510 to step 550 is repeated. On the other hand, when the monitoring is completed, the process proceeds to step 560 and the process is terminated.
  • step 540 for example, when the calculated Ev is 9, the shutter speed Tv7 and the ISO sensitivity Sv5 at the point where the diagonal line intersects the thick line from Ev9 in the program diagram shown in FIG. 8 are calculated as the respective values.
  • the numerical values 9, 7, and 5 shown beside Ev, Tv, and Sv in FIG. 8 are values expressed in Apex format.
  • the fraction shown below Tv is the original shutter speed value not represented in Apex format, and the numerical value shown on the right side of Sv is the original ISO sensitivity value not represented in Apex format. .
  • step 540 The calculation and setting of Tv and Sv in step 540 shown in FIG. 5 will be described in detail with reference to the flowchart shown in FIG. This process is started from step 900, and in step 905, the calculation unit 101 calculates Tv and Sv from Bv updated in step 535 according to the program diagram shown in FIG. Since the calculation method has been described above, the description thereof is omitted here.
  • the correction unit 103 determines whether the calculated Tv corresponds to any of Tv in the interpolation table as the correction information.
  • An example of the interpolation table is shown in FIG.
  • the interpolation table has an input field and an output field, Tv before correction is set in the input field, and Tv after correction and an Sv correction value corresponding to the Tv are set in the output field. Therefore, the interpolation table is a correspondence table in which these values are associated with each other. These values can be set to optimum values obtained by conducting a test in advance.
  • the Tv before correction is set to a predetermined value on the high speed side, for example, of the shutter speed that needs to be corrected.
  • a predetermined value is set.
  • 0xBF of the input field corresponds to 1/3900.
  • the Tv is corrected to 0xC0, and the calculated Sv is corrected to +1.
  • +1 means that if the calculated Sv is ISO100, it is ISO104, which is the sensitivity on the 1/16 level, and if it is ISO200, ISO208 is set. Accordingly, in the case of +2, if the calculated Sv is ISO100, the sensitivity is ISO109, which is the sensitivity on the 2/16 level.
  • the value of Tv calculated in step 905 is obtained as a value such as 0xB1 or 0xB9 because the camera has 1/16 resolution, and the value is not necessarily a value that can be set as the shutter speed.
  • the shutter speed can be set between 1/2900 seconds (0xB7) and 1/4000 seconds (0xCO).
  • the value in between cannot be used because it cannot be set.
  • Fine exposure control can be realized by setting such a shutter speed that cannot be used in the interpolation table and performing correction.
  • an example using an interpolation table has been described.
  • the present invention is not limited to this, and the corrected Tv may be obtained by a conversion equation that represents the relationship between the Tv before correction and the Tv after correction. .
  • step 910 If any of the input Tvs of the interpolation table corresponds to step 910, the process proceeds to step 915, and the corrected Tv and Sv correction values are acquired from the calculated Tv according to the interpolation table. In step 920, the calculated Tv and Sv are corrected using the acquired Tv and Sv correction values. When the correction is completed, and when it does not correspond to any of the input Tv of the interpolation table in Step 910, the process proceeds to Step 925.
  • step 925 the Tv and Sv obtained by the correction or the calculated Tv and Sv are set in the sensors A and B as set values, and the process is terminated in step 930.
  • the camera captures an image
  • the subject is imaged using the set Tv and Sv.
  • the present invention has been described with the above-described embodiments as a control system, an imaging device, and a control method, the present invention is not limited to the above-described embodiments.
  • the present invention can be modified within a range that can be conceived by those skilled in the art, such as other embodiments, additions, modifications, and deletions, and the present invention is not limited as long as the operations and effects of the present invention are exhibited in any aspect. It is included in the scope of the invention. Therefore, the present invention can also provide a program for causing a computer to execute the control method, a recording medium on which the program is recorded, a server device that provides the program via a network, and the like.
  • JP-A-2-288560 Japanese Patent No. 3778114

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

第１の魚眼レンズを使用して取得した第１の画像と第２の魚眼レンズを使用して取得した第２の画像に基づいて全天球画像を生成する撮像装置を制御する制御システムであって、前記第１の画像の輝度値に基づいて前記第１の魚眼レンズに対応する第１の撮像素子の露出を評価するための第１の露出評価値を算出するとともに、前記第２の画像の輝度値に基づいて前記第２の魚眼レンズに対応する第２の撮像素子の露出を評価するための第２の露出評価値を算出する評価値算出部を含み、前記評価値算出部は、前記第１の画像と前記第２の画像の間で撮影範囲が重複する重複領域を構成する画素の画素値を、該第１の画像の輝度値ならびに該第２の画像の輝度値の算出に使用しないことを特徴とする制御システムを提供する。

Description

制御システム、撮像装置、およびプログラム
　本発明は、撮像装置を制御する制御システム、その制御システムを備えた撮像装置、およびプログラムに関する。
　撮像装置としてのカメラは、CMOS（Complementary　Metal　Oxide　Semiconductor）イメージセンサ等の撮像素子を備え、撮像素子により入力された光を画像信号に変換する。そして、カメラは、その画像信号から取得した輝度値に基づき、適正露出になる露出値を算出し、その露出値からプログラム線図に従ってシャッタスピードや絞り値等の設定値の調整を行う。通常、カメラには、この調整を自動で行う自動露出制御機能（AE）が設けられている。
　ここで、輝度値は、画像の明るさの度合いを表す値であり、露出は、撮像素子を光にさらすことをいい、適正露出は、画像が人間から見て自然な明るさや色で表現される露出をいう。露出値は、撮像素子を光に露出する度合いを表す値であり、シャッタスピードは、撮像素子を光に露出し、また、光を遮断するために開閉可能なシャッタを開き、撮像素子を光にさらす時間（露出時間）である。絞り値は、撮像素子に写る像の明るさを表す値で、F値とも呼ばれる。プログラム線図は、露出値とシャッタスピードおよび絞り値とを対応付けた対応表である。
　AEでは、被写体の輝度が高くなると、シャッタスピードを速くし、絞りを小さくする制御を行う。カメラには、低コストで提供するために、絞り機構を搭載していないものもある。このような場合、シャッタスピードを変えることにより露出制御を行っている（例えば、特許文献１、２参照）。
　例えば、動画を撮像する場合、連続的な繋がりが重要であるため、フレーム間での露出差に違和感が出ないように、細かく露出制御を行う必要がある。一般的に、CMOSイメージセンサのシャッタスピード分解能は、シャッタスピードが高速側にいくほど粗くなる。しかしながら、従来の技術では、被写体の輝度が高い環境下においてシャッタスピードを制御して露出を合わせることができず、精度良く露出制御を行うことができないといった問題があった。
　さらに、複数のレンズ光学系に対応する複数の撮像素子を有する撮像装置では、複数の撮像素子から得られる輝度値に基づいて露出やホワイトバランスの自動制御を行うことになるが、この方法では、一対の魚眼レンズを使用して全方位を撮像する全天球撮像カメラのように、２つの撮像素子から得られる画像の撮影範囲に重複領域が存在する場合においては、安定した制御がなされないことを本発明者は発見した。
　そこで、精度良く露出制御を行うことができるシステム、装置、方法等の提供が望まれていた。
　本発明は、上記課題に鑑みなされたものであり、第１の魚眼レンズを使用して取得した第１の画像と第２の魚眼レンズを使用して取得した第２の画像に基づいて全天球画像を生成する撮像装置を制御する制御システムであって、前記第１の画像を構成する画素の画素値に基づいて該画像の輝度値を算出し、該輝度値に基づいて前記第１の魚眼レンズに対応する第１の撮像素子の露出を評価するための第１の露出評価値を算出するとともに、前記第２の画像を構成する画素の画素値に基づいて該画像の輝度値を算出し、該輝度値に基づいて前記第２の魚眼レンズに対応する第２の撮像素子の露出を評価するための第２の露出評価値を算出する評価値算出部を含み、前記評価値算出部は、前記第１の画像と前記第２の画像の間で撮影範囲が重複する重複領域を構成する画素の画素値を、該第１の画像の輝度値ならびに該第２の画像の輝度値の算出に使用しないことを特徴とする、制御システムを提供する。
　本発明によれば、精度良く露出制御を行うことが可能となる。
図１Ａは、撮像装置の外観図および撮像装置により取得される画像を例示した図である。 図１Ｂは、全天球カメラに搭載される鏡胴ユニット内の構造を模式的に示した図である。 図２は、撮像装置のハードウェア構成を示した図である。 図３は、図２に示す撮像装置により実施される処理の流れを示したフロー図である。 図４は、撮像装置に実装される制御システムの機能ブロック図である。 図５は、撮像装置により撮像前のモニタリング時の処理の流れを示したフローチャートである。 図６は、画像を複数のブロックに分割する例を示した図である。 図７は、AEテーブルを例示した図である。 図８は、プログラム線図を例示した図である。 図９は、シャッタスピードとISO感度とを算出する処理の流れを示したフローチャートである。 図１０は、図９に示す処理において参照される補正情報を例示した図である。 図１１は、WB　Gain処理において参照される白抽出範囲を例示した図である。
　図１Ａは、本発明の実施形態である撮像装置１０の外観図および撮像装置１０により取得される画像を例示した図である。図１Ａに示すように、撮像装置１０は、対向する位置に一対のレンズ窓１１、１２を備えており、撮像位置から全方位を撮像することができるようになっている。以下、撮像装置１０を全天球撮像カメラ１０という。
　図１Ｂは、全天球撮像カメラ１０に搭載される鏡胴ユニット２０内の構造を模式的に示した図である。図１Ｂに示すように、鏡胴ユニット２０内には、結像光学系２１とこれに対応する撮像素子２３からなる第１の撮像光学系、ならびに、結像光学系２２とこれに対応する撮像素子２４からなる第２の撮像光学系が含まれている。なお、結像光学系２１、２２は、例えば６群７枚の魚眼レンズを含んで構成される。
　２つの結像光学系２１、２２の光学素子（レンズ光学系、プリズム、フィルタおよび開口絞り）と撮像素子２３、２４の位置は、結像光学系２１、２２の光軸が、対応する撮像素子２３、２４の受光領域の中心部に直交し、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めされる。ここで、結像光学系２１、２２のレンズ光学系を構成する一対の魚眼レンズは、それぞれの光軸を一致させた状態で、互いに逆向きに配置される。
　撮像素子２３、２４は、受光領域が面積エリアを成す２次元の固体撮像素子であり、対応する結像光学系２１、２２により集光された光を画像データに変換して、図示しないプロセッサに出力する。プロセッサでは、撮像素子２３、２４からそれぞれ入力される部分画像をつなぎ合わせて合成し、立体角４πラジアンの画像（以下「全天球画像」という。）を生成する。
　ここで、全天球撮像カメラ１０においては、一対の結像光学系２１、２２のうち、一方の結像光学系により撮影された第１の画像を全天球フォーマットの上半球側に、他方の結像光学系により撮影された第２の画像をその下半球側にそれぞれマッピングした後、両者をつなぎ合わせることによって全天球画像を生成する。このとき、第１の画像と第２の画像のつなぎ位置を検出するために画像間で撮影範囲が重複する領域（以下、重複領域という）が必要となるため、結像光学系２１、２２を構成するそれぞれの魚眼レンズは、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。なお、以下においては、結像光学系２１、２２をそれぞれ、単に、魚眼レンズ２１、２２という。
　撮像は、撮影者が撮像SW１３を押下し、それをトリガーとして、２つの撮像素子を同時に露光することにより行われる。２つの撮像素子は、受光した光を電気信号に変換することにより画像を取得する。取得した画像は、魚眼レンズ２１、２２を使用して得られた画像であるため、魚眼画像と呼ばれる。２つの撮像素子によって取得された２つの魚眼画像は、その後の画像処理において、画像変換が行われ、重複領域で結合されて、全天球画像が生成される。
　全天球撮像カメラ１０は、生成した全天球画像のデータを格納し、ユーザからの要求を受けて、図示しないPC等の表示手段を備える出力装置へ出力し、その表示手段に表示させることができる。また、全天球撮像カメラ１０は、生成した全天球画像を、図示しないプリンタやMFP（Multi　Function　Peripheral）等の出力装置に出力し、印刷出力することもできる。また、出力装置としてMFPやPCへ出力し、FAX送信やメール送信することも可能である。
　図１には、全天球撮像カメラ１０により撮像された撮影画像として２つの魚眼画像も例示している。各魚眼画像は、センサA、B（図３参照）で撮像された画像を示し、センサBで撮像された魚眼画像には、太陽といった高輝度物体がシーンとして含まれている。このため、センサBの撮像素子には、フレアと呼ばれる白くぼやけた画像が生じ、２つの魚眼画像に明るさの違いが生じている。２つの魚眼画像は、それぞれの画像の境界部分にある適当な物体の画像を基に結合して合成画像を生成する。
　画像によっては、フレアが高輝度物体を中心に撮像素子全体に広がる場合があり、また、境界部分に適当な物体の画像がない場合もある。このような場合でも、これまでに知られた方法により画像補正や画像処理を行い、上記の合成画像を生成することができる。この方法については、本発明とは直接関係がないので、ここではその説明を省略する。
　図２は、全天球撮像カメラ１０のハードウェア構成を示した図である。全天球撮像カメラ１０は、鏡胴ユニット２０を備え、鏡胴ユニット２０には、結像光学系２１、２２と、撮像素子２３、２４とが含まれる。結像光学系２１、２２は、被写体からの光を集め、撮像素子２３、２４へ入射する。撮像素子２３、２４は、入射された光を電気信号に変換する。撮像素子２３、２４は、カメラ本体に設けられる後述するプロセッサ３０内にあるCPU３１からの制御指令により制御される。図２では、撮像素子２３、２４として、CMOSが使用されている。
　ROMとして使用されるNAND　FLASH３２は、CPU３１が解読可能なコードで記述されたプログラムや制御を行うために使用される設定値等が格納されている。SW３３は、全天球撮像カメラ１０の電源をONにするための電源スイッチで、電源がONにされると、上記プログラムがCPU３１により図示しないメインメモリに読み出され、実行される。CPU３１は、上記プログラムを実行してカメラ内の各部の動作を制御するとともに、その制御に必要なデータ等をRAM３４と、プロセッサ３０内にある図示しないローカルSRAMとに一時的に保存する。ROMは、書き換え可能なフラッシュROMを使用することで、プログラムや設定値等を変更することができ、機能のバージョンアップを容易に行うことができるので好ましい。
　プロセッサ３０は、Image　Signal　Processor（ISP）４０、４１を備える。ISP４０、４１は、撮像素子２３、２４から出力された画像データに対してホワイトバランス処理やガンマ補正処理を行う。ホワイトバランス処理は、太陽光や蛍光灯等の光源の種類に応じて、白い部分を白色として表現するためにゲインを掛ける処理である。ガンマ補正処理は、出力装置の特性を考慮し、出力が線形性を保つように入力信号に対して行う補正処理である。また、ISP４０、４１は、画像データに対してフィルタリング処理によって輝度値や色差値等を抽出することにより輝度情報としての輝度データや色差情報としての色差データへの変換を行う。なお、色差は、２つの色の差を定量化したものである。
　全天球撮像カメラ１０は、SDRAM３５、３軸加速度センサ３６を備える。SDRAM３５は、ISP４０、４１により処理を行う前に、また、後述する歪曲補正および合成処理を実施する前に画像データを一時的に保存する。３軸加速度センサ３６は、全天球撮像カメラ１０の加速度を計測する。計測された加速度は、カメラの傾きや天地方向を決定するために使用される。
　プロセッサ３０は、歪曲補正・合成処理部４２を備え、合成処理において、撮像素子２３、２４から出力され、ISP４０、４１により処理された２つの画像データを合成し、合成画像データを生成する。そして、歪曲補正・合成処理部４２は、３軸加速度センサ３６からの情報を利用して、歪曲補正と同時に天地補正を行い、傾きを補正した合成画像を生成する。歪曲補正では、例えば、変換テーブルを用い、魚眼画像を二次元の平面画像に変換される。
　プロセッサ３０は、顔検出部４３を備え、傾きを補正した合成画像を用い、顔検出を行い、顔の位置を特定する。特定した顔の位置は、撮像時に焦点（ピント）を合わせるために使用される。SDRAM３５は、MEMC４４を介してARB　MEMC４５に接続され、３軸加速度センサ３６は、直接、歪曲補正・合成処理部４２に接続される。MEMC４４は、SDRAM３５からの画像データの読み出し、SDRAM３５への画像データの書き込みを制御するコントローラである。ARB　MEMC４５は、画像データのやりとりを調停するコントローラである。
　ISP４０、４１、歪曲補正・合成処理部４２、顔検出部４３とARB　MEMC４５との間には、DMAC４６が設けられ、CPU３１を介さずに直接画像データが転送されるようになっている。ARB　MEMC４５は、DMAC４６、Imaging　Processing（IP）ブロック４７を介して画像データ転送部４８へ画像データ等を送る。IPブロック４７は、画像データに対して各種の画像処理を施す。画像データ転送部４８は、RAM３４からのデータの読み出し、RAM３４へのデータの書き込みを制御するSDRAMC４９と接続される。SDRAMC４９は、ブリッジ５０、メモリカード制御ブロック５１、USBブロック５２、CPU３１と接続される。
　メモリカード制御ブロック５１は、画像データを記録するメモリカードを差し込み、メモリカードからのデータの読み出し、データの書き込みを行うメモリカードスロット３７と、NAND　FLASH３２とに接続される。メモリカード制御ブロック５１は、それらへのデータの読み書きを制御する。USBブロック５２は、PC等の外部機器とUSBコネクタ３８を介して接続し、その外部機器とUSB通信を行う。プロセッサ３０には、図示しない内蔵メモリが接続され、メモリカードスロット３７にメモリカードが装着されていない場合でも、撮像して得られた画像の画像データを記憶することができるようになっている。
　プロセッサ３０は、シリアルブロックSPI５３、JPEGCODECブロック５４、H.264　codecブロック５５、RESIZEブロック５６を備える。シリアルブロックSPI５３は、PC等の外部機器とWi-Fi等の無線ネットワークインタフェース３９を介してシリアル通信を行う。JPEGCODECブロック５４は、JPEG圧縮・伸張を行うためのコーディックブロックで、H.264　codecブロック５５は、H.264動画圧縮・伸張を行うためのコーディックブロックである。RESIZEブロック５６は、画像データの画像サイズを補間処理によって拡大または縮小を行うためのブロックである。
　プロセッサ３０は、さらに、SW３３からのON／OFFの指令を受け付け、全天球撮像カメラ１０の電源をON／OFFを行うペリフェラルブロック５７、各部への電源供給を制御する電源コントローラ５８を備える。また、プロセッサ３０は、音声を記録し、再生する音声記録・再生ユニット５９を備える。音声記録・再生ユニット５９には、ユーザが音声信号を入力するマイク６０と、記録された音声信号を出力するスピーカ６１とが接続される。音声記録・再生ユニット５９は、マイク６０により入力された音声信号を増幅するマイクAMPと、増幅された音声信号を記録する音声記録回路とを含む。また、音声記録・再生ユニット５９は、記録された音声信号をスピーカ６１から出力できる信号に変換する音声再生回路と、変換された音声信号を増幅し、スピーカ６１を駆動するためのオーディオAMPとを含む。この音声記録・再生ユニット５９は、CPU３１の制御の下で動作する。
　なお、SDRAM３５や図示しない内蔵メモリ等に保存される画像データとしては、ISP４０、４１によりホワイトバランス設定およびガンマ設定が行われた状態のRAW-RGB画像データ、フィルタリング処理された後のYUV画像データが挙げられる。また、JPEGCODECブロック５４でJPEG圧縮されたJPEG画像データ等が挙げられる。
　また、プロセッサ３０は、LCDドライバ６２と呼ばれるLCDモニタ６３を駆動するドライブ回路を備えている。LCDドライバ６２は、CPU３１からの指令を、LCDモニタ６３に画像データや現在の状態（ステータス）を表示するための信号に変換する。
　図３は、図２に示す全天球撮像カメラ１０により実施される処理の流れを示したフロー図である。撮像素子２３をセンサAとし、撮像素子２４をセンサBとし、センサAに接続されるISP４０をISP1-A、ISP2-Aとし、センサBに接続されるISP４１をISP1-B、ISP2-Bとして説明する。センサAから出力された画像データは、ISP1-Aに入力され、センサBから出力された画像データは、ISP1-Bに入力される。ISP1-AおよびISP1-Bでは、OB補正、欠陥画素補正、リニア補正、シェーディング補正、領域分割平均処理を実施する。
　OB補正は、オプティカルブラック補正で、この補正処理では、オプティカルブラック領域の出力信号を黒の基準レベルとして取得し、画像データの有効画素領域の出力信号を補正する。
　センサA、Bには多数の画素が配列され、これは、半導体基板上に多数のフォトダイオード等の感光素子を形成することにより製造される。この製造にあたり、半導体基板に不純物が混入する等の原因により局所的に画素値の取り込みが不能な欠陥画素が発生する場合がある。こういった欠陥画素に対して適切な画素値を与えるために、欠陥画素補正が行われる。なお、欠陥画素補正では、欠陥画素に隣接した複数の画素からの合成信号に基づいてその欠陥画素の画素値を補正する。
　リニア補正では、欠陥画素補正が行われた画像データを、線形性を有する画像データへ変換する。このリニア補正は、RGB毎に施される。
　センサA、Bの面上では、光学系や撮像系の特性等により輝度ムラが生じる。シェーディング補正は、この輝度ムラに対して一様な明るさの画像となるように、有効画素領域の出力信号に対して所定の補正係数を乗じてその歪みを補正する。シェーディング補正では、RGBの色毎に異なる補正係数を乗じることで領域毎の感度補正を行うことができる。
　領域分割平均処理では、有効画素領域を所定サイズの大きさからなるブロックに分割する。このブロックは、後述するAE処理およびAWB処理において平均輝度を算出するために使用される。
　これらの処理が行われた後の画像データは、DRAMに保存される。なお、各センサA、Bは、独立な簡易AE処理機能を有しており、各センサA、Bが単独で適正露出に設定することができるようになっている。各センサA、Bの露出条件の変化が小さくなり、安定してきた場合は、両眼の画像の画像境界部分の明るさが合うように、領域分割平均処理により得られた後述するエリア積算値を用い、各センサA、Bを適正露出に設定する。
　ISP1-A、ISP1-Bによる処理が終了したところで、ISP2-A、ISP2-Bによる処理が実行される。ISP2-A、ISP2-Bでは、WB　Gain処理、ガンマ補正処理、ベイヤー補間処理、YUV変換処理、YCFLT処理、色補正処理が実施され、その結果はDRAMに保存される。
　被写体からの光量を蓄積するCMOSのフォトダイオード上には、画素毎に赤（R）、緑（G）、青（B）のいずれか１色のカラーフィルタが貼付されている。フィルタの色によって透過する光量が変わってくるため、フォトダイオードに蓄積される電荷量も異なってくる。最も高い感度をもつ色はGであり、R、BはGの約半分である。そこで、WB　Gain処理（ホワイトバランス処理）では、撮像された画像中の白色を白く見せるために、RとBに対してゲインを掛ける処理を行う。また、物の色は、光源の種類（太陽や蛍光灯等）によってその色も変わってくるため、光源の種類が変わっても白色を白く見せるようにゲインを変更し、制御する機能を備えている。
　ディスプレイ等の出力装置には、出力装置へ入力される入力信号と、表示するために出力する出力信号との関係が非線形な曲線で表され、非線形な入出力変換を行う装置がある。このような非線形の出力の場合、明るさに階調性がなく、画像が暗くなるため、人がその画像を正しく見ることができなくなる。そこで、ガンマ補正処理では、出力装置の特性を考慮し、出力が線形性を保つように予め入力信号に対して処理を行う。
　CMOSはベイヤー配列と呼ばれる配列で、１画素にRGBのいずれか１色のカラーフィルタが貼付され、出力されるRAWデータは１画素に１色の情報しかない。RAWデータから画像として見るためには、１画素にRGBの３色の情報が必要である。ベイヤー補間処理では、不足する２色の情報を得るために、周辺の画素から補間する補間処理を行う。
　RAWデータは、RGBの３色によるRGBデータ形式である。YUV変換処理では、RGBデータ形式の画像データを、YUVと呼ばれる輝度（Y）、色差（UV）からなる色空間をもつYUVデータ形式へ変換する。
　YCFLT処理は、エッジ強調処理であり、画像の輝度信号からエッジ部分を抽出し、抽出したエッジに対してゲインを掛け、それと並行して画像のノイズをローパスフィルタ（LPF）により除去する。そして、エッジ強調処理では、ゲインを掛けた後のエッジのデータと、LPF処理後の画像データとを加算する処理を行う。
　色補正処理は、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定等を行う。彩度設定は、色の濃さを決定するパラメータを設定する処理で、UV色空間を示すものである。
　DRAMに保存された画像データは、クロップ処理が施される。クロップ処理は、画像の中心領域を切り抜き、サムネイル画像を生成する処理である。切り抜かれた画像は、正則画像と呼ばれ、その正則画像データは、図２に示す歪曲補正・合成処理部４２へ送られる。この歪曲補正・合成処理部４２で３軸加速度センサ３６からの情報に基づき、傾き補正である天地補正が行われる。そして、JPEGCODECブロック５４により例えば０．１６の圧縮係数にてJPEG圧縮される。このデータは、DRAMに保存され、タグ付けが行われる。
　また、このデータは、メモリカード制御ブロック５１を介してメモリカードスロット３７に装着されたメモリカードに保存される。なお、スマートフォン等の通信端末へ転送する場合は、シリアルブロックSPI５３および無線ネットワークインタフェース３９を介し、Wi-Fi等の無線LAN、Bluetooth（登録商標）、赤外線通信を利用し、無線通信により転送することができる。
　これまで全天球撮像カメラ１０の構成およびカメラ内で実行される処理について簡単に説明してきた。従来のカメラでは、上述したようにシャッタスピードを制御して細かく露出制御を行うことができなかった。これでは、動画を撮像する場合、フレーム間での露出差に違和感が出てしまい、繋がりのない映像になってしまう。そこで、この全天球撮像カメラ１０は、これを解決するために、図４に示すような機能部を備える制御システムが設けられる。
　図４は、全天球撮像カメラ１０に実装される制御システムの機能ブロック図である。ここでは、制御システムが全天球撮像カメラ１０に実装されたものとしているが、全天球撮像カメラ１０の外部の別の機器とすることもできるし、ネットワークに接続されるサーバ装置等に実装されていてもよい。制御システムが備える各機能部は、CPU３１がプログラムを実行することにより実現される。以下、全天球撮像カメラ１０を、単にカメラとして説明する。
　制御システム１００は、機能部として、算出部１０１と、記憶部１０２と、補正部１０３と、設定部１０４とを含んで構成される。カメラは、撮像素子を備え、撮像素子が被写体からの光を取り込み、それを電気信号に変換して被写体の画像を取得する。なお、カメラは、撮像前のモニタリング時には一定のフレームレートで被写体の画像を取得し続ける。算出部１０１は、カメラの制御および処理に関して設定された、カメラを制御するための設定値を、該カメラから取得し、取得した設定値に基づき、被写体の明るさを表す測光値を算出する。算出された測光値は、被写体輝度値とされる。算出部１０１は、この測光値を算出するための測光値算出部を含む。
　算出部１０１は、算出した測光値から、撮像素子を光に露出する度合いを表す露出値を算出する。このため、算出部１０１は、この露出値を算出するための露出値算出部も含む。露出値は、後述するプログラム線図により、適正露出にするための、撮像素子を光に露出する露出時間を表すシャッタスピード、撮像素子の光に対する感度を表す感度値としてのISO感度と対応付けられている。このため、プログラム線図を用いることで、露出値から適正露出にするためのシャッタスピードとISO感度とを求めることができる。算出部１０１は、算出した露出値からシャッタスピードとISO感度とを上記の設定値として算出する。このため、算出部１０１は、これら設定値を算出するための設定値算出部も含む。
　さらに、算出部１０１は、撮像素子のAE評価値およびAWB評価値を算出するための評価値算出部と、撮像素子のAE評価値に基づいて測光値算出部が算出した測光値を調整する測光値調整部を含む。なお、AE評価値とAWB評価値の詳細については後述する。
　このカメラは、レンズを通って撮像素子上に写る像の明るさを調整する絞りを備えていないため、算出部１０１は、上記のシャッタスピードとISO感度を算出することができる。しかしながら、絞りを備えるカメラを用いる場合は、算出部１０１は、その明るさを調整する度合いを表す絞り値（Ｆ値）も算出することができる。
　ちなみに、絞り値が大きい場合は、レンズを通る光量が少なくなる。シャッタスピードが速い場合は、露出時間が短くなる。このため、動いている被写体をぶれずに撮像することができる。ISO感度を上げると、撮像素子で変換された電気信号が増幅され、画像を明るくすることができる。このため、絞り値を一定にしてISO感度を２倍にすると、画像が明るくなるので、シャッタスピードを２倍にして露出時間を短くすれば、適正露出に調整することができる。
　記憶部１０２は、所定のシャッタスピードと、そのシャッタスピードに対応するISO感度を補正するための補正情報を記憶する。補正情報の詳細については後述する。補正部１０３は、算出部１０１により算出されたシャッタスピードが、記憶部１０２に記憶された補正情報で指定されているシャッタスピードのいずれかに該当するかを判断する。補正部１０３は、該当すると判断した場合、記憶部１０２に記憶された補正情報に基づき、算出部１０１により算出されたシャッタスピードとISO感度とを補正する。
　設定部１０４は、補正部１０３により補正されたシャッタスピードとISO感度とを設定値としてカメラに設定し、カメラの露出制御を行う。カメラは、設定された補正後のシャッタスピードおよびISO感度に調整して被写体の撮像を行う。
　CMOSイメージセンサのシャッタスピード分解能は、上述したように高速側で粗くなるため、従来の制御では、被写体の輝度が高い環境下でシャッタスピードを制御して適正な露出にすることができなかった。しかしながら、上記のようにシャッタスピードとISO感度とを補正し、それらを設定値としてカメラに設定することで、細かい露出制御が可能となり、被写体の輝度が高い環境下でも適正な露出にすることが可能になる。
　カメラの各機能部が行う詳細な処理の内容について、図５に示すフローチャートを参照して説明する。図５は、撮像前のモニタリング時における一連のAE処理の流れを示したフローチャートである。AE処理は、ステップ５００から開始し、ステップ５０５では、シャッタスピードとISO感度の初期値を、センサA、Bに対して設定する。設定する値は、センサA、Bで共通の値である。例えば、簡易AE処理機能を使用し、適正露出になるようにこれらの値を設定することができる。なお、設定する値には、Apex形式の値が用いられる。Apex形式は、単位系がばらばらのものを同じ尺度で考えられるようにした形式である。このため、加算や減算等の演算が可能となる。
　算出部１０１が測光値である被写体輝度値Bvと、露出値Evとを算出する。これらの算出には、シャッタスピードTvと、ISO感度Svとを用い、下記式（１）により算出する。式（１）中、Avは、絞り値であり、この例では、カメラとして絞りを備えていない全天球撮像カメラ１０を使用するので、Avの値は固定となる。また、0x50は、Svの基準値であり、例えばISO100のときのSvの値とされる。ちなみに、Bv、Ev、Av、0x50のいずれも、Apex形式の値である。
Figure JPOXMLDOC01-appb-M000001
　ステップ５１０では、カメラにより画像のRAW-RGBデータである検波値が取得されるのを待つ。したがって、検波値が取得されるまでステップ５１０の判断が繰り返される。この検波値の取得はフレーム毎に行われる。ステップ５１５では、設定されたTv、Svが反映された検波値であるかどうかを判断する。反映された検波値でない場合は、ステップ５１０へ戻り、再び検波値の取得を待ち、検波値を取得する。反映された検波値かどうかは、各センサの露出条件の変化が小さくなり、安定したかどうかにより判断することができる。反映された検波値であると判断された場合、ステップ５２０へ進む。なお、ここで反映された検波値であるかどうかを判断することで、反映された検波値と判断されるまで後述するエリア積算値の算出等の処理をくり返し行う必要がなくなり、計算負荷を軽減することができる。
　ステップ５２０では、算出部１０１は、取得した検波値からセンサA、Bの各々につき、エリア積算値を算出する。エリア積算値は、以下のようにして算出することができる。まず、図６に示す魚眼画像のRAW-RGBデータから水平１６×垂直１６の複数の領域であるブロックにより等分割を行う。このため、算出部１０１は、複数の領域に分割を行う領域分割部を含むことができる。なお、RAW-RGBデータは、画像を構成する画素の画素値としてのRGB値を含む。次に、分割された各ブロックに対してRGB値を積算する。そして、ブロック単位でRGB値から下記式（２）により輝度値（Y値）を求め、このY値をエリア積算値とする。式（２）中、Rは、RGB値におけるR値、Gは、RGB値におけるG値、Bは、RGB値におけるB値である。
Figure JPOXMLDOC01-appb-M000002
　ここでは、ブロックの分割数を１６×１６＝２５６としたが、これに限定されるものではない。分割数は、少ないほど計算処理を少なくし、計算時間を短縮できるので好ましいが、分割数が少なすぎると、計算精度が低下するので、自然数n×nに分割するとき、nは４以上とされる。また、n×nのように等分割であることを必ずしも要するものではないが、全ての分割したブロックが等面積かつ同じ形状に分割されていることが好ましい。
　エリア積算値の算出は、撮像した画像を上記のように等分割したブロックを用いて行う。例えば、撮像した画像が約１０００万画素である場合、各ブロックは、約１０００／２５６＝約３．９万画素を有することになる。各画素は、対応する被写体部分のR、G、B成分の情報をもち、例えば１２ビットの情報（０～２５５）として記録され、利用される。このことから、各ブロックは、約３．９万個のR、G、B成分の情報を含んでいる。エリア積算値は、各ブロックがもつ約３．９万個のR、G、B成分の情報を、R、G、B成分の各々につき、積算して算出する。
　ちなみに、この例で使用されるCMOSは、R、G、Bの各画素の比率がR：G：B＝１：２：１となっているため、各ブロックのR画素は約０．９７５万画素、G画素は約１．９５万画素、B画素は約０．９７５万画素となる。
　再び図５を参照して、ステップ５２５では、算出部１０１の評価値算出部は、エリア積算値を積算したRGB値の数（積算数）で除してAE評価値を算出する。このAE評価値は、撮像素子の露出を評価するための露出評価値であり、後の露出演算に使用される。
　ステップ５３０では、一定の値以下になるセンサAとセンサBのAE評価値を平均し、AEテーブルを基に適正露出との差分（ΔEv）を算出する。一定の値以下としているのは、誤差のあるAE評価値を、平均を計算する際に使用しないようにするためである。
　AEテーブルは、図７に示すように、AE評価値に対応する適正露出との差分（ΔEv）を表したテーブルである。例えば、上記で平均したAE評価値が９２０であった場合、AEテーブルからΔEvが＋１と求められる。この＋１は、適正露出から１Ev明るいことを示している。なお、AE評価値がAEテーブルに示された２つの値の間にある場合は、線形補間によりΔEvを算出する。
　また、AE評価値が５８未満あるいは３６８０を超える場合は、ΔEvはAEテーブル内の最小値である－３もしくは最大値である＋３にクリップする。したがって、AE評価値が５０でも、２５でも、ΔEvは－３と算出し、AE評価値が３６８１でも、５０００でも、ΔEvは＋３と算出する。
　ここで、本実施形態では、先のステップ５２０において、図６に示す魚眼画像のRAW-RGBデータの遮光されていない円形内側部分のうち、重複領域を除く非重複領域（すなわち、円形中心を0度とした0～90°までの領域）を構成する画素の画素値のみに基づいてエリア積算値を算出する。すなわち、例えば、魚眼レンズ２１、２２の画角が２００度°であった場合、図６に示すように、魚眼画像のRAW-RGBデータのうち、重複領域（すなわち、円形中心を0度とした90°～100°までの領域）を構成する画素の画素値については、これをエリア積算値（輝度値）の算出のために使用しない。これは、重複領域を構成する画素の画素値に基づいてエリア積算値（輝度値）を算出すると、以下のような問題が生じることによる。
　例えば、魚眼レンズ２１の画角と魚眼レンズ２２の画角が重複する撮影範囲に高輝度の被写体（例えば、太陽）が存在する場合、センサA、Bの各々に対応するRAW-RGBデータについて、重複領域を構成する画素の画素値を使用してエリア積算値（輝度値）を算出すると、ステップ５２５で算出されるセンサAのAE評価値とセンサBのAE評価値の両方が高輝度の被写体の影響を受けて大きくなり、結果として、２つのAE評価値の平均値が被写体の実際の輝度を正しく反映しなくなるという問題が生じる。
　同様に、魚眼レンズ２１の画角と魚眼レンズ２２の画角が重複する撮影範囲に低輝度の被写体（例えば、陰）が存在する場合、センサA、Bの各々に対応するRAW-RGBデータについて、重複領域のデータを積算値に算入すると、ステップ５２５で算出されるセンサAのAE評価値とセンサBのAE評価値の両方が低輝度の被写体の影響を受けて小さくなり、結果として、２つのAE評価値の平均値が被写体の実際の輝度を正しく反映しなくなるという問題が生じる。
　この点につき、本実施形態においては、図６に示す魚眼画像のRAW-RGBデータの遮光されていない円形内側部分のうち、重複領域を構成する画素の画素値をエリア積算値（輝度値）の算出のために使用しないで、非重複領域を構成する画素の画素値のみに基づいてエリア積算値を算出するので、魚眼レンズ２１と魚眼レンズ２２の重複する撮影範囲に存在する被写体に影響されることなく、安定した露出制御を行うことができる。
　再び図５を参照して、ステップ５３５では、算出部１０１の測光値調整部が前回算出したBvにΔEvを加算し、被写体の輝度値であるBvを更新する。算出部１０１は、この更新したBvを基に、上記式（１）を使用して露出値を算出する。例えばΔEvが０である場合、適正露出と判断し、ΔEvが０となるEvを算出する。ステップ５４０では、算出したEvを用い、例えば図８に示すプログラム線図に従って露光条件、すなわちシャッタスピードTv、ISO感度Svを算出する。そして、補正部１０３が補正を行った後、設定部１０４が、補正後のTv、Svを、センサA、Bの両方に設定する。
　続くステップ５４５では、算出部１０１の評価値算出部は、先のステップ５２０で算出したエリア積算値を積算したRGB値の数（積算数）で除して下記式（３）および式（４）によりAWB評価値（G／R、G／B）を算出する。このAWB評価値は、撮像素子のホワイトバランスを評価するためのホワイトバランス評価値であり、後段のWB　Gain処理（ホワイトバランス処理）に使用される。
Figure JPOXMLDOC01-appb-M000003
　なお、先述したWB　Gain処理では、AWB評価値（G／R、G／B）を基に予め内部で持っている白抽出範囲内のものを平均してホワイトバランスゲイン（Rgain、Bgain）とする。ここで、白抽出範囲とは、図１１に示すようにＧ／Ｒをｘ軸、Ｇ／Ｂをｙ軸とする２次元の色座標である。
　ステップ５５０では、算出されたRgain、Bgainを設定値として図３に示すISP2-A、ISP2-BのWB　gain処理に設定する。
　本実施形態においては、図６に示す魚眼画像のRAW-RGBデータの遮光されていない円形内側部分のうち、重複領域を構成する画素の画素値を使用しないで、非重複領域を構成する画素の画素値のみに基づいて算出されたエリア積算値（輝度値）に基づいて上述したAWB評価値（G／R、G／B）を算出するので、魚眼レンズ２１と魚眼レンズ２２の重複する撮影範囲に存在する被写体に影響されることなく、安定したホワイトバランス処理を行うことができる。
　ステップ５５５では、モニタリングが終了したかを判断する。モニタリングは、撮像前のシャッタが開かれ、撮像素子へ光が入射されている状態であるため、撮像が開始されることにより、また、カメラの電源がOFFにされることにより終了する。モニタリングが終了していない場合は、ステップ５１０へ戻り、ステップ５１０からステップ５５０までの処理を繰り返す。一方、モニタリングが終了した場合は、ステップ５６０へ進み、処理を終了する。
　モニタリング時には、設定値としての上記Tv、Svの算出、設定が繰り返し行われ、適正露出になるように、その設定値が調整される。
　ステップ５４０では、例えば算出したEvが９であった場合、図８に示すプログラム線図のEv９から斜めの線が太線と交差する点のシャッタスピードTv７、ISO感度Sv５を、それぞれの値として算出する。ちなみに、図８中、Ev、Tv、Svの横に示される９、７、５という数値がApex形式で表した値である。また、Tvの下側に示される分数は、Apex形式で表していない元のシャッタスピードの値であり、Svの右側に示される数値は、Apex形式で表していない元のISO感度の値である。
　図５に示すステップ５４０のTv、Svの算出、設定について、図９に示すフローチャートを参照して詳細に説明する。ステップ９００からこの処理を開始し、ステップ９０５では、算出部１０１が、ステップ５３５で更新したBvから図８に示すプログラム線図に従ってTv、Svを算出する。算出方法については上記で説明したので、ここではその説明を省略する。
　ステップ９１０では、補正部１０３が、算出されたTvが上記の補正情報としての補間テーブルのTvのいずれかに該当するかを判断する。補間テーブルの一例を、図１０に示す。補間テーブルは、入力フィールドと出力フィールドとを有し、入力フィールドには、補正前のTvが設定され、出力フィールドには、補正後のTv、それに対応するSv補正値が設定される。したがって、補間テーブルは、これらの値を対応付けた対応表である。なお、これらの値は、予め試験を行う等して得られた最適な値を設定することができる。
　補正前のTvには、補正が必要とされるシャッタスピードの、例えば高速側の所定の値が設定される。図１０では、カメラが１／１６分解能をもつものとし、0x10、0x20、0x30、…、0xC0、…を１／２、１／４、１／８、…、１／４０００、…のシャッタスピードとした場合の所定の値が設定されている。ちなみに、入力フィールドの0xBFは１／３９００に相当する。
　例えば、算出されたTvが0xBFであった場合、この補間テーブルに従えば、Tvを0xC0に補正し、算出されたSvに＋１する補正を行う。＋１とは、算出されたSvがISO100であれば１／１６段階上の感度であるISO104に、ISO200であればISO208にすることを意味する。したがって、＋２の場合は、算出されたSvがISO100であれば２／１６段階上の感度であるISO109となる。
　上記の例でいえば、算出されたTvが0xBFである場合、0xCOに変更する。これにより、シャッタスピードが速くなるため、被写体の明るさは暗くなる。そこで、対応するSvを＋１してISO感度を上げて被写体の明るさを明るくすることで、適正な明るさに調整する。
　ステップ９０５で算出されるTvの値は、カメラが１／１６分解能をもつため、0xB1や0xB9等の値として得られ、その値は、必ずしもシャッタスピードとして設定することができる値とは限らない。例えば、シャッタスピードとして設定可能な１／２９００秒(0xB7)と１／４０００秒（0xCO）との間の場合もある。その間の値は、設定することができないので、使用することができない。このような使用することができないシャッタスピードを補間テーブルに設定し、補正を行うようにすることで、細かい露出制御を実現することができる。ここでは、補間テーブルを使用した例について説明したが、これに限られるものではなく、補正前のTvと補正後のTvとの関係を表した変換式等によって補正後のTvを求めてもよい。
　ステップ９１０で補間テーブルの入力Tvのいずれかに該当する場合、ステップ９１５へ進み、補間テーブルに従って、算出したTvから補正後Tv、Sv補正値を取得する。ステップ９２０では、取得したTv、Sv補正値を用いて、算出したTv、Svの補正を行う。補正が終了したところで、また、ステップ９１０で補間テーブルの入力Tvのいずれにも該当しない場合、ステップ９２５へ進む。
　ステップ９２５では、補正により得られたTv、Sv、もしくは算出されたTv、Svを設定値としてセンサA、Bに設定し、ステップ９３０でこの処理を終了する。カメラが撮像を行う場合、この設定されたTv、Svを使用して被写体の撮像が行われることになる。
　被写体の撮像時には、さらに適正露出になるように、上記のガンマ補正で使用するガンマ値を調整し、または上記のホワイトバランス処理で使用するゲイン値を調整する等して、画像の輝度情報を調整することができる。
　これまで本発明を、制御システム、撮像装置、制御方法として上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではない。本発明は、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、本発明は、制御方法をコンピュータに実行させるためのプログラムやそのプログラムが記録された記録媒体、そのプログラムを、ネットワークを介して提供するサーバ装置等も提供することができるものである。
　１０　全天球撮像カメラ
　１１、１２　レンズ窓
　１３　撮像SW
　２０　鏡胴ユニット
　２１、２２　結像光学系（魚眼レンズ）
　２３、２４　撮像素子
　３０　プロセッサ
　３１　CPU
　３２　NAND　FLASH
　３３　SW
　３４　RAM
　３５　SDRAM
　３６　３軸加速度センサ
　３７　メモリカードスロット
　３８　USBコネクタ
　３９　無線ネットワークインタフェース
　４０、４１　ISP
　４２　歪曲補正・合成処理部
　４３　顔検出部
　４４　MEMC
　４５　ARB　MEMC
　４６　DMAC
　４７　IPブロック
　４８　画像データ転送部
　４９　SDRAMC
　５０　ブリッジ
　５１　メモリカード制御ブロック
　５２　USBブロック
　５３　シリアルブロックSPI
　５４　JPEGCODECブロック
　５５　H.264　codecブロック
　５６　RESIZEブロック
　５７　ペリフェラルブロック
　５８　電源コントローラ
　５９　音声記録・再生ユニット
　６０　マイク
　６１　スピーカ
　６２　LCDドライバ
　６３　LCDモニタ
　１００　制御システム
　１０１　算出部
　１０２　記憶部
　１０３　補正部
　１０４　設定部
特開平２－２８８５６０号公報 特許第３７７８１１４号公報

Claims (8)

  1. 　第１の魚眼レンズを使用して取得した第１の画像と第２の魚眼レンズを使用して取得した第２の画像に基づいて全天球画像を生成する撮像装置を制御する制御システムであって、
    　前記第１の画像を構成する画素の画素値に基づいて該画像の輝度値を算出し、該輝度値に基づいて前記第１の魚眼レンズに対応する第１の撮像素子の露出を評価するための第１の露出評価値を算出するとともに、前記第２の画像を構成する画素の画素値に基づいて該画像の輝度値を算出し、該輝度値に基づいて前記第２の魚眼レンズに対応する第２の撮像素子の露出を評価するための第２の露出評価値を算出する評価値算出部を備え、
    　前記評価値算出部は、
    　前記第１の画像と前記第２の画像の間で撮影範囲が重複する重複領域を構成する画素の画素値を、該第１の画像の輝度値ならびに該第２の画像の輝度値の算出に使用しない、制御システム。
  2. 　前記撮像装置に設定された設定値に基づき、被写体の明るさを表す測光値を算出する測光値算出部と、
    　前記評価値算出部により算出された前記第１の露出評価値および前記第２の露出評価値に基づいて前記測光値算出部により算出された前記測光値を調整する測光値調整部と、
    　算出された前記測光値から前記第１の撮像素子および前記第２の撮像素子を光に露出する度合いを表す露出値を算出する露出値算出部と、
    　算出された前記露出値に対応した、撮像素子を光に露出する露出時間および該撮像素子の光に対する感度を表す感度値を設定値として算出する設定値算出部と、をさらに備える、請求項１に記載の制御システム。
  3. 　前記評価値算出部は、
    　前記第１の画像の前記輝度値に基づいて前記第１の撮像素子のホワイトバランスを評価するための第１のホワイトバランス評価値を算出するとともに、前記第２の画像の前記輝度値に基づいて前記第２の撮像素子のホワイトバランスを評価するための第２のホワイトバランス評価値を算出する、請求項１または２に記載の制御システム。
  4. 　前記第１の魚眼レンズおよび前記第２の魚眼レンズは、それぞれの光軸を一致させた状態で互いに逆向きに配置され、各魚眼レンズの画角は１８０度を超える、請求項１～３のいずれか一項に記載の制御システム。
  5. 　請求項１～４のいずれか一項に記載の制御システムを備える撮像装置。
  6. 　第１の魚眼レンズを使用して取得した第１の画像と第２の魚眼レンズを使用して取得した第２の画像に基づいて全天球画像を生成する撮像装置を制御するコンピュータに、
    　前記第１の画像を構成する画素の画素値に基づいて該画像の輝度値を算出するステップと、
    　前記第１の画像の前記輝度値に基づいて前記第１の魚眼レンズに対応する第１の撮像素子の露出を評価するための第１の露出評価値を算出するステップと、
    　前記第２の画像を構成する画素の画素値に基づいて該画像の輝度値を算出するステップと、
    　前記第２の画像の前記輝度値に基づいて前記第２の魚眼レンズに対応する第２の撮像素子の露出を評価するための第２の露出評価値を算出するステップと、
    を実行させるためのプログラムであって、
    　前記輝度値を算出するステップにおいて、前記第１の画像と前記第２の画像の間で撮影範囲が重複する重複領域を構成する画素の画素値を使用しない、プログラム。
  7. 　前記コンピュータに、
    　前記撮像装置に設定された設定値に基づき、被写体の明るさを表す測光値を算出するステップと、
    　算出された前記第１の露出評価値および前記第２の露出評価値に基づいて算出された前記測光値を調整するステップと、
    　算出された前記測光値から前記第１の撮像素子および前記第２の撮像素子を光に露出する度合いを表す露出値を算出するステップと、
    　算出された前記露出値に対応した、撮像素子を光に露出する露出時間および該撮像素子の光に対する感度を表す感度値を設定値として算出するステップとをさらに実行させる、請求項６に記載のプログラム。
  8. 　前記コンピュータに、
    　前記第１の画像の前記輝度値に基づいて前記第１の撮像素子のホワイトバランスを評価するための第１のホワイトバランス評価値を算出するステップと、
    　前記第２の画像の前記輝度値に基づいて前記第２の撮像素子のホワイトバランスを評価するための第２のホワイトバランス評価値を算出するステップとをさらに実行させる、請求項６または７に記載のプログラム。
PCT/JP2016/071433 2015-09-09 2016-07-21 制御システム、撮像装置、およびプログラム WO2017043190A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP16844054.3A EP3349433B1 (en) 2015-09-09 2016-07-21 Control system, imaging device, and program
CN201680052016.4A CN108028894B (zh) 2015-09-09 2016-07-21 控制系统、成像装置和计算机可读介质
JP2017538905A JP6455601B2 (ja) 2015-09-09 2016-07-21 制御システム、撮像装置、およびプログラム
US15/911,423 US10477106B2 (en) 2015-09-09 2018-03-05 Control system, imaging device, and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-177618 2015-09-09
JP2015177618 2015-09-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/911,423 Continuation US10477106B2 (en) 2015-09-09 2018-03-05 Control system, imaging device, and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2017043190A1 true WO2017043190A1 (ja) 2017-03-16

Family

ID=58240746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/071433 WO2017043190A1 (ja) 2015-09-09 2016-07-21 制御システム、撮像装置、およびプログラム

Country Status (5)

Country Link
US (1) US10477106B2 (ja)
EP (1) EP3349433B1 (ja)
JP (1) JP6455601B2 (ja)
CN (1) CN108028894B (ja)
WO (1) WO2017043190A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018157479A (ja) * 2017-03-21 2018-10-04 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
JP2018182528A (ja) * 2017-04-13 2018-11-15 株式会社ザクティ 全天球カメラ及び音声処理方法
CN109752870A (zh) * 2019-01-31 2019-05-14 电子科技大学中山学院 一种电泳电子纸鬼影检测系统及检测方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7059522B2 (ja) * 2017-06-09 2022-04-26 ソニーグループ株式会社 制御装置、制御方法、プログラム及び撮像システム
US11363214B2 (en) * 2017-10-18 2022-06-14 Gopro, Inc. Local exposure compensation
JP7124366B2 (ja) * 2018-03-20 2022-08-24 株式会社リコー 撮像素子固定構造及び撮像装置
CN108632511A (zh) * 2018-05-16 2018-10-09 上海小蚁科技有限公司 全景鱼眼相机的亮度补偿值确定、亮度补偿方法及装置、终端、鱼眼相机
US11295172B1 (en) * 2018-05-21 2022-04-05 Snap Inc. Object detection in non-perspective images
US10630921B2 (en) * 2018-05-21 2020-04-21 Gopro, Inc. Image signal processing for reducing lens flare
CN109218628B (zh) * 2018-09-20 2020-12-08 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
JP6726324B1 (ja) * 2019-01-17 2020-07-22 オリンパス株式会社 撮像装置、画像合成方法、及び画像合成プログラム
CN114071110B (zh) * 2022-01-14 2022-06-03 广东欧谱曼迪科技有限公司 内窥镜色温实时矫正方法、装置、电子设备及摄像系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053617A (ja) * 2005-08-18 2007-03-01 Fujifilm Holdings Corp 露出値演算方法及び撮像装置
JP2014057156A (ja) * 2012-09-11 2014-03-27 Ricoh Co Ltd 撮像制御装置、撮像制御方法およびプログラム
JP2014123797A (ja) * 2012-12-20 2014-07-03 Ricoh Co Ltd 撮像制御装置、撮像システム、撮像制御方法およびプログラム
JP2015050498A (ja) * 2013-08-30 2015-03-16 株式会社リコー 撮像装置、撮像方法および記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5843027A (ja) 1981-09-08 1983-03-12 Canon Inc ペ−ジ式入力装置
JPH02288560A (ja) 1989-04-28 1990-11-28 Canon Inc スチルビデオカメラ
JP3035434B2 (ja) * 1993-10-13 2000-04-24 キヤノン株式会社 複眼撮像装置
JP3778114B2 (ja) 2002-03-27 2006-05-24 ソニー株式会社 露光制御方法、露光制御回路、撮像装置、プログラム、記憶媒体
JP5375457B2 (ja) 2008-09-03 2013-12-25 株式会社リコー 撮像装置及び撮像方法
JP5187241B2 (ja) 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
JP5321163B2 (ja) 2009-03-12 2013-10-23 株式会社リコー 撮像装置及び撮像方法
JP5458937B2 (ja) 2010-02-17 2014-04-02 株式会社リコー 撮像装置及び撮像方法及びこの撮像方法を実行するためのプログラムが記録されたコンピュータが読み取り可能な記録媒体
JP5971207B2 (ja) * 2012-09-18 2016-08-17 株式会社リコー 画像調整装置、画像調整方法およびプログラム
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
US9538160B1 (en) * 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
CN104717415B (zh) * 2013-12-12 2019-03-01 华为技术有限公司 一种摄像装置
JP5843027B1 (ja) 2015-03-10 2016-01-13 株式会社リコー 撮像装置、制御方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053617A (ja) * 2005-08-18 2007-03-01 Fujifilm Holdings Corp 露出値演算方法及び撮像装置
JP2014057156A (ja) * 2012-09-11 2014-03-27 Ricoh Co Ltd 撮像制御装置、撮像制御方法およびプログラム
JP2014123797A (ja) * 2012-12-20 2014-07-03 Ricoh Co Ltd 撮像制御装置、撮像システム、撮像制御方法およびプログラム
JP2015050498A (ja) * 2013-08-30 2015-03-16 株式会社リコー 撮像装置、撮像方法および記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3349433A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018157479A (ja) * 2017-03-21 2018-10-04 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
US10447944B2 (en) 2017-03-21 2019-10-15 Canon Kabushiki Kaisha Imaging apparatus, control method thereof and program
JP2018182528A (ja) * 2017-04-13 2018-11-15 株式会社ザクティ 全天球カメラ及び音声処理方法
CN109752870A (zh) * 2019-01-31 2019-05-14 电子科技大学中山学院 一种电泳电子纸鬼影检测系统及检测方法

Also Published As

Publication number Publication date
EP3349433B1 (en) 2019-09-04
EP3349433A4 (en) 2018-09-12
JP6455601B2 (ja) 2019-01-23
US10477106B2 (en) 2019-11-12
EP3349433A1 (en) 2018-07-18
US20180191956A1 (en) 2018-07-05
CN108028894B (zh) 2020-07-10
JPWO2017043190A1 (ja) 2018-04-05
CN108028894A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
JP6455601B2 (ja) 制御システム、撮像装置、およびプログラム
JP5971207B2 (ja) 画像調整装置、画像調整方法およびプログラム
JP6065474B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
JP5843027B1 (ja) 撮像装置、制御方法およびプログラム
US11258960B2 (en) Imaging device, information processing system, program, image processing method
JP6521776B2 (ja) 画像処理装置、画像処理方法
CN108293090B (zh) 图像处理设备和图像处理方法
JP6119235B2 (ja) 撮像制御装置、撮像システム、撮像制御方法およびプログラム
JP2014123914A (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP6299116B2 (ja) 撮像装置、撮像方法および記録媒体
JP7247609B2 (ja) 撮像装置、撮像方法およびプログラム
JP6492452B2 (ja) 制御システム、撮像装置、制御方法およびプログラム
JP2013192088A (ja) 撮像装置、制御方法および制御プログラム
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP2015023514A (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP6725105B2 (ja) 撮像装置及び画像処理方法
JP2015119436A (ja) 撮像装置
JP7379884B2 (ja) 撮像装置、画像処理システム、方法およびプログラム
JP7451888B2 (ja) 撮像装置、撮像システム、方法およびプログラム
WO2019216072A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018041203A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16844054

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017538905

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016844054

Country of ref document: EP