WO2019003258A1 - カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体 - Google Patents

カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
WO2019003258A1
WO2019003258A1 PCT/JP2017/023348 JP2017023348W WO2019003258A1 WO 2019003258 A1 WO2019003258 A1 WO 2019003258A1 JP 2017023348 W JP2017023348 W JP 2017023348W WO 2019003258 A1 WO2019003258 A1 WO 2019003258A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
resolution
high resolution
images
Prior art date
Application number
PCT/JP2017/023348
Other languages
English (en)
French (fr)
Inventor
康平 栗原
善隆 豊田
大祐 鈴木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/615,604 priority Critical patent/US10951817B2/en
Priority to JP2017549829A priority patent/JP6297234B1/ja
Priority to CN201780092291.3A priority patent/CN110771152B/zh
Priority to PCT/JP2017/023348 priority patent/WO2019003258A1/ja
Priority to DE112017007695.1T priority patent/DE112017007695T5/de
Publication of WO2019003258A1 publication Critical patent/WO2019003258A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Definitions

  • the present invention relates to a camera device, a compound eye imaging device, and an image processing method.
  • the present invention relates to a camera apparatus that forms images of the same field of view in a plurality of imaging regions and acquires a plurality of images representing different types of information in the plurality of imaging regions.
  • the present invention also relates to a compound eye imaging apparatus comprising a processor for enhancing the resolution of a plurality of images acquired by the above camera apparatus.
  • the present invention further relates to an image processing method implemented by the above compound eye imaging device.
  • the present invention further relates to a program that causes a computer to execute the processing in the above-described compound eye imaging device or image processing method, and a recording medium recording the program.
  • RGB visible images In recent years, the requirements for imaging devices have become more and more diverse, and for example, it has become desirable to obtain not only RGB visible images but also additional information.
  • near infrared light is suitable for monitoring, object recognition, and the like because it has a high transmittance to atmospheric light and is invisible. Therefore, it is noted in the field of surveillance cameras, on-vehicle cameras, and the like.
  • images obtained only from light of a specific polarization direction are useful for the removal of reflected light on window glass, road surfaces, etc., and for recognition of unsightly objects such as black objects, transparent objects, etc. It is noted in the field of inspection cameras used in (factory automation).
  • heterogeneous information has generally been acquired as a substitute for a normal color image.
  • a camera array that arranges multiple cameras, but it is necessary to accurately position the cameras, increase the size of the device, installation costs, and maintenance costs. There is an issue called increase.
  • RGB-X sensors that is, sensors that can simultaneously acquire different kinds of information by providing a filter that transmits only near-infrared light in a color filter array.
  • RGB-X sensors that is, sensors that can simultaneously acquire different kinds of information by providing a filter that transmits only near-infrared light in a color filter array.
  • sensors require much cost and time for design and development, and also have many problems in terms of manufacturing.
  • Patent Document 1 As a small-sized apparatus for solving these problems, there has been proposed an apparatus in which an imaging device is divided into a plurality of imaging regions and an image is formed on each of the plurality of imaging regions (Patent Document 1). In this apparatus, different optical filters are provided for a plurality of imaging regions so that different types of information can be acquired simultaneously.
  • the device of Patent Document 1 can be manufactured by arranging a lens array on one imaging element, and has an advantage of being easy to miniaturize.
  • JP 2001-61109 A paragraphs 0061 and 0064
  • the present invention has been made to solve the above problems, and an object of the present invention is to obtain a plurality of different types of information and obtain high-priority information with high resolution. It is in providing the compound eye camera which can do.
  • the camera device of the present invention is With multiple imaging areas, A plurality of lenses for forming images of the same field of view on the plurality of imaging regions; With multiple optical filters,
  • the plurality of imaging regions include at least one first type imaging region and a plurality of second type imaging regions smaller in area and smaller in number of pixels than the first type imaging region,
  • the plurality of optical filters may be configured such that the images acquired in each of the second type of imaging regions represent different types of information from the images acquired in each of the first type of imaging regions. It is provided.
  • the compound-eye imaging apparatus of the present invention is Comprising the above camera apparatus and a processor provided with at least one resolution enhancement unit,
  • the at least one resolution increasing unit receives an image acquired in any of the first type imaging region as a reference image, and an image acquired in any of the second type imaging region is a low resolution image And the resolution of the low resolution image is enhanced using the high resolution component included in the reference image to generate a high resolution image.
  • the camera device of the present invention since the camera device has a plurality of imaging regions, it is possible to acquire an image representing a plurality of different types of information. Further, since the plurality of imaging regions include at least one first type imaging region and a plurality of second type imaging regions smaller in area and smaller in number of pixels than the first type imaging region Among the different types of information, assigning a relatively large imaging area to high priority information, that is, an image for which acquisition at high resolution is more strongly desired, enables acquisition of such images at high resolution Become.
  • the resolution enhancement unit performs resolution enhancement of a low resolution image, a high resolution image can be obtained even if the imaging area is relatively small.
  • FIG. (A) is a disassembled perspective view which shows the structure of the compound eye camera which comprises the camera apparatus which concerns on Embodiment 1 of this invention, (b) shows the magnitude
  • FIG. (A) to (d) are schematic views showing different examples of the method of dividing the imaging surface of the imaging device of the compound eye camera of FIG. 1 (a).
  • (E) And (f) is a schematic diagram which shows the different example of the dividing method of the imaging surface of the image pick-up element of the compound-eye camera of Fig.1 (a). It is a block diagram which shows the compound eye imaging device which concerns on Embodiment 2 of this invention.
  • FIG. 16 is a block diagram showing an example of a resolution increasing unit used in a second embodiment.
  • FIG. 16 is a block diagram showing another example of the resolution enhancement unit used in the second embodiment.
  • FIG. 16 is a block diagram showing another example of a processor used in a second embodiment.
  • FIG. 16 is a block diagram showing another example of a processor used in a second embodiment. It is a block diagram which shows an example of the processor used in Embodiment 3 of this invention.
  • FIG. 16 is a block diagram showing an example of a combining unit used in a third embodiment.
  • FIG. 16 is a block diagram showing another example of a processor used in a third embodiment. It is a block diagram which shows the processor used in Embodiment 4 of this invention.
  • (A) And (b) is a figure which shows the example of interpolation of the image information by the processor of Embodiment 4.
  • FIG. 16 is a block diagram showing another example of the resolution enhancement unit used in the second embodiment.
  • FIG. 16 is a block diagram showing another example of a processor used in a second embodiment.
  • It is a block
  • FIG. 21 is an exploded perspective view showing a configuration of a compound eye camera and a single eye camera according to Embodiment 6.
  • (A) And (b) is a schematic diagram which shows an example of the dividing method of the imaging surface of the imaging element of the compound-eye camera of FIG. It is a flowchart which shows the procedure of the process in the image processing method which concerns on Embodiment 7 of this invention.
  • FIG. 1A is an exploded perspective view showing an overview of a camera device 1 according to Embodiment 1 of the present invention.
  • the camera device 1 shown in FIG. 1A is configured of a compound eye camera 10.
  • the compound eye camera 10 includes an imaging element 11, a lens array 12, a filter array 13, and a partition 14.
  • the imaging device 11 has a rectangular imaging surface 11a, and the imaging surface 11a is divided into a plurality of rectangular imaging regions 15a to 15f, as shown in FIG. 2A, for example.
  • the lens array 12 includes a plurality of lenses 12a, 12b,... Provided corresponding to the respective imaging regions 15a, 15b,.
  • the lenses 12a, 12b,... are configured to form images of the same field of view on the corresponding imaging areas 15a, 15b,.
  • lenses corresponding to larger imaging areas have longer focal lengths.
  • the filter array 13 includes optical filters 13a, 13b,... Provided respectively for one or more imaging regions among the plurality of imaging regions.
  • the partition walls 14 are provided between the imaging regions 15a, 15b,... And prevent light from lenses other than the corresponding lenses from being incident on the respective imaging regions.
  • the imaging device 11 is preferably a sensor of a CMOS structure or a CCD structure capable of reading out the obtained image signal to the outside for each pixel.
  • CMOS structure CMOS structure
  • CCD structure complementary metal-oxide-semiconductor
  • the largest imaging area that is, the imaging area 15a having the largest number of pixels is called a high resolution imaging area
  • the other imaging areas 15b, 15c,... are called low resolution imaging areas.
  • the imaging surface 11a is a square (the number of pixels in the vertical direction is the same as the number of pixels in the horizontal direction), and the imaging regions 15a to 15f are also squares. 15f have the same size, and therefore the same number of pixels, and the imaging area 15a has twice the vertical and horizontal dimensions with respect to each of the imaging areas 15b to 15f.
  • the high resolution imaging area 15a has twice as many pixels in the vertical and horizontal directions as each of the low resolution imaging areas 15b, 15c,..., The high resolution imaging area 15a is shown in FIG.
  • the obtained image (high resolution image) D0 has twice the size (number of pixels) of the image (low resolution image) D1 obtained in each low resolution imaging area.
  • the high resolution imaging area and the low resolution imaging area are imaging areas having different resolutions, and the former has a higher resolution.
  • the former may be referred to as a first type of imaging area for distinction, and the latter may be referred to as a second type of imaging area.
  • the optical filters 13a, 13b,... Constituting the filter array 13 include optical filters of different optical characteristics, whereby different types of information (images representing different types of information) are obtained from the respective imaging regions. It is supposed to be
  • optical filters 13a, 13b, ... having different optical characteristics are provided in one or more of the imaging areas 15a, 15b, ..., thereby different types of information for each imaging area
  • An image to represent is acquired.
  • an optical filter having different optical characteristics for example, at least one of a spectral filter, a polarizing filter, and an ND filter (Neutral Density Filter) is used, and an image by light of different wavelength bands is used for each imaging region by using these. An image by light of different polarization directions and an image by imaging at different exposure amounts are obtained.
  • These optical filters may be used alone or in combination.
  • image by light of different wavelength bands means an image obtained by photoelectric conversion of light of a specific wavelength band
  • image by light of different polarization directions means light of a specific polarization direction. It means an image obtained by photoelectric conversion.
  • a G (green) transmission filter with high transmittance, an infrared light cut filter, or an optical filter of a complementary color system may be provided for the high resolution imaging area 15a, or no optical filter is provided (monochrome Region) may be used.
  • Complementary color optical filters are generally preferred because of their high light transmittance.
  • not providing an optical filter means not providing an optical filter for the purpose of acquiring different types of images, and optical filters for other purposes may be provided.
  • the aperture of the lens provided for the high resolution imaging area is larger than the low resolution imaging area, so the exposure amount may be large in the high resolution imaging area. If an optical filter such as an ND filter for reducing the amount of transmitted light is provided for the high resolution imaging area, the difference in exposure between the high resolution imaging area and the low resolution imaging area can be prevented from increasing. It is possible to eliminate the exposure amount saturation of the resolution imaging area and the insufficient exposure amount of the low resolution imaging area.
  • the method of dividing the imaging surface 11a into the imaging region is not limited to the example of FIG.
  • the number of imaging regions is increased, the number of filters having different optical characteristics or different combinations of filters having different optical characteristics can be increased, and therefore, the types of information obtained by the imaging device 11 can be increased.
  • FIGS. 2 (b) to 2 (d) and FIGS. 3 (a) and 3 (b) show a method of division different from FIG. 2 (a).
  • the imaging surface 11a is rectangular, the ratio of the dimension in the vertical direction to the dimension in the horizontal direction is 3: 4, and the imaging surface 11a is one high resolution imaging region 15a and three. It is divided into low resolution imaging regions 15b to 15d. Each of these imaging areas 15a to 15d is a square.
  • the low resolution imaging regions 15b to 15d are sequentially arranged in the vertical direction in a band-like portion occupying the left side 1/4 of the imaging surface 11a, and the high resolution imaging region 15a is disposed in the remaining portion.
  • the center of the low resolution imaging area 15c located at the center in the vertical direction and the center of the high resolution imaging area 15a are aligned in the horizontal direction. With such an arrangement, it is possible to obtain depth information by performing stereo matching using a positional shift due to parallax between an image obtained in the low resolution imaging region 15c and an image obtained in the high resolution imaging region 15a. It is possible.
  • both the imaging surface 11a and the imaging regions 15a, 15b are divided into one high resolution imaging region 15a and seven low resolution imaging regions 15b to 15h. Specifically, low-resolution imaging regions 15b to 15h are arranged in a band-shaped portion that occupies the left 1/4 and a band-shaped portion that occupies the lower 1/4 of the imaging surface 11a, and the remaining portions are high.
  • a resolution imaging area 15a is disposed.
  • the imaging surface 11a of FIG. 2 (c) is larger than the imaging surface 11a of FIG. 2 (a), and the high resolution imaging region 15a of FIG.
  • the center of the low resolution imaging area 15c positioned second from the top and the center of the high resolution imaging area 15a are laterally aligned in the left belt-like portion, and the lower belt-like portion from the right 2
  • the center of the low resolution imaging area 15g located at the second position and the center of the high resolution imaging area 15a are aligned in the vertical direction, and by performing multi-view stereo matching, accurate depth information in both the horizontal direction and the vertical direction You can get
  • the imaging surface 11a is divided into one high resolution imaging region 15a and twelve low resolution imaging regions 15b to 15m. Specifically, a band-shaped portion that occupies the left quarter, a band-shaped portion that occupies the lower quarter, a band-shaped portion that occupies the right quarter, and an upper 1 / of the imaging surface 11a. Low-resolution imaging regions 15b to 15m are arranged in order in the vertical direction in a band-shaped portion that occupies four, and high-resolution imaging regions 15a are disposed in the remaining portions. If the size of the imaging surface 11a is the same in the example of FIG. 2 (c) and the example of FIG. 2 (d), the high resolution imaging area 15a of FIG. 2 (d) has the high resolution of FIG. It is smaller than the imaging area 15a. Instead, more low resolution imaging areas 15b to 15m are provided, and it is possible to acquire an image D1 having more different types of information.
  • the imaging area has a plurality of high resolution imaging areas and a plurality of low resolution imaging areas.
  • the imaging surface 11a is divided into three high resolution imaging regions 15a to 15c and four low resolution imaging regions 15d to 15g. Because of such division, the imaging surface 11a is divided into two each in the vertical direction and the horizontal direction, and the high resolution imaging regions 15a to 15c are disposed in the upper left, upper right, and lower right quarters. There is. Furthermore, the lower left 1/4 portion is divided into two each in the vertical direction and the horizontal direction, and four low resolution imaging regions 15d to 15g are configured in each divided region.
  • RGB information which is basic color information is acquired in the high resolution imaging areas 15a to 15c, and wavelength information of other narrow bands or polarization in the low resolution imaging areas 15d to 15g It can be used to obtain information. By doing this, it is possible to acquire a high resolution image having more natural color and color information.
  • an R transmission filter, a G transmission filter, and a B transmission filter may be provided in the high resolution imaging regions 15a to 15c.
  • a narrow band transmission filter may be provided, and in order to acquire polarization information in a specific direction, a polarization component in that direction is transmitted and a polarization component in the other direction is attenuated.
  • An optical filter may be provided.
  • the imaging area includes two types of imaging areas having different sizes in addition to the high resolution imaging area 15a. That is, each of the imaging areas 15j to 15y of the second group has a half size in the longitudinal direction and the lateral direction with respect to the imaging areas 15b to 15i of the first group.
  • the first group of imaging areas 15b to 15i may be referred to as an intermediate resolution imaging area
  • the second group of imaging areas 15j to 15y may be referred to as a low resolution imaging area.
  • the first group of imaging areas 15b to 15i and the second group of imaging areas 15j to 15y have lower resolution than the high resolution imaging area 15a, they may be collectively referred to as a low resolution imaging area.
  • the imaging surface 11a is divided into two each in the vertical direction and the horizontal direction, and the high resolution imaging region 15a is disposed in the upper right quarter portion.
  • the upper left 1/4 portion is divided into two each in the vertical direction and the horizontal direction, and four low resolution imaging regions 15b to 15e are configured in each divided region.
  • the lower right 1/4 portion is divided into two each in the vertical direction and the horizontal direction, and four low resolution imaging regions 15f to 15i are configured in each divided region.
  • the lower left 1/4 portion is divided into four in each of the vertical direction and the horizontal direction, and 16 low resolution imaging regions 15j to 15y are configured in each divided region.
  • imaging areas other than the high resolution imaging area have different sizes
  • imaging areas of different sizes can be allocated according to the type of information. For example, when it is desired to acquire a multispectral image composed of a large number of narrowband images, one or more imaging regions of relatively small imaging regions (low resolution imaging regions) 15j to 15y are allocated to the narrowband images, A narrow band-pass filter is provided for these, while a relatively large imaging area (for basic RGB color information, near infrared information, polarization information, etc.) is also required for information that is required to have a high resolution.
  • One or more imaging regions among the intermediate resolution imaging regions 15b to 15e may be allocated, and an optical filter for acquiring respective information may be provided for these.
  • the imaging region is all square, but the present invention is not limited to this. It may be.
  • the high resolution imaging area and the low resolution imaging area have different sizes, and the low resolution imaging area may include a plurality of imaging areas having different sizes, the high resolution imaging area and the low resolution imaging area It is desirable that all imaging regions including the same have the same aspect ratio.
  • the imaging surface 11a When the imaging surface 11a is divided to form a plurality of imaging regions as illustrated in FIGS. 2A to 2D and FIGS. 3A and 3B, the fields of view of the plurality of imaging regions are exactly matched. It is difficult to This is because of an error in the focal length of the lens, an aberration, and the like. If the fields of view of a plurality of imaging regions do not exactly match, an image obtained by imaging may be cut out (the end portion of the image is removed by trimming) or the like.
  • the effects obtained by the camera device 1 of the first embodiment will be described.
  • the imaging surface of the imaging element of the compound eye camera 10 constituting the camera device is divided into a plurality of imaging regions, an image representing a plurality of different types of information is acquired be able to.
  • the imaging area includes a relatively large imaging area and a relatively small imaging area, an image of which priority is high among the plurality of different types of information, that is, acquisition of a high resolution is more strongly desired By allocating a relatively large imaging area, it is possible to obtain such an image at a high resolution.
  • a relatively large imaging area such as a visible light image of RGB
  • a plurality of these images can be acquired at a high resolution, and together with that, to construct a multispectral image.
  • Images with additional information such as narrow-band images, near-infrared images, ultraviolet images, and even polarized images, images with different exposures to a number of relatively small imaging areas It becomes possible to obtain many.
  • the size of the camera device can be suppressed.
  • FIG. 4 is a block diagram showing a compound eye imaging apparatus 100 according to Embodiment 2 of the present invention.
  • the compound-eye imaging apparatus 100 shown in FIG. 4 includes a camera device 1, an imaging control unit 17, an A / D conversion unit 18, and a processor 20.
  • the camera device 1 the one described in Embodiment 1 can be used.
  • the imaging control unit 17 controls imaging by the camera device 1. For example, control of imaging timing and exposure time is performed.
  • An imaging signal output from the camera device 1 is subjected to processing such as amplification by an analog processing unit (not shown), then converted into a digital image signal by the A / D conversion unit 18 and input to the processor 20.
  • the processor 20 has an image memory 22 and at least one resolution enhancement unit 30.
  • the image memory 22 has a plurality of storage areas 22-1, 22-2,... Respectively corresponding to a plurality of imaging areas of the compound eye camera 10 constituting the camera device 1.
  • the digital image signal stored in each storage area represents an image acquired in the corresponding imaging area.
  • the images acquired in two imaging areas having different resolutions are supplied to the high resolution processing unit 30.
  • the high resolution image acquired in the imaging area 15 a of FIG. 2A and the low resolution image acquired in the imaging area 15 b are supplied to the high resolution processing unit 30.
  • the high resolution image acquired in the imaging area 15a is indicated by a symbol D0
  • the low resolution image acquired in the imaging area 15b is indicated by a symbol D1.
  • the high resolution processing unit 30 uses the high resolution image D0 as a reference image to increase the resolution of the low resolution image D1 to generate a high resolution image D30.
  • the high resolution processing unit 30 Based on the assumption that each of the high resolution image D30 to be generated and the reference image D0 have correlation with each other in the image feature (gradient in local area, pattern, etc.), the high resolution processing unit 30 generates the subject included in the reference image D0 Is transferred (reflected) to the low resolution image D1 to generate the high resolution image D30 including the high resolution component of the subject. Furthermore, the low resolution image D1 and the reference image D0 are compared, and the transition of the high resolution component is promoted in the imaging region considered to have a strong correlation, and the transition of the high resolution component is suppressed in the imaging region considered to have a weak correlation. Thus, adaptive processing may be performed according to the position in the image. This is because the low resolution image D1 and the reference image D0 have different imaging conditions (wavelength, polarization direction, exposure amount, etc.), so the high resolution component of the low resolution image D1 and the reference image D0 It is because it does not necessarily have correlation.
  • the resolution increasing unit 30a in FIG. 5 separates the low frequency component and the high frequency component from each of the low resolution image D1 and the reference image D0 by filtering, and performs resolution enhancement by a method of combining each component.
  • the resolution increasing unit 30a illustrated in FIG. 5 includes filter processing units 311 and 312, a low frequency component combining unit 313, a high frequency component combining unit 314, and a component combining unit 315.
  • the filter processing unit (first filter processing unit) 311 extracts the low frequency component D1L and the high frequency component D1H from the low resolution image D1. For example, the filter processing unit 311 performs smoothing filter processing on the low resolution image D1, extracts the low frequency component D1L, and obtains a difference between the extracted low frequency component D1L and the original image D1. A high frequency component D1H is generated.
  • the filter processing unit (second filter processing unit) 312 extracts the low frequency component D0L and the high frequency component D0H from the reference image D0. For example, the filter processing unit 312 performs smoothing filter processing on the reference image D0, extracts the low frequency component D0L, and obtains the difference between the extracted low frequency component D0L and the original image D0. A high frequency component D0H is generated.
  • a Gaussian filter In the smoothing filter processing in the filter processing units 311 and 312, a Gaussian filter, a bilateral filter, or the like can be used.
  • the low frequency component synthesis unit 313 expands the low frequency component D1L to the same resolution as the reference image D0, combines the enlarged low frequency component and the low frequency component D0L by weighted addition, and generates a synthesized low frequency component D313.
  • Generate The high frequency component combining unit 314 enlarges the high frequency component D1H to the same resolution as the reference image D0, combines the enlarged high and low frequency components and the high frequency component D0H by weighted addition, and generates a combined high frequency component D314.
  • the component combining unit 315 combines the combined low frequency component D313 and the combined high frequency component D314 to generate a high resolution image D30.
  • the weight of the high resolution high frequency component D0H included in the high resolution image D0 is increased for combining to improve the sense of resolution. Can.
  • the resolution increasing unit 30b shown in FIG. 6 uses a guided filter, which receives the low resolution image D1 and the reference image D0 as input, and raises the resolution of the low resolution image D1 based on the information of the reference image D0. is there.
  • the resolution increasing unit 30b illustrated in FIG. 6 includes a reduction processing unit 321, a coefficient calculation unit 322, a coefficient map enlargement unit 323, and a linear conversion unit 324.
  • the reduction processing unit 321 reduces the reference image D0 to generate a reduced reference image D0b having the same resolution as the low resolution image D1.
  • the coefficient calculation unit 322 calculates linear coefficients a m and b m which approximate the linear relationship between the reduced reference image D 0 b and the low resolution image D 1.
  • the coefficient calculation unit 322 first obtains the variance varI (x) of the pixel value I (y) of the reduced reference image D0b in the local region ⁇ (x) centering on the pixel position x by Equation (1).
  • I (x) is the pixel value of the pixel at pixel position x in the reduced reference image D0b.
  • I (y) is the pixel value of the pixel at the pixel position y of the reduced reference image D0b.
  • the pixel position y is a pixel position in the local region ⁇ (x) around the pixel position x.
  • the coefficient calculation unit 322 further calculates covariance covIp of the pixel value I (y) of the reduced reference image D0b and the pixel value p (y) of the input image D1 in the local region ⁇ (x) centered on the pixel position x.
  • x) is obtained by equation (2).
  • I (x) and I (y) are as described for formula (1).
  • p (y) is a pixel value of the pixel at the pixel position y of the input image D1.
  • the coefficient calculation unit 322 further calculates the coefficient a by the equation (3) from the variance varI (x) determined by the equation (1) and the covariance covIp (x) determined by the equation (2).
  • eps is a constant that determines the degree of edge preservation, and is predetermined.
  • the coefficient calculation unit 322 further calculates the coefficient b (x) by the equation (4) using the coefficient a (x) obtained by the equation (3).
  • the coefficients a (x) and b (x) are called linear regression coefficients.
  • the coefficient calculation unit 322 further performs linear coefficients a m (x) and b by averaging the coefficients a (x) and b (x) obtained by Equations (3) and (4) using Equation (5). Calculate m (x).
  • the coefficient map enlargement unit 323 has the same coefficient map as the reference image D0, and the coefficient map consisting of the linear coefficient b m (x) and the coefficient map consisting of the linear coefficient a m (x) found by the coefficient calculation unit 322 according to equation (5). Expand to resolution.
  • the linear coefficients in the expanded coefficient map are represented by a mb (x) and b mb (x), respectively.
  • the coefficient map is obtained by arranging the coefficients corresponding to all the pixels constituting the image at the same position as the corresponding pixels.
  • the linear conversion unit 324 generates a high resolution image D30 having information represented by the low resolution image D1 based on the linear coefficients a mb and b mb in the enlarged coefficient map and the reference image D0.
  • the linear conversion unit 324 derives the guided filter output value q by equation (6) using the linear coefficients a mb and b mb in the expanded coefficient map.
  • q (x) is a pixel value of the pixel at the pixel position x of the high resolution image D30.
  • J (x) is the pixel value of the pixel at the pixel position x of the reference image D0.
  • Expression (6) indicates that the output of the guided filter (pixel value of the image D30) q (x) and the pixel value J (x) of the reference image D0 have a linear relationship.
  • the coefficient calculation unit 322 and the linear conversion unit 324 are basic components of the process by the guided filter, and the reduction processing unit 321 and the coefficient map enlargement unit 323 are processes in the coefficient calculation unit 322. Was added to reduce the load on
  • the smoothing processing is performed only in the area where the value of the variance varI (x) of the reduced reference image D0b is small, and the textures of the other areas are stored. can do.
  • the resolution enhancement unit 30b described above performs processing using a guided filter
  • the present invention is not limited to this.
  • the resolution increasing unit 30b uses another method such as a method using a joint bilateral filter or the like to increase the resolution of an image having different types of information based on edge or gradient information of a high resolution image. It may be used.
  • FIG. 7 shows another example (indicated by reference numeral 20b) of the processor 20 used in the second embodiment.
  • the processor 20 b shown in FIG. 7 has an alignment unit 25 in addition to the image memory 22 and the resolution enhancement unit 30.
  • the alignment unit 25 performs the alignment process before the high resolution processing in the high resolution processing unit 30.
  • this alignment process it is possible to perform fixed value alignment using initial position shift (calibration) information, dynamic alignment including registration (image matching), and the like.
  • the resolution enhancement unit 30 performs resolution enhancement using the image aligned by the alignment unit 25 as an input.
  • a plurality of resolution increasing units (30a, 30b) described with reference to FIG. 5 or FIG. 6 or a plurality of resolution increasing units described as variations thereof are provided, and different low resolution images are input to each.
  • the resolution of the input low resolution image may be increased using the high resolution image as a reference image.
  • the high resolution images used as reference images may be the same or different among the plurality of resolution increasing units.
  • FIG. 8 shows another example (indicated by reference numeral 20c) of the processor used in the second embodiment.
  • the processor 20c shown in FIG. 8 has an image memory 22, a resolution enhancement unit 30c, and image enlargement units 31r and 31b.
  • the imaging surface 11a has one high resolution imaging area 15a and three or more low resolution imaging areas as shown in FIG. 2A, for example, and G information is acquired in the high resolution imaging area 15a. It is assumed that R images, G images, and B images are acquired in three low resolution imaging regions (for example, 15b, 15c, and 15d).
  • the three low resolution images D1-r, D1-g and D1-b respectively represent low resolution R image, G image and B image. Further, a G image acquired in the high resolution imaging region 15a is represented by a symbol D0.
  • the image enlargement units 31r and 31b respectively enlarge the images D1-r and D1-b to the same resolution as the high resolution image D0 and generate enlarged images D31-r and D31-b.
  • the high resolution processing unit 30c replaces the image D1-g with the image D0, and outputs the image obtained by the replacement as a high resolution image D30-g. When such processing is performed, the amount of calculation or calculation time for image processing can be significantly reduced, and the hardware cost for the processor can be reduced.
  • the alignment unit 25 (shown in FIG. 7) may be provided in the front stage of the resolution enhancement unit 30 c. Furthermore, a similar alignment unit may be provided in front of the image enlargement units 31 r and 31 b.
  • a plurality of images having different types of information can be obtained from a plurality of imaging areas of the camera device, and these images have relatively low resolution and relatively high resolution.
  • the high resolution component of the relatively high resolution image, including the image is used to increase the resolution of the relatively low resolution image, so that a plurality of high resolution images having different types of information can be obtained. . Therefore, even if the imaging area for acquiring images having different types of information is small, high-resolution images can be generated, and images having different types of information while suppressing the size of the camera device Can be obtained in high resolution.
  • FIG. 9 shows an example (indicated by reference numeral 20d) of the processor 20 used in the compound eye imaging apparatus according to the third embodiment of the present invention.
  • a processor 20d shown in FIG. 9 includes an image memory 22, a plurality of first to N (N is an integer of 2 or more) resolution increasing units 30-1 to 30-N, and a combining unit 40. Have.
  • parts other than the processor 20d are configured in the same manner as, for example, FIG.
  • the first to Nth resolution increasing units 30-1 to 30-N are respectively provided corresponding to N low resolution imaging regions (for example, 15b, 15c in the example of FIG. 2A,...)
  • the low resolution images D1-1 to D1-N acquired in the corresponding low resolution imaging areas are received, and the high resolution image D0 acquired in the high resolution imaging area 15a is received.
  • the resolution increasing unit 30-n (n is any of 1 to N) generates a high resolution image D30-n by increasing the resolution of the low resolution image D1-n using the high resolution image D0 as a reference image Do.
  • Such processing is performed by all the resolution increasing units 30-1 to 30-N, and high resolution images D30-1 to D30-N having a plurality of different types of information are generated.
  • Each of the resolution enhancement units 30-1 to 30-N is configured, for example, as described in FIG. 5, FIG. 6, or FIG.
  • the combining unit 40 receives the high resolution images D30-1 to D30-N having a plurality of different types of information and generates one or more combined high resolution images D40-a, D40-b,. That is, the synthesizing unit 40 synthesizes the high resolution images D30-1 to D30-N generated with the high resolution converting units 30-1 to 30-N and having different types of information, and generates a synthesized high resolution image D40. -A, D40-b ... are generated.
  • the combining processing in the combining unit 40 can be performed by, for example, pan-sharpening processing, weighted addition of images, brightness combining, or region selection.
  • the region selection may be performed based on, for example, the visibility of the image estimated using the local variance value as an index.
  • pan-sharpening technology is used in satellite image processing (remote sensing) and the like, and in pan-sharpening processing, an RGB color image is converted to an HSI (hue, again lightness) image
  • the I value of the HSI image obtained by the conversion is replaced with the pixel value of the monochrome image of the high resolution image, and the HSI image is returned to the RGB image using the replaced pixel value.
  • FIG. 10 An example (shown by reference numeral 40b) of the combining unit 40 is shown in FIG.
  • the combining unit 40b illustrated in FIG. 10 includes a luminance / color separation unit 411, a luminance separation unit 412, a weighting addition unit 413, and a luminance / color combination unit 414, and performs combination by luminance weighted addition.
  • the R image D 30 which has been subjected to the high resolution processing by the synthesis unit 40 b by the plurality of resolution increasing units 30-1, 30-2 (the same as those described in FIG. 5, FIG. 6, FIG.
  • a G image D30-g, a B image D30-b, a polarization image D30-p, and an NIR (near infrared) image D30-i are input.
  • the images D31-r and D31-b enlarged by the image enlargement units 31r and 31b shown in FIG. 8 may be input to the combining unit 40b and used instead of the high resolution image. That is, the combining unit 40b may be configured to combine one or more high resolution images and one or more enlarged images.
  • the luminance / color separation unit 411 receives the R image D30-r, the G image D30-g, and the B image D30-b, and outputs them to the luminance component D411-y and the respective color components (R color, G color, B Color components are separated into D411-r, D411-g, and D411-b.
  • the luminance separating unit 412 separates the luminance component D412 with the polarization image D30-p as an input.
  • the weighting and addition unit 413 outputs the luminance component D412 of the polarized image output from the luminance separation unit 412 to the luminance component D411-y output from the luminance / color separation unit 411, and the NIR image D30 input to the synthesis unit 40b. Weighted addition of -i is performed to obtain a composite luminance component D413.
  • the luminance / color combining unit 414 combines the color components D411-r, D411-g, and D411-b output from the luminance / color separation unit 411 with the combined luminance component D413 obtained by the weighting addition unit 413.
  • an R image D40-r, a G image D40-g, and a B image D40-b are generated.
  • the R image D40-r, the G image D40-g, and the B image D40-b output from the luminance / color combining unit 414 are luminance components of the polarization image D30-p, and luminance information enhanced by the NIR image D30-i. Will have
  • the weighted addition in the weighted addition unit 413 may use a method of adding pixel values multiplied by a gain according to an image.
  • high frequency components of respective images luminance component D411-y output from luminance / color separator 411, luminance component D412 output from luminance separator 412, and NIR image D30-i input to synthesizer 40b
  • the components may be extracted by filtering and weighted addition may be performed to obtain a weighted average.
  • FIG. 11 shows another example (indicated by reference numeral 20 e) of the processor 20 used in the third embodiment.
  • the processor 20 e shown in FIG. 11 includes an image memory 22, a plurality of resolution increasing units 30-1 to 30 -N, a combining unit 40, and a camera information input terminal 23.
  • the compound eye camera information Dinfo is received from the compound eye camera 10, and the compound eye camera information Dinfo is transmitted to the resolution increasing units 30-1 to 30-N and the combining unit 40.
  • the compound-eye camera information Dinfo is information representing the wavelength acquired in each imaging region, information representing the polarization direction, information representing the position of each imaging region (position in the imaging plane), or the like.
  • Compounded camera information Dinfo is input to the resolution increasing units 30-1 to 30-N and the combining unit 40 to improve the accuracy in resolution increasing, combining processing or the like, or to increase information obtained by these processing Is possible.
  • the compound-eye camera information Dinfo represents the spectrum characteristic of an optical filter provided for each imaging region, a near infrared image can be extracted from the RGB image and the monochrome image at the time of combining processing.
  • a plurality of images having a plurality of different types of information obtained by the camera device are enhanced after being enhanced in resolution, which is further useful according to the purpose of use.
  • Image can be generated.
  • FIG. 12 A configuration example (indicated by reference numeral 20f) of the processor 20 used in the compound eye imaging apparatus according to the fourth embodiment of the present invention is shown in FIG.
  • the processor 20f shown in FIG. 12 has an image memory 22, a plurality of, ie, first to Nth resolution increasing units 30-1 to 30-N, and a combining unit 41.
  • parts other than the processor 20 f are configured, for example, in the same manner as in FIG. 4.
  • the resolution increasing units 30-1 to 30-N are, for example, the same as those described in FIG.
  • the synthesizing unit 41 receives the high resolution images D30-1 to D30-N outputted from the high resolution converting units 30-1 to 30-N, and from these, a high resolution image D41 representing another type of information other than these. -A, D41-b, ... are generated by interpolation.
  • the images D1-1, D1-2,... Acquired in a plurality of low resolution imaging regions are at least among the parameters representing the imaging conditions.
  • the high resolution images D30-1, D30-2, ... generated from these low resolution images D1-1, D1-2, ... include a plurality of images in which one parameter type or value is different from each other, It is assumed that the types or values of at least one of the parameters representing the imaging conditions include a plurality of images different from each other.
  • the synthesizing unit 41 generates high-resolution images D41-a and D41-b different from the plurality of high-resolution images D30-1, D30-2,... ,... By interpolation (reconstruction). For this interpolation, for example, a restoration method used for compressed sensing can be applied.
  • the parameter values are R, G, B (representative wavelengths of R wavelength band, representative wavelengths of G wavelength band, representative wavelengths of B wavelength band) for wavelengths, and an exposure dose is 1/1000. , 1/100, 1/10, 1
  • R, G, B representationative wavelengths of R wavelength band, representative wavelengths of G wavelength band, representative wavelengths of B wavelength band
  • an exposure dose is 1/1000. , 1/100, 1/10, 1
  • the high resolution image D30-1 is an image obtained by increasing the resolution of an image obtained by imaging at an exposure amount of 1/1000 in an imaging region provided with an optical filter that transmits light in the R wavelength band.
  • the high resolution image D30-2 is an image obtained by increasing the resolution of an image obtained by imaging at an exposure amount of 1/1000 in an imaging region provided with an optical filter that transmits light in the B wavelength band.
  • the synthesizing unit 41 generates images D41-a to D41-f corresponding to combinations of parameters indicated by triangles by interpolation based on the high resolution images D30-1 to D30-6.
  • the image D41-a is estimated to be generated when the resolution of an image obtained by imaging at an exposure amount of 1/1000 is increased in an imaging region provided with an optical filter that transmits light in the G wavelength band. Image.
  • the combining unit 41 outputs not only the generated images D41-a to D41-f but also the input images D30-1 to D30-6. By performing such processing, high resolution images D30-1 to D30-6 and D40-a to D40-f having a larger number of different types of information can be obtained.
  • an image having a larger number of different types of information can be generated from an image having a relatively small number of different types of information obtained by imaging. Therefore, many types of information can be obtained even if the number of imaging regions is not large.
  • Embodiment 5 A configuration example (indicated by reference numeral 20g) of the processor 20 used in the compound eye imaging device according to the fifth embodiment of the present invention is shown in FIG.
  • the processor 20 g illustrated in FIG. 14 includes an image memory 22, a combining unit 42, and a resolution increasing unit 32.
  • parts other than the processor 20g are configured, for example, as in FIG.
  • the composition unit 42 performs composition processing on the images D1-1 to D1-N having different types of information acquired in the low resolution imaging region (for example, 15b, 15c in the example of FIG. 2A,). To generate one or more composite images (composite low resolution images) D42-a, D42-b,.
  • the resolution enhancement unit 32 performs resolution enhancement on the one or more composite images of the composite images D42-a, D42-b, ... output from the combining unit 42 using the reference image D0, Resolution images (high resolution composite images) D32-a, D32-b, ... are generated.
  • FIG. 15 is a block diagram showing a compound eye imaging apparatus 102 according to Embodiment 6 of the present invention.
  • the compound-eye imaging device 102 according to the sixth embodiment includes a camera device 50, an imaging control unit 17, A / D conversion units 18 and 19, and a processor 20h.
  • FIG. 16 is an exploded perspective view of the camera device 50.
  • the camera device 50 has a compound eye camera 60 and a single eye camera 70.
  • the compound eye camera 60 as in the compound eye camera 10 shown in FIG. 1A, a camera in which an imaging surface is divided into a plurality of imaging regions is used. The image pickup surface is not divided, and an image acquired by the single-eye camera 70 is used as a substitute for the image acquired in the high-resolution imaging region of the compound-eye camera 10 of FIG.
  • the compound eye camera 60 includes an imaging element 61, a lens array 62, a filter array 63, and a partition 64.
  • the imaging element 61 has a rectangular imaging surface 61a, and the imaging surface 61a is divided into, for example, a plurality of, for example, nine imaging regions 65a to 65i as shown in FIG. 17A.
  • the nine imaging regions 65a to 65i have the same size and are arranged in three rows and three columns.
  • FIG. 17B shows another example of the method of dividing the imaging surface 61a.
  • the imaging surface 61a of the imaging element 61 of the compound eye camera 60 is divided into four imaging regions 65a to 65d.
  • the four imaging regions 65a to 65d have the same size and are arranged in two rows and two columns.
  • the imaging areas 65a, 65b,... Of the compound eye camera 60 may be of the same size as each other as in the examples of FIGS. 17 (a) and 17 (b), but the present invention is not limited thereto.
  • the imaging regions 65a, 65b,... May be of mutually different sizes. It is desirable that the aspect ratios be the same, even if they are of different sizes.
  • the lens array 62 is provided corresponding to each of the imaging areas 65a, 65b,..., And includes lenses 62a, 62b,... For forming images of the same field of view in the corresponding imaging areas.
  • the filter array 63 includes optical filters 63a, 63b,... Provided for one or more imaging regions of the plurality of imaging regions.
  • the partition walls 64 are provided between the imaging regions 65a, 65b,... And prevent light from lenses other than the corresponding lenses from being incident on the respective imaging regions.
  • the monocular camera 70 includes an imaging element 71, a lens 72, and an optical filter 73.
  • the imaging device 71 also has a rectangular imaging surface 71a.
  • One imaging region 75 is configured on the entire imaging surface 71a.
  • 17A and 17B schematically show the positional relationship of the imaging region 75 of the monocular camera 70 with respect to the imaging regions 65a, 65b, ... of the compound eye camera 60.
  • An imaging area 75 formed by the entire imaging surface 71 a of the imaging element 71 of the single-eye camera 70 has a larger number of pixels than any of the imaging areas 65 a, 65 b,. That is, the resolution of the imaging area 75 of the single-eye camera 70 is higher than the resolution of the largest imaging area among the imaging areas 65 a, 65 b,.
  • the imaging area 75 has the same aspect ratio as the imaging areas 65a, 65b,.
  • the imaging area 75 of the single-eye camera 70 is an imaging area different in resolution from the imaging areas 65a, 65b, ... of the compound-eye camera, and the former has a higher resolution.
  • the former may be referred to as a first type of imaging area, and the latter may be referred to as a second type of imaging area.
  • the lens 72 of the single-eye camera 70 is provided in the imaging area 75 so that an image having the same field of view as that of each imaging area of the compound-eye camera 60 is formed.
  • a lens group is constituted by the lenses 62a, 62b,... Of the compound eye camera 60 and the lens 72 of the single eye camera 70.
  • the optical filters 63a, 63b,... And the optical filter 73 which constitute the filter array 63 include optical filters of different optical characteristics, whereby mutually different types of information (representing different types of information from each imaging region) Image) is obtained.
  • the high resolution imaging area 15a in FIG. 2A of the first embodiment is replaced with the imaging area 75 of the single-eye camera 70, and the low resolution imaging areas 15b, 15c,. It is sufficient to select an optical filter for each imaging region, assuming that the regions 65a, 65b,. That is, in the sixth embodiment, an optical filter having the same characteristics as the optical filter provided for the high resolution imaging area 15a of FIG. 2A is provided for the imaging area 75 of the monocular camera 70. In the sixth embodiment, an optical filter having the same characteristics as the optical filter provided for the low resolution imaging areas 15b, 15c,... May be provided for the imaging areas 65a, 65b,. . Note that an optical filter may not be provided to one or more of the imaging regions 75, 65a, 65b,..., For example, the imaging region 75 (it is assumed to be a monochrome region).
  • the imaging control unit 17 controls imaging in the compound eye camera 60 and imaging in the single eye camera 70. For example, control of the imaging timing and exposure amount in two cameras is performed. In control of imaging timing, control is performed so that imaging in two cameras is performed almost simultaneously.
  • the images acquired in the plurality of imaging regions of the compound eye camera 60 and the images acquired by the single eye camera 70 are respectively A / D converters 18 and 19. It is supplied via
  • the processor 20 h has an image memory 22 and at least one resolution increasing unit 30.
  • the image memory 22 preferably has a plurality of imaging areas of the compound-eye camera 60 and a plurality of storage areas 22-1, 22-2,... Respectively corresponding to the imaging areas of the single-eye camera 70.
  • the high resolution processing unit 30 receives the high resolution image D0 acquired by the single eye camera 70 as a reference image, receives the image D1 acquired by any of the imaging regions of the compound eye camera 60 as a low resolution image, and generates a reference image D0.
  • the high resolution component included is used to raise the resolution of the low resolution image D1 to generate a high resolution image D30.
  • a low resolution imaging area of the same compound eye camera 10 is used with the image acquired in the high resolution imaging area (such as 15a) of the compound eye camera 10 as a reference image.
  • the compound eye camera 60 is used with the image acquired by the imaging device of the monocular camera 70 as a reference image. High resolution of the low resolution image acquired by is performed.
  • the sixth embodiment is the same as the second embodiment in the points other than the above.
  • the processing by the resolution enhancement unit 30 can be performed in the same manner as described in the second embodiment with reference to FIG. 5, FIG. 6, FIG.
  • processor 20h in the sixth embodiment has been described as using the same processor as that described in the second embodiment, a processor similar to the processor in the third, fourth or fifth embodiment is used instead. It is good as well.
  • an image obtained in the imaging region of the monocular camera 70 may be used as a reference image.
  • the center of the imaging area 65i located at the center of the imaging surface 61a and the center of the imaging area 75 are arranged in the lateral direction. With such an arrangement, it is possible to obtain depth information by performing stereo matching using positional displacement due to parallax between an image obtained in the imaging region 65i and an image obtained in the imaging region 75.
  • the single-eye camera 70 is provided separately from the compound-eye camera 60, and the single-eye camera 70 can obtain an image of high resolution. Therefore, it is possible to increase the resolution of the image obtained in each imaging area of the compound eye camera 60 to a higher resolution.
  • all the imaging regions 65a, 65b,... Of the compound eye camera 60 can be made the same shape, and by doing so, the manufacturing cost is suppressed. It is possible.
  • the positional deviation due to the parallax between the image obtained by the single eye camera 70 and the image obtained by the compound eye camera 60 is the compound eye of Embodiment 1 It is also possible to obtain depth information with higher accuracy by utilizing the parallax which is larger than the positional displacement due to the parallax between images obtained in different imaging regions of the camera 10.
  • the camera apparatus is configured only with the compound eye camera (10), and in the sixth embodiment, the camera apparatus is configured with the compound eye camera (60) and the single eye camera (70).
  • a filter group such that an apparatus has a plurality of imaging areas (a first type imaging area and a second type imaging area) different in size from one another and images representing different types of information are acquired in the plurality of imaging areas Should be provided.
  • the imaging regions different from each other may be formed in one imaging device (11) as in the first embodiment, and even if they are formed in a plurality of imaging devices (61, 71) as in the sixth embodiment good.
  • the plurality of imaging areas having different sizes include at least one first type imaging area and a plurality of second type imaging areas having a smaller area and a smaller number of pixels than the first type imaging area.
  • the first type imaging region and the second type imaging region when both the first type imaging region and the second type imaging region are formed in one imaging device, the first type imaging region and the second type imaging region Is formed by dividing the imaging surface of the one imaging element described above, and the lens group includes the lenses included in the lens array provided for the imaging surface.
  • partition walls are provided in each of the plurality of imaging regions so as to prevent light from lenses other than the corresponding lenses from being incident.
  • a plurality of second-type imaging regions are formed by dividing the imaging surface of the second imaging element (61), which is composed of a single imaging region configured on the entire imaging surface of the first imaging element (71)
  • the lens group includes a lens provided for the imaging surface of the first imaging device and a lens included in a lens array provided for the imaging surface of the second imaging device.
  • partition walls are provided to prevent light from lenses other than the corresponding lenses from being incident on each of the plurality of imaging areas of the second imaging element.
  • Embodiment 7 The processor of the compound eye imaging apparatus described in the second to sixth embodiments may be dedicated hardware or a CPU of a computer that executes a program stored in a memory.
  • a plurality of low resolution images D1-1 to D1-N and one high resolution image D0 representing different types of information are captured by the camera device 1 shown in FIG. 1A, for example. It is acquired and stored in a memory (having the same role as the image memory 22 of FIG. 9).
  • the low resolution images D1-1 to D1-N and the high resolution image D0 are, for example, a plurality of imaging areas 15a on which images of the same field of view of the camera device 1 shown in FIG. , 15b, 15c,... Are images having different types of information, and among such images, those with relatively low resolution are as low resolution images D1-1, D1-2,.
  • the acquired image with a relatively high resolution is acquired as the high resolution image D0.
  • step ST2 using the high resolution image D0 as a reference image, high resolution images D30-1, D30 are subjected to the high resolution processing for each of the plurality of low resolution images D1-1, D1-2,.
  • the resolution enhancement process is, for example, the same process as that described for the resolution enhancement unit of FIG. 5, FIG. 6, or FIG.
  • step ST3 the plurality of high resolution images D30-1, D30-2,... Are combined to generate one or more combined high resolution images D40-a, D40-b.
  • the combining process is performed as described for the combining unit 40 in FIG.
  • images having different types of information can be acquired at mutually different resolutions in a plurality of imaging regions, and from the acquired relatively low resolution images , High resolution images can be obtained.
  • an image processing method implemented by the compound-eye imaging apparatus also forms part of the present invention.
  • a program that causes a computer to execute the processing in the above-described compound eye imaging device or image processing method, and a computer readable recording medium recording such a program also form part of the present invention.
  • SYMBOLS 1 camera apparatus 10 compound eye camera, 11 imaging device, 11a imaging surface, 12 lens array, 12a, 12b, ... lens, 13 filter array, 13a, 13b, ... optical filter, 14 partition, 15a high resolution imaging area, 15b, 15c, ... Low resolution imaging area, 17 Imaging control unit, 18, 19 A / D conversion unit, 20, 20a to 20h processor, 22 image memory, 25 alignment unit, 30, 30a to 30c, 30-1 to 30- N resolution enhancement unit, 31r, 31b image enlargement unit, 32 resolution enhancement unit, 40, 42 combining unit, 50 camera devices, 60 compound eye cameras, 61 imaging device, 61a imaging surface, 62 lens array, 62a, 62b, ...
  • Lens 63 Filter array, 63a, 63b, ... optical filter, 64 partitions, 65a, 65b, ... low resolution imaging area, 70 single-eye camera, 71 imaging element, 71a imaging surface, 72 lens, 73 optical filter, 75 high resolution imaging area, 100 , 102 compound eye imaging device, 311, 312 filter separation unit, 313 low frequency component synthesis unit, 314 high frequency component synthesis unit, 315 component synthesis unit, 321 reduction processing unit, 322 coefficient calculation unit, 323 coefficient map enlargement unit, 324 linear conversion Part, 411 luminance / color separation part, 412 luminance separation part, 413 weighted addition part, 414 luminance / color combination part.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

高解像度撮像領域（１５ａ）と複数の低解像度撮像領域（１５ｂ、１５ｃ、…）に、互いに同じ視野の画像を結像させる。撮像領域間で、異なる種類の情報を表す画像が得られるように光学フィルター（１３ａ、１３ｂ、…）を設ける。複数の互いに異なる種類の情報を取得することができ、しかも優先度の高い情報を、高解像度撮像領域（１５ａ）で取得することができる。高解像度撮像領域で取得した画像の高解像度成分を用いて、低解像度撮像領域（１５ｂ、１５ｃ、…）で取得した画像を高解像度化（３０）することもできる。

Description

カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体
　本発明は、カメラ装置、複眼撮像装置及び画像処理方法に関する。
　本発明は特に、複数の撮像領域に同じ視野の画像を結像させ、複数の撮像領域で異なる種類の情報を表す複数の画像を取得するカメラ装置に関する。本発明はまた、上記のカメラ装置で取得される複数の画像を高解像度化するプロセッサーを備えた複眼撮像装置に関する。本発明はさらに上記の複眼撮像装置で実施される画像処理方法に関する。
　本発明はさらに上記の複眼撮像装置又は画像処理方法における処理をコンピュータに実行させるプログラム、及び該プログラムを記録した記録媒体に関する。
　近年、撮像装置に対する要求はますます多様化し、例えば、ＲＧＢ可視画像だけでなく、付加的な情報の取得が望まれるようになってきている。特に近赤外光は、大気光に対する透過率が高く、また不可視であるといった特徴のため、監視、被写体認識等に適しており、監視用カメラ、車載用カメラ等の分野で注目されている。また特定の偏光方向の光のみから得られた画像は、窓ガラス、路面等での反射光の除去、黒色の物体、透明の物体など見辛い物体の認識に有用であり、車載用カメラ、ＦＡ（ｆａｃｔｏｒｙ　ａｕｔｏｍａｔｉｏｎ）で用いられる検査用カメラの分野で注目されている。
　これら異種情報は、従来は、通常のカラー画像の代わりとして取得するのが一般的であった。カラー画像と異種情報を同時に取得する最も単純な方法として、複数台のカメラを並べるカメラアレイがあるが、カメラの位置決めを正確に行う必要がある点や装置の大型化、設置コスト、維持コストの増大と言った課題がある。
　また、近年ではＲＧＢ－Ｘセンサ、つまりカラーフィルターアレイ中に近赤外光のみを透過するフィルターなどを設けることで異種情報を同時に取得できるセンサーも登場している。しかしながら、このようなセンサーは、設計開発に多くのコストや時間を要し、製造の面でも多くの課題を有する。
　これらの課題を解決する小型の装置として、撮像素子が複数の撮像領域に分割され、複数の撮像領域にそれぞれ画像を結像させるものが提案されている（特許文献１）。この装置では、複数の撮像領域に対して、異なる光学フィルターを設けることにより、異種情報を同時に取得できるようにしている。特許文献１の装置は、一つの撮像素子上にレンズアレイを配置することで製造可能であり、小型化が容易であるという利点を有する。
特開２００１－６１１０９号公報（段落００６１、００６４）
　特許文献１の装置では、撮像素子を分割することで一つの撮像素子から複数の画像を同時に取得することができるが、撮像領域を増やすほど一つの撮像領域当たりの画素数、即ち解像度が低下すると言う問題がある。
　本発明は上記の問題を解決するためになされたものであり、本発明の目的は、複数の互いに異なる種類の情報を取得することができ、しかも優先度の高い情報を、高い解像度で取得することができる複眼カメラを提供することにある。
　本発明のカメラ装置は、
　複数の撮像領域と、
　前記複数の撮像領域に、互いに同じ視野の画像を結像させる複数のレンズと、
　複数の光学フィルターとを有し、
　前記複数の撮像領域は、少なくとも一つの第１種の撮像領域と、前記第１種の撮像領域よりも面積が小さく画素数が少ない複数の第２種の撮像領域とを含み、
　前記複数の光学フィルターは、前記第２種の撮像領域の各々で取得される画像が、前記第１種の撮像領域の各々で取得される画像とは異なる種類の情報を表すものとなるように設けられている。
　本発明の複眼撮像装置は、
　上記のカメラ装置と、少なくとも一つの高解像度化部を備えたプロセッサーとを備え、
　前記少なくとも一つの高解像度化部は、前記第１種の撮像領域のいずれかで取得された画像を参照画像として受け、前記第２種の撮像領域のいずれかで取得された画像を低解像度画像として受けて、該低解像度画像を、前記参照画像に含まれる高解像度成分を用いて高解像度化して、高解像度画像を生成する。
　本発明のカメラ装置によれば、カメラ装置が複数の撮像領域を有するので、複数の互い異なる種類の情報を表す画像を取得することができる。また、複数の撮像領域が、少なくとも一つの第１種の撮像領域と、第１種の撮像領域よりも面積が小さく画素数が少ない複数の第２種の撮像領域とを含むので、複数の互いに異なる種類の情報のうち、優先度の高い情報、即ち高い解像度での取得がより強く望まれる画像に、比較的大きい撮像領域を割り当てることで、そのような画像の高い解像度での取得が可能となる。
　本発明の複眼撮像装置によれば、高解像度化部により低解像度画像の高解像度化が行われるので、撮像領域が比較的小さくても、高解像度の画像を得ることができる。
（ａ）は、本発明の実施の形態１に係るカメラ装置を構成する複眼カメラの構成を示す分解斜視図であり、（ｂ）は、上記の複眼カメラで取得される画像の大きさを示す図である。 （ａ）～（ｄ）は、図１（ａ）の複眼カメラの撮像素子の撮像面の分割方法の異なる例を示す模式図である。 （ｅ）及び（ｆ）は、図１（ａ）の複眼カメラの撮像素子の撮像面の分割方法の異なる例を示す模式図である。 本発明の実施の形態２に係る複眼撮像装置を示すブロック図である。 実施の形態２で用いられる高解像度化部の一例を示すブロック図である。 実施の形態２で用いられる高解像度化部の他の例を示すブロック図である。 実施の形態２で用いられるプロセッサーの他の例を示すブロック図である。 実施の形態２で用いられるプロセッサーの他の例を示すブロック図である。 本発明の実施の形態３で用いられるプロセッサーの一例を示すブロック図である。 実施の形態３で用いられる合成部の一例を示すブロック図である。 実施の形態３で用いられるプロセッサーの他の例を示すブロック図である。 本発明の実施の形態４で用いられるプロセッサーを示すブロック図である。 （ａ）及び（ｂ）は、実施の形態４のプロセッサーによる画像情報の補間の例を示す図である。 本発明の実施の形態５で用いられるプロセッサーを示すブロック図である。 本発明の実施の形態６に係る複眼撮像装置を示すブロック図である。 実施の形態６に係る複眼カメラ及び単眼カメラの構成を示す分解斜視図である。 （ａ）及び（ｂ）は、図１６の複眼カメラの撮像素子の撮像面の分割方法の一例を示す模式図である。 本発明の実施の形態７に係る画像処理方法における処理の手順を示すフロー図である。
実施の形態１.
　図１（ａ）は、本発明の実施の形態１に係るカメラ装置１の概要を示す分解斜視図である。
　図１（ａ）に示されるカメラ装置１は、複眼カメラ１０で構成されている。複眼カメラ１０は、撮像素子１１と、レンズアレイ１２と、フィルターアレイ１３と、隔壁１４とを有する。
　撮像素子１１は矩形の撮像面１１ａを有し、該撮像面１１ａは例えば図２（ａ）に示されるように、複数の矩形の撮像領域１５ａ～１５ｆに分割されている。
　レンズアレイ１２は、それぞれの撮像領域１５ａ、１５ｂ、…に対応して設けられた複数のレンズ１２ａ、１２ｂ、…を含む。複数のレンズ１２ａ、１２ｂ、…によりレンズ群が構成される。
　レンズ１２ａ、１２ｂ、…は、それぞれ対応する撮像領域１５ａ、１５ｂ、…に、互いに同じ視野の画像が結像するように構成されている。
　異なる大きさの撮像領域に同じ視野の画像を結像させるため、例えばより大きい撮像領域に対応するレンズはより長い焦点距離を有する。
　フィルターアレイ１３は、複数の撮像領域のうちの一つ以上の撮像領域に対してそれぞれ設けられた光学フィルター１３ａ、１３ｂ、…を含む。
　隔壁１４は、撮像領域１５ａ、１５ｂ、…相互間に設けられ、各撮像領域に、対応するレンズ以外のレンズからの光が入射するのを防ぐ。
　撮像素子１１は、得られた画像信号を画素毎に外部に読み出すことが可能なＣＭＯＳ構造またはＣＣＤ構造のセンサーであるのが望ましい。分割の都合上、像流れの生じないグローバルシャッター（同時露光一括読み出し）方式の撮像素子が望ましい。
　撮像領域のうち、最も大きいもの、即ち画素数が最も多い撮像領域１５ａを高解像度撮像領域と呼び、それ以外の撮像領域１５ｂ、１５ｃ、…を低解像度撮像領域と呼ぶ。図２（ａ）に示される例では、撮像面１１ａが正方形であり（縦方向の画素数と横方向の画素数が同じであり）、撮像領域１５ａ～１５ｆも正方形であり、撮像領域１５ｂ～１５ｆは互いに同じ大きさ、従って同じ画素数を有し、撮像領域１５ａは、撮像領域１５ｂ～１５ｆの各々に対して縦方向及び横方向の寸法がともに２倍である。
　高解像度撮像領域１５ａは低解像度撮像領域１５ｂ、１５ｃ、…の各々に対し縦方向及び横方向の画素数が２倍であるので、図１（ｂ）に示されるように、高解像度撮像領域で得られる画像（高解像度画像）Ｄ０は各低解像度撮像領域で得られる画像（低解像度画像）Ｄ１に対し２倍の大きさ（画素数）を有する。
　上記のように、高解像度撮像領域と低解像度撮像領域とは解像度が互いに異なる撮像領域であり、前者の方が解像度が高い。区別のため前者を第１種の撮像領域と言い、後者を第２種の撮像領域と言うことがある。
　フィルターアレイ１３を構成する光学フィルター１３ａ、１３ｂ、…には、異なる光学特性の光学フィルターが含まれ、それによってそれぞれの撮像領域からは互いに異なる種類の情報（異なる種類の情報を表す画像）が得られるようになっている。
　例えば、撮像領域１５ａ、１５ｂ、…のうちの一つ以上の撮像領域に、互いに異なる光学特性を有する光学フィルター１３ａ、１３ｂ、…が設けられ、これにより、撮像領域毎に、異なる種類の情報を表す画像が取得される。
　異なる光学特性を有する光学フィルターとしては、例えば、分光フィルター、偏光フィルター、及びＮＤフィルター（Ｎｅｕｔｒａｌ　Ｄｅｎｓｉｔｙ　Ｆｉｌｔｅｒ）の少なくとも一つが用いられ、これらの使用により、撮像領域毎に、異なる波長帯の光による画像、異なる偏光方向の光による画像、異なる露光量での撮像による画像が取得される。
　これらの光学フィルターは、単独で用いても良く、組み合わせて用いても良い。
　上記の「異なる波長帯の光による画像」は、特定の波長帯の光を光電変換することで得られる画像を意味し、「異なる偏光方向の光による画像」は、特定の偏光方向の光を光電変換することで得られる画像を意味する。
　例えば、高解像度撮像領域１５ａに対して、透過率の高いＧ（緑）透過フィルター、赤外光カットフィルター、又は補色系の光学フィルターを設けることとしても良く、或は光学フィルターを設けない（モノクロ領域とする）こととしても良い。
　補色系の光学フィルターは一般に光透過率が高いので、その点で好ましい。
　ここで、光学フィルターを設けないとは、異なる種類の画像を取得することを目的とする光学フィルターを設けないということを意味し、他の目的の光学フィルターは設けられていても良い。
　またレンズ設計によっては高解像度撮像領域に対して設けられたレンズの開口が低解像度撮像領域よりも大きいため、高解像度撮像領域では露光量が大きくなる場合がある。ＮＤフィルターのような透過光量を減少させる光学フィルターを高解像度撮像領域に対して設ければ、高解像度撮像領域と低解像度撮像領域とで露光量に差が大きくならないようにすることができ、高解像度撮像領域の露光量飽和と低解像度撮像領域の露光量不足を解消することができる。
　撮像面１１ａの撮像領域への分割の方法は図２（ａ）の例に限定されない。
　撮像領域が大きいほど、より解像度の高い画像が得られる。一方、撮像領域の数を増やせば、異なる光学特性のフィルター、或いは異なる光学特性のフィルターの異なる組合せの数を増やすことができ、従って、撮像素子１１で得られる情報の種類を増やすことができる。
　図２（ｂ）～（ｄ）並びに図３（ａ）及び（ｂ）は、図２（ａ）とは異なる分割の方法を示す。
　図２（ｂ）の例では、撮像面１１ａが長方形であり、縦方向の寸法と横方向の寸法の比が３：４であり、撮像面１１ａが、一つの高解像度撮像領域１５ａと３つの低解像度撮像領域１５ｂ～１５ｄとに分割されている。これらの撮像領域１５ａ～１５ｄの各々は正方形である。撮像面１１ａのうちの左側の１／４を占める帯状の部分に低解像度撮像領域１５ｂ～１５ｄが縦方向に順に配列され、残りの部分に高解像度撮像領域１５ａが配置されている。
　縦方向の中央に位置する低解像度撮像領域１５ｃの中心と高解像度撮像領域１５ａの中心とは横方向に並んでいる。このような配置であると、低解像度撮像領域１５ｃで得られる画像と高解像度撮像領域１５ａで得られる画像との視差による位置ずれを用いてステレオマッチングを行うことにより、奥行き情報を取得することが可能である。
　図２（ｃ）及び（ｄ）並びに図３（ａ）及び（ｂ）の例では、撮像面１１ａと撮像領域１５ａ、１５ｂ、…とがともに正方形である。
　図２（ｃ）の例では、撮像面１１ａが、１つの高解像度撮像領域１５ａと７つの低解像度撮像領域１５ｂ～１５ｈとに分割されている。具体的には、撮像面１１ａのうちの左側の１／４を占める帯状の部分及び下側の１／４を占める帯状の部分に低解像度撮像領域１５ｂ～１５ｈが配列され、残りの部分に高解像度撮像領域１５ａが配置されている。
　図２（ｃ）の撮像面１１ａは、図２（ａ）の撮像面１１ａよりも大きく、図２（ｃ）の高解像度撮像領域１５ａは、図２（ａ）の高解像度撮像領域１５ａよりも大きく、より高い解像度の画像Ｄ０が取得できる。また、左側の帯状の部分において上から２番目に位置する低解像度撮像領域１５ｃの中心と高解像度撮像領域１５ａの中心とは横方向に並んでおり、また下側の帯状の部分において右から２番目に位置する低解像度撮像領域１５ｇの中心と高解像度撮像領域１５ａの中心とは縦方向に並んでおり、多視点ステレオマッチングを実施することで横方向と縦方向の両方で精度の高い奥行き情報を取得することができる。
　図２（ｄ）の例では、撮像面１１ａが１つの高解像度撮像領域１５ａと１２個の低解像度撮像領域１５ｂ～１５ｍとに分割されている。具体的には、撮像面１１ａのうちの左側の１／４を占める帯状の部分、下側の１／４を占める帯状の部分、右側の１／４を占める帯状の部分、及び上側の１／４を占める帯状の部分に、縦方向に低解像度撮像領域１５ｂ～１５ｍが順に配列され、残りの部分に高解像度撮像領域１５ａが配置されている。
　図２（ｃ）の例と図２（ｄ）の例とで、撮像面１１ａの大きさが同じであれば、図２（ｄ）の高解像度撮像領域１５ａは図２（ｃ）の高解像度撮像領域１５ａよりも小さい。代わりに、より多くの低解像度撮像領域１５ｂ～１５ｍが設けられており、より多くの、互いに異なる種類の情報を持つ画像Ｄ１を取得することが可能である。
　また図３（ａ）の例では、撮像領域が複数の高解像度撮像領域と複数の低解像度撮像領域とを有する。具体的には撮像面１１ａが３つの高解像度撮像領域１５ａ～１５ｃと、４つの低解像度撮像領域１５ｄ～１５ｇとに分割されている。
　このような分割のため、撮像面１１ａが縦方向及び横方向にそれぞれ２つずつに分けられ、左上、右上及び右下の各１／４の部分に高解像度撮像領域１５ａ～１５ｃが配置されている。さらに左下の１／４の部分が、縦方向及び横方向にそれぞれ２つずつに分けられ、それぞれの分割領域で４つの低解像度撮像領域１５ｄ～１５ｇが構成されている。
　図３（ａ）の例は、例えば、高解像度撮像領域１５ａ～１５ｃで基本的な色情報であるＲＧＢ情報を取得し、低解像度撮像領域１５ｄ～１５ｇで他の狭帯域の波長情報、或いは偏光情報を取得したりするために利用することができる。このようにすることで、より自然な色味でかつ色情報を持つ、解像度が高い画像を取得することができる。なお、高解像度撮像領域１５ａ～１５ｃでＲＧＢ情報を取得するには、高解像度撮像領域１５ａ～１５ｃにＲ透過フィルター、Ｇ透過フィルター、Ｂ透過フィルターを設ければ良い。同様に狭帯域の波長情報を取得するには狭帯域透過フィルターを設ければ良く、特定方向の偏光情報を取得には、当該方向の偏光成分を透過させ、他の方向の偏光成分を減衰させる光学フィルターを設ければ良い。
　図３（ｂ）の例では、撮像領域が、高解像度撮像領域１５ａのほかに、互いに大きさの異なる２種類の撮像領域を含む。即ち、第１群の撮像領域１５ｂ～１５ｉに対して第２群の撮像領域１５ｊ～１５ｙの各々は縦方向及び横方向の寸法が１／２である。
　区別のため、第１群の撮像領域１５ｂ～１５ｉを中間解像度撮像領域と呼び、第２群の撮像領域１５ｊ～１５ｙを低解像度撮像領域と呼ぶことがある。
　また、第１群の撮像領域１５ｂ～１５ｉ及び第２群の撮像領域１５ｊ～１５ｙは、高解像度撮像領域１５ａに比べて解像度が低いので、これらをまとめて低解像度撮像領域と呼ぶこともある。
　図３（ｂ）の構成における、撮像領域の配置を以下に詳しく述べる。即ち、撮像面１１ａが縦方向及び横方向にそれぞれ２つずつに分けられ、右上の１／４の部分に高解像度撮像領域１５ａが配置されている。左上の１／４の部分が、縦方向及び横方向にそれぞれ２つずつに分けられ、それぞれの分割領域で４つの低解像度撮像領域１５ｂ～１５ｅが構成されている。また右下の１／４の部分が、縦方向及び横方向にそれぞれ２つずつに分けられ、それぞれの分割領域で４つの低解像度撮像領域１５ｆ～１５ｉが構成されている。さらに左下の１／４の部分が、縦方向及び横方向にそれぞれ４つずつに分けられ、それぞれの分割領域で１６個の低解像度撮像領域１５ｊ～１５ｙが構成されている。
　このように、多くの撮像領域を有することで、多くの異なる種類の情報を取得することができる。また、高解像度撮像領域以外の撮像領域として異なる大きさのものを有するので、情報の種類に応じて、異なる大きさの撮像領域を割り当てることができる。
　例えば多数の狭帯域の画像から成るマルチスペクトル画像を取得したい場合、比較的小さい撮像領域（低解像度撮像領域）１５ｊ～１５ｙのうちの一つ以上の撮像領域をそれぞれ狭帯域の画像に割り当てて、これらに対して狭帯域のバンドパスフィルターを設け、一方、基本的なＲＧＢの色情報や近赤外情報、偏光情報など、解像度もある程度高いことが求められる情報には、比較的大きい撮像領域（中間解像度撮像領域）１５ｂ～１５ｅのうちの一つ以上の撮像領域を割り当てて、これらに対して、それぞれの情報を取得するための光学フィルターを設ければ良い。
　以上のように、図２（ａ）～（ｄ）並びに図３（ａ）及び（ｂ）で示される例では、撮像領域がすべて正方形であるが、本発明はこれに限定されず、長方形であっても良い。また、高解像度撮像領域と低解像度撮像領域とは大きさが異なり、さらに低解像度撮像領域が、複数の互いに異なる大きさの撮像領域を含んでも良いが、高解像度撮像領域及び低解像度撮像領域を含めすべての撮像領域同士は縦横比が同じであることが望ましい。
　図２（ａ）～（ｄ）並びに図３（ａ）及び（ｂ）に例示するように撮像面１１ａを分割して複数の撮像領域を形成する場合、複数の撮像領域の視野を正確に一致させることは困難である。レンズの焦点距離の誤差、収差などのためである。複数の撮像領域の視野が厳密に一致しない場合には、撮像により得られる画像を切り抜いて(トリミングで画像の端の部分を除去して)使用する等すれば良い。
　次に実施の形態１のカメラ装置１により得られる効果を説明する。
　実施の形態１のカメラ装置１では、該カメラ装置を構成する複眼カメラ１０の撮像素子の撮像面が複数の撮像領域に分割されているので、複数の互いに異なる種類の情報を表す画像を取得することができる。
　また、撮像領域が比較的大きい撮像領域と、比較的小さい撮像領域とを含むので、複数の互いに異なる種類の情報のうち、優先度の高い情報、即ち高い解像度での取得がより強く望まれる画像に、比較的大きい撮像領域を割り当てることで、そのような画像の高い解像度での取得が可能となる。
　これにより、例えば、ＲＧＢの可視光画像などの基本的な画像に比較的大きい撮像領域を割り当てることで、これらの画像を高い解像度で取得し、それとともに、マルチスペクトル画像を構成するための、複数の狭帯域の画像、近赤外画像、紫外線画像、さらには偏光画像、異なる露光量での画像などの付加的な情報を有する画像を多数の比較的小さい撮像領域に割り当てることでこれらの画像を数多く取得することが可能となる。
　また、複数の撮像領域が一つの撮像素子に形成されるので、カメラ装置のサイズを抑制することができる。
実施の形態２.
　図４は、本発明の実施の形態２に係る複眼撮像装置１００を示すブロック図である。図４に示される複眼撮像装置１００は、カメラ装置１と、撮像制御部１７と、Ａ／Ｄ変換部１８と、プロセッサー２０とを備えている。カメラ装置１としては、実施の形態１で説明したものを用いることができる。
　撮像制御部１７は、カメラ装置１による撮像を制御する。例えば、撮像タイミング、露光時間の制御を行う。
　カメラ装置１から出力された撮像信号は、図示しないアナログ処理部で増幅等の処理を受けたのち、Ａ／Ｄ変換部１８でデジタル画像信号に変換されて、プロセッサー２０に入力される。
　プロセッサー２０は、画像メモリ２２と、少なくとも一つの高解像度化部３０とを有する。
　画像メモリ２２は、カメラ装置１を構成する複眼カメラ１０の複数の撮像領域にそれぞれ対応する複数の記憶領域２２－１、２２－２、…を有するのが望ましい。この場合、各記憶領域に記憶されるデジタル画像信号により、対応する撮像領域で取得された画像が表される。
　画像メモリ２２のそれぞれの記憶領域２２－１、２２－２、…に記憶された画像のうち、解像度が互いに異なる２つの撮像領域で取得された画像が高解像度化部３０に供給される。
　例えば、図２（ａ）の撮像領域１５ａで取得され高解像度画像と、撮像領域１５ｂで取得された低解像度画像とが高解像度化部３０に供給される。以下では、撮像領域１５ａで取得され高解像度画像を符号Ｄ０で示し、撮像領域１５ｂで取得された低解像度画像を符号Ｄ１で示す。
　高解像度化部３０は、高解像度画像Ｄ０を参照画像として用いて、低解像度画像Ｄ１を高解像度化して、高解像度画像Ｄ３０を生成する。
　高解像度化部３０は、生成しようとする高解像度画像Ｄ３０の各々と参照画像Ｄ０とが画像特徴（局部における勾配、パターンなど）において互いに相関を有するという仮定に基づき、参照画像Ｄ０に含まれる被写体の高解像度成分を、低解像度画像Ｄ１に転移させる（反映させる）ことにより、被写体の高解像度成分を含む高解像度画像Ｄ３０を生成する処理を行う。さらに、低解像度画像Ｄ１と参照画像Ｄ０とを比較し、相関が強いと考えられる撮像領域では高解像度成分の転移を促進し、相関が弱いと考えられる撮像領域では高解像度成分の転移を抑制するように、画像中の位置に応じて適応的な処理を行ってもよい。これは、低解像度画像Ｄ１と参照画像Ｄ０は、撮像条件（波長、偏光方向、露光量等）が異なるため、被写体の反射特性によっては必ずしも低解像度画像Ｄ１の高解像度成分と参照画像Ｄ０とが相関を有するとは限らないからである。
　高解像度化部３０の一つの構成例（符号３０ａで示す）を図５に示す。
　図５の高解像度化部３０ａは、フィルターリングにより、低解像度画像Ｄ１及び参照画像Ｄ０の各々から低周波成分及び高周波成分を分離し、それぞれの成分ごとに合成する方法で高解像度化を行う。
　図５に示される高解像度化部３０ａは、フィルター処理部３１１、３１２、低周波成分合成部３１３、高周波成分合成部３１４、及び成分合成部３１５を有する。
　フィルター処理部（第１のフィルター処理部）３１１は、低解像度画像Ｄ１からその低周波成分Ｄ１Ｌと、高周波成分Ｄ１Ｈとを抽出する。フィルター処理部３１１は例えば低解像度画像Ｄ１に対して平滑化フィルター処理を行い、低周波成分Ｄ１Ｌを抽出し、抽出された低周波成分Ｄ１Ｌと元の画像Ｄ１との差分を求めることで当該画像の高周波成分Ｄ１Ｈを生成する。
　フィルター処理部（第２のフィルター処理部）３１２は、参照画像Ｄ０からその低周波成分Ｄ０Ｌと、高周波成分Ｄ０Ｈとを抽出する。フィルター処理部３１２は例えば、参照画像Ｄ０に対して平滑化フィルター処理を行い、低周波成分Ｄ０Ｌを抽出し、抽出された低周波成分Ｄ０Ｌと元の画像Ｄ０との差分を求めることで当該画像の高周波成分Ｄ０Ｈを生成する。
　フィルター処理部３１１、３１２における平滑化フィルター処理においては、ガウシアンフィルター、バイラテラルフィルター等を用いることができる。
　低周波成分合成部３１３は、低周波成分Ｄ１Ｌを参照画像Ｄ０と同じ解像度まで拡大し、拡大された低周波成分と低周波成分Ｄ０Ｌとを、重み付け加算により合成して、合成低周波成分Ｄ３１３を生成する。
　高周波成分合成部３１４は、高周波成分Ｄ１Ｈを参照画像Ｄ０と同じ解像度まで拡大し、該拡大された高低周波成分と高周波成分Ｄ０Ｈとを、重み付け加算により合成して、合成高周波成分Ｄ３１４を生成する。
　成分合成部３１５は、合成低周波成分Ｄ３１３と合成高周波成分Ｄ３１４とを合成し、高解像度画像Ｄ３０を生成する。
　図５に示される構成においては、高周波成分合成部３１４における合成において、高解像度画像Ｄ０に含まれる高解像度の高周波成分Ｄ０Ｈの重みを大きくして合成することにより、解像感の向上を図ることができる。
　高解像度化部３０の他の構成例（符号３０ｂで示す）を図６に示す。
　図６に示される高解像度化部３０ｂは、低解像度画像Ｄ１と参照画像Ｄ０とを入力として、参照画像Ｄ０の情報を元に低解像度画像Ｄ１を高解像度化する、ガイデッドフィルターを用いたものである。
　図６に示される高解像度化部３０ｂは、縮小処理部３２１、係数計算部３２２、係数マップ拡大部３２３、及び線形変換部３２４を有する。
　縮小処理部３２１は、参照画像Ｄ０を縮小して、低解像度画像Ｄ１と同じ解像度の縮小参照画像Ｄ０ｂを生成する。
　係数計算部３２２は、縮小参照画像Ｄ０ｂと低解像度画像Ｄ１との線形関係を近似する線形係数ａｍ、ｂｍを計算する。
　係数計算部３２２は、まず、画素位置ｘを中心とした局所領域Ω（ｘ）における縮小参照画像Ｄ０ｂの画素値Ｉ（ｙ）の分散ｖａｒＩ（ｘ）を式（１）により求める。
Figure JPOXMLDOC01-appb-M000001
 　式（１）で
　Ｉ（ｘ）は、縮小参照画像Ｄ０ｂの画素位置ｘの画素の画素値である。
　Ｉ（ｙ）は、縮小参照画像Ｄ０ｂの画素位置ｙの画素の画素値である。
　ここで画素位置ｙは、画素位置ｘを中心とした局所領域Ω（ｘ）内の画素位置である。
　係数計算部３２２はまた、画素位置ｘを中心とした局所領域Ω（ｘ）における、縮小参照画像Ｄ０ｂの画素値Ｉ（ｙ）と入力画像Ｄ１の画素値ｐ（ｙ）との共分散ｃｏｖＩｐ（ｘ）を式（２）により求める。
Figure JPOXMLDOC01-appb-M000002
 　式（２）で、Ｉ（ｘ）及びＩ（ｙ）は、式（１）に関して説明した通りのものである。
　ｐ（ｙ）は、入力画像Ｄ１の画素位置ｙの画素の画素値である。
　係数計算部３２２は、さらに式（１）で求めた分散ｖａｒＩ（ｘ）及び式（２）で求めた共分散ｃｏｖＩｐ（ｘ）から、式（３）により、係数ａを算出する。
Figure JPOXMLDOC01-appb-M000003
 　式（３）でｅｐｓはエッジ保存の度合いを決定する定数であり、予め定められる。
　係数計算部３２２はさらに、式（３）で求めた係数ａ（ｘ）を用いて、式（４）により係数ｂ（ｘ）を算出する。
Figure JPOXMLDOC01-appb-M000004
　係数ａ（ｘ）及びｂ（ｘ）は線形回帰係数と呼ばれる。
　係数計算部３２２はさらに、式（３）及び式（４）で得られた係数ａ（ｘ）及びｂ（ｘ）を式（５）により平均化することで線形係数ａｍ（ｘ）、ｂｍ（ｘ）を算出する。
Figure JPOXMLDOC01-appb-M000005
　係数マップ拡大部３２３は、係数計算部３２２において式（５）で求められた線形係数ａｍ（ｘ）から成る係数マップ及び線形係数ｂｍ（ｘ）から成る係数マップを、参照画像Ｄ０と同じ解像度まで拡大する。拡大された係数マップにおける線形係数をそれぞれａｍｂ（ｘ）、ｂｍｂ（ｘ）で表す。係数マップは、画像を構成するすべての画素に対応する係数を、対応する画素と同じ位置に配置したものである。
　線形変換部３２４は、拡大された係数マップにおける線形係数ａｍｂ、ｂｍｂと参照画像Ｄ０とを元に、低解像度画像Ｄ１により表される情報を持つ高解像度画像Ｄ３０を生成する。
　即ち、線形変換部３２４は、拡大された係数マップにおける線形係数ａｍｂ、ｂｍｂを用いて式（６）により、ガイデッドフィルター出力値ｑを導出する。
Figure JPOXMLDOC01-appb-M000006
 　ｑ（ｘ）は高解像度画像Ｄ３０の画素位置ｘの画素の画素値である。
　Ｊ（ｘ）は、参照画像Ｄ０の画素位置ｘの画素の画素値である。
　式（６）は、ガイデッドフィルターの出力（画像Ｄ３０の画素値）ｑ（ｘ）と、参照画像Ｄ０の画素値Ｊ（ｘ）とは、線形関係を有することを示す。
　図６に示される構成のうち、係数計算部３２２及び線形変換部３２４とがガイデッドフィルターによる処理の基本的構成部分であり、縮小処理部３２１及び係数マップ拡大部３２３は、係数計算部３２２における処理の負荷を減らすために付加されたものである。
　上記のようにして高解像度画像Ｄ３０の画素値を算出することで、縮小参照画像Ｄ０ｂの分散ｖａｒＩ（ｘ）の値が小さい領域のみ平滑化処理を行い、その他の領域のテクスチャを保存するようにすることができる。
　上記の高解像度化部３０ｂは、ガイデッドフィルターを用いた処理を行うが、本発明はこれに限定されない。高解像度化部３０ｂは、例えば、ジョイントバイラテラルフィルターを用いた方法など、高解像度画像のエッジや勾配情報を基に互いに異なる種類の情報を持つ画像を高解像度化する手法など、他の手法を用いるものであっても良い。
　図７は、実施の形態２で用いられるプロセッサー２０の他の例（符号２０ｂで示す）を示す。図７に示されるプロセッサー２０ｂは、画像メモリ２２及び高解像度化部３０に加えて、位置合わせ部２５を有する。
　位置合わせ部２５は、カメラ装置１から出力される低解像度画像Ｄ１と高解像度画像Ｄ０との間で位置ずれを有する場合、高解像度化部３０における高解像度化の前に位置合わせ処理を行う。この位置合わせ処理としては、初期位置ずれ（校正）情報を利用した固定値の位置合わせ、レジストレーション（画像マッチング）を含む動的な位置合わせ等を行うことができる。
　高解像度化部３０は、位置合わせ部２５で位置合わせされた画像を入力として、高解像度化を行う。
　図５又は図６で説明した高解像度化部（３０ａ、３０ｂ）或いはそれらの変形例として説明した高解像度化部を複数個設け、それぞれに異なる低解像度画像を入力し、各高解像度化部で、入力された低解像度画像に対して、高解像度画像を参照画像として用いて高解像度化を行うこととしても良い。
　複数の高解像度化部間で、参照画像として用いる高解像度画像は互いに同じものであっても良く、異なるものであっても良い。
　また、図７で説明した位置合わせ部２５と高解像度化部３０の組み合わせを複数個設けても良い。
　図８は、実施の形態２で用いられるプロセッサーの他の例（符号２０ｃで示す）を示す。
　図８に示されるプロセッサー２０ｃは、画像メモリ２２と、高解像度化部３０ｃと、画像拡大部３１ｒ、３１ｂとを有する。
　図８の例は、撮像面１１ａが例えば図２（ａ）のように、一つの高解像度撮像領域１５ａと３つ以上の低解像度撮像領域とを有し、高解像度撮像領域１５ａでＧ情報を取得し、３つの低解像度撮像領域（例えば１５ｂ、１５ｃ、１５ｄ）でそれぞれＲ画像、Ｇ画像、Ｂ画像を取得する場合を想定している。
　この場合、３つの低解像度画像Ｄ１－ｒ、Ｄ１－ｇ、Ｄ１－ｂがそれぞれ低解像度のＲ画像、Ｇ画像、Ｂ画像を表す。また高解像度撮像領域１５ａで取得されたＧ画像を符号Ｄ０で表す。
　画像拡大部３１ｒ、３１ｂはそれぞれ、画像Ｄ１－ｒ、Ｄ１－ｂを、高解像度画像Ｄ０と同じ解像度まで拡大処理して拡大画像Ｄ３１－ｒ、Ｄ３１－ｂを生成する。
　高解像度化部３０ｃは、画像Ｄ１－ｇを画像Ｄ０で置き換え、置き換えにより得られた画像を高解像度画像Ｄ３０－ｇとして出力する。
　このような処理を行う場合、画像処理のための演算量或いは演算時間を大幅に削減でき、プロセッサーにかかるハードウエアコストを削減することができる。
　図８の構成においても、高解像度化部３０ｃの前段に位置合わせ部２５（図７に示したもの）を設けても良い。さらに、画像拡大部３１ｒ、３１ｂの前段にも同様の位置合わせ部を設けても良い。
　次に実施の形態２の複眼撮像装置１００により得られる効果を説明する。
　実施の形態２の複眼撮像装置１００では、カメラ装置の複数の撮像領域から、互いに異なる種類の情報を持つ複数の画像が得られ、これらの画像が比較的解像度の低い画像と比較的解像度の高い画像とを含み、比較的解像度の高い画像の高解像度成分を用いて比較的解像度の低い画像を高解像度化するので、互いに異なる種類の情報を持ち、解像度の高い複数の画像を得ることができる。
　したがって、互いに異なる種類の情報を持つ画像の取得のための撮像領域が小さくても、高解像度の画像を生成することができ、カメラ装置のサイズを抑制しながら、互いに異なる種類の情報を持つ画像を高解像度で得ることができる。
実施の形態３．
　図９は、本発明の実施の形態３に係る複眼撮像装置で用いられるプロセッサー２０の一例（符号２０ｄで示す）を示す。図９に示されるプロセッサー２０ｄは、画像メモリ２２と、複数の、即ち第１乃至第Ｎ（Ｎは２以上の整数）の高解像度化部３０－１～３０－Ｎと、合成部４０とを有する。実施の形態３の複眼撮像装置のうち、プロセッサー２０ｄ以外の部分は、例えば図４と同様に構成されている。
　第１乃至第Ｎの高解像度化部３０－１～３０－Ｎは、それぞれＮ個の低解像度撮像領域（例えば図２（ａ）の例の１５ｂ、１５ｃ、…）に対応して設けられ、それぞれ対応する低解像度撮像領域で取得された低解像度画像Ｄ１－１～Ｄ１－Ｎを受けるとともに、高解像度撮像領域１５ａで取得された高解像度画像Ｄ０を受ける。
　高解像度化部３０－ｎ（ｎは１からＮのいずれか）は、高解像度画像Ｄ０を参照画像として用いて、低解像度画像Ｄ１－ｎを高解像度化して、高解像度画像Ｄ３０－ｎを生成する。このような処理がすべての高解像度化部３０－１～３０－Ｎで行われ、複数の、互いに異なる種類の情報を持つ高解像度画像Ｄ３０－１～Ｄ３０－Ｎが生成される。
　高解像度化部３０－１～３０－Ｎの各々は、例えば、図５、図６、又は図８で説明したように構成されている。
　合成部４０は、複数の、互いに異なる種類の情報を持つ高解像度画像Ｄ３０－１～Ｄ３０－Ｎを入力として一つ以上の合成高解像度画像Ｄ４０－ａ、Ｄ４０－ｂ…を生成する。
即ち、合成部４０は、高解像度化部３０－１～３０－Ｎで生成された、互いに異なる種類の情報を持つ高解像度画像Ｄ３０－１～Ｄ３０－Ｎを合成して、合成高解像度画像Ｄ４０－ａ、Ｄ４０－ｂ…を生成する。
　合成部４０における合成処理は、例えば、パンシャープン処理、画像の重み付け加算、明度合成、または領域選択で行い得る。領域選択は例えば局所分散値を指標として推定される画像の視認性に基づいて行うこととしても良い。
　上記のうち、パンシャープン技術は、衛星画像処理（リモートセンシング）などで利用されているものであり、パンシャープン処理においては、ＲＧＢのカラー画像がＨＳＩ（色相、再度、明度）画像に変換され、変換で得られたＨＳＩ画像のうちのＩ値が高分解能画像のモノクロ画像の画素値で置き換えられ、置き換えた画素値を用いてＨＳＩ画像がＲＧＢ画像に戻される。
　合成部４０の一例（符号４０ｂで示す）を図１０に示す。
　図１０に示される合成部４０ｂは、輝度／色分離部４１１、輝度分離部４１２、重み付け加算部４１３、及び輝度／色合成部４１４を有し、輝度の重み付け加算による合成を行う。
　合成部４０ｂには、複数の高解像度化部３０－１、３０－２、…(各々図５、図６、図８などで説明したのと同様のもの)で高解像度化されたＲ画像Ｄ３０－ｒ、Ｇ画像Ｄ３０－ｇ、Ｂ画像Ｄ３０－ｂ、偏光画像Ｄ３０－ｐ、及びＮＩＲ（近赤外線）画像Ｄ３０－ｉが入力される。
　なお、図８に示される画像拡大部３１ｒ、３１ｂで拡大された画像Ｄ３１－ｒ、Ｄ３１－ｂを合成部４０ｂに入力し、高解像度画像の代わりに用いても良い。即ち、合成部４０ｂが、一つ以上の高解像度画像と一つ以上の拡大画像とを合成するように構成されていても良い。
　輝度／色分離部４１１は、Ｒ画像Ｄ３０－ｒ、Ｇ画像Ｄ３０－ｇ、Ｂ画像Ｄ３０－ｂを入力として、それらを、輝度成分Ｄ４１１－ｙ及びそれぞれの色成分（Ｒ色、Ｇ色、Ｂ色の成分）Ｄ４１１－ｒ、Ｄ４１１－ｇ、Ｄ４１１－ｂに分離する。
　輝度分離部４１２は、偏光画像Ｄ３０－ｐを入力として、輝度成分Ｄ４１２を分離する。
　重み付け加算部４１３は、輝度／色分離部４１１から出力される輝度成分Ｄ４１１－ｙに対して、輝度分離部４１２から出力される偏光画像の輝度成分Ｄ４１２、合成部４０ｂに入力されるＮＩＲ画像Ｄ３０－ｉを重み付け加算して、合成輝度成分Ｄ４１３を求める。
　輝度／色合成部４１４は、輝度／色分離部４１１から出力されるそれぞれの色成分Ｄ４１１－ｒ、Ｄ４１１－ｇ、Ｄ４１１－ｂと、重み付け加算部４１３で求めた合成輝度成分Ｄ４１３とを合成して、Ｒ画像Ｄ４０－ｒ、Ｇ画像Ｄ４０－ｇ、及びＢ画像Ｄ４０－ｂを生成する。
　輝度／色合成部４１４から出力されるＲ画像Ｄ４０－ｒ、Ｇ画像Ｄ４０－ｇ、及びＢ画像Ｄ４０－ｂは、偏光画像Ｄ３０－ｐの輝度成分、ＮＩＲ画像Ｄ３０－ｉにより増強された輝度情報を持つものとなる。
　重み付け加算部４１３における重み付け加算には、画像に応じたゲインを乗算した画素値を加算する手法を用いても良い。
　代わりに、それぞれの画像（輝度／色分離部４１１から出力される輝度成分Ｄ４１１－ｙ、輝度分離部４１２から出力される輝度成分Ｄ４１２、合成部４０ｂに入力されるＮＩＲ画像Ｄ３０－ｉ）の高周波成分をフィルター処理により抽出し、重み付け加算して加重平均を求めることとしても良い。
　図１１は、実施の形態３で用いられるプロセッサー２０の他の例（符号２０ｅで示す）を示す。
　図１１に示されるプロセッサー２０ｅは、画像メモリ２２と、複数の高解像度化部３０－１～３０－Ｎと、合成部４０を有するほか、カメラ情報入力端子２３を有し、該端子２３で、複眼カメラ１０から、複眼カメラ情報Ｄｉｎｆｏを受けて、高解像度化部３０－１～３０－Ｎ及び合成部４０に複眼カメラ情報Ｄｉｎｆｏを伝える。
　複眼カメラ情報Ｄｉｎｆｏは、各撮像領域で取得される波長を表す情報、偏光方向を表す情報、各撮像領域の位置（撮像面内における位置）を表す情報などである。
　複眼カメラ情報Ｄｉｎｆｏを高解像度化部３０－１～３０－Ｎ及び合成部４０に入力することで、高解像度化、合成処理等における精度を向上させ、あるいはこれらの処理によって得られる情報を増やすことが可能である。
　例えば複眼カメラ情報Ｄｉｎｆｏが、各撮像領域に対して設けられた光学フィルターのスペクトル特性を表すものであれば、合成処理時にＲＧＢ画像とモノクロ画像から近赤外画像を抽出することができる。
　以上のように本実施の形態３によれば、カメラ装置で得られた複数の互いに異なる種類の情報を持つ複数の画像を高解像度化した上で合成することで、使用目的に応じて一層有用な画像を生成することができる。
実施の形態４.
　本発明の実施の形態４の複眼撮像装置で用いられるプロセッサー２０の構成例（符号２０ｆで示す）を図１２に示す。図１２に示されるプロセッサー２０ｆは、画像メモリ２２と、複数の、即ち第１乃至第Ｎの高解像度化部３０－１～３０－Ｎと、合成部４１とを有する。実施の形態４の複眼撮像装置のうち、プロセッサー２０ｆ以外の部分は、例えば図４と同様に構成されている。高解像度化部３０－１～３０－Ｎは、例えば図９で説明したのと同様のものである。
　合成部４１は、高解像度化部３０－１～３０－Ｎから出力される高解像度画像Ｄ３０－１～Ｄ３０－Ｎを受け、これらから、これらとは別の種類の情報を表す高解像度画像Ｄ４１－ａ、Ｄ４１－ｂ、…を補間により生成する。
　この場合、複数の低解像度撮像領域（例えば図２（ａ）の例の１５ｂ、１５ｃ、…）で取得される画像Ｄ１－１、Ｄ１－２、…が、撮像条件を表すパラメータのうちの少なくとも一つのパラメータの種類又は値が互いに異なる複数の画像を含み、従って、これらの低解像度画像Ｄ１－１、Ｄ１－２、…から生成される高解像度画像Ｄ３０－１、Ｄ３０－２、…が、撮像条件を表すパラメータのうちの少なくとも一つのパラメータの種類又は値が互いに異なる複数の画像を含む場合を想定している。
　合成部４１は、このような複数の高解像度画像Ｄ３０－１、Ｄ３０－２、…から、これらのいずれとも、上記少なくとも一つのパラメータの種類又は値が異なる高解像度画像Ｄ４１－ａ、Ｄ４１－ｂ、…を補間により生成（再構成）する。
　この補間には、例えば、圧縮センシングに用いられる復元手法を適用することができる。
　以下、この補間による画像の生成の例を、図１３を参照して説明する。図１３の例では異なる種類のパラメータが、波長及び露光量である。またパラメータの値が、波長についてはＲ、Ｇ、Ｂ（Ｒ波長帯の代表的波長、Ｇ波長帯の代表的波長、Ｂ波長帯の代表的波長）であり、露光量については、１／１０００、１／１００、１／１０、１である。これらの数値は、光学フィルターを用いない場合を基準とする相対値である。
　高解像度画像Ｄ３０－１、Ｄ３０－２、…として、図１３に〇印で示すパラメータの組み合わせによる画像が合成部４１に入力されるものとする。例えば高解像度画像Ｄ３０－１は、Ｒ波長帯の光を透過する光学フィルターを備えた撮像領域で、露光量１／１０００での撮像で得られた画像を高解像度化した画像である。同様に、高解像度画像Ｄ３０－２は、Ｂ波長帯の光を透過する光学フィルターを備えた撮像領域で、露光量１／１０００での撮像で得られた画像を高解像度化した画像である。
　合成部４１は、高解像度画像Ｄ３０－１～Ｄ３０－６を元にして、補間により、△印で示すパラメータの組み合わせに対応する画像Ｄ４１－ａ～Ｄ４１－ｆを生成する。例えば画像Ｄ４１－ａは、Ｇ波長帯の光を透過する光学フィルターを備えた撮像領域で、露光量１／１０００での撮像で得られた画像を高解像度化したときに生成されると推定される画像である。
　合成部４１は、生成した画像Ｄ４１－ａ～Ｄ４１－ｆのみならず、入力された画像Ｄ３０－１～Ｄ３０－６をも出力する。
　このような処理を行うことで、より多数の互いに異なる種類の情報を持つ高解像度画像Ｄ３０－１～Ｄ３０－６、Ｄ４０－ａ～Ｄ４０－ｆが得られる。
　次に実施の形態４の複眼撮像装置により得られる効果を説明する。
　実施の形態４によれば、撮像により得られた、比較的少ない、互いに異なる種類の情報を有する画像から、より多数の、互いに異なる種類の情報を有する画像を生成することができる。従って、撮像領域の数が多くなくても、多くの種類の情報を得ることができる。
実施の形態５．
　本発明の実施の形態５に係る複眼撮像装置で用いられるプロセッサー２０の構成例（符号２０ｇで示す）を図１４に示す。図１４に示されるプロセッサー２０ｇは、画像メモリ２２と、合成部４２と、高解像度化部３２とを有する。実施の形態５の複眼撮像装置のうち、プロセッサー２０ｇ以外の部分は、例えば図４と同様に構成されている。
　合成部４２は、低解像度撮像領域（例えば図２（ａ）の例の１５ｂ、１５ｃ、…）で取得された互いに異なる種類の情報を持つ画像Ｄ１－１～Ｄ１－Ｎに対して、合成処理を行って、一つ以上の合成画像（合成低解像度画像）Ｄ４２－ａ、Ｄ４２－ｂ、…を生成する。
　高解像度化部３２は、合成部４２から出力される合成画像Ｄ４２－ａ、Ｄ４２－ｂ、…のうちの一つ以上の合成画像に対し、参照画像Ｄ０を用いて高解像度化を行い、高解像度画像（高解像度合成画像）Ｄ３２－ａ、Ｄ３２－ｂ、…を生成する。
　合成部４２における合成により、入力画像Ｄ１－１～Ｄ１－Ｎよりも少ない数の合成画像Ｄ４２－ａ、Ｄ４２－ｂ、…が生成される場合には、合成の後で高解像度化を行うことで、高解像度化のための処理を減らすことができ、全体として演算量を少なくすることができる。
実施の形態６．
　図１５は、本発明の実施の形態６に係る複眼撮像装置１０２を示すブロック図である。
　実施の形態６に係る複眼撮像装置１０２は、カメラ装置５０と、撮像制御部１７と、Ａ／Ｄ変換部１８、１９と、プロセッサー２０ｈとを備えている。
　図１６は、カメラ装置５０の分解斜視図である。カメラ装置５０は、複眼カメラ６０と単眼カメラ７０とを有する。
　以下に詳しく述べるように、複眼カメラ６０としては、図１（ａ）に示される複眼カメラ１０と同様に、撮像面が複数の撮像領域に分割されたものが用いられ、一方、単眼カメラ７０は、撮像面が分割されておらず、単眼カメラ７０で取得された画像が、図１（ａ）の複眼カメラ１０の高解像度撮像領域で取得された画像の代わりとして用いられる。
　複眼カメラ６０は、撮像素子６１と、レンズアレイ６２と、フィルターアレイ６３と、隔壁６４とを有する。
　撮像素子６１は矩形の撮像面６１ａを有し、該撮像面６１ａは例えば図１７（ａ）に示されるように複数の、例えば９つの撮像領域６５ａ～６５ｉに分割されている。これら９つの撮像領域６５ａ～６５ｉは、互いに大きさが同じであり、３行３列に配列されている。
　図１７（ｂ）は、撮像面６１ａの分割方法の他の例を示す。図１７（ｂ）に示す例では、複眼カメラ６０の撮像素子６１の撮像面６１ａが４つの撮像領域６５ａ～６５ｄに分割されている。これら４つの撮像領域６５ａ～６５ｄは、互いに大きさが同じであり、２行２列に配列されている。
　複眼カメラ６０の撮像領域６５ａ、６５ｂ、…は、図１７（ａ）及び（ｂ）の例のように、互いに同じ大きさのものであっても良いが、本発明はこれに限定されず、撮像領域６５ａ、６５ｂ、…は互いに異なる大きさのものであっても良い。
　互いに異なる大きさのものである場合にも、縦横比が互いに同じであることが望ましい。
　レンズアレイ６２は、それぞれの撮像領域６５ａ、６５ｂ、…に対応して設けられ、それぞれ対応する撮像領域に同じ視野の画像を結像させるレンズ６２ａ、６２ｂ、…を含む。
　フィルターアレイ６３は、複数の撮像領域のうちの一つ以上の撮像領域に対して設けられた光学フィルター６３ａ、６３ｂ、…を含む。
　隔壁６４は、撮像領域６５ａ、６５ｂ、…相互間に設けられ、各撮像領域に、対応するレンズ以外のレンズからの光が入射するのを防ぐ。
　単眼カメラ７０は、撮像素子７１と、レンズ７２と、光学フィルター７３とを有する。
　撮像素子７１も矩形の撮像面７１ａを有する。撮像面７１ａの全体で一つの撮像領域７５が構成されている。
　図１７（ａ）及び（ｂ）には、複眼カメラ６０の撮像領域６５ａ、６５ｂ、…に対する、単眼カメラ７０の撮像領域７５の位置関係の概略が示されている。
　単眼カメラ７０の撮像素子７１の撮像面７１ａの全体で構成される撮像領域７５は、複眼カメラ６０の撮像領域６５ａ、６５ｂ、…のうちのいずれよりも多い画素数を有する。即ち、単眼カメラ７０の撮像領域７５の解像度は、複眼カメラ６０の撮像領域６５ａ、６５ｂ、…のうちの最も大きい撮像領域の解像度よりも高い。
　撮像領域７５は、撮像領域６５ａ、６５ｂ、…と縦横比が等しい。
　単眼カメラ７０の撮像領域７５は、複眼カメラの撮像領域６５ａ、６５ｂ、…とは解像度が互いに異なる撮像領域であり、前者の方が解像度が高い。区別のため、前者を第１種の撮像領域と言い、後者を第２種の撮像領域と言うことがある。
　単眼カメラ７０のレンズ７２は、撮像領域７５に、複眼カメラ６０の各撮像領域と同じ視野の画像が結像されるように設けられている。
　複眼カメラ６０のレンズ６２ａ、６２ｂ、…と、単眼カメラ７０のレンズ７２とによりレンズ群が構成される。
　フィルターアレイ６３を構成する光学フィルター６３ａ、６３ｂ、…及び光学フィルター７３には、異なる光学特性の光学フィルターが含まれ、それによってそれぞれの撮像領域からは互いに異なる種類の情報（異なる種類の情報を表す画像）が得られるようになっている。
　例えば、実施の形態１の図２（ａ）の高解像度撮像領域１５ａが単眼カメラ７０の撮像領域７５に置き換わり、図２（ａ）の低解像度撮像領域１５ｂ、１５ｃ、…が、複眼カメラ６０撮像領域６５ａ、６５ｂ、…に置き換わったものとみて、それぞれの撮像領域に対する光学フィルターの選択を行えば良い。即ち、図２（ａ）の高解像度撮像領域１５ａに対して設けられる光学フィルターと同じ特性の光学フィルターを、実施の形態６では、単眼カメラ７０の撮像領域７５に対して設け、図２（ａ）の低解像度撮像領域１５ｂ、１５ｃ、…に対して設けられる光学フィルターと同じ特性の光学フィルターを、実施の形態６では、複眼カメラ６０の撮像領域６５ａ、６５ｂ、…に対して設ければ良い。
　なお、撮像領域７５、６５ａ、６５ｂ、…のうちの一つ以上の撮像領域、例えば撮像領域７５に対しては光学フィルターを設けない（モノクロ領域とする）こととしても良い。
　撮像制御部１７は、複眼カメラ６０における撮像と、単眼カメラ７０における撮像を制御する。例えば、２つのカメラにおける撮像のタイミング、露光量の制御を行う。撮像のタイミングの制御においては、２つのカメラにおける撮像がほぼ同時に行われるように制御を行う。
　本実施の形態の複眼撮像装置１０２のプロセッサー２０ｈには、複眼カメラ６０の複数の撮像領域で取得された画像と、単眼カメラ７０で取得された画像とが、それぞれＡ／Ｄ変換部１８、１９を介して供給される。
　プロセッサー２０ｈは、画像メモリ２２と、少なくとも一つの高解像度化部３０を有する。
　画像メモリ２２は、複眼カメラ６０の複数の撮像領域、及び単眼カメラ７０の撮像領域にそれぞれ対応する複数の記憶領域２２－１、２２－２、…を有するのが望ましい。
　高解像度化部３０は、単眼カメラ７０で取得された高解像度画像Ｄ０を参照画像として受け、複眼カメラ６０の撮像領域のいずれかで取得された画像Ｄ１を低解像度画像として受け、参照画像Ｄ０に含まれる高解像度成分を用いて、低解像度画像Ｄ１を高解像度化して、高解像度画像Ｄ３０を生成する。
　以上のように、実施の形態１のカメラ装置１が用いられる場合、該複眼カメラ１０の高解像度撮像領域（１５ａなど）で取得される画像を参照画像として、同じ複眼カメラ１０の低解像度撮像領域で取得された画像の高解像度化が行われるのに対し、実施の形態６のカメラ装置５０が用いられる場合には、単眼カメラ７０の撮像素子で取得された画像を参照画像として、複眼カメラ６０で取得された低解像度画像の高解像度化が行われる。
　上記以外の点では実施の形態６は、実施の形態２と同様である。例えば、高解像度化部３０による処理は、実施の形態２で図５、図６、図８などを参照して説明したのと同様に行い得る。
　なお、実施の形態６のプロセッサー２０ｈとして、実施の形態２で説明したプロセッサーと同様のものを用いるものとして説明したが、代わりに、実施の形態３、４又は５のプロセッサーと同様のものを用いることとしても良い。いずれにしても、実施の形態１の高解像度撮像領域で得られた高解像度画像の代わりに、単眼カメラ７０の撮像領域で得られた画像を参照画像として用いれば良い。
　なおまた、図１７（ａ）に示す例では、撮像面６１ａの中心に位置する撮像領域６５ｉの中心と、撮像領域７５の中心とは横方向に並んでいる。このような配置であると、撮像領域６５ｉで得られる画像と撮像領域７５で得られる画像との視差による位置ずれを用いて、ステレオマッチングを行うことにより奥行き情報を取得することができる。
　次に実施の形態６の複眼撮像装置１０２により得られる効果を説明する。
　実施の形態６の複眼撮像装置１０２では、複眼カメラ６０とは別に単眼カメラ７０が設けられており、単眼カメラ７０で高い解像度の画像を取得することができる。従って、複眼カメラ６０の各撮像領域で得られる画像をより高い解像度に高解像度化することが可能である。
　また図１７（ａ）及び（ｂ）に示される例のように、複眼カメラ６０の撮像領域６５ａ、６５ｂ、…を全て同一形状にすることができ、そのようにすることで、製造コストを抑制することが可能である。
　さらに複眼カメラ６０と単眼カメラ７０とは中心間の距離が比較的大きいので、単眼カメラ７０で得られる画像と、複眼カメラ６０で得られる画像との視差による位置ずれが、実施の形態１の複眼カメラ１０の異なる撮像領域で得られる画像間における視差による位置ずれよりも大きく、この視差を活用することでより高精度の奥行き情報を取得することも可能となる。
　以上実施の形態１では、カメラ装置が複眼カメラ（１０）のみで構成され、実施の形態６では、カメラ装置が複眼カメラ（６０）と単眼カメラ（７０）とで構成されるが、要するに、カメラ装置が互いに大きさが異なる複数の撮像領域（第１種の撮像領域及び第２種の撮像領域）を有し、複数の撮像領域で異なる種類の情報を表す画像が取得されるようにフィルター群が設けられていれば良い。互いに異なる撮像領域は、実施の形態１のように一つの撮像素子（１１）に形成されていても良く、実施の形態６のように複数の撮像素子（６１、７１）に形成されていても良い。互いに大きさが異なる複数の撮像領域は、少なくとも一つの第１種の撮像領域と、第１種の撮像領域よりも面積が小さく画素数が少ない、複数の第２種の撮像領域とを含む。
　実施の形態１のように、第１種の撮像領域と第２種の撮像領域とがともに、一つ撮像素子に形成される場合には、第１種の撮像領域と第２種の撮像領域とは、上記の一つの撮像素子の撮像面を分割することで形成されたものであり、レンズ群が、上記の撮像面に対して設けられたレンズアレイに含まれるレンズを含む。
　この場合、複数の撮像領域の各々に、対応するレンズ以外のレンズからの光が入射しないようにするための隔壁が設けられている。
　実施の形態６のように、第１種の撮像領域と第２種の撮像領域とが互いに異なる撮像素子に形成される場合には、上記の「一つ以上の第１種の撮像領域」が第１の撮像素子（７１）の撮像面の全体で構成された単一の撮像領域から成り、複数の第２種の撮像領域が第２の撮像素子（６１）の撮像面を分割することで形成され、レンズ群が、第１の撮像素子の撮像面に対して設けられたレンズと、第２の撮像素子の撮像面に対して設けられたレンズアレイに含まれるレンズとを含む。
　この場合、第２の撮像素子の複数の撮像領域の各々に、対応するレンズ以外のレンズからの光が入射しないようにするための隔壁が設けられる。
実施の形態７.
　実施の形態２～６で説明した複眼撮像装置のプロセッサーは、専用のハードウェアであっても、メモリに格納されるプログラムを実行する、コンピュータのＣＰＵであっても良い。
　以下、一例として、図９のプロセッサーを備えた複眼撮像装置で実施される画像処理を、コンピュータに実行させる場合の処理の手順を、図１８を参照して説明する。
　まずステップＳＴ１において、例えば図１（ａ）に示されるカメラ装置１で撮像を行い、互いに異なる種類の情報を表す複数の低解像度画像Ｄ１－１～Ｄ１－Ｎと一つの高解像度画像Ｄ０とを取得し、メモリ（図９の画像メモリ２２と同じ役割を持つもの）に記憶させる。ここで、低解像度画像Ｄ１－１～Ｄ１－Ｎと高解像度画像Ｄ０とは、例えば、図１（ａ）に示されるカメラ装置１の、同じ視野の画像が結像される複数の撮像領域１５ａ、１５ｂ、１５ｃ、…での撮像で得られる、互いに異なる種類の情報を有する画像であり、そのような画像のうち比較的解像度の低いものが低解像度画像Ｄ１－１、Ｄ１－２、…として取得され、比較的解像度の高いものが高解像度画像Ｄ０として取得される。
　次にステップＳＴ２において、高解像度画像Ｄ０を参照画像として用いて複数の低解像度画像Ｄ１－１、Ｄ１－２、…の各々に対して高解像度化処理を行い、高解像度画像Ｄ３０－１、Ｄ３０－２、…を生成する。高解像度化処理は例えば、図５、図６又は図８の高解像度化部に関して説明したのと同様の処理である。
　次にステップＳＴ３において、複数の高解像度画像Ｄ３０－１、Ｄ３０－２、…を合成して一つ以上の合成高解像度画像Ｄ４０－ａ、Ｄ４０－ｂを生成する。合成処理は、図９の合成部４０に関して説明したようにして行われる。
　以上で説明したように、本発明によれば、複数の撮像領域で、互いに異なる種類の情報を有する画像を、互いに異なる解像度で取得することができるとともに、取得した、比較的解像度の低い画像から、高解像度画像を得ることができる。
　以上、実施の形態２～６で複眼撮像装置について説明したが、複眼撮像装置で実施される画像処理方法もまた本発明の一部を成す。さらに、上記の複眼撮像装置又は画像処理方法における処理をコンピュータに実行させるプログラム、及びそのようなプログラムを記録した、コンピュータで読み取り可能な記録媒体も本発明の一部を成す。
　１　カメラ装置、　１０　複眼カメラ、　１１　撮像素子、　１１ａ　撮像面、　１２　レンズアレイ、　１２ａ，１２ｂ，…　レンズ、　１３　フィルターアレイ、　１３ａ、１３ｂ、…　光学フィルター、　１４　隔壁、　１５ａ　高解像度撮像領域、　１５ｂ、１５ｃ、…　低解像度撮像領域、　１７　撮像制御部、　１８，１９　Ａ／Ｄ変換部、　２０,２０ａ～２０ｈ　プロセッサー、　２２　画像メモリ、　２５　位置合わせ部、　３０，３０ａ～３０ｃ，３０－１～３０－Ｎ　高解像度化部、　３１ｒ，３１ｂ　画像拡大部、　３２　高解像度化部、　４０，４２　合成部、　５０　カメラ装置、　６０　複眼カメラ、　６１　撮像素子、　６１ａ　撮像面、　６２　レンズアレイ、　６２ａ，６２ｂ，…　レンズ、　６３　フィルターアレイ、　６３ａ、６３ｂ、…　光学フィルター、　６４　隔壁、　６５ａ，６５ｂ，…　低解像度撮像領域、　７０　単眼カメラ、　７１　撮像素子、　７１ａ　撮像面、　７２　レンズ、　７３　光学フィルター、　７５　高解像度撮像領域、　１００，１０２　複眼撮像装置、　３１１，３１２　フィルター分離部、　３１３　低周波成分合成部、　３１４　高周波成分合成部、　３１５　成分合成部、　３２１　縮小処理部、　３２２　係数計算部、　３２３　係数マップ拡大部、　３２４　線形変換部、　４１１　輝度／色分離部、　４１２　輝度分離部、　４１３　重み付け加算部、　４１４　輝度／色合成部。

Claims (20)

  1. 　複数の撮像領域と、
    　前記複数の撮像領域に、互いに同じ視野の画像を結像させる複数のレンズと、
    　複数の光学フィルターとを有し、
    　前記複数の撮像領域は、少なくとも一つの第１種の撮像領域と、前記第１種の撮像領域よりも面積が小さく画素数が少ない複数の第２種の撮像領域とを含み、
    　前記複数の光学フィルターは、前記第２種の撮像領域の各々で取得される画像が、前記第１種の撮像領域の各々で取得される画像とは異なる種類の情報を表すものとなるように設けられている
    　カメラ装置。
  2. 　前記複数の光学フィルターは、
    　前記第１種の撮像領域及び前記第２種の撮像領域のうちの一つ以上の撮像領域に対して設けられ、互いに異なる光学特性を有する光学フィルターを含む
    　請求項１に記載のカメラ装置。
  3. 　一つの撮像素子をさらに有し、
    　前記第１種の撮像領域と前記第２種の撮像領域とが前記一つの撮像素子の撮像面を分割することで形成されたものであり、
    　前記複数のレンズが、前記撮像面に対して設けられたレンズアレイに含まれるレンズを含む
    　請求項１又は２に記載のカメラ装置。
  4. 　前記複数の撮像領域の各々に、対応するレンズ以外のレンズからの光が入射しないようにするために設けられた隔壁をさらに有する請求項３に記載のカメラ装置。
  5. 　第１の撮像素子及び第２の撮像素子をさらに有し、
    前記少なくとも一つの第１種の撮像領域が前記第１の撮像素子の撮像面の全体で構成された単一の撮像領域から成り、
    　前記複数の第２種の撮像領域が前記第２の撮像素子の撮像面を分割することで形成されたものであり、
    　前記複数のレンズが、前記第１の撮像素子の前記撮像面に対して設けられたレンズと、前記第２の撮像素子の前記撮像面に対して設けられたレンズアレイに含まれるレンズとを含む
    　請求項１又は２に記載のカメラ装置。
  6. 　前記第２の撮像素子の前記複数の撮像領域の各々に、対応するレンズ以外のレンズからの光が入射しないようにするために設けられた隔壁をさらに有する請求項５に記載のカメラ装置。
  7. 　前記異なる種類の情報を表す画像が、
    　特定の波長帯の光による画像、
    　特定の偏光方向の光による画像、及び
    　特定の露光量での撮像による画像の少なくとも一つを含む
    　請求項１から６のいずれか１項に記載のカメラ装置。
  8. 　前記複数の光学フィルターが、分光フィルター、偏光フィルター、及びＮＤフィルターの少なくとも一つを含む請求項１から７のいずれか１項に記載のカメラ装置。
  9. 　前記複数の光学フィルターが、前記第１種の撮像領域に対して、透過光量を減少させるために設けられた光学フィルターを含む
    　請求項１から８のいずれか１項に記載のカメラ装置。
  10. 　前記複数の光学フィルターが、前記第１種の撮像領域に対して設けられた、Ｇ透過フィルター、赤外光カットフィルター、又は補色系の光学フィルターを含む請求項１から８のいずれか１項に記載のカメラ装置。
  11. 　前記第１種の撮像領域に対しては、前記異なる種類の情報を表す画像を取得するための光学フィルターが設けられていない請求項１から８のいずれか１項に記載のカメラ装置。
  12. 　請求項１又は２に記載のカメラ装置と、少なくとも一つの高解像度化部を備えたプロセッサーとを備え、
    　前記少なくとも一つの高解像度化部は、前記第１種の撮像領域のいずれかで取得された画像を参照画像として受け、前記第２種の撮像領域のいずれかで取得された画像を低解像度画像として受けて、該低解像度画像を、前記参照画像に含まれる高解像度成分を用いて高解像度化して、高解像度画像を生成する
    　複眼撮像装置。
  13. 　前記高解像度化部は、
    　前記低解像度画像からその低周波成分及び高周波成分を抽出する第１のフィルター処理部と、
    　前記参照画像からその低周波成分及び高周波成分を抽出する第２のフィルター処理部と、
    　前記低解像度画像の低周波成分を前記参照画像と同じ解像度まで拡大し、拡大された低周波成分と前記参照画像の低周波成分とを、重み付け加算により合成して、合成低周波成分を生成する低周波成分合成部と、
    　前記低解像度画像の高周波成分を前記参照画像と同じ解像度まで拡大し、拡大された高低周波成分と前記参照画像の高周波成分とを、重み付け加算により合成して、合成高周波成分を生成する高周波成分合成部と、
    　前記合成低周波成分と前記合成高周波成分とを合成し、前記高解像度画像を生成する成分合成部と
    　を有する請求項１２に記載の複眼撮像装置。
  14. 　前記高解像度化部は、
    　前記参照画像を縮小して、前記低解像度画像と同じ解像度の縮小参照画像を生成する縮小処理部と、
    　前記縮小参照画像と、前記低解像度画像との線形関係を近似する線形係数を計算する係数計算部と、
    　前記係数計算部により計算された線形係数から成る係数マップを前記参照画像と同じ解像度まで拡大する係数マップ拡大部と、
    　拡大された係数マップの線形係数と前記参照画像とを元に、前記低解像度画像により表される情報を持つ前記高解像度画像を生成する線形変換部と
    　を有する請求項１２に記載の複眼撮像装置。
  15. 　前記少なくとも一つの高解像度化部が複数の高解像度化部から成り、
    　前記プロセッサーは、
    　前記複数の高解像度化部で生成された複数の高解像度画像を合成して、一つ以上の合成高解像度画像を生成する合成部をさらに有する
    　請求項１２、１３又は１４に記載の複眼撮像装置。
  16. 　前記複数の高解像度化部で高解像度化される複数の低解像度画像は、撮像条件を表すパラメータのうちの少なくとも一つのパラメータの種類又は値が互いに異なるものであり、従って、前記複数の高解像度化部で生成される複数の高解像度画像は、撮像条件を表すパラメータのうちの少なくとも一つのパラメータの種類又は値が互いに異なるものであり、
    　前記合成部は、前記複数の高解像度画像から、前記複数の高解像度画像のいずれとも、前記少なくとも一つのパラメータの種類又は値が異なる高解像度画像を補間により生成する
    　請求項１５に記載の複眼撮像装置。
  17. 　請求項１又は２に記載のカメラ装置と、
    　前記カメラ装置から出力される画像を処理するプロセッサーとを有し、
    　前記プロセッサーは、
    　前記複数の第２種の撮像領域で取得された複数の画像を合成して、少なくとも一つの合成低解像度画像を生成する合成部と、
    　前記第１種の撮像領域のいずれかで取得された画像を参照画像として受け、前記少なくとも一つの合成低解像度画像を、前記参照画像に含まれる高解像度成分を用いて高解像度化して、少なくとも一つの高解像度合成画像を生成する高解像度化部と
    　を有する複眼撮像装置。
  18. 　請求項１２から１７のいずれか１項に記載の複眼撮像装置における処理をコンピュータに実行させるためのプログラム。
  19. 　請求項１８に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
  20. 　同じ視野の画像が結像される複数の撮像領域での撮像で得られる、互いに異なる種類の情報を有し、互いに解像度が異なる複数の画像を取得するステップと、
    　前記互いに解像度が異なる複数の画像のうち、比較的解像度の高い画像に含まれる高解像度成分を用いて比較的解像度が低い複数の画像に対して高解像度化処理を行って、互いに異なる種類の情報を持つ高解像度画像を生成する高解像度化ステップと
    　前記複数の互いに異なる種類の情報を持つ高解像度画像を合成して、一つ以上の合成高解像度画像を生成する合成ステップとを
    　有する画像処理方法。
PCT/JP2017/023348 2017-06-26 2017-06-26 カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体 WO2019003258A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/615,604 US10951817B2 (en) 2017-06-26 2017-06-26 Compound-eye imaging device, image processing method, and recording medium
JP2017549829A JP6297234B1 (ja) 2017-06-26 2017-06-26 複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体
CN201780092291.3A CN110771152B (zh) 2017-06-26 2017-06-26 复眼摄像装置、图像处理方法以及记录介质
PCT/JP2017/023348 WO2019003258A1 (ja) 2017-06-26 2017-06-26 カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体
DE112017007695.1T DE112017007695T5 (de) 2017-06-26 2017-06-26 Facettenaugen-bildaufnahmevorrichtung, bildverarbeitungsverfahren, programm und aufzeichnungsmedium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023348 WO2019003258A1 (ja) 2017-06-26 2017-06-26 カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2019003258A1 true WO2019003258A1 (ja) 2019-01-03

Family

ID=61629101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023348 WO2019003258A1 (ja) 2017-06-26 2017-06-26 カメラ装置、複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体

Country Status (5)

Country Link
US (1) US10951817B2 (ja)
JP (1) JP6297234B1 (ja)
CN (1) CN110771152B (ja)
DE (1) DE112017007695T5 (ja)
WO (1) WO2019003258A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110491890A (zh) * 2019-07-03 2019-11-22 芯盟科技有限公司 半导体结构及其形成方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
JP7096144B2 (ja) * 2018-11-28 2022-07-05 株式会社アサヒ電子研究所 複眼撮像装置
WO2021211127A1 (en) * 2020-04-16 2021-10-21 Hewlett-Packard Development Company, L.P. Light signal identification
US20220258882A1 (en) * 2021-02-16 2022-08-18 Rockwell Collins, Inc. Camera core monitor using gradient filter
CN112926030B (zh) * 2021-02-25 2024-01-23 南京信息工程大学 30m分辨率插值的气象要素确定方法
CN116994075B (zh) * 2023-09-27 2023-12-15 安徽大学 一种基于复眼事件成像的小目标快速预警与识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061109A (ja) * 1999-08-20 2001-03-06 Japan Science & Technology Corp 画像入力装置
JP2008079172A (ja) * 2006-09-25 2008-04-03 Mitsubishi Electric Corp ２波長イメージセンサおよび２波長イメージセンサを用いた撮像方法
JP2009117976A (ja) * 2007-11-02 2009-05-28 Panasonic Corp 撮像装置
JP2013021569A (ja) * 2011-07-12 2013-01-31 Univ Of Tokyo 撮像素子およびこれを用いた撮像装置
WO2015182447A1 (ja) * 2014-05-28 2015-12-03 コニカミノルタ株式会社 撮像装置および測色方法
WO2017064760A1 (ja) * 2015-10-13 2017-04-20 オリンパス株式会社 積層型撮像素子、画像処理装置、画像処理方法およびプログラム
WO2017090437A1 (ja) * 2015-11-24 2017-06-01 ソニー株式会社 カメラモジュールおよび電子機器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003176B1 (en) * 1999-05-06 2006-02-21 Ricoh Company, Ltd. Method, computer readable medium and apparatus for converting color image resolution
US6771835B2 (en) * 2000-06-12 2004-08-03 Samsung Electronics Co., Ltd. Two-dimensional non-linear interpolation system based on edge information and two-dimensional mixing interpolation system using the same
KR20040103786A (ko) * 2003-06-02 2004-12-09 펜탁스 가부시키가이샤 다초점 촬상 장치 및 다초점 촬상 장치를 가진 모바일 장치
JP2005303694A (ja) 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
US7916180B2 (en) * 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US7880794B2 (en) * 2005-03-24 2011-02-01 Panasonic Corporation Imaging device including a plurality of lens elements and a imaging sensor
CN100579185C (zh) * 2005-07-26 2010-01-06 松下电器产业株式会社 复眼方式的摄像装置
JP3930898B2 (ja) * 2005-08-08 2007-06-13 松下電器産業株式会社 画像合成装置および画像合成方法
WO2011078244A1 (ja) * 2009-12-24 2011-06-30 シャープ株式会社 多眼撮像装置および多眼撮像方法
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
EP2592823A3 (en) * 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
WO2013179620A1 (ja) * 2012-05-28 2013-12-05 株式会社ニコン 撮像装置
JP6071374B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置
JP6172161B2 (ja) 2012-12-11 2017-08-02 コニカミノルタ株式会社 複眼光学系とそれを用いた撮像装置
JPWO2014156712A1 (ja) * 2013-03-26 2017-02-16 コニカミノルタ株式会社 複眼光学系及び撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061109A (ja) * 1999-08-20 2001-03-06 Japan Science & Technology Corp 画像入力装置
JP2008079172A (ja) * 2006-09-25 2008-04-03 Mitsubishi Electric Corp ２波長イメージセンサおよび２波長イメージセンサを用いた撮像方法
JP2009117976A (ja) * 2007-11-02 2009-05-28 Panasonic Corp 撮像装置
JP2013021569A (ja) * 2011-07-12 2013-01-31 Univ Of Tokyo 撮像素子およびこれを用いた撮像装置
WO2015182447A1 (ja) * 2014-05-28 2015-12-03 コニカミノルタ株式会社 撮像装置および測色方法
WO2017064760A1 (ja) * 2015-10-13 2017-04-20 オリンパス株式会社 積層型撮像素子、画像処理装置、画像処理方法およびプログラム
WO2017090437A1 (ja) * 2015-11-24 2017-06-01 ソニー株式会社 カメラモジュールおよび電子機器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110491890A (zh) * 2019-07-03 2019-11-22 芯盟科技有限公司 半导体结构及其形成方法
CN110491890B (zh) * 2019-07-03 2022-03-15 芯盟科技有限公司 半导体结构及其形成方法

Also Published As

Publication number Publication date
JPWO2019003258A1 (ja) 2019-06-27
JP6297234B1 (ja) 2018-03-20
CN110771152B (zh) 2022-03-01
CN110771152A (zh) 2020-02-07
US10951817B2 (en) 2021-03-16
DE112017007695T5 (de) 2020-03-12
US20200177807A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
JP6297234B1 (ja) 複眼撮像装置及び画像処理方法、並びにプログラム及び記録媒体
US11140342B2 (en) Solid-state image pickup device and electronic apparatus
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
EP2715447B1 (en) System and method for extending depth of field in a lens system by use of color-dependent wavefront coding
US10154216B2 (en) Image capturing apparatus, image capturing method, and storage medium using compressive sensing
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
US20130278726A1 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
US10572974B2 (en) Image demosaicer and method
EP2263373A2 (en) Generalized assorted pixel camera systems and methods
CN106679807B (zh) 一种基于lctf高光谱成像系统的图像压缩与重构方法
US20120230549A1 (en) Image processing device, image processing method and recording medium
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
EP3132609B1 (en) Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium
JP5186517B2 (ja) 撮像装置
CN106507065A (zh) 拍摄装置、拍摄系统、图像生成装置及滤色器
US20120249823A1 (en) Device having image reconstructing function, method, and storage medium
JP2018107731A (ja) 画像生成装置及び撮像装置
US20140118580A1 (en) Image processing device, image processing method, and program
US9143762B2 (en) Camera module and image recording method
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
KR20220116183A (ko) 촬상 장치, 정보 처리 방법, 및 프로그램
JP7009219B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP4482685B2 (ja) 広色域動画カメラ
JP7341843B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
US20230066267A1 (en) Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017549829

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17916007

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17916007

Country of ref document: EP

Kind code of ref document: A1