WO2018180808A1 - 撮像装置及び画像処理装置 - Google Patents

撮像装置及び画像処理装置 Download PDF

Info

Publication number
WO2018180808A1
WO2018180808A1 PCT/JP2018/011153 JP2018011153W WO2018180808A1 WO 2018180808 A1 WO2018180808 A1 WO 2018180808A1 JP 2018011153 W JP2018011153 W JP 2018011153W WO 2018180808 A1 WO2018180808 A1 WO 2018180808A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
imaging
mirrors
light
mirror
Prior art date
Application number
PCT/JP2018/011153
Other languages
English (en)
French (fr)
Inventor
剛志 高谷
隆仁 青砥
康博 向川
Original Assignee
国立大学法人奈良先端科学技術大学院大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人奈良先端科学技術大学院大学 filed Critical 国立大学法人奈良先端科学技術大学院大学
Priority to JP2019509614A priority Critical patent/JP7058881B2/ja
Publication of WO2018180808A1 publication Critical patent/WO2018180808A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G02B5/09—Multifaceted or polygonal mirrors, e.g. polygonal scanning mirrors; Fresnel mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present invention relates to an imaging device that captures a plurality of subject images at once and an image processing device that processes original image data created by the imaging device.
  • hyperspectral cameras are sometimes used for the purpose of measuring the distribution of sugar content in fruits and vegetables.
  • a general hyperspectral camera converts light at a one-dimensional position of a subject that has passed through a slit using a spectroscope into a two-dimensional optical image by wavelength-resolving the light in a direction perpendicular to the light. An image is picked up by a two-dimensional image sensor.
  • This hyperspectral camera obtains a two-dimensional image for each of a plurality of wavelength bands by repeatedly imaging while switching (scanning) the imaging position by driving an optical system such as a spectroscope or a slit.
  • a light source that irradiates light to a subject and a plurality of switchable color filters that are applied to the light source are provided, and two-dimensional images are repeatedly captured while switching the color filters.
  • a hyperspectral camera that obtains a two-dimensional image for each of a plurality of wavelength bands.
  • Patent Document 1 by using a mirror and an optical filter, each of the subject light that passes through the optical filter and the subject light that does not pass through the optical filter is imaged at different positions on the image sensor.
  • this imaging apparatus includes two mirrors arranged in front of the lens so that the distance between the left and right sides becomes narrower (tapered) toward the lens.
  • subject light that enters the lens from the left side of the optical axis and subject light that enters the lens from the right side of the optical axis are imaged at different positions on the image sensor.
  • Patent Document 1 has a problem that only two subject images can be captured at most in one imaging.
  • FIG. 9 of Patent Document 1 in addition to the two subject images formed by imaging the subject light reflected by the left and right mirrors of the optical axis, the light travels straight along the optical axis and is reflected by the mirror. It is shown as if a single subject image formed by imaging a non-subject light can be captured.
  • this imaging device requires the use of tapered mirrors, two subject images formed by subject light reflected by the mirrors on the left and right of the optical axis travel straight along the optical axis. Therefore, a single subject image formed by subject light that is not reflected by the mirror is greatly distorted. Therefore, since these subject images cannot be compared (or extremely difficult), one subject image is meaningless even if it is captured. Therefore, in this imaging apparatus, only two subject images can be captured at most in one imaging.
  • the present invention provides an imaging device that can capture three or more comparable subject images with a single imaging, and the intensity of light in a specific wavelength band based on original image data created by the imaging device.
  • An image processing apparatus that generates spectral image data that is data of a represented image is provided.
  • the present invention provides an imaging element that images subject light coming from a subject, an imaging element that captures a subject image formed by the imaging element and creates original image data, An imaging unit, and a reflection unit including a plurality of mirrors that reflect the subject light and enter the imaging unit, and each of the mirrors of the reflection unit has a wavelength characteristic of light reflected by a reflection surface.
  • An image pickup apparatus is provided, in which an optical filter for changing the angle is provided on the reflecting surface, and the reflecting surface is arranged parallel to the optical axis of the imaging element. .
  • a subject image formed by imaging subject light not reflected by a mirror and a subject light reflected by a plurality of mirrors whose reflecting surfaces are parallel to the optical axis are formed. Therefore, two or more subject images without distortion (or small) with respect to the subject image can be captured at a time.
  • the reflection unit has X mirrors (X is an integer of 3 or more) arranged with the reflection surface facing inward and adjacent thereto, and the light of the mirror
  • the cross section perpendicular to the axis may be a regular X-gon having one side of each reflecting surface of the mirror.
  • the number of the mirrors included in the reflection unit may be 6 or less.
  • At least one regular X-angle subject image formed by imaging subject light not reflected by the mirror and X pieces of subject light reflected by the mirror once are imaged. It is possible to capture a regular X-angle subject image that is not missing.
  • each of the two mirrors arranged so that the number of the mirrors included in the reflection unit is an even number and the reflection surfaces are parallel and opposed to each other is at least of the mirrors. It may be arranged such that at least one subject image formed by imaging the subject light reflected once by each of the reflecting surfaces is picked up by the imaging unit.
  • Two subject images formed by imaging light and at least one subject image formed by imaging subject light reflected (multiple reflected) once by each mirror can be captured at a time. . Further, in this case, since these subject images are aligned in a line, original image data that makes it easy to specify the position of the subject image can be obtained.
  • the reflection unit includes the two mirrors arranged so that the reflection surfaces are parallel and opposed to each other, and each of the mirrors includes at least the reflection surface of the mirror. It may be arranged such that at least one subject image formed by imaging the subject light reflected once each is imaged by the imaging unit.
  • At least one subject image formed by imaging subject light not reflected by the mirror and subject light reflected once by one of the two mirrors whose reflecting surfaces are parallel and opposite to each other are obtained.
  • Two object images formed by imaging and at least one object image formed by imaging object light reflected (multi-reflected) once by each of the mirrors can be captured at a time. Therefore, four or more subject images can be taken at a time. Further, in this case, since these subject images are aligned in a line, original image data that makes it easy to specify the position of the subject image can be obtained.
  • each of the optical filters provided on the reflection surface of at least one set of the mirrors arranged so that the reflection surfaces are parallel and opposite to each other has the same filter characteristics. There may be.
  • this imaging apparatus at least a subject image formed by subject light to which an optical filter having a certain filter characteristic is applied once and an object light to which the optical filter is applied twice are formed.
  • a subject image can be captured. Therefore, it is possible to capture each of the subject images formed by subject light having different optical filter application times.
  • each of the optical filters provided on the reflection surface of at least one set of the mirrors arranged so that the reflection surfaces are parallel and opposed to each other has different filter characteristics. It may be.
  • this imaging apparatus at least a subject image formed by subject light to which an optical filter having a certain filter characteristic is applied once and an optical filter having a filter characteristic different from the optical filter are applied once. It is possible to capture a subject image formed by imaging subject light and a subject image formed by imaging subject light to which these two optical filters are applied once. Therefore, each of the subject images formed by subject light having different types of applied optical filters can be captured.
  • each of the mirrors may be arranged so that the distances from the reflection surface to the optical axis are equal.
  • a plurality of clear subject images can be arranged at the center of the original image data because the subject light that is not reflected by the mirror or has a small number of reflections is formed. Therefore, it is possible to suppress the lack of these subject images in the original image data.
  • the reflection unit may further include a light source that is provided at an end portion of the mirror far from the imaging unit and that irradiates the subject with light.
  • this imaging apparatus it is possible to unify the spectrum of light emitted to the subject during imaging. Therefore, the processing of the original image data can be facilitated.
  • the original image data created by the imaging device includes imaging device characteristic data including data of optical characteristics of the imaging unit and the reflection unit, and each of the plurality of subject images.
  • a unit specifies positions of a plurality of pixels in the original image data corresponding to the specific part of the subject based on the subject image position data, and The pixel value of the pixel corresponding to the specific portion of the subject in the spectral image data is calculated based on each pixel value of the element, the reflection history data, and the imaging device characteristic data.
  • a processing device is provided.
  • spectral image data can be generated based on original image data including a plurality of subject images created by the imaging apparatus.
  • a subject image formed by imaging subject light that is not reflected by a mirror and subject light reflected by a plurality of mirrors whose reflecting surfaces are parallel to the optical axis are formed. Therefore, a total of three or more comparable subject images can be captured at a time, including two or more subject images that have no (or small) distortion with respect to the subject image.
  • FIG. 1 is a schematic diagram illustrating an example of a configuration of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram illustrating a first example of a configuration of a mirror included in a reflecting unit and an example of a subject image captured by an imaging unit when the mirror is used.
  • FIG. 6 is a schematic diagram illustrating a second example of a configuration of a mirror included in a reflecting unit and an example of a subject image captured by an imaging unit when the mirror is used.
  • FIG. 6 is a schematic diagram illustrating a third example of a configuration of a mirror included in a reflecting unit and an example of a subject image captured by an imaging unit when the mirror is used.
  • FIG. 3 is a schematic diagram illustrating a first example of a configuration of a mirror included in a reflecting unit and an example of a subject image captured by an imaging unit when the mirror is used.
  • FIG. 6 is a schematic diagram illustrating a second example of a configuration of a mirror included in a reflecting
  • FIG. 10 is a schematic diagram illustrating a fourth example of a configuration of a mirror included in a reflecting unit and an example of a subject image captured by an imaging unit when the mirror is used.
  • FIG. 10 is a schematic diagram illustrating a fifth example of a mirror configuration of a reflecting unit and an example of a subject image captured by the imaging unit when the mirror is used.
  • the schematic diagram which shows each of the 6th example of a structure of the mirror which a reflection part has, and an example of the to-be-photographed image imaged by an imaging part when the said mirror is used.
  • 1 is a schematic diagram illustrating an example of a configuration of an image processing apparatus according to an embodiment of the present invention. The figure which contrasted and showed the spectral image data which the calculating part shown in FIG. 8 produces
  • FIG. 1 is a schematic diagram illustrating an example of a configuration of an imaging apparatus according to an embodiment of the present invention.
  • the imaging apparatus 1 includes an imaging unit 10 that captures a subject image formed by subject light coming from a subject and creates original image data, and a subject using reflection of a mirror 21. And a reflection unit 20 that causes light to enter the imaging unit 10.
  • the imaging unit 10 includes an imaging element 11 that images subject light, and an imaging element 12 that captures the subject image formed by the imaging element 11 and generates original image data.
  • the imaging element 11 is composed of, for example, a diaphragm or a lens. In FIG. 1, the imaging element 11 is omitted as a single lens, but a configuration including a plurality of lenses, a diaphragm, and the like may be used.
  • the imaging device 12 is configured by a two-dimensional image sensor such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the reflection unit 20 includes a plurality of mirrors 21 (two in the illustrated example) that reflect subject light and enter the imaging unit 10, and a light source 22 that irradiates the subject T with light.
  • a light source 22 that irradiates the subject T with light.
  • an optical filter F that changes the wavelength characteristics of the light reflected by the reflecting surface 211 is provided.
  • the light source 22 is provided at the end of the mirror 21 far from the imaging unit 10.
  • the mirror 21 may be, for example, a metal plate polished to a reflective surface, a glass plate or a resin plate deposited with a metal such as silver to have a reflective surface, or a color glass that becomes the optical filter F such as silver. Any material such as a metal-deposited reflective surface may be used. However, it is preferable that the mirror 21 has a flat (substantially constant value) spectral reflectance within the wavelength range measured by the imaging unit 10.
  • the optical filter F is a film or plate having a filter characteristic (for example, transmittance spectrum) that changes the wavelength characteristic of the light reflected by the reflecting surface 211 of the mirror 21. Specifically, the optical filter F selectively attenuates only the light intensity in a specific wavelength band, or selectively attenuates only the light intensity outside the specific wavelength band.
  • a filter characteristic for example, transmittance spectrum
  • the light source 22 is configured by, for example, an LED (Light Emitting Diode).
  • the light source 22 is configured by an element that emits light having a certain intensity at various wavelengths such as white light. preferable.
  • the imaging unit 10 may be configured to perform imaging in a state where natural light is irradiated on the subject T without providing the light source 22. However, since the spectrum of natural light may change depending on the situation, it is preferable to unify the spectrum irradiated to the subject T during imaging using the light source 22 from the viewpoint of facilitating processing of the original image data.
  • the reflecting unit 20 includes two mirrors 21 with the reflecting surface 211 facing each other, and an optical filter F having the same filter characteristics is provided on each reflecting surface 211 of the mirror 21.
  • the imaging device 1 according to the embodiment of the present invention can apply mirrors having various configurations as exemplified in ⁇ Mirror configuration example> below.
  • the reflection unit 20 includes a plurality of mirrors 21, and each reflection surface 211 of the mirror 21 is parallel to the optical axis G of the imaging element 11. Deploy. As a result, a subject image formed by subject light not reflected by the mirror 21 and subject light reflected by a plurality of mirrors 21 whose reflecting surfaces 211 are parallel to the optical axis G are formed. Therefore, two or more subject images without distortion (or small) with respect to the subject image can be captured at a time. Therefore, a total of three or more comparable subject images can be captured at a time.
  • FIGS. 2A to 7A are schematic diagrams showing various configuration examples of the mirror included in the reflection unit and examples of subject images captured by the imaging unit when the mirror is used.
  • FIGS. 2A to 7A is a diagram illustrating a configuration example of a mirror included in the reflecting unit 20, and is a cross-sectional view perpendicular to the optical axis G.
  • FIG. FIGS. 2B to 7B are diagrams illustrating examples of subject images captured by the imaging unit 10 when the mirrors of FIGS. 2A to 7A are used. It is. In each of FIGS.
  • a region of the subject image formed by subject light that is not reflected by the mirror is surrounded by a thick line, and in each region of the subject image, The number of times the subject light is reflected by the mirror and the optical filter is applied before the subject image is formed (however, when a plurality of optical filters having different filter characteristics are used, the number of application times for each type of optical filter) ).
  • the reflection unit 20 has two mirrors 21a similar to the example shown in FIG. In the mirror 21a, the reflecting surfaces 211a are parallel and opposed to each other, and an optical filter Fa1 having the same filter characteristics is provided on each reflecting surface 211a of the mirror 21a.
  • this mirror 21a is used, for example, a subject image as shown in FIG.
  • a subject image as shown in FIG.
  • one subject image formed by subject light that is not reflected by the mirror 21a one subject image in which the optical filter Fa1 is applied 0
  • the subject Two subject images adjacent to the image and formed by subject light reflected once by the mirror 21a two subject images in which the number of application of the optical filter Fa1 is 1
  • the subject images Two subject images that are adjacent subject images formed by subject light reflected twice by the mirror 21a two subject images in which the optical filter Fa1 is applied two times
  • the number of subject images picked up by the image pickup unit 10 varies according to the maximum number N of reflections of the subject light incident on the image pickup unit 10 by the mirror 21a (2N + 1 in this example).
  • the maximum number N of reflections of the subject light incident on the imaging unit 10 by the mirror 21a is determined by the angle of view of the imaging unit 10 and the size and position of the mirror 21a.
  • the imaging unit 10 is disposed at one end of the mirror 21a and the subject T is disposed at the other end of the mirror 21a to be reflected.
  • the surface 211a is located at an equal distance from the optical axis G, the length of each reflection surface 211a is Z, the separation distance is D, and the angle of view of the imaging unit 10 in the separation direction of the reflection surface 211a is ⁇ .
  • the maximum number N of reflections is a maximum integer that is equal to or less than [(Z / d) ⁇ tan ( ⁇ / 2)].
  • the number of subject images captured by the imaging unit 10 varies depending on the angle of view of the imaging unit 10 and the size and position of the mirror 21a.
  • the reflection unit 20 includes two mirrors 21b facing the reflection surface 211b, which is the same as in the first example.
  • two types of optical filters Fb1 and Fb2 having different filter characteristics are provided on each reflecting surface 211b of the mirror 21b.
  • this mirror 21b When this mirror 21b is used, for example, a subject image as shown in FIG. Specifically, for example, as a main subject image, one subject image formed by subject light not reflected by the mirror 21b (one subject image in which the number of times each of the optical filters Fb1 and Fb2 is applied is 0). And two subject images formed by subject light adjacent to the subject image and reflected once by the mirror 21b (one subject image with the number of application times of the optical filter Fb1 being one, an optical filter) One subject image in which the number of times Fb2 is applied is 1) and two subject images (optical filters Fb1, 1) formed by imaging subject light adjacent to the subject image and reflected twice by the mirror 21a. And two subject images each having a frequency of application of Fb2 of 1 are captured.
  • the reflecting section 20 has three mirrors 21c that are disposed adjacent to each other with the reflecting surface 211c facing inward, and the light of the mirror 21c.
  • the cross section perpendicular to the axis is an equilateral triangle with each reflecting surface 211c as one side.
  • three types of optical filters Fc1, Fc2, and Fc3 having different filter characteristics are provided on the respective reflecting surfaces 211c of the mirror 21c.
  • this mirror 21c When this mirror 21c is used, for example, a subject image as shown in FIG. Specifically, for example, as a main subject image, one subject image formed by subject light that is not reflected by the mirror 21c (one subject image in which each of the optical filters Fc1 to Fc3 is applied 0) And three subject images formed by subject light that is adjacent to the subject image and reflected once by the mirror 21c (one subject image in which the number of times the optical filter Fc1 is applied is 1, an optical filter) One subject image in which Fc2 is applied one time, one subject image in which the optical filter Fc3 is applied one time), and subject light adjacent to the subject image and reflected twice by the mirror 21c Subject images (two subject images in which the optical filters Fc1 and Fc2 are applied each time 1 and the optical filters Fc2 and Fc3 are applied each time 1).
  • Two subject images Two subject images in which each of the optical filters Fc1 and Fc3 is applied 1), and subject light adjacent to the subject image and reflected by the mirror 21c three times are formed.
  • the six subject images thus formed (six subject images in which each of the optical filters Fc1 to Fc3 is applied 1) are imaged.
  • the entire subject image is a pattern filled with a plurality of equilateral triangles.
  • not all subject images are equilateral triangles, and a plurality of small subject images are combined to form one equilateral triangle. What is made is also included.
  • the reflecting section 20 has four mirrors 21d with the reflecting surface 211d facing inward and adjacently disposed, and the light of the mirror 21d
  • a cross section perpendicular to the axis is a square (regular tetragon) with each reflecting surface 211d as one side.
  • an optical filter Fd1 having the same filter characteristics is provided on each reflecting surface 211d of a pair (two) of mirrors 21d arranged so that the reflecting surfaces 211d face each other, and the reflecting surfaces 211d face each other.
  • An optical filter Fd2 having the same filter characteristics is also provided on each reflecting surface 211d of another pair (two) of mirrors 21d arranged in this manner, but on the reflecting surface 211d of each pair of mirrors 21d.
  • the filter characteristics of the optical filters Fd1 and Fd2 provided are different. Therefore, two types of optical filters Fd1 and Fd2 having different filter characteristics are provided on the reflecting surface 211d of the four mirrors 21d.
  • this mirror 21d is used, for example, a subject image as shown in FIG.
  • a subject image as shown in FIG.
  • one subject image formed by subject light not reflected by the mirror 21c one subject image in which the number of times each of the optical filters Fd1 and Fd2 is applied is 0.
  • four subject images that are subject images adjacent to the subject image and formed by subject light reflected once by the mirror 21d two subject images in which the number of application times of the optical filter Fd1 is 1, an optical filter
  • 8 subject images two optical images of the optical filter Fd1 formed by imaging the subject light adjacent to the subject image and reflected twice by the mirror 21d.
  • the entire subject image is a pattern filled with a plurality of squares.
  • not all subject images are square, and a plurality of small subject images are combined to form one square. Some are included.
  • the reflecting section 20 has five mirrors 21e that are disposed adjacent to each other with the reflecting surface 211e facing inward, and the light of the mirror 21e.
  • the cross section perpendicular to the axis is a regular pentagon with each reflecting surface 211e as one side.
  • five types of optical filters Fc1 to Fc5 having different filter characteristics are provided on each reflecting surface 211e of the mirror 21e.
  • a subject image as shown in FIG. 6B is taken.
  • a main subject image one subject image formed by subject light not reflected by the mirror 21e (one subject image in which the number of times each of the optical filters Fe1 to Fe5 is applied) is zero.
  • five subject images formed by subject light adjacent to the subject image and reflected once by the mirror 21e one subject image with the number of application times of the optical filter Fe1 being one, an optical filter
  • each of the subject image formed by subject light not reflected by the mirror 21e and the subject image formed by subject light reflected once by the mirror 21e is a regular pentagon. Since the regular pentagon does not fill the plane, another subject image is formed in the gap.
  • the reflecting section 20 has six mirrors 21f that are disposed adjacent to each other with the reflecting surface 211f facing inward, and the light of the mirror 21f.
  • the cross section perpendicular to the axis is a regular hexagon with each reflecting surface 211f as one side.
  • Each of the reflecting surfaces 211f of a pair (two) of mirrors 21f arranged so that the reflecting surfaces 211f are parallel and opposed to each other is provided with an optical filter Ff1 having the same filter characteristics.
  • An optical filter Ff2 having the same filter characteristics is also provided on each of the reflecting surfaces 211f of another pair (two) of mirrors 21f arranged in parallel and facing each other so that the reflecting surfaces 211f are parallel and facing each other.
  • An optical filter Ff3 having the same filter characteristics is also provided on each of the reflecting surfaces 211f of another pair (two) of mirrors 21f arranged in the above, but on the reflecting surface 211f of each pair of mirrors 21f.
  • the filter characteristics of the optical filters Ff1 to Ff3 provided are different. Therefore, three types of optical filters Ff1 to Ff3 having different filter characteristics are provided on the reflecting surface 211f of the six mirrors 21f.
  • this mirror 21f When this mirror 21f is used, for example, a subject image as shown in FIG. Specifically, for example, as a main subject image, one subject image formed by subject light not reflected by the mirror 21f (one subject image in which each of the optical filters Ff1 to Ff3 is applied 0) 6 subject images that are subject images adjacent to the subject image and formed by subject light reflected once by the mirror 21f (two subject images having the number of application times of the optical filter Ff1 of 1 and optical filters) Two subject images with the number of times Ff2 is applied and two subject images with the number of times the optical filter Ff3 is applied 1) and subject light adjacent to the subject image and reflected twice by the mirror 21f (6 subject images with two application times of optical filter Ff1, two subject images with two application times of optical filter Ff2, and optical filter F) Application number of 3 and the two object images is 2), but is captured.
  • the entire subject image is a pattern filled with a plurality of regular hexagons. However, not all subject images are regular hexagons, and a single
  • [Summary] [Third Example] to [Sixth Example] are perpendicular to the optical axes of X mirrors 21c to 21f (X is an integer of 3 or more) disposed with the reflecting surfaces 211c to 211f facing inward.
  • the cross-sections are common in that they are regular X-squares with the respective reflecting surfaces 211c to 211f of the mirrors 21c to 21f as one side.
  • at least one regular X-angle subject image formed by imaging subject light not reflected by the mirrors 21c to 21f and subject light reflected once by the mirrors 21c to 21f are formed.
  • X (three or more) subject images can be captured at a time.
  • X is 6 or less, but X may be 7 or more.
  • X subject images cannot be arranged without missing around one regular X-shaped subject image formed by subject light not reflected by the mirror. .
  • X is preferably set to 6 or less from the viewpoint of capturing a regular X-angled subject image having no chipping.
  • the number of mirrors 21a, 21b, 21d, and 21f included in the reflection unit 20 is an even number, such as [First Example], [Second Example], [Fourth Example], and [Sixth Example], Two mirrors 21a, 21b, and 21d in which one subject image formed by imaging subject light that is not reflected by the mirrors 21a, 21b, 21d, and 21f and the reflecting surfaces 211a, 211b, 211d, and 211f are parallel and opposed to each other. , 21f, the subject image formed by subject light reflected once and the subject image formed by subject light subject to multiple reflection by the mirrors 21a, 21b, 21d, 21f are aligned in a line.
  • the subject image captured by the imaging unit 10 is centered on the subject image formed by subject light not reflected by the mirror.
  • a subject image formed by subject light with a small number of reflections is on the inside, and a subject image formed with subject light with a large number of reflections is on the outside.
  • a region in which such a subject image is captured can be important in later processing of original image data. Therefore, it is preferable to configure the reflection unit 20 so that the subject image formed by subject light not reflected by the mirror is the center of the original image data. In order to obtain such original image data, it is preferable to arrange the mirrors so that the distances from the respective reflecting surfaces of the mirrors of the reflecting unit 20 to the optical axis G are equal.
  • the optical filters Fd1, Fd2, Ff1 to Ff3 having the same filter characteristics in each of the pair of mirrors 21d and 21f with the reflecting surfaces 211d and 211f parallel and facing each other.
  • optical filters having different filter characteristics may be provided.
  • the optical filter Fa1 having the same filter characteristics is provided on the mirror 21a having the reflecting surface 211a in parallel and facing each other. Can capture subject images with different numbers of application times of the optical filter.
  • optical filters Fb1 and Fb2 having different filter characteristics are provided on the mirror 21b having the reflecting surface 211b in parallel and facing each other as in [Second Example], subject images having different types of applied optical filters Fb1 and Fb2 are provided. Can be imaged.
  • [Third example] and [Fifth example] exemplify a case where optical filters Fc1 to Fc3 and Fe1 to Fe5 having different filter characteristics are provided on the reflecting surfaces 211c and 211e of the mirrors 21c and 21e, respectively.
  • an optical filter having the same filter characteristics may be provided on the reflecting surfaces 211c and 211e of some or all of the mirrors 21c and 21e.
  • optical filters having the same filter characteristics may be provided in a plurality of pairs of mirrors 21d and 21f whose reflecting surfaces 211d and 211f are parallel and opposed to each other.
  • the reflecting surfaces 211a and 211b of the mirrors 21a and 21b are parallel and opposed to each other. However, they may not be parallel and may not be opposed to each other. Even in this case, one subject image formed by subject light not reflected by the mirrors 21a and 21b and subject light reflected once by the reflecting surfaces 211a and 211b of the mirrors 21a and 21b are formed. And two subject images can be captured.
  • FIG. 8 is a schematic diagram showing an example of the configuration of the image processing apparatus according to the embodiment of the present invention.
  • the image processing apparatus 50 includes a database 51 and a calculation unit 52.
  • the database 51 is composed of a recording device capable of recording data, such as a hard disk or a nonvolatile semiconductor memory.
  • the arithmetic unit 52 includes an arithmetic device such as a CPU (Central Processing Unit) and a storage device such as a volatile semiconductor memory.
  • the database 51 is imaging device characteristic data that is data necessary for the calculation unit 52 to generate spectral image data based on the original image data. Subject image position data and reflection history data are also recorded.
  • the imaging device characteristic data includes optical characteristic data of the imaging unit 10 and the reflection unit 20.
  • the imaging device characteristic data includes the spectrum of light emitted from the light source 22, the filter characteristics of the optical filter F, and the spectral sensitivity of the imaging unit 10.
  • the subject image position data includes position data in the original image data of the pixels where each of the plurality of subject images is captured.
  • the reflection history data includes history data in which the subject light is reflected by the mirror 21 until each of the subject images is formed.
  • the subject image position data includes data on the respective orientations (inverted states) of the subject image in addition to the position data in the original image data of the pixels where each of the plurality of subject images is captured.
  • the reflection history data includes, for example, data of the optical film F (mirror 21) applied by reflecting the subject light before each of the subject images is formed and the number of times of application (the number of reflections). . Therefore, it can be said that the subject image position data and the reflection history data include, for example, data having the contents shown in FIGS.
  • the calculation unit 52 includes the optical film F (mirror 21) applied by reflecting the subject light before each of the subject images included in the reflection history data, and the number of times of application (the number of reflections). Since each direction (inverted state) of the subject image can be calculated based on the data, the subject image position data may not include the subject image direction data.
  • the calculation unit 52 generates spectral image data that is data of an image spectrally divided into a specific wavelength band based on the data recorded in the database 51. Specifically, the calculation unit 52 specifies the positions of a plurality of pixels in the original image data corresponding to the specific portion of the subject T based on the subject image position data, and each pixel value of the pixel, Based on the reflection history data and the imaging device characteristic data, a pixel value of a pixel corresponding to a specific portion of the subject T in the spectral image data is calculated. And the calculating part 52 produces
  • the reflecting section 20 is configured by two parallel and facing mirrors 21a in which the optical filter Fa1 is provided on the reflecting surface 211a shown in FIG.
  • the case where the imaging unit 10 detects the intensity of light of three channels of R (red), G (green), and B (blue) is illustrated.
  • R red
  • G green
  • B blue
  • the pixel value y k in the k-th channel of the pixels in the original image data in which the subject image formed by subject light not reflected by the mirror 21a is captured is expressed by the following equation (1). It is expressed in the following formula (1), ⁇ is the wavelength, l ( ⁇ ) is the spectrum of the light emitted from the light source, s ( ⁇ ) is the spectral reflectance of the subject T, and c k ( ⁇ ) is the spectrum of the k-th channel. Sensitivity. Further, ⁇ is a wavelength range, for example, a range of about 400 to 700 nm when detecting visible light.
  • the pixel value y k, 1 in the pixel in the original image data in which the subject image formed by subject light reflected once by the mirror 21a is captured is expressed by the following equation (2).
  • f ( ⁇ ) is a filter characteristic of the optical filter Fa1. Further, it is assumed that the spectral reflectance of the mirror 21a is flat at least within the wavelength range of ⁇ .
  • the pixel value in the pixel is obtained by multiplying f ( ⁇ ) twice in the above equation (2).
  • the pixel value y k in the pixel in the original image data in which the subject image formed by imaging the subject light reflected i times by the mirror 21a is captured.
  • I can be expressed as the following formula (3). Note that 0 ⁇ i ⁇ N, and N is the maximum number of reflections when the mirror 21a is used.
  • i 0 (the pixel value in the pixel in the original image data in which the subject image formed by subject light not reflected by the mirror 21a is captured) is expressed by the above equation (1). Further, for example, when an optical filter having different filter characteristics as illustrated in FIG. 3 is applied, a pixel value is obtained by multiplying a plurality of filter characteristics in the following formula (3).
  • the spectral reflectance s ( ⁇ ) of the subject T may be calculated in order to generate the spectral image data that is the data of the image of the subject T that has been split into a specific wavelength band.
  • pixel values y k, i at the pixels in the original image data are obtained from the original image data, and the spectrum l ( ⁇ ) of the light emitted from the light source 22, the filter characteristic f ( ⁇ ) of the optical filter Fa1, and the imaging unit
  • the spectral characteristic c k ( ⁇ ) of the k-th channel at 10 is obtained from the imaging device characteristic data.
  • the number of reflections i is obtained from reflection history data. Therefore, the spectral image data can be generated by calculating the spectral reflectance s ( ⁇ ) of the subject T based on the above equation (3).
  • a plurality of subject images formed by imaging subject light reflected N times at the maximum are picked up by the imaging unit 10 and correspond to the same portion of the plurality of subject images (the same portion of the subject T).
  • simultaneous equations expressed by a vector of the following equation (7) hold.
  • the calculation unit 52 calculates the spectral reflectance s that is the pixel value of the spectral image data by solving the following equation (8).
  • the following equation (8) can be solved by, for example, the least square method.
  • the stability of calculation when solving the problem of the above equation (8) by the least square method depends on the rank of the coefficient matrix A, and a stable solution can be obtained if the rank is sufficiently large.
  • the rank is calculated by inputting a singular value ⁇ i (1 ⁇ i ⁇ min (3N, N ⁇ )) of the coefficient matrix A to the algorithm 1 below.
  • condition number of a problem is an important factor for stably solving the problem, and a problem with a low condition number can be solved stably.
  • the condition number in the problem of the above equation (8) is determined by the following equation (9).
  • ⁇ max is the maximum value of the singular values of the coefficient matrix A
  • ⁇ min is the minimum value of the singular values of the coefficient matrix A.
  • ⁇ max is ⁇ 1
  • ⁇ min is ⁇ rank (A) .
  • the coefficient matrix A can be evaluated in advance. Therefore, when many color filters are provided, it is possible to select in advance an optimal color filter that makes the rank sufficiently large and minimizes the number of conditions.
  • the spectral reflectance cannot physically take a negative value and does not exceed 1.
  • a smoothing constraint can be used for the spectral reflectance.
  • the above equation (8) can be rewritten into the following equation (10).
  • ⁇ is a coefficient related to the smoothing term.
  • the objective function in the equation (11) can be expressed by quadratic programming as shown in the following equation (12).
  • the equation 13 can be solved using quadratic cone programming (S. Boyd and L. Vandenberghe, editors, “Convex Optimization", Cambridge University Press, 2004). Then, in order to implement the optimization plan, Python's optimization library cvxopt (Cvxopt: Python software forconvexoptimization, http://cvxopt.org, 11/11/2016 search) can be used.
  • Python's optimization library cvxopt Python software forconvexoptimization, http://cvxopt.org, 11/11/2016 search
  • FIG. 9 is a diagram showing the spectral image data generated by the arithmetic unit shown in FIG. 8 in comparison with the image data obtained by imaging with a conventional hyperspectral camera.
  • 9A is a diagram showing spectral image data generated by the calculation unit 52
  • FIG. 9B is a diagram showing image data obtained by imaging of a conventional hyperspectral camera. is there. Note that the subject in FIGS. 9A and 9B is a green leaf.
  • Both the spectral image data generated by the calculation unit 52 shown in FIG. 9A and the image data obtained by the imaging of the hyperspectral camera shown in FIG. 9B are obtained when the wavelength is 550 nm and its vicinity.
  • the common result that the pixel value of the pixel in which the image is captured increases is obtained.
  • the wavelength of 550 nm is green and matches the actual color of the subject. Therefore, it is possible to actually generate spectral image data by using the imaging device 1 and the image processing device 50 described above.
  • spectral image data is generated by image processing on original image data in which a plurality of subject images obtained by one imaging are captured. Can do.
  • the imaging device characteristic data includes the spectrum l ( ⁇ ) of light emitted from the light source 22, the filter characteristic f ( ⁇ ) of the optical filter Fa1, and the k-th in the imaging unit 10.
  • the spectral characteristics c k ( ⁇ ) of the channels are included is exemplified, other characteristic values may be recorded.
  • ak, i, ⁇ in the above equation (4) and record it in the imaging device characteristic data.
  • original image data is obtained by imaging (ie, performing calibration) a panel in which various colors with known spectral reflectances are arranged by the imaging apparatus 1, the pixel values y k, i and the spectral values are obtained. Since the reflectance s ( ⁇ ) is known, a k, i, ⁇ can be calculated.
  • the reflection unit 20 of the imaging apparatus 1 does not include the light source 22
  • the spectrum l ( ⁇ ) of the light irradiated on the subject T is obtained. Even when it is difficult to calculate, the imaging device characteristic data can be easily obtained.
  • the present invention can be used for an imaging apparatus that captures a plurality of subject images at once and an image processing apparatus that processes image data created by the imaging apparatus.
  • Imaging device 10 Imaging part 11: Imaging element 12: Imaging element 20: Reflecting part 21,21a-21f: Mirror 211, 211a-211f: Reflecting surface 30: Light source 50: Image processing apparatus 51: Database 52: Calculation Part T: Subject F, Fa1, Fb1, Fb2, Fc1 to Fc3, Fd1, Fd2, Fe1 to Fe5, Ff1 to Ff3: Optical filter

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Blocking Light For Cameras (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一度の撮像で３つ以上の対比可能な被写体像を撮像することができる撮像装置と、当該撮像装置が作成した原画像データに基づいて特定の波長帯域の光の強度を表した画像のデータである分光画像データを生成する画像処理装置とを提供する。撮像装置１は、被写体から到来する被写体光を結像する結像素子１１と、結像素子１１が結像した被写体像を撮像して原画像データを作成する撮像素子１２と、を有する撮像部１０と、被写体光を反射させて撮像部１０に入射させる鏡２１を複数有する反射部２０と、を備える。反射部２０が有する鏡２１のそれぞれは、反射面２１１で反射する光の波長特性を変化させる光学フィルタＦが当該反射面２１１上に設けられているとともに、結像素子１１の光軸に対して反射面２１１が平行になるように配置されている。

Description

撮像装置及び画像処理装置
　本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した原画像データを処理する画像処理装置とに関する。
　近年、青果に含まれる糖の含有量の分布を測定するなどの目的で、ハイパースペクトルカメラが用いられることがある。一般的なハイパースペクトルカメラは、分光器を用いてスリットを通過した被写体の一次元の位置の光を、当該光と垂直な方向に波長分解することで二次元の光学像に変換し、当該光学像を二次元イメージセンサで撮像するものである。このハイパースペクトルカメラは、分光器やスリットなどの光学系を駆動することで撮像する位置を切り替えながら（走査しながら）繰り返し撮像することで、複数の波長帯域毎の二次元画像を得る。また、分光器の代わりに、被写体に対して光を照射する光源と、当該光源に適用する切り替え可能な複数色のカラーフィルタと、を備え、当該カラーフィルタを切り替えながら二次元画像を繰り返し撮像することで、複数の波長帯域毎の二次元画像を得るハイパースペクトルカメラもある。
　これらのような従来のハイパースペクトルカメラでは、画像が二次元であって波長が一次元である合計三次元の情報を、二次元イメージセンサで撮像して取得するという関係上、全ての情報を取得するためには複数回の撮像が必須になる。そのため、撮像時間が長くなってしまうという問題がある。また、このような従来のハイパースペクトルカメラでは、光学系の駆動やカラーフィルタを切り替える機構が必要であるため、装置の構成が複雑かつ大型になってしまうという問題もある。
　そこで、特許文献１では、鏡と光学フィルタを用いて、光学フィルタを通過する被写体光と光学フィルタを通過しない被写体光のそれぞれを、撮像素子上の異なる位置に結像することで、１回の撮像によって波長特性が異なる２つの被写体像を撮像可能にした撮像装置が提案されている。具体的に、この撮像装置は、レンズの直前に、当該レンズに向かって左右の間隔が狭くなるように（テーパをつけて）配置された２枚の鏡を備える。これにより、光軸の左側からレンズに入射する被写体光と、光軸の右側からレンズに入射する被写体光とのそれぞれが、撮像素子上の異なる位置に結像される。
特開２０１０－２４５８７０号公報
　しかしながら、特許文献１で提案されている撮像装置では、１回の撮像で最大でも２つの被写体像しか撮像することができないという問題があった。
　なお、特許文献１の図９では、光軸の左右の鏡で反射された被写体光が結像されて成る２つの被写体像の他に、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る１つの被写体像も撮像可能であるかのように図示されている。しかし、この撮像装置では、テーパがつけられた鏡を用いる必要があるため、光軸の左右の鏡で反射された被写体光が結像されて成る２つの被写体像が、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る１つの被写体像に対して、大きく歪んでしまう。そのため、これらの被写体像は、対比することが不可能（または著しく困難）であるから、一方の被写体像は撮像しても無意味になってしまう。したがって、この撮像装置では、１回の撮像で最大でも２つの被写体像しか撮像することができない。
　そこで、本発明は、一度の撮像で３つ以上の対比可能な被写体像を撮像することができる撮像装置と、当該撮像装置が作成した原画像データに基づいて特定の波長帯域の光の強度を表した画像のデータである分光画像データを生成する画像処理装置とを提供する。
　上記目的を達成するため、本発明は、被写体から到来する被写体光を結像する結像素子と、前記結像素子が結像した被写体像を撮像して原画像データを作成する撮像素子と、を有する撮像部と、前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置を提供する。
　この撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない（または小さい）２つ以上の被写体像と、を一度に撮像することができる。
　また、上記特徴の撮像装置において、前記反射部が、前記反射面を内側に向けるとともに隣接して配置されるＸ枚（Ｘは３以上の整数）の前記鏡を有し、当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正Ｘ角形であるようにしてもよい。
　この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、鏡で１回反射した被写体光が結像されて成るＸ個（３つ以上）の被写体像と、を一度に撮像することができる。したがって、Ｘ＋１個以上（４つ以上）の被写体像を一度に撮像することができる。
　また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が６枚以下であるようにしてもよい。
　この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、鏡で１回反射した被写体光が結像されて成るＸ個の欠けがない正Ｘ角形の被写体像と、を撮像することができる。
　また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が偶数であり、前記反射面が平行かつ対向するように配置されている２枚の前記鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。
　この撮像装置によれば、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、反射面が平行かつ対向する２枚の鏡の一方で１回反射した被写体光が結像されて成る２つの被写体像と、当該鏡のそれぞれで１回ずつ反射（多重反射）した被写体光が結像されて成る少なくとも１つの被写体像と、を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。
　また、上記特徴の撮像装置において、前記反射部が、前記反射面が平行かつ対向するように配置された２枚の前記鏡を有し、当該鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。
　この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る１つの被写体像と、反射面が平行かつ対向する２枚の鏡の一方で１回反射した被写体光が結像されて成る２つの被写体像と、当該鏡のそれぞれで１回ずつ反射（多重反射）した被写体光が結像されて成る少なくとも１つの被写体像と、を一度に撮像することができる。したがって、４つ以上の被写体像を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。
　また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が同一であるようにしてもよい。
　この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが１回適用された被写体光が結像されて成る被写体像と、当該光学フィルタが２回適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、光学フィルタの適用回数が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。
　また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が異なるようにしてもよい。
　この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが１回適用された被写体光が結像されて成る被写体像と、当該光学フィルタとは異なるフィルタ特性の光学フィルタが１回適用された被写体光が結像されて成る被写体像と、これらの２つの光学フィルタが１回ずつ適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、適用された光学フィルタの種類が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。
　また、上記特徴の撮像装置において、前記鏡のそれぞれは、前記反射面から前記光軸までの距離が等しくなるように配置されるようにしてもよい。
　この撮像装置によれば、鏡で反射していないか反射回数が少ない被写体光が結像されて成るために鮮明である複数の被写体像を、原画像データの中心に配置することができる。そのため、原画像データにおいてこれらの被写体像が欠けることを抑制することができる。
　また、上記特徴の撮像装置において、前記反射部が、前記鏡の前記撮像部から遠い方の端部に設けられて前記被写体に対して光を照射する光源を、さらに有するようにしてもよい。
　この撮像装置によれば、撮像時に被写体に対して照射される光のスペクトルを統一することができる。そのため、原画像データの処理を容易にすることができる。
　また、本発明は、上記の撮像装置によって作成された前記原画像データと、前記撮像部及び前記反射部のそれぞれの光学特性のデータを含む撮像装置特性データと、複数の前記被写体像のそれぞれが撮像されている画素の前記原画像データ中の位置のデータを含む被写体像位置データと、当該被写体像のそれぞれが結像されるまでに前記被写体光が前記鏡で反射された履歴のデータを含む反射履歴データと、を記録するデータベースと、前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置を提供する。
　この画像処理装置によれば、上記の撮像装置によって作成された複数の被写体像が含まれる原画像データに基づいて、分光画像データを生成することができる。
　上記特徴の撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない（または小さい）２つ以上の被写体像と、の合計３つ以上の対比可能な被写体像を、一度に撮像することができる。
本発明の実施形態に係る撮像装置の構成の一例について示す模式図。 反射部が有する鏡の構成の第１例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。 反射部が有する鏡の構成の第２例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。 反射部が有する鏡の構成の第３例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。 反射部が有する鏡の構成の第４例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。 反射部が有する鏡の構成の第５例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。 反射部が有する鏡の構成の第６例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。 本発明の実施形態に係る画像処理装置の構成の一例について示す模式図。 図８に示す演算部が生成する分光画像データと従来のハイパースペクトルカメラの撮像によって得られる画像データとを対比して示した図。
＜＜撮像装置＞＞
　最初に、本発明の実施形態に係る撮像装置の構成の一例について図面を参照して説明する。図１は、本発明の実施形態に係る撮像装置の構成の一例について示す模式図である。
　図１に示すように、撮像装置１は、被写体から到来する被写体光が結像されて成る被写体像を撮像して原画像データを作成する撮像部１０と、鏡２１の反射を利用して被写体光を撮像部１０に入射させる反射部２０と、を備える。
　撮像部１０は、被写体光を結像する結像素子１１と、結像素子１１が結像した被写体像を撮像して原画像データを生成する撮像素子１２と、を有する。結像素子１１は、例えば絞りやレンズ等で構成される。なお、図１では、結像素子１１を１つのレンズとして省略して図示しているが、複数のレンズや絞り等を備えた構成であってもよい。撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどの二次元イメージセンサで構成される。
　反射部２０は、被写体光を反射させて撮像部１０に入射させる複数の鏡２１（図示の例では２枚）と、被写体Ｔに対して光を照射する光源２２とを備える。鏡２１のそれぞれの反射面２１１上には、当該反射面２１１で反射する光の波長特性を変化させる光学フィルタＦが設けられている。また、光源２２は、鏡２１の撮像部１０から遠い方の端部に設けられる。
　鏡２１は、例えば、金属板を磨いて反射面にしたものや、ガラス板や樹脂板等に銀などの金属を蒸着して反射面にしたもの、光学フィルタＦとなる色ガラスに銀などの金属を蒸着して反射面にしたものなど、どのようなものであってもよい。ただし、鏡２１は、撮像部１０が測定する波長の範囲内における分光反射率がフラット（概ね一定値）であると、好ましい。
　光学フィルタＦは、鏡２１の反射面２１１で反射する光の波長特性を変化させるフィルタ特性（例えば、透過率スペクトル）を有するフィルムや板などである。具体的に、光学フィルタＦは、特定の波長帯域における光の強度だけ選択的に減衰させたり、特定の波長帯域以外における光の強度だけ選択的に減衰させたりするものである。
　光源２２は、例えばＬＥＤ（Light Emitting Diode）で構成される。なお、光源２２は、撮像部１０が作成する原画像データから様々な波長の情報を取得する観点から、例えば白色光などの様々な波長における強度が一定程度ある光を照射する素子で構成すると、好ましい。また、光源２２を備えることなく、自然光が被写体Ｔに照射されている状態で撮像部１０が撮像を行う構成にしてもよい。ただし、自然光は状況によってスペクトルが変わり得るため、原画像データの処理を容易にする観点からは、光源２２を用いて撮像時に被写体Ｔに対して照射されるスペクトルを統一した方が好ましい。
　図１では、反射部２０が、反射面２１１が対向している２枚の鏡２１を備えており、当該鏡２１のそれぞれの反射面２１１上にフィルタ特性が同じである光学フィルタＦが設けられている場合について例示している。しかし、本発明の実施形態に係る撮像装置１は、以下の＜鏡の構成例＞において例示するような、様々な構成の鏡を適用可能である。
　ただし、本発明の実施形態に係る撮像装置１では、反射部２０が複数の鏡２１を備えるとともに、当該鏡２１のそれぞれの反射面２１１が結像素子１１の光軸Ｇと平行になるように配置する。これにより、鏡２１で反射していない被写体光が結像されて成る被写体像と、反射面２１１が光軸Ｇに対して平行である複数の鏡２１で反射している被写体光が結像されて成るために当該被写体像に対する歪みがない（または小さい）２つ以上の被写体像と、を一度に撮像することができる。したがって、合計３つ以上の対比可能な被写体像を、一度に撮像することができる。
＜鏡の構成例＞
　反射部２０が有する鏡の様々な構成例と、当該鏡を用いた場合に撮像部１０で撮像される被写体像とのそれぞれについて、図面を参照して説明する。図２～図７は、反射部が有する鏡の様々な構成例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図である。なお、図２（ａ）～図７（ａ）のそれぞれは、反射部２０が有する鏡の構成例を示した図であり、光軸Ｇに垂直な断面図である。また、図２（ｂ）～図７（ｂ）のそれぞれは、図２（ａ）～図７（ａ）の鏡を用いた場合に撮像部１０で撮像される被写体像の一例を示した図である。また、図２（ｂ）～図７（ｂ）のそれぞれでは、鏡で反射していない被写体光が結像されて成る被写体像の領域を太線で囲うとともに、被写体像のそれぞれの領域内に、当該被写体像が結像されるまでに被写体光が鏡で反射して光学フィルタが適用された回数（ただし、フィルタ特性が異なる複数の光学フィルタを用いている場合は光学フィルタの種類毎の適用回数）を記載している。
［第１例］
　図２（ａ）に示すように、第１例では、反射部２０が、図１に示した例と同様の２枚の鏡２１ａを有している。鏡２１ａは、反射面２１１ａが平行かつ対向しており、当該鏡２１ａのそれぞれの反射面２１１ａ上にフィルタ特性が同じである光学フィルタＦａ１が設けられている。
　この鏡２１ａを用いた場合、例えば図２（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ａで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦａ１の適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ａで１回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦａ１の適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ａで２回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦａ１の適用回数が２である２つの被写体像）と、が撮像される。
　ただし、撮像部１０で撮像される被写体像の数は、撮像部１０に入射する被写体光の鏡２１ａでの反射の最大回数Ｎに応じて変動する（本例の場合は２Ｎ＋１）。そして、撮像部１０に入射する被写体光の鏡２１ａでの反射の最大回数Ｎは、撮像部１０の画角と鏡２１ａの大きさ及び位置によって決まる。例えば、反射面２１１ａが平行かつ対向している２枚の鏡２１ａにおいて、撮像部１０が鏡２１ａの一方の端部に配置されるとともに被写体Ｔが鏡２１ａの他方の端部に配置され、反射面２１１ａが光軸Ｇから等距離に位置しており、当該反射面２１１ａのそれぞれの長さをＺ、離間距離をＤ、当該反射面２１１ａの離間方向における撮像部１０の画角をθとした場合（図１参照）、反射の最大回数Ｎは、［（Ｚ／ｄ）・ｔａｎ（θ／２）］以下となる最大の整数になる。なお、本例だけではなく、以下説明する他の例においても、撮像部１０の画角や鏡２１ａの大きさ及び位置によって、撮像部１０で撮像される被写体像の数は変動する。
［第２例］
　図３（ａ）に示すように、第２例では、反射部２０が、第１例と同様である反射面２１１ｂが対向している２枚の鏡２１ｂを有している。ただし、当該鏡２１ｂのそれぞれの反射面２１１ｂ上には、フィルタ特性が異なる２種類の光学フィルタＦｂ１，Ｆｂ２が設けられている。
　この鏡２１ｂを用いた場合、例えば図３（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｂで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｂ１，Ｆｂ２のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｂで１回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦｂ１の適用回数が１である１つの被写体像、光学フィルタＦｂ２の適用回数が１である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ａで２回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦｂ１，Ｆｂ２のそれぞれの適用回数が１である２つの被写体像）と、が撮像される。
［第３例］
　図４（ａ）に示すように、第３例では、反射部２０が、反射面２１１ｃを内側に向けるとともに隣接して配置される３枚の鏡２１ｃを有しており、当該鏡２１ｃの光軸に垂直な断面がそれぞれの反射面２１１ｃを一辺とする正三角形になっている。さらに、当該鏡２１ｃのそれぞれの反射面２１１ｃ上には、フィルタ特性が異なる３種類の光学フィルタＦｃ１，Ｆｃ２，Ｆｃ３が設けられている。
　この鏡２１ｃを用いた場合、例えば図４（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｃで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｃ１～Ｆｃ３のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｃで１回反射した被写体光が結像されて成る３つの被写体像（光学フィルタＦｃ１の適用回数が１である１つの被写体像、光学フィルタＦｃ２の適用回数が１である１つの被写体像、光学フィルタＦｃ３の適用回数が１である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｃで２回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｃ１，Ｆｃ２のそれぞれの適用回数が１である２つの被写体像、光学フィルタＦｃ２，Ｆｃ３のそれぞれの適用回数が１である２つの被写体像、光学フィルタＦｃ１，Ｆｃ３のそれぞれの適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｃで３回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｃ１～Ｆｃ３のそれぞれの適用回数が１である６つの被写体像）と、が撮像される。また、この場合、被写体像の全体としては複数の正三角形を充填したパターンになるが、全ての被写体像が正三角形になるわけではなく、複数の小さな被写体像が組み合わさって１つの正三角形を成しているものも含まれる。
［第４例］
　図５（ａ）に示すように、第４例では、反射部２０が、反射面２１１ｄを内側に向けるとともに隣接して配置される４枚の鏡２１ｄを有しており、当該鏡２１ｄの光軸に垂直な断面がそれぞれの反射面２１１ｄを一辺とする正方形（正四角形）になっている。また、反射面２１１ｄが対向するように配置されたある１組（２枚）の鏡２１ｄのそれぞれの反射面２１１ｄにはフィルタ特性が同じである光学フィルタＦｄ１が設けられ、反射面２１１ｄが対向するように配置された別の１組（２枚）の鏡２１ｄのそれぞれの反射面２１１ｄにもフィルタ特性が同じである光学フィルタＦｄ２が設けられるが、それぞれの組の鏡２１ｄの反射面２１１ｄ上に設けられる光学フィルタＦｄ１，Ｆｄ２のフィルタ特性は異なる。したがって、４枚の鏡２１ｄの反射面２１１ｄ上には、フィルタ特性が異なる２種類の光学フィルタＦｄ１，Ｆｄ２が設けられることになる。
　この鏡２１ｄを用いた場合、例えば図５（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｃで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｄ１，Ｆｄ２のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｄで１回反射した被写体光が結像されて成る４つの被写体像（光学フィルタＦｄ１の適用回数が１である２つの被写体像、光学フィルタＦｄ２の適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｄで２回反射した被写体光が結像されて成る８つの被写体像（光学フィルタＦｄ１の適用回数が２である２つの被写体像、光学フィルタＦｄ２の適用回数が２である２つの被写体像、光学フィルタＦｄ１，Ｆｄ２のそれぞれの適用回数が１である４つの被写体像）と、が撮像される。また、この場合、被写体像の全体としては複数の正方形を充填したパターンになるが、全ての被写体像が正方形になるわけではなく、複数の小さな被写体像が組み合わさって１つの正方形を成しているものも含まれる。
［第５例］
　図６（ａ）に示すように、第５例では、反射部２０が、反射面２１１ｅを内側に向けるとともに隣接して配置される５枚の鏡２１ｅを有しており、当該鏡２１ｅの光軸に垂直な断面がそれぞれの反射面２１１ｅを一辺とする正五角形になっている。さらに、当該鏡２１ｅのそれぞれの反射面２１１ｅ上には、フィルタ特性が異なる５種類の光学フィルタＦｃ１～Ｆｃ５が設けられている。
　この鏡２１ｅを用いた場合、例えば図６（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｅで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｅ１～Ｆｅ５のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｅで１回反射した被写体光が結像されて成る５つの被写体像（光学フィルタＦｅ１の適用回数が１である１つの被写体像、光学フィルタＦｅ２の適用回数が１である１つの被写体像、光学フィルタＦｅ３の適用回数が１である１つの被写体像、光学フィルタＦｅ４の適用回数が１である１つの被写体像、光学フィルタＦｅ５の適用回数が１である１つの被写体像）と、が撮像される。また、この場合、鏡２１ｅで反射していない被写体光が結像されて成る被写体像と鏡２１ｅで１回反射した被写体光が結像されて成る被写体像とのそれぞれは正五角形になるが、正五角形では平面が充填されないため、隙間に他の被写体像が形成される。
［第６例］
　図６（ａ）に示すように、第６例では、反射部２０が、反射面２１１ｆを内側に向けるとともに隣接して配置される６枚の鏡２１ｆを有しており、当該鏡２１ｆの光軸に垂直な断面がそれぞれの反射面２１１ｆを一辺とする正六角形になっている。また、反射面２１１ｆが平行かつ対向するように配置されたある１組（２枚）の鏡２１ｆのそれぞれの反射面２１１ｆにはフィルタ特性が同じである光学フィルタＦｆ１が設けられ、反射面２１１ｆが平行かつ対向するように配置された別の１組（２枚）の鏡２１ｆのそれぞれの反射面２１１ｆにもフィルタ特性が同じである光学フィルタＦｆ２が設けられ、反射面２１１ｆが平行かつ対向するように配置されたさらに別の１組（２枚）の鏡２１ｆのそれぞれの反射面２１１ｆにもフィルタ特性が同じである光学フィルタＦｆ３が設けられるが、それぞれの組の鏡２１ｆの反射面２１１ｆ上に設けられる光学フィルタＦｆ１～Ｆｆ３のフィルタ特性は異なる。したがって、６枚の鏡２１ｆの反射面２１１ｆ上には、フィルタ特性が異なる３種類の光学フィルタＦｆ１～Ｆｆ３が設けられることになる。
　この鏡２１ｆを用いた場合、例えば図６（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｆで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｆ１～Ｆｆ３のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｆで１回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｆ１の適用回数が１である２つの被写体像、光学フィルタＦｆ２の適用回数が１である２つの被写体像、光学フィルタＦｆ３の適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｆで２回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｆ１の適用回数が２である２つの被写体像、光学フィルタＦｆ２の適用回数が２である２つの被写体像、光学フィルタＦｆ３の適用回数が２である２つの被写体像）と、が撮像される。また、この場合、被写体像の全体としては複数の正六角形を充填したパターンになるが、全ての被写体像が正六角形になるわけではなく、複数の小さな被写体像が組み合わさって１つの正六角形を成しているものも含まれる。
［まとめ］
　［第３例］～［第６例］は、反射面２１１ｃ～２１１ｆを内側に向けるとともに隣接して配置されるＸ枚（Ｘは３以上の整数）の鏡２１ｃ～２１ｆの光軸に垂直な断面が、当該鏡２１ｃ～２１ｆのそれぞれの反射面２１１ｃ～２１１ｆを一辺とする正Ｘ角形である点で共通する。このように構成すると、少なくとも、鏡２１ｃ～２１ｆで反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、鏡２１ｃ～２１ｆで１回反射した被写体光が結像されて成るＸ個（３つ以上）の被写体像と、を一度に撮像することができる。
　また、上記の例では、Ｘが６以下であるが、Ｘを７以上としてもよい。ただし、Ｘを７以上にすると、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像の周囲に、Ｘ個の被写体像を欠けることなく配置させることができなくなる。そのため、欠けがない正Ｘ角形の被写体像を撮像する観点から、Ｘは６以下にした方が好ましい。
　また、［第１例］、［第２例］、［第４例］及び［第６例］のように、反射部２０が有する鏡２１ａ，２１ｂ，２１ｄ，２１ｆの枚数が偶数である場合、鏡２１ａ，２１ｂ，２１ｄ，２１ｆで反射していない被写体光が結像されて成る１つの被写体像と、反射面２１１ａ，２１１ｂ，２１１ｄ，２１１ｆが平行かつ対向する２枚の鏡２１ａ，２１ｂ，２１ｄ，２１ｆの一方で１回反射した被写体光が結像されて成る被写体像と、当該鏡２１ａ，２１ｂ，２１ｄ，２１ｆで多重反射した被写体光が結像されて成る被写体像が一列に整列する。そのため、［第３例］及び［第５例］のように、反射部２０が有する鏡２１ｃ，２１ｅの枚数が奇数の場合と比較して、被写体像の位置を特定し易い原画像データを得ることができる。
　また、［第１例］～［第６例］から明らかなように、撮像部１０で撮像される被写体像は、鏡で反射していない被写体光が結像されて成る被写体像を中心として、反射回数が少ない被写体光が結像されて成る被写体像ほど内側、反射回数が多い被写体光が結像されて成る被写体像ほど外側になる。また、反射回数が少ない被写体光が結像されて成る被写体像ほど鮮明になるため、このような被写体像を撮像した領域ほど、後の原画像データの処理において重要になり得る。そのため、鏡で反射していない被写体光が結像されて成る被写体像が原画像データの中心になるように反射部２０を構成すると、好ましい。そして、このような原画像データを得るためには、反射部２０が有する鏡のそれぞれの反射面から光軸Ｇまでの距離が等しくなるように当該鏡を配置すると、好ましい。
　なお、［第４例］及び［第６例］では、反射面２１１ｄ，２１１ｆが平行かつ対向する鏡２１ｄ，２１ｆの組のそれぞれにおいて、フィルタ特性が同一である光学フィルタＦｄ１，Ｆｄ２，Ｆｆ１～Ｆｆ３が設けられる場合について例示しているが、これらの一部または全部の組において、フィルタ特性が異なる光学フィルタを設けてもよい。［第１例］及び［第２例］の対比から明らかであるが、［第１例］のように反射面２１１ａが平行かつ対向する鏡２１ａにフィルタ特性が同一の光学フィルタＦａ１を設けた場合は、光学フィルタの適用回数が異なる被写体像を撮像することができる。一方、［第２例］のように反射面２１１ｂが平行かつ対向する鏡２１ｂにフィルタ特性が異なる光学フィルタＦｂ１，Ｆｂ２を設けた場合は、適用された光学フィルタＦｂ１，Ｆｂ２の種類が異なる被写体像を撮像することができる。
　また、［第３例］及び［第５例］では、鏡２１ｃ，２１ｅのそれぞれの反射面２１１ｃ，２１１ｅ上に、フィルタ特性が異なる光学フィルタＦｃ１～Ｆｃ３，Ｆｅ１～Ｆｅ５が設けられる場合について例示しているが、一部または全部の鏡２１ｃ，２１ｅのそれぞれの反射面２１１ｃ，２１１ｅ上に、フィルタ特性が同一の光学フィルタを設けてもよい。また、［第４例］及び［第６例］において、反射面２１１ｄ，２１１ｆが平行かつ対向する鏡２１ｄ，２１ｆの複数の組において、フィルタ特性が同一の光学フィルタを設けてもよい。
　また、［第１例］及び［第２例］では、鏡２１ａ，２１ｂのそれぞれの反射面２１１ａ，２１１ｂが平行かつ対向しているが、平行にならずかつ対向していなくてもよい。この場合でも、鏡２１ａ，２１ｂで反射していない被写体光が結像されてなる１つの被写体像と、鏡２１ａ，２１ｂのそれぞれの反射面２１１ａ，２１１ｂで１回反射した被写体光が結像されてなる２つの被写体像と、を撮像することができる。
＜＜画像処理装置＞＞
　次に、上述の撮像装置１の撮像によって得られた原画像データに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する画像処理装置について説明する。最初に、画像処理装置の構成の一例について図面を参照して説明する。図８は、本発明の実施形態に係る画像処理装置の構成の一例について示す模式図である。
　図８に示すように、画像処理装置５０は、データベース５１と、演算部５２とを備える。データベース５１は、例えばハードディスクや不揮発性の半導体メモリなどのデータを記録可能な記録装置で構成される。演算部５２は、例えばＣＰＵ（Central Processing Unit）などの演算装置と揮発性の半導体メモリなどの記憶装置とで構成される。
　データベース５１は、上述の撮像装置１の撮像によって得られた原画像データの他に、演算部５２が原画像データに基づいて分光画像データを生成するために必要なデータである撮像装置特性データ、被写体像位置データ及び反射履歴データも記録している。
　撮像装置特性データには、撮像部１０及び反射部２０のそれぞれの光学特性のデータが含まれる。例えば、撮像装置特性データには、光源２２が照射する光のスペクトル、光学フィルタＦのフィルタ特性、撮像部１０の分光感度が含まれる。
　被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータが含まれる。反射履歴データには、被写体像のそれぞれが結像されるまでに被写体光が鏡２１で反射された履歴のデータが含まれる。例えば、被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータの他に、当該被写体像のそれぞれの向き（反転状態）のデータが含まれる。また、反射履歴データには、例えば、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムＦ（鏡２１）及びその適用回数（反射回数）のデータが含まれる。したがって、被写体像位置データ及び反射履歴データには、例えば図２（ｂ）～図７（ｂ）に示した内容のデータが含まれていると言える。なお、演算部５２は、反射履歴データに含まれる、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムＦ（鏡２１）及びその適用回数（反射回数）のデータに基づいて、当該被写体像のそれぞれの向き（反転状態）を算出することができるため、被写体像位置データに被写体像の向きのデータが含まれていなくてもよい。
　演算部５２は、データベース５１に記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する。具体的に、演算部５２は、被写体像位置データに基づいて、被写体Ｔの特定部分に相当する原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、反射履歴データ及び撮像装置特性データとに基づいて、分光画像データにおける被写体Ｔの特定部分に相当する画素の画素値を算出する。そして、演算部５２が、分光画像データを構成する複数の画素のそれぞれについてこの演算を実行して画素値を算出することで、分光画像データが生成される。
　ここで、演算部５２による分光画像データの生成方法の具体例について説明する。なお、以下では、説明の具体化のために、反射部２０が、図２（ａ）に示した反射面２１１ａに光学フィルタＦａ１が設けられている平行かつ対向する２枚の鏡２１ａで構成されており、撮像部１０が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３チャネルの光の強度を検出する場合について例示する。また、以下では、被写体Ｔが均一に照明されており、分光反射率が等方的であるものとする。
　まず、鏡２１ａで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における、ｋ番目のチャネルにおける画素値ｙｋは、下記式（１）のように表される。なお、下記式（１）において、λは波長、ｌ（λ）は光源が照射する光のスペクトル、ｓ（λ）は被写体Ｔの分光反射率、ｃｋ（λ）はｋ番目のチャネルの分光感度である。また、Λは波長の範囲であり、例えば、可視光を検出する場合は４００～７００ｎｍ程度の範囲である。
Figure JPOXMLDOC01-appb-M000001
　一方、鏡２１ａで１回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値ｙｋ，１は、下記式（２）のように表される。なお、下記式（２）において、ｆ（λ）は光学フィルタＦａ１のフィルタ特性である。また、少なくともΛの波長の範囲内において、鏡２１ａの分光反射率はフラットであるものとする。
Figure JPOXMLDOC01-appb-M000002
　また、鏡２１ａで２回反射した（反射面２１１ａが平行かつ対向する２枚の鏡２１ａで１回ずつ反射した）被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値は、上記式（２）においてｆ（λ）を２回乗じたものになる。ここで、反射回数をｉとして、これらの関係を一般化すると、鏡２１ａでｉ回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値ｙｋ，ｉは、下記式（３）のように表すことができる。なお、０≦ｉ≦Ｎであり、Ｎは鏡２１ａを用いた場合における反射の最大回数である。また、ｉ＝０の場合（鏡２１ａで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値）は、上記式（１）になる。また、例えば図３に例示したようなフィルタ特性が異なる光学フィルタが適用される場合の画素値は、下記式（３）において複数のフィルタ特性を乗じたものになる。
Figure JPOXMLDOC01-appb-M000003
　上記式（３）において、特定の波長帯域に分光した被写体Ｔの画像のデータである分光画像データを生成するためには、被写体Ｔの分光反射率ｓ（λ）を算出すればよい。このとき、原画像データ中の画素における画素値ｙｋ，ｉは原画像データから得られ、光源２２が照射する光のスペクトルｌ（λ）、光学フィルタＦａ１のフィルタ特性ｆ（λ）、撮像部１０におけるｋ番目のチャネルの分光特性ｃｋ（λ）は撮像装置特性データから得られる。また、反射回数ｉは、反射履歴データから得られる。そのため、上記式（３）に基づいて、被写体Ｔの分光反射率ｓ（λ）を算出して分光画像データを生成することができる。
　以下、上記式（３）に基づいて、被写体Ｔの分光反射率ｓ（λ）を算出する方法について説明する。まず、演算の都合上、上記式（３）を離散表現に変換したものが下記式（４）である。なお、下記式（４）において、ａｋ，ｉ，λは、既知であるｌλ-ｆｉ λｃｋ，λをまとめて表記したものである。また、λｂとλｅは、上記式（３）においてΛで表現していた波長の範囲の最小値及び最大値である。
Figure JPOXMLDOC01-appb-M000004
　ここで、下記式（５）を用いると、上記式（４）は下記式（６）に書き換えられる。なお、下記式（５）におけるｄλは離散表現における波長の粒度であり、波長の分解能Ｎλは（λｅ―λｂ）／ｄλになる。
Figure JPOXMLDOC01-appb-M000005
　そして、最大でＮ回反射した被写体光が結像されて成る複数の被写体像が撮像部１０で撮像される場合であって、当該複数の被写体像の同一部分（被写体Ｔの同一部分）に相当する原画像データ中の複数の画素のそれぞれにおける画素値が３つのチャネルを有している場合、下記式（７）のベクトルで表現した連立方程式が成り立つ。
Figure JPOXMLDOC01-appb-M000006
　そして、上記式（７）において、上述の通り画素値のベクトルｙ及び係数行列Ａは既知であるため、分光反射率ｓは下記式（８）を解くことで得られる。そこで、演算部５２は、下記式（８）を解くことで、分光画像データの画素値である分光反射率ｓを算出する。なお、下記式（８）は、例えば最小二乗法で解くことができる。
Figure JPOXMLDOC01-appb-M000007
　ところで、上記式（８）の問題を最小二乗法で解く場合における演算の安定性は、係数行列Ａの階数に依存し、階数が十分な大きさであれば安定して解が得られる。階数は、下記のアルゴリズム１に対して、係数行列Ａの特異値σｉ（１≦ｉ≦ｍｉｎ（３Ｎ，Ｎλ））を入力して計算される。
Figure JPOXMLDOC01-appb-T000008
  
　数値解析の分野では、問題の条件数は、その問題を安定して解くための重要な要素であることがよく知られており、条件数が低い問題は安定して解が得られる。上記式（８）の問題における条件数は、下記式（９）によって決まる。なお、下記式（９）において、σｍａｘは係数行列Ａの特異値の最大値であり、σｍｉｎは係数行列Ａの特異値の最小値である。また、ここではσｍａｘをσ１、σｍｉｎをσｒａｎｋ（Ａ）とする。
Figure JPOXMLDOC01-appb-M000009
　そして、上述のように、光源２２が照射する光のスペクトルｌλ、光学フィルタＦａ１のフィルタ特性ｆλ、撮像部１０におけるｋ番目のチャネルの分光特性ｃｋ，λが既知であるため、係数行列Ａは事前に評価することができる。したがって、多くのカラーフィルタを有している場合、階数を十分な大きさにするとともに、条件数を最低にする最適なカラーフィルタを、事前に選択することが可能である。
　また、上記式（８）の問題の解を求める計算をより安定させるために、凸最適化技術を利用して最適化すると、好ましい。まず、分光反射率は、物理的に負の値を取り得ず、１を超えることもない。さらに、分光反射率には平滑化制約を用いることができる。これらの制約を用いると、上記式（８）は下記式（１０）に書き換えることができる。なお、下記式（１０）において、αは平滑化項に関する係数である。
Figure JPOXMLDOC01-appb-M000010
　次に、上記式（１０）は、下記式（１１）のように行列形式で表すことができる。なお、Ｄは２次差分行列である。
Figure JPOXMLDOC01-appb-M000011
　そして、上記式（１１）の方程式における目的関数は、下記式（１２）のように二次計画法で表現することができる。
Figure JPOXMLDOC01-appb-M000012
　上記式（１２）の第３項のｙＴｙは定数であるため、上記式（１２）は下記式（１３）に等しいことになる。
Figure JPOXMLDOC01-appb-M000013
　上記式１３の方程式は、二次錐計画法（S. Boyd and L. Vandenberghe, editors, “Convex Optimization”,Cambridge University Press, 2004）を用いて解を求めることができる。そして、当該最適化計画を実施するために、ｐｙｔｈｏｎの最適化ライブラリｃｖｘｏｐｔ（Cvxopt：Python software for convexoptimization, http://cvxopt.org, 2016年11月12日検索）を利用することができる。
　上述の演算によって演算部５２が生成した分光画像データの一例について図面を参照して説明する。図９は、図８に示す演算部が生成する分光画像データと従来のハイパースペクトルカメラの撮像によって得られる画像データとを対比して示した図である。なお、図９（ａ）は演算部５２が生成した分光画像データを示した図であり、図９（ｂ）は従来のハイパースペクトルカメラの撮像の撮像によって得られた画像データを示した図である。なお、図９（ａ）及び図９（ｂ）の被写体は、緑色の葉である。
　図９（ａ）に示す演算部５２が生成した分光画像データも、図９（ｂ）に示すハイパースペクトルカメラの撮像によって得られた画像データも、波長が５５０ｎｍ及びその付近であるときに、葉が撮像されている画素の画素値が大きくなるという共通の結果が得られた。そして、この５５０ｎｍという波長は緑色であり、実際の被写体の色と合致する。したがって、上述した撮像装置１及び画像処理装置５０を用いることで、実際に分光画像データを生成することが可能である。
　以上のように、本発明の実施形態に係る画像処理装置５０では、１回の撮像によって得られた複数の被写体像が撮像されている原画像データに対する画像処理によって、分光画像データを生成することができる。
　なお、上述の実施形態に係る画像処理装置５０では、撮像装置特性データに、光源２２が照射する光のスペクトルｌ（λ）、光学フィルタＦａ１のフィルタ特性ｆ（λ）、撮像部１０におけるｋ番目のチャネルの分光特性ｃｋ（λ）が含まれる場合について例示したが、これ以外の特性値を記録してもよい。
　具体的には、上記式（４）におけるａｋ，ｉ，λを算出して撮像装置特性データに記録することが考えられる。例えば、分光反射率が既知である様々な色が配置されたパネルを撮像装置１によって撮像する（即ち、キャリブレーションを行う）ことで原画像データを得れば、画素値ｙｋ，ｉ及び分光反射率ｓ（λ）が既知であることからａｋ，ｉ，λを算出することが可能である。
　このように、キャリブレーションによってａｋ，ｉ，λを算出すると、例えば、撮像装置１の反射部２０が光源２２を備えていない場合など、被写体Ｔに照射される光のスペクトルｌ（λ）が算出し難い場合であっても、簡単に撮像装置特性データを得ることができる。
　本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した画像のデータを処理する画像処理装置に利用可能である。
　１　　：　撮像装置
　１０　：　撮像部
　１１　：　結像素子
　１２　：　撮像素子
　２０　：　反射部
　２１，２１ａ～２１ｆ　：　鏡
　２１１，２１１ａ～２１１ｆ　：　反射面
　３０　：　光源
　５０　：　画像処理装置
　５１　：　データベース
　５２　：　演算部
　Ｔ　　：　被写体
　Ｆ，Ｆａ１，Ｆｂ１，Ｆｂ２，Ｆｃ１～Ｆｃ３，Ｆｄ１，Ｆｄ２，Ｆｅ１～Ｆｅ５，Ｆｆ１～Ｆｆ３　：　光学フィルタ

 

Claims (10)

  1. 　被写体から到来する被写体光を結像する結像素子と、前記結像素子が結像した被写体像を撮像して原画像データを作成する撮像素子と、を有する撮像部と、
    　前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、
    　前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置。
  2. 　前記反射部が、前記反射面を内側に向けるとともに隣接して配置されるＸ枚（Ｘは３以上の整数）の前記鏡を有し、
    　当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正Ｘ角形であることを特徴とする請求項１に記載の撮像装置。
  3. 　前記反射部が有する前記鏡の枚数が６枚以下であることを特徴とする請求項２に記載の撮像装置。
  4. 　前記反射部が有する前記鏡の枚数が偶数であり、前記反射面が平行かつ対向するように配置されている２枚の前記鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されていることを特徴とする請求項２または３に記載の撮像装置。
  5. 　前記反射部が、前記反射面が平行かつ対向するように配置された２枚の前記鏡を有し、当該鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されていることを特徴とする請求項１に記載の撮像装置。
  6. 　前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が同一であることを特徴とする請求項４または５に記載の撮像装置。
  7. 　前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が異なることを特徴とする請求項４～６のいずれか１項に記載の撮像装置。
  8. 　前記鏡のそれぞれは、前記反射面から前記光軸までの距離が等しくなるように配置されることを特徴とする請求項１～７のいずれか１項に記載の撮像装置。
  9. 　前記反射部が、前記鏡の前記撮像部から遠い方の端部に設けられて前記被写体に対して光を照射する光源を、さらに有することを特徴とする請求項１～８のいずれか１項に記載の撮像装置。
  10. 　請求項１～９のいずれか１項に記載の撮像装置によって作成された前記原画像データと、前記撮像部及び前記反射部のそれぞれの光学特性のデータを含む撮像装置特性データと、複数の前記被写体像のそれぞれが撮像されている画素の前記原画像データ中の位置のデータを含む被写体像位置データと、当該被写体像のそれぞれが結像されるまでに前記被写体光が前記鏡で反射された履歴のデータを含む反射履歴データと、を記録するデータベースと、
    　前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、
    　前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置。

     
PCT/JP2018/011153 2017-03-30 2018-03-20 撮像装置及び画像処理装置 WO2018180808A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019509614A JP7058881B2 (ja) 2017-03-30 2018-03-20 撮像装置及び画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-067131 2017-03-30
JP2017067131 2017-03-30

Publications (1)

Publication Number Publication Date
WO2018180808A1 true WO2018180808A1 (ja) 2018-10-04

Family

ID=63676939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/011153 WO2018180808A1 (ja) 2017-03-30 2018-03-20 撮像装置及び画像処理装置

Country Status (2)

Country Link
JP (1) JP7058881B2 (ja)
WO (1) WO2018180808A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260480A (ja) * 2004-03-10 2005-09-22 Olympus Corp マルチスペクトル画像撮影装置及びアダプタレンズ
JP2010245870A (ja) * 2009-04-07 2010-10-28 Olympus Corp マルチスペクトル撮影用レンズアダプタ装置、マルチスペクトル撮影装置、および画像処理装置
JP2014533355A (ja) * 2011-11-04 2014-12-11 アイメックＩｍｅｃ センサアレイ上に多重隣接画像コピーを投影するためのミラーを備えたスペクトルカメラ
JP2016511980A (ja) * 2013-02-13 2016-04-21 ウニベージティート デス ザ−ルランデスＵｎｉｖｅｒｓｉｔａｅｔ Ｄｅｓ Ｓａａｒｌａｎｄｅｓ プレノプティックイメージング装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260480A (ja) * 2004-03-10 2005-09-22 Olympus Corp マルチスペクトル画像撮影装置及びアダプタレンズ
JP2010245870A (ja) * 2009-04-07 2010-10-28 Olympus Corp マルチスペクトル撮影用レンズアダプタ装置、マルチスペクトル撮影装置、および画像処理装置
JP2014533355A (ja) * 2011-11-04 2014-12-11 アイメックＩｍｅｃ センサアレイ上に多重隣接画像コピーを投影するためのミラーを備えたスペクトルカメラ
JP2016511980A (ja) * 2013-02-13 2016-04-21 ウニベージティート デス ザ−ルランデスＵｎｉｖｅｒｓｉｔａｅｔ Ｄｅｓ Ｓａａｒｌａｎｄｅｓ プレノプティックイメージング装置

Also Published As

Publication number Publication date
JP7058881B2 (ja) 2022-04-25
JPWO2018180808A1 (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
EP3830551B1 (en) A hybrid spectral imager
JP6064290B2 (ja) 撮像装置、分光システム、および分光方法
JP6725526B2 (ja) 分散して空間的符号化画像を作成する画像を伴う撮像素子
US9438793B2 (en) Image forming apparatus, image forming method and image sensor
US9041930B1 (en) Digital pathology system
KR101265432B1 (ko) 촬상 소자 및 이것을 사용하는 촬상 장치
US10101206B2 (en) Spectral imaging method and system
US10212401B2 (en) Image generation device and imaging device
JP2001099711A (ja) テストチャート測色システムおよびカラー出力機器校正システム
KR20170023797A (ko) 촬상 장치 및 방법
JP2008256594A (ja) 分光装置および撮像装置
EP3700197B1 (en) Imaging device and method, and image processing device and method
US20220299369A1 (en) System, Method and Apparatus for Wide Wavelength Range Imaging with Focus and Image Correction
US8675093B2 (en) Image capturing apparatus and image processing method
JP6966934B2 (ja) 画像生成装置及び撮像装置
JP2012060411A (ja) マルチバンド１次元ラインセンサカメラ
WO2018180808A1 (ja) 撮像装置及び画像処理装置
US20190273877A1 (en) Imaging apparatus and imaging method
JP6361857B2 (ja) 画像読取装置および画像読取プログラム
US9110293B2 (en) Prismatic image replication for obtaining color data from a monochrome detector array
JP4344257B2 (ja) 撮影装置及び色分解光学系
JP2010127723A (ja) 形状測定装置
US20220413258A1 (en) Imaging apparatus, information processing method, program, and interchangeable lens
JP2016225689A (ja) 画像読取装置及び画像読取方法
KR101242929B1 (ko) 다파장 구별 촬영 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18775329

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509614

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18775329

Country of ref document: EP

Kind code of ref document: A1