WO2023188513A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2023188513A1
WO2023188513A1 PCT/JP2022/041773 JP2022041773W WO2023188513A1 WO 2023188513 A1 WO2023188513 A1 WO 2023188513A1 JP 2022041773 W JP2022041773 W JP 2022041773W WO 2023188513 A1 WO2023188513 A1 WO 2023188513A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
channel
spectral
color
images
Prior art date
Application number
PCT/JP2022/041773
Other languages
English (en)
French (fr)
Inventor
慶延 岸根
和佳 岡田
睦 川中子
高志 椚瀬
友也 平川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023188513A1 publication Critical patent/WO2023188513A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals

Definitions

  • the technology of the present disclosure relates to an information processing device, an information processing method, and a program.
  • the International Publication No. 2019/151029 pamphlet includes a white light source section that irradiates an object with white light, an imaging section that takes a multispectral image of the object, and a multispectral image of the object irradiated with white light.
  • an imaging device includes an object identification unit that identifies a wavelength of light optimal for analyzing the object as an effective wavelength, and a variable wavelength light source that irradiates the object with light of the effective wavelength.
  • JP2018-098341A discloses a first pixel including a metal thin film filter that transmits light in a first frequency band, and a first pixel that transmits light in a second frequency band that is wider than the first frequency band.
  • An image sensor is disclosed that includes a second pixel that includes a color filter.
  • JP 2021-135404A discloses a lens device including an optical system, an optical member, an irradiation device, and a control section.
  • the optical system includes a lens that forms an optical image of a subject.
  • the optical member is an optical member disposed at or near the pupil position of the optical system, and includes a frame body having a plurality of aperture regions, and a plurality of optical filters disposed in the plurality of aperture regions, A plurality of optical filters including two or more optical filters that transmit light in at least some different wavelength bands, and a plurality of polarization filters arranged in a plurality of aperture areas, the plurality of polarization filters having different polarization directions. and has.
  • the irradiation device irradiates the subject with illumination light.
  • the control unit controls at least one of the optical system, the optical member, and the irradiation device.
  • the control unit changes spectral characteristics of light emitted from the optical system for the plurality of aperture regions.
  • Japanese Unexamined Patent Publication No. 2010-025750 discloses an image processing device that processes a multiband image captured using a plurality of bandpass filters.
  • the image processing device includes a sub-light source specifying means for specifying a sub-light source different from the main light source, a spectral estimation means for obtaining a spectral image from a multiband image, and a spectral estimation means for specifying a sub-light source specified by the sub-light source specifying means.
  • the apparatus further includes an image separating means for separating the spectral image obtained by the spectral estimating means into an image under a main light source and an image under a sub-light source based on the spectral estimation means.
  • One embodiment according to the technology of the present disclosure compared to a case where a channel image is generated based on an operation that only includes addition for a first spectral image among a plurality of different spectral images.
  • An information processing device, an information processing method, and a program are provided that can realize color adjustment with a high degree of freedom in pseudo-coloring a plurality of spectral images.
  • a first aspect of the technology of the present disclosure includes a processor, and the processor generates a channel image for each channel by performing assignment processing for assigning a plurality of different spectral images to different channels.
  • An information processing device that generates a first pseudo-color image based on a channel image, and the allocation process includes a process that generates a channel image based on an operation including subtraction on a first spectral image of a plurality of spectral images. It is.
  • a second aspect of the technology of the present disclosure is that in the information processing apparatus according to the first aspect, the calculation is a product-sum calculation including the first spectral image, and the subtraction is a product-sum calculation including the first spectral image in the product-sum calculation.
  • This is an information processing device realized by including negative values in coefficients.
  • a third aspect of the technology of the present disclosure is that in the information processing device according to the second aspect, the coefficient is such that the range of the first pseudo-color image falls within the expression range of the display medium that displays the first pseudo-color image.
  • This is an information processing device that is set to a value.
  • a fourth aspect of the technology of the present disclosure is the information processing apparatus according to any one of the first to third aspects, in which the plurality of spectral images include polarization information and/or first wavelength information.
  • the information processing device includes a plurality of spectral images, and the number of the plurality of spectral images is greater than or equal to the number of channels.
  • a fifth aspect of the technology of the present disclosure is the information processing device according to any one of the first to fourth aspects, in which the plurality of spectral images are captured by an image sensor having a polarizer.
  • the processor performs alignment processing on the first spectral image, and the information processing device performs subtraction on the first spectral image that has undergone the alignment processing.
  • a sixth aspect of the technology of the present disclosure is that in the information processing apparatus according to any one of the first to fifth aspects, the first pseudo-color image is processed by a second pseudo-color image whose calculation includes only addition.
  • the information processing apparatus is an image in which second wavelength information has enhanced discrimination with respect to a pseudo-color image.
  • the processor in the information processing apparatus according to any one of the first to sixth aspects, the processor generates a plurality of images generated based on the plurality of spectral images.
  • This is an information processing device that divides each area into areas and performs calculations based on color information set for a plurality of areas.
  • An eighth aspect according to the technology of the present disclosure is an information processing apparatus according to any one of the first to seventh aspects, in which the different channels are channels of three primary colors.
  • a ninth aspect of the technology of the present disclosure is the information processing device according to any one of the first to eighth aspects, wherein the processor causes the display device to display the first pseudo-color image.
  • This is an information processing device that outputs data for.
  • a tenth aspect of the technology of the present disclosure is to generate a channel image for each channel by performing an assignment process for assigning a plurality of different spectral images to different channels, and to generate a channel image for each channel based on the plurality of channel images.
  • generating a first pseudo-color image using a plurality of spectral images, and the allocation process includes a process of generating a channel image based on an operation including subtraction on the first spectral image of the plurality of spectral images. It is.
  • An eleventh aspect of the technology of the present disclosure is a program for causing a computer to execute specific processing, and the specific processing includes assigning a plurality of different spectral images to different channels.
  • the allocation process includes: generating a channel image for each channel; and generating a first pseudocolor image based on the plurality of channel images;
  • This program includes processing for generating channel images based on operations including subtraction.
  • FIG. 1 is a block diagram illustrating an example of the hardware configuration of an imaging device according to an embodiment.
  • FIG. 1 is an exploded perspective view showing an example of a photoelectric conversion element according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration for realizing image display processing according to the embodiment.
  • FIG. 3 is a block diagram illustrating an example of the operation of an output value acquisition section and an interference removal processing section according to the embodiment.
  • FIG. 3 is a block diagram illustrating an example of the operation of the alignment processing section according to the embodiment.
  • FIG. 2 is a block diagram illustrating an example of the operation of an initial image generation unit according to the embodiment.
  • FIG. 2 is a block diagram illustrating an example of the operation of an initial image output unit according to the embodiment.
  • FIG. 1 is a block diagram illustrating an example of the hardware configuration of an imaging device according to an embodiment.
  • FIG. 1 is an exploded perspective view showing an example of a photoelectric conversion element according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of the operation of a region setting determination section and a region setting section according to the embodiment.
  • FIG. 2 is a block diagram illustrating an example of the operation of a color setting determination section and a gain setting section according to the embodiment.
  • FIG. 2 is a block diagram illustrating an example of the operation of a pseudo color image generation unit according to the embodiment.
  • FIG. 2 is a block diagram showing an example of the operation of a pseudo color image output unit and a first example of a pseudo color image according to the embodiment.
  • FIG. 7 is a block diagram showing an example of the operation of the pseudo color image output unit and a second example of the pseudo color image according to the embodiment.
  • FIG. 7 is a block diagram showing an example of the operation of the pseudo color image output unit and a third example of the pseudo color image according to the embodiment.
  • FIG. 7 is a block diagram showing an example of the operation of the pseudo color image output unit and a fourth example of the pseudo color image according to the embodiment.
  • 3 is a flowchart illustrating an example of the flow of image display processing according to the embodiment.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor.”
  • CCD is an abbreviation for “Charge Coupled Device”.
  • NVM is an abbreviation for “Non-Volatile Memory.”
  • RAM is an abbreviation for "Random Access Memory.”
  • CPU is an abbreviation for "Central Processing Unit.”
  • GPU is an abbreviation for “Graphics Processing Unit.”
  • EEPROM is an abbreviation for "Electrically Erasable and Programmable Read Only Memory.”
  • HDD is an abbreviation for "Hard Disk Drive.”
  • LiDAR is an abbreviation for “Light Detection and Ranging.”
  • TPU is an abbreviation for “Tensor processing unit”.
  • SSD is an abbreviation for “Solid State Drive.”
  • USB is an abbreviation for “Universal Serial Bus.”
  • ASIC is an abbreviation for “Application Specific Integrated Circuit.”
  • FPGA is an abbreviation for “Field-Programmable Gate Array.”
  • IC is an abbreviation for "Integrated Circuit.”
  • a straight line refers to not only a perfect straight line but also an error that is generally allowed in the technical field to which the technology of the present disclosure belongs, and that does not go against the spirit of the technology of the present disclosure. It refers to a straight line that includes the error of.
  • the imaging device 10 is a multispectral camera capable of outputting a pseudo-color multispectral image, and includes an optical system 12, an image sensor 14, a control driver 16, an input/output I/F 18, It includes a computer 20, a reception device 22, and a display 24.
  • the imaging device is an example of an "information processing device" according to the technology of the present disclosure.
  • the optical system 12 includes a first lens 26, a pupil splitting filter 28, and a second lens 30.
  • the first lens 26, the pupil splitting filter 28, and the second lens 30 are arranged along the optical axis OA of the imaging device 10 from the subject 4 side to the image sensor 14 side.
  • the lenses 30 are arranged in this order.
  • the first lens 26 transmits light obtained by the light emitted from the light source 2 reflecting off the subject 4 (hereinafter referred to as "subject light") to the pupil division filter 28.
  • the second lens 30 forms an image of the subject light that has passed through the pupil splitting filter 28 onto a light receiving surface 48A of a photoelectric conversion element 48 provided in the image sensor 14.
  • the pupil splitting filter 28 has a spectral filter 40 and a polarizing filter 42.
  • the spectral filter 40 has filters 44A to 44H
  • the polarizing filter 42 has polarizers 46A to 46H.
  • the filters 44A to 44H are shown arranged in a straight line along the direction perpendicular to the optical axis OA, but the filters 44A to 44H are arranged in the direction around the optical axis OA. arranged along the
  • Filter 44A has a first transmission wavelength band ⁇ 1
  • filter 44B has a second transmission wavelength band ⁇ 2
  • filter 44C has a third transmission wavelength band ⁇ 3
  • filter 44D has a first transmission wavelength band ⁇ 3 . It has four transmission wavelength bands ⁇ 4 .
  • the filter 44E has a fifth transmission wavelength band ⁇ 5
  • the filter 44F has a sixth transmission wavelength band ⁇ 6
  • the filter 44G has a seventh transmission wavelength band ⁇ 7
  • the filter 44H has a fifth transmission wavelength band ⁇ 5.
  • the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 are mutually different wavelength bands.
  • the first transmission wavelength band ⁇ 1 is set to 435 nm
  • the second transmission wavelength band ⁇ 2 is set to 495 nm
  • the third transmission wavelength band ⁇ 3 is set to 555 nm.
  • the fourth transmission wavelength band ⁇ 4 is set to 615 nm.
  • the fifth transmission wavelength band ⁇ 5 is set to 675 nm
  • the sixth transmission wavelength band ⁇ 6 is set to 735 nm
  • the seventh transmission wavelength band ⁇ 7 is set to 795 nm
  • the eighth transmission wavelength band ⁇ 8 is set to 855 nm.
  • each wavelength band illustrated here is just an example, and the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 may be set to any wavelength band, and may be set to different wavelengths. Preferably, it is a band.
  • the filters 44A to 44H will be referred to as "filters 44".
  • the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 may be referred to as the “transmission wavelength band ⁇ 8 ” . ”.
  • the polarizers 46A to 46H are overlapped with the filters 44A to 44H, respectively.
  • the polarizer 46A is a polarizer whose transmission axis is set at an angle of 0°
  • the polarizer 46B is a polarizer whose transmission axis is set at an angle of 20°
  • the polarizer 46C is a polarizer whose transmission axis is set at an angle of 20°.
  • the polarizer 46D is a polarizer with an angle of 40°
  • the polarizer 46D is a polarizer with a transmission axis set at an angle of 60°.
  • the polarizer 46E is a polarizer with a transmission axis set at an angle of 80°
  • the polarizer 46F is a polarizer with a transmission axis set at an angle of 100°
  • the polarizer 46G is a polarizer with a transmission axis set at an angle of 100°
  • the polarizer 46H is a polarizer whose axis angle is set to 120°
  • the polarizer 46H is a polarizer whose transmission axis angle is set to 140°.
  • the polarizers 46A to 46H will be referred to as "polarizers 46", respectively.
  • the number of filters 44 is eight, but the number of filters 44 may be any number as long as it is equal to or greater than the number of channels (see FIGS. 6 and 10) to be described later.
  • the number of polarizers 46 is eight, but the number of polarizers 46 may be any number as long as it is the same as the number of filters 44.
  • the image sensor 14 includes a photoelectric conversion element 48 and a signal processing circuit 50.
  • the image sensor 14 is, for example, a CMOS image sensor.
  • a CMOS image sensor is exemplified as the image sensor 14, but the technology of the present disclosure is not limited to this.
  • the image sensor 14 may be another type of image sensor such as a CCD image sensor. The technology of the present disclosure is realized.
  • FIG. 1 shows a schematic configuration of the photoelectric conversion element 48.
  • FIG. 2 specifically shows the configuration of a part of the photoelectric conversion element 48.
  • the photoelectric conversion element 48 has a pixel layer 52, a polarizing filter layer 54, and a spectral filter layer 56.
  • the pixel layer 52 has a plurality of pixels 58.
  • the plurality of pixels 58 are arranged in a matrix and form a light receiving surface 48A of the photoelectric conversion element 48.
  • Each pixel 58 is a physical pixel having a photodiode (not shown), photoelectrically converts the received light, and outputs an electric signal according to the amount of received light.
  • pixels 58 provided in the photoelectric conversion element 48 will be referred to as “physical pixels 58" in order to distinguish them from pixels forming a multispectral image. Furthermore, pixels forming an image displayed on the display 24 are referred to as “image pixels.”
  • the photoelectric conversion element 48 outputs the electrical signals output from the plurality of physical pixels 58 to the signal processing circuit 50 as image data 120.
  • the signal processing circuit 50 digitizes the analog imaging data 120 input from the photoelectric conversion element 48.
  • a plurality of physical pixels 58 form a plurality of pixel blocks 60.
  • Each pixel block 60 is formed by a total of four physical pixels 58, two in the vertical direction and two in the horizontal direction.
  • four physical pixels 58 forming each pixel block 60 are shown arranged in a straight line along a direction perpendicular to the optical axis OA, but as an example, Thus, the four physical pixels 58 are arranged adjacent to the photoelectric conversion element 48 in the vertical and horizontal directions, respectively.
  • the polarizing filter layer 54 has polarizers 62A to 62D.
  • the polarizer 62A is a polarizer whose transmission axis has an angle of 0°.
  • the polarizer 62B is a polarizer whose transmission axis is set at an angle of 45°.
  • the polarizer 62C is a polarizer whose transmission axis has an angle of 90°.
  • the polarizer 62D is a polarizer whose transmission axis has an angle of 135°.
  • polarizers 62 will be referred to as "polarizers 62.”
  • the spectral filter layer 56 includes a B filter 64A, a G filter 64B, and an R filter 64C.
  • the B filter 64A is a blue band filter that transmits most of the light in the blue wavelength band among the plurality of wavelength bands.
  • the G filter 64B is a green band filter that transmits the most light in the green wavelength band among the plurality of wavelength bands.
  • the R filter 64C is a red band filter that transmits most of the light in the red wavelength band among the plurality of wavelength bands.
  • a B filter 64A, a G filter 64B, and an R filter 64C are assigned to each pixel block 60.
  • the B filter 64A, the G filter 64B, and the R filter 64C are shown arranged in a straight line along the direction perpendicular to the optical axis OA, but as an example, as shown in FIG.
  • the B filter 64A, the G filter 64B, and the R filter 64C are arranged in a matrix in a predetermined pattern arrangement.
  • the B filter 64A, the G filter 64B, and the R filter 64C are arranged in a matrix in a Bayer arrangement, as an example of a predetermined pattern arrangement.
  • the predetermined pattern arrangement may be an RGB stripe arrangement, an R/G checkered arrangement, an X-Trans (registered trademark) arrangement, a honeycomb arrangement, or the like other than the Bayer arrangement.
  • filters 64 the B filter 64A, G filter 64B, and R filter 64C
  • the B filter 64A, the G filter 64B, and the R filter 64C will be referred to as "filters 64", respectively.
  • a signal processing circuit 50, a control driver 16, a computer 20, a reception device 22, and a display 24 are connected to the input/output I/F 18.
  • the computer 20 has a processor 70, an NVM 72, and a RAM 74.
  • the processor 70 is an example of a "processor" according to the technology of the present disclosure.
  • the processor 70 controls the entire imaging device 10 .
  • the processor 70 is, for example, an arithmetic processing device including a CPU and a GPU, and the GPU operates under the control of the CPU and is responsible for executing processing related to images.
  • an arithmetic processing unit including a CPU and a GPU is cited as an example of the processor 70, but this is just an example, and the processor 70 may be one or more CPUs with integrated GPU functions. , one or more CPUs without integrated GPU functionality.
  • the processor 70, NVM 72, and RAM 74 are connected via a bus 76, and the bus 76 is connected to the input/output I/F 18.
  • the NVM 72 is a non-temporary storage medium and stores various parameters and programs.
  • NVM 72 is a flash memory (eg, EEPROM).
  • EEPROM electrically erasable programmable read-only memory
  • the RAM 74 temporarily stores various information and is used as a work memory.
  • the processor 70 reads a necessary program from the NVM 72 and executes the read program in the RAM 74.
  • the processor 70 controls the control driver 16 and the signal processing circuit 50 according to a program executed in the RAM 74.
  • the control driver 16 controls the photoelectric conversion element 48 under the control of the processor 70 .
  • the receiving device 22 includes, for example, a release button, a touch panel, hard keys (all not shown), and receives instructions from a user or the like.
  • the display 24 is, for example, a liquid crystal display and displays various images.
  • an image display program 80 is stored in the NVM 72.
  • the image display program 80 is an example of a "program" according to the technology of the present disclosure.
  • the processor 70 reads the image display program 80 from the NVM 72 and executes the read image display program 80 on the RAM 74.
  • the processor 70 executes image display processing on the captured image data 120 according to an image display program 80 executed on the RAM 74 .
  • the image display process is an example of "specific processing" according to the technology of the present disclosure.
  • Image display processing is performed by the processor 70 in accordance with the image display program 80, including an output value acquisition section 82, an interference removal processing section 84, an alignment processing section 86, an initial image generation section 88, an initial image output section 90, an area setting determination section 92, This is realized by operating as a region setting section 94, a color setting determination section 96, a gain setting section 98, a pseudo color image generation section 100, and a pseudo color image output section 102.
  • the image display process is started every time image data 120 is input from the image sensor 14 to the processor 70.
  • the output value acquisition unit 82 acquires the output value Y of each physical pixel 58 based on the imaging data 120 input from the image sensor 14 to the processor 70.
  • the output value Y of each physical pixel 58 corresponds to the brightness value of each pixel included in the captured image 122 indicated by the captured image data 120.
  • the output value Y of each physical pixel 58 is a value that includes interference (that is, crosstalk). That is, since light in each of the transmission wavelength bands ⁇ of the first transmission wavelength band ⁇ 1 , the second transmission wavelength band ⁇ 2 , and the third transmission wavelength band ⁇ 3 is incident on each physical pixel 58, the output value Y is , a value corresponding to the light amount of the first transmission wavelength band ⁇ 1 , a value corresponding to the light amount of the second transmission wavelength band ⁇ 2 , and a value corresponding to the light amount of the third transmission wavelength band ⁇ 3 are mixed values.
  • the processor 70 separates and extracts a value corresponding to each transmission wavelength band ⁇ from the output value Y for each physical pixel 58, that is, a process to remove interference. It is necessary to perform interference removal processing on the output value Y. Therefore, in this embodiment, the interference removal processing unit 84 performs interference removal processing on the output value Y of each physical pixel 58 acquired by the output value acquisition unit 82.
  • the output value Y of each physical pixel 58 includes red, green, and blue brightness values as components of the output value Y.
  • the output value Y of each physical pixel 58 is expressed by equation (1).
  • YR is the red luminance value of the output value Y
  • YG is the green luminance value of the output value Y
  • YB is the blue luminance value of the output value Y. It is.
  • the first spectral image 124A to the eighth spectral image 124H are images generated by performing interference removal processing on the captured image.
  • the pixel value X of each image pixel included in the first spectral image 124A to the eighth spectral image 124H before pseudo-coloring, which will be described later, is the value of each light in the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8
  • the luminance value of the pixel value X is included as a component of the pixel value X.
  • the pixel value X of each image pixel is expressed by equation (2).
  • the brightness value X ⁇ 1 is the brightness value of light in the first transmission wavelength band ⁇ 1 of the pixel value X
  • the brightness value X ⁇ 2 is the brightness value of light in the second transmission wavelength band ⁇ 2 of the pixel value X
  • the brightness value X ⁇ 3 is the brightness value of light in the third transmission wavelength band ⁇ 3 of the pixel value X
  • the brightness value X ⁇ 4 is the brightness value of the light in the fourth transmission wavelength band ⁇ 3 of the pixel value This is the brightness value of light at ⁇ 4 .
  • the brightness value X ⁇ 5 is the brightness value of light in the fifth transmission wavelength band ⁇ 5 of the pixel value X
  • the brightness value X ⁇ 6 is the brightness value of light in the sixth transmission wavelength band ⁇ 6 of the pixel value X
  • the brightness value X ⁇ 7 is the brightness value of light in the seventh transmission wavelength band ⁇ 7 of the pixel value X
  • the brightness value X ⁇ 8 is the brightness value of light in the seventh transmission wavelength band ⁇ 7 of the pixel value This is the brightness value of light at ⁇ 8 .
  • the brightness values X ⁇ 1 to X ⁇ 8 will be referred to as "brightness values X ⁇ ".
  • the interference matrix A is defined based on the spectrum of the subject light, the spectral transmittance of the first lens 26, the spectral transmittance of the second lens 30, the spectral transmittance of the plurality of filters 44, and the spectral sensitivity of the image sensor 14. It's a queue.
  • the interference removal matrix A + also includes the spectrum of the subject light, the spectral transmittance of the first lens 26, the spectral transmittance of the second lens 30, the spectral transmittance of the plurality of filters 44, and the image sensor 14. is a matrix defined based on the spectral sensitivity of .
  • the interference cancellation matrix A + is set by a user or the like and stored in the NVM 72 in advance.
  • the interference removal processing unit 84 acquires the interference cancellation matrix A + stored in the NVM 72 and the output value Y of each physical pixel 58 acquired by the output value acquisition unit 82 . Then, the interference removal processing unit 84 calculates and outputs the pixel value X of each image pixel based on the acquired interference removal matrix A + and the output value Y of each physical pixel 58 using equation (4).
  • the pixel value X of each image pixel includes the luminance value of each light in the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 as a component of the pixel value X.
  • the first spectral image 124A of the captured images 122 is an image corresponding to the luminance value X ⁇ 1 of light in the first transmission wavelength band ⁇ 1 (that is, an image based on the luminance value X ⁇ 1 ).
  • the second spectral image 124B of the captured image 122 is an image corresponding to the luminance value X ⁇ 2 of light in the second transmission wavelength band ⁇ 2 (that is, an image based on the luminance value X ⁇ 2 ).
  • the third spectral image 124C of the captured image 122 is an image corresponding to the luminance value X ⁇ 3 of light in the third transmission wavelength band ⁇ 3 (that is, an image based on the luminance value X ⁇ 3 ).
  • the fourth spectral image 124D of the captured image 122 is an image corresponding to the luminance value X ⁇ 4 of light in the fourth transmission wavelength band ⁇ 4 (that is, an image based on the luminance value X ⁇ 4 ).
  • the fifth spectral image 124E of the captured image 122 is an image corresponding to the luminance value X ⁇ 5 of light in the fifth transmission wavelength band ⁇ 5 (that is, an image based on the luminance value X ⁇ 5 ).
  • the sixth spectral image 124F of the captured images 122 is an image corresponding to the luminance value X ⁇ 6 of light in the sixth transmission wavelength band ⁇ 6 (that is, an image based on the luminance value X ⁇ 6 ).
  • the seventh spectral image 124G of the captured image 122 is an image corresponding to the brightness value X ⁇ 7 of light in the seventh transmission wavelength band ⁇ 7 (that is, an image based on the brightness value X ⁇ 7 ).
  • the eighth spectral image 124H of the captured image 122 is an image corresponding to the luminance value X ⁇ 8 of light in the eighth transmission wavelength band ⁇ 8 (that is, an image based on the luminance value X ⁇ 8 ).
  • the first spectral image 124A to the eighth spectral image 124H will be referred to as "spectral image 124.”
  • the captured image 122 corresponds to the brightness value X ⁇ of each light in the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 . It is separated into a plurality of spectral images 124. That is, the captured image 122 is separated into spectral images 124 for each transmission wavelength band ⁇ of the plurality of filters 44.
  • the plurality of spectral images 124 are images obtained by being captured by the image sensor 14 having a polarizer 46 and a filter 44, and include polarization information corresponding to the polarizer 46 and wavelength information corresponding to the filter 44. include.
  • the number of spectral images 124 is greater than or equal to the number of channels (see FIGS. 6 and 10), which will be described later.
  • the plurality of spectral images 124 are examples of "a plurality of different spectral images” and a “first spectral image” according to the technology of the present disclosure.
  • the wavelength information is an example of "first wavelength information” according to the technology of the present disclosure.
  • the alignment processing unit 86 performs alignment processing on the plurality of spectral images 124.
  • the alignment process includes, for example, a process of correcting optical distortion and/or a process of geometrically correcting distortion in imaging.
  • the process for correcting optical distortion include processes such as distortion correction (for example, correction of barrel aberration or pincushion aberration).
  • geometrically correcting processing for correcting distortion in photographing include processing such as trapezoidal correction (that is, projective transformation, affine transformation, etc.).
  • the initial image generation unit 88 performs allocation processing to allocate the R channel, G channel, and B channel to a plurality of different spectral images 124. and for each B channel, an R channel image 126A, a G channel image 126B, and a B channel image 126C are generated. The initial image generation unit 88 then generates the initial image 128 by combining the generated R channel image 126A, G channel image 126B, and B channel image 126C.
  • the initial image generation unit 88 performs arithmetic processing on the plurality of spectral images 124.
  • the calculation is a product-sum calculation including a plurality of spectral images 124. That is, as shown in equation (5), the image pixel component X R assigned to the R channel of each image pixel included in the plurality of spectral images 124 is the first gain G R1 set for the R channel. It is calculated by the sum of the products of the ⁇ 8th gain G R8 and the luminance values X ⁇ 1 to X ⁇ 8 of the transmission wavelength bands ⁇ 1 to ⁇ 8 .
  • the first gain G R1 to the eighth gain G R8 are gains corresponding to the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 , respectively.
  • the image pixel component X G assigned to the G channel among the image pixels included in the plurality of spectral images 124 is the first gain G set for the G channel. It is calculated by the sum of the products of the G1 to eighth gains GG8 and the luminance values X ⁇ 1 to X ⁇ 8 of the transmission wavelength bands ⁇ 1 to ⁇ 8 .
  • the first gain G G1 to the eighth gain G G8 are gains corresponding to the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 , respectively.
  • the image pixel component X B assigned to the B channel among the image pixels included in the plurality of spectral images 124 is the first gain G B1 set for the B channel. It is calculated by the sum of the products of the ⁇ 8th gain G B8 and the luminance values X ⁇ 1 to X ⁇ 8 of the transmission wavelength bands ⁇ 1 to ⁇ 8 .
  • the first gain G B1 to the eighth gain G B8 are gains corresponding to the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 , respectively.
  • the plurality of spectral images 124 are divided into R channel, G channel, and B channel. assigned to.
  • Table 1 shows the first gain G R1 to the eighth gain G R8 set for the R channel and the first gain G G1 to the eighth gain G R8 set for the G channel in the allocation process by the initial image generation unit 88. 8 gains G G8 and an example of the first gain G B1 to the eighth gain G B8 set for the B channel are shown. The gains shown in Table 1 are for the initial image 128.
  • the fifth gain G R5 corresponding to the fifth transmission wavelength band ⁇ 5, which is the red transmission wavelength band is set to “1”
  • the fifth gain G R5 corresponding to the fifth transmission wavelength band ⁇ 5 which is the red transmission wavelength band
  • an R channel image 126A including only the brightness value X ⁇ 5 of red light is obtained from the plurality of spectral images 124.
  • the third gain G G3 corresponding to the third transmission wavelength band ⁇ 3 which is the green transmission wavelength band is set to "1”
  • the third gain G G3 corresponding to the third transmission wavelength band ⁇ 3 which is the green transmission wavelength band is set to "1”
  • a G channel image 126B including only the brightness value X ⁇ 3 of green light is obtained from the plurality of spectral images 124.
  • the first gain G B1 corresponding to the first transmission wavelength band ⁇ 1 which is the transmission wavelength band of blue, is set to "1", and corresponds to the transmission wavelength band other than the first transmission wavelength band ⁇ 1.
  • the remaining gain By setting the remaining gain to "0", a B channel image 126C including only the brightness value X ⁇ 1 of blue light is obtained from the plurality of spectral images 124.
  • the initial image 128 generated by combining the R channel image 126A, G channel image 126B, and B channel image 126C obtained in this way is a normal RGB image that is not pseudo-colored.
  • the initial image 128 is an example of "an image generated based on a plurality of spectral images" according to the technology of the present disclosure.
  • the R channel, G channel, and B channel will be referred to as "channels".
  • the R channel image 126A, G channel image 126B, and B channel image 126C are respectively referred to as "channel images 126.” to be called.
  • the initial image output section 90 outputs initial image data indicating the initial image 128 generated by the initial image generation section 88 to the display 24.
  • Display 24 displays initial image 128 based on the initial image data.
  • an initial image 128 showing a person's left hand 140, a first object 144, a second object 146, and a background 148 is displayed on the display 24.
  • Hand 140 includes blood vessels 142 .
  • the processor 70 changes the operation mode of the imaging device 10 so that the user or the like can divide the initial image 128 into a plurality of regions 132 through the reception device 22.
  • the user or the like gives an area division instruction to the reception device 22 to divide the initial image 128 into a plurality of areas 132.
  • the area division instruction is given to, for example, a touch panel included in the reception device 22.
  • the receiving device 22 When receiving the area partitioning instruction, the receiving device 22 outputs area partitioning instruction data indicating the area partitioning instruction to the processor 70.
  • the area setting determination unit 92 determines whether or not area division instruction data has been input to the processor 70.
  • the area setting unit 94 divides the initial image 128 into a plurality of areas 132 according to the area division instruction data.
  • the process of dividing the initial image 128 into a plurality of regions 132 includes, for example, a process of detecting the boundaries of images included in the plurality of spectral images 124, and/or a process of dividing the plurality of regions 132 based on pre-stored spectral characteristics.
  • Various types of processing such as segmentation processing are used.
  • the area division instructions include a first area instruction, a second area instruction, a third area instruction, a fourth area instruction, and a fifth area instruction.
  • the first region instruction is an instruction to specify the region 132 (hereinafter also referred to as "first region 132A”) corresponding to a portion of the hand 140 other than the blood vessel 142.
  • the second region instruction is an instruction to specify the region 132 (hereinafter also referred to as "second region 132B”) corresponding to the blood vessel 142 in the hand 140.
  • the third area instruction is an instruction to specify the area 132 (hereinafter also referred to as "third area 132C”) corresponding to the first object 144.
  • the fourth area instruction is an instruction to specify the area 132 (hereinafter also referred to as "fourth area 132D”) corresponding to the second object 146.
  • the fifth area instruction is an instruction to specify the area 132 (hereinafter also referred to as "fifth area 132E”) corresponding to the background 148.
  • the initial image 128 is divided into a plurality of regions 132 in response to the first region designation, the second region designation, the third region designation, the fourth region designation, and the fifth region designation. It is separated. Specifically, the initial image 128 is divided into a first area 132A, a second area 132B, a third area 132C, a fourth area 132D, and a fifth area 132E. The first region 132A, the second region 132B, the third region 132C, the fourth region 132D, and the fifth region 132E can be classified because they reflect light in different wavelength bands.
  • the multiple areas 132 are an example of "multiple areas" according to the technology of the present disclosure.
  • the processor 70 controls the operation mode of the imaging device 10 so that the user or the like can select a color for each region 132 through the reception device 22.
  • a color palette 134 from which a plurality of colors can be selected is displayed on the display 24.
  • the color setting instruction includes an area specifying instruction that specifies the area 132 to set a color among the plurality of areas 132, and a color specifying instruction that specifies the color to be set for the area 132 corresponding to the area specifying instruction.
  • the color setting instruction is given to, for example, a touch panel (not shown) included in the reception device 22.
  • the receiving device 22 When receiving a color setting instruction, the receiving device 22 outputs color setting instruction data indicating the color setting instruction to the processor 70.
  • the color setting instruction data includes area information corresponding to the area specifying instruction and color information corresponding to the color specifying instruction. Color information is an example of "color information" according to the technology of the present disclosure.
  • the color setting determination unit 96 determines whether color setting instruction data has been input to the processor 70.
  • the gain setting unit 98 determines whether the area 132 specified by the area specifying instruction is specified by the color specifying instruction according to the color setting instruction data.
  • the gain G is set for the plurality of spectral images 124 so that the colors are set to the same color.
  • y R1 is the red luminance value of the first region 132A
  • y R2 is the red luminance value of the second region 132B
  • y R3 is the red luminance value of the third region 132C
  • yR4 is the red luminance value of the fourth region 132D
  • yR5 is the red luminance value of the fifth region 132E.
  • y G1 is the green luminance value of the first region 132A
  • y G2 is the green luminance value of the second region 132B
  • y G3 is the green luminance value of the third region 132C
  • y G4 is the green luminance value of the fourth region 132D
  • yG5 is the green luminance value of the fifth region 132E.
  • y B1 is the blue luminance value of the first region 132A
  • y B2 is the blue luminance value of the second region 132B
  • y B3 is the blue luminance value of the third region 132C
  • y B4 is the blue luminance value of the fourth region 132D
  • yB5 is the blue luminance value of the fifth region 132E.
  • the average brightness value x of each region 132 is expressed by equation (9).
  • x ⁇ 1-1 is the average brightness value of light in the first transmission wavelength band ⁇ 1 in the image pixels included in the first region 132A.
  • x ⁇ 1-2 is the average brightness value of light in the first transmission wavelength band ⁇ 1 in the image pixels included in the second region 132B.
  • x ⁇ 1-3 is the average brightness value of light in the first transmission wavelength band ⁇ 1 in the image pixels included in the third region 132C.
  • x ⁇ 1-4 is the average brightness value of light in the first transmission wavelength band ⁇ 1 in the image pixels included in the fourth region 132D.
  • x ⁇ 1-5 is the average brightness value of light in the first transmission wavelength band ⁇ 1 in the image pixel included in the fifth region 132E.
  • x ⁇ 2-1 is the average brightness value of light in the second transmission wavelength band ⁇ 2 in the image pixels included in the first region 132A.
  • x ⁇ 2-2 is the average brightness value of light in the second transmission wavelength band ⁇ 2 in the image pixels included in the second region 132B.
  • x ⁇ 2-3 is the average brightness value of light in the second transmission wavelength band ⁇ 2 in the image pixel included in the third region 132C.
  • x ⁇ 2-4 is the average brightness value of light in the second transmission wavelength band ⁇ 2 in the image pixels included in the fourth region 132D.
  • x ⁇ 2-5 is the average brightness value of light in the second transmission wavelength band ⁇ 2 in the image pixels included in the fifth region 132E.
  • x ⁇ 3-1 is the average brightness value of light in the third transmission wavelength band ⁇ 3 in the image pixels included in the first region 132A.
  • x ⁇ 3-2 is the average brightness value of light in the third transmission wavelength band ⁇ 3 in the image pixel included in the second region 132B.
  • x ⁇ 3-3 is the average brightness value of light in the third transmission wavelength band ⁇ 3 in the image pixels included in the third region 132C.
  • x ⁇ 3-4 is the average brightness value of light in the third transmission wavelength band ⁇ 3 in the image pixel included in the fourth region 132D.
  • x ⁇ 3-5 is the average brightness value of light in the third transmission wavelength band ⁇ 3 in the image pixel included in the fifth region 132E.
  • x ⁇ 4-1 is the average brightness value of light in the fourth transmission wavelength band ⁇ 4 in the image pixels included in the first region 132A.
  • x ⁇ 4-2 is the average brightness value of light in the fourth transmission wavelength band ⁇ 4 in the image pixel included in the second region 132B.
  • x ⁇ 4-3 is the average brightness value of light in the fourth transmission wavelength band ⁇ 4 in the image pixel included in the third region 132C.
  • x ⁇ 4-4 is the average brightness value of light in the fourth transmission wavelength band ⁇ 4 in the image pixels included in the fourth region 132D.
  • x ⁇ 4-5 is the average brightness value of light in the fourth transmission wavelength band ⁇ 4 in the image pixel included in the fifth region 132E.
  • x ⁇ 5-1 is the average brightness value of light in the fifth transmission wavelength band ⁇ 5 in the image pixel included in the first region 132A.
  • x ⁇ 5-2 is the average brightness value of light in the fifth transmission wavelength band ⁇ 5 in the image pixel included in the second region 132B.
  • x ⁇ 5-3 is the average brightness value of light in the fifth transmission wavelength band ⁇ 5 in the image pixel included in the third region 132C.
  • x ⁇ 5-4 is the average brightness value of light in the fifth transmission wavelength band ⁇ 5 in the image pixel included in the fourth region 132D.
  • x ⁇ 5-5 is the average brightness value of light in the fifth transmission wavelength band ⁇ 5 in the image pixel included in the fifth region 132E.
  • x ⁇ 6-1 is the average brightness value of light in the sixth transmission wavelength band ⁇ 6 in the image pixels included in the first region 132A.
  • x ⁇ 6-2 is the average brightness value of light in the sixth transmission wavelength band ⁇ 6 in the image pixel included in the second region 132B.
  • x ⁇ 6-3 is the average brightness value of light in the sixth transmission wavelength band ⁇ 6 in the image pixel included in the third region 132C.
  • x ⁇ 6-4 is the average brightness value of light in the sixth transmission wavelength band ⁇ 6 in the image pixel included in the fourth region 132D.
  • x ⁇ 6-5 is the average brightness value of light in the sixth transmission wavelength band ⁇ 6 in the image pixel included in the fifth region 132E.
  • x ⁇ 7-1 is the average brightness value of light in the seventh transmission wavelength band ⁇ 7 in the image pixel included in the first region 132A.
  • x ⁇ 7-2 is the average brightness value of light in the seventh transmission wavelength band ⁇ 7 in the image pixel included in the second region 132B.
  • x ⁇ 7-3 is the average brightness value of light in the seventh transmission wavelength band ⁇ 7 in the image pixel included in the third region 132C.
  • x ⁇ 7-4 is the average brightness value of light in the seventh transmission wavelength band ⁇ 7 in the image pixel included in the fourth region 132D.
  • x ⁇ 7-5 is the average brightness value of light in the seventh transmission wavelength band ⁇ 7 in the image pixel included in the fifth region 132E.
  • x ⁇ 8-1 is the average brightness value of light in the eighth transmission wavelength band ⁇ 8 in the image pixels included in the first region 132A.
  • x ⁇ 8-2 is the average brightness value of light in the eighth transmission wavelength band ⁇ 8 in the image pixels included in the second region 132B.
  • x ⁇ 8-3 is the average brightness value of light in the eighth transmission wavelength band ⁇ 8 in the image pixel included in the third region 132C.
  • x ⁇ 8-4 is the average brightness value of light in the eighth transmission wavelength band ⁇ 8 in the image pixels included in the fourth region 132D.
  • x ⁇ 8-5 is the average brightness value of light in the eighth transmission wavelength band ⁇ 8 in the image pixel included in the fifth region 132E.
  • the pixel value y of each image pixel included in the pseudo-color image 130 is expressed by equation (10) using the gain G.
  • the gain G is the first gain G R1 to the eighth gain G R8 set for the R channel, the first gain G G1 to the eighth gain G G8 set for the G channel, and the first gain G R1 to the eighth gain G G8 set for the B channel.
  • the first gain G B1 to the eighth gain G B8 are set as follows.
  • the first gain G R1 to the eighth gain G R8 are gains corresponding to the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 , respectively.
  • the first gain G G1 to the eighth gain G G8 are gains corresponding to the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 , respectively.
  • the first gain G B1 to the eighth gain G B8 are gains corresponding to the first transmission wavelength band ⁇ 1 to the eighth transmission wavelength band ⁇ 8 , respectively.
  • Gain G is expressed by equation (11).
  • the pixel value y of each image pixel included in the pseudo-color image 130 is set based on the area 132 and color specified by the area specification instruction and color specification instruction.
  • the color of the area 132 that is not specified by the area specification instruction and the color specification instruction is set based on the initial image 128.
  • the first gain G R1 to the eighth gain G R8 , the first gain G G1 to the eighth gain G G8 , and the first gain G B1 to the eighth gain G B8 is derived.
  • the gain G is derived by the above calculation method when the number of regions 132 divided by the region division instruction is equal to or less than the number of transmission wavelength bands ⁇ .
  • the gain G may be derived as an approximate solution by performing interpolation processing such as least square sum, for example. Further, the gain G is uniformly set for a plurality of image pixels included in each spectral image 124, but may be set individually for each image pixel included in each spectral image 124.
  • Table 2 shows an example of the gain G derived in accordance with a color setting instruction (hereinafter referred to as "first color setting instruction") for setting the second region 132B to blue.
  • first color setting instruction a color setting instruction for setting the second region 132B to blue.
  • the gain G derived according to the first color setting instruction includes a negative gain in addition to a positive gain.
  • FIG. 10 shows an example in which a pseudo color image 130 is generated based on the gain G set by the gain setting section 98.
  • the pseudo-color image generation unit 100 performs an allocation process for assigning the R channel, G channel, and B channel to the plurality of different spectral images 124, thereby assigning the R channel to each of the R channel, G channel, and B channel.
  • An image 126A, a G channel image 126B, and a B channel image 126C are generated.
  • the R channel, G channel, and B channel are examples of "different channels” according to the technology of the present disclosure.
  • the allocation process is an example of "allocation process” according to the technology of the present disclosure.
  • the R channel image 126A, the G channel image 126B, and the B channel image 126C are examples of "channel images” according to the technology of the present disclosure.
  • the pseudocolor image 130 is an example of a "first pseudocolor image” according to the technology of the present disclosure.
  • the pseudo color image generation unit 100 performs arithmetic processing on the plurality of spectral images 124.
  • calculation is performed using the gain G set by the gain setting section 98 described above.
  • the calculation is a product-sum calculation including a plurality of spectral images 124.
  • the image pixel component X R assigned to the R channel of each image pixel included in the plurality of spectral images 124 is the first gain G R1 set for the R channel. It is calculated by the sum of the products of the ⁇ 8th gain G R8 and the luminance values X ⁇ 1 to X ⁇ 8 of the transmission wavelength bands ⁇ 1 to ⁇ 8 .
  • the image pixel component X G assigned to the G channel among the image pixels included in the plurality of spectral images 124 is the first gain G set for the G channel. It is calculated by the sum of the products of the G1 to eighth gains GG8 and the luminance values X ⁇ 1 to X ⁇ 8 of the transmission wavelength bands ⁇ 1 to ⁇ 8 .
  • the image pixel component X B assigned to the B channel among the image pixels included in the plurality of spectral images 124 is the first gain G B1 set for the B channel. It is calculated by the sum of the products of the ⁇ 8th gain G B8 and the luminance values X ⁇ 1 to X ⁇ 8 of the transmission wavelength bands ⁇ 1 to ⁇ 8 .
  • the gain G includes a negative gain (that is, a negative value) in addition to a positive gain, calculations including subtraction are performed in the calculation process.
  • the image pixel components X R , X G , and X B of each image pixel included in the plurality of spectral images 124 are calculated, so that the plurality of spectral images 124 are divided into R channel, G channel, and B channel.
  • the pseudo color image generation unit 100 generates a pseudo color image 130 by combining the generated R channel image 126A, G channel image 126B, and B channel image 126C.
  • the pseudo color image output section 102 outputs pseudo color image data representing the pseudo color image 130 generated by the pseudo color image generation section 100 to the display 24.
  • the pseudo-color image data is an example of "data for displaying a first pseudo-color image" according to the technology of the present disclosure.
  • Display 24 displays a pseudocolor image 130 represented by pseudocolor image data.
  • a pseudo-color image 130 in which the second area 132B is set to blue is displayed on the display 24.
  • the color of the second region 132B is set to blue, so that the color of the second region 132B is saturated at the fingertip of the hand 140.
  • the upper limit of the range of the pseudo-color image 130 exceeds the expression range of the display 24.
  • the expression range of the display 24 refers to the range of brightness that can be displayed on the display 24.
  • the range of the pseudo-color image 130 refers to the range of brightness of image pixels included in the pseudo-color image 130.
  • the display 24 is an example of a "display medium" and a "display device" according to the technology of the present disclosure.
  • FIG. 12 shows an example in which a pseudo-color image 130 is generated according to a color setting instruction (hereinafter referred to as "second color setting instruction") for setting the second area 132B to light blue instead of blue.
  • second color setting instruction a color setting instruction for setting the second area 132B to light blue instead of blue.
  • the color of the second area 132B may be changed from blue to light blue. good.
  • the color of the second region 132B is changed from blue to light blue, thereby preventing the color of the second region 132B from becoming saturated.
  • Table 3 shows an example of the gain G derived according to the second color setting instruction.
  • the gain G derived according to the second color setting instruction includes a negative gain in addition to a positive gain.
  • the calculation process includes subtraction.
  • a pseudo-color image 130 is generated in which the second area 132B is set to light blue.
  • the gain G is set to a value that allows the range of the pseudo-color image 130 to fit within the expression range of the display 24 that displays the pseudo-color image 130. This prevents the color of the second region 132B from becoming saturated.
  • the gain setting unit 98 sets the pseudo-color image 130 in the expression range of the display 24.
  • the gain G may be adjusted so that the range of .
  • FIG. 13 shows a color setting instruction (hereinafter referred to as "color setting instruction”) to set the first region 132A to yellow, which is easily visible to light blue, or red, which is a complementary color to light blue, while leaving the second region 132B set to light blue.
  • color setting instruction a color setting instruction to set the first region 132A to yellow, which is easily visible to light blue, or red, which is a complementary color to light blue, while leaving the second region 132B set to light blue.
  • Table 4 shows an example of the gain G derived according to the third color setting instruction.
  • the gain G derived according to the third color setting instruction includes a negative gain in addition to a positive gain.
  • the gain G since the gain G includes a negative gain (that is, a negative value) in addition to a positive gain, in the calculation process (see FIG. 10), calculations including subtraction are performed.
  • a pseudo-color image 130 is generated in which the second region 132B is set to light blue and the first region 132A is set to yellow or red. Note that if the same color is set in different regions 132, the colors in the different regions 132 may become saturated, so it is preferable that different colors are set in different regions 132.
  • the second area 132B corresponding to the blood vessel 142 is set to light blue
  • the first area 132A corresponding to the part of the hand 140 other than the blood vessel 142 is set to yellow or red.
  • the blood vessel 142 is emphasized with respect to the portion of the hand 140 other than the blood vessel 142.
  • FIG. 14 shows a color setting instruction (hereinafter referred to as "fourth color An example is shown in which a pseudo-color image 130 is generated according to the "Setting Instructions"). Note that the colors of the fourth area 132D and the fifth area 132E remain the same as the colors of the fourth area 132D and the fifth area 132E in the initial image 128.
  • Table 5 shows an example of the gain G derived according to the fourth color setting instruction.
  • the gain G derived according to the fourth color setting instruction includes a negative gain in addition to a positive gain.
  • the gain G includes a negative gain (that is, a negative value) in addition to a positive gain, in the calculation process (see FIG. 10), calculations including subtraction are performed.
  • a pseudo-color image 130 is generated in which the second region 132B is set to light blue, the first region 132A is set to yellow or red, and the third region 132C is set to white.
  • the third region 132C corresponding to the background 148 is set to white, so that the hand 140 and the blood vessel 142 are emphasized against the background 148.
  • the pseudo-color image 130 is an image in which the discrimination of wavelength information is enhanced, for example, with respect to a pseudo-color image in which only addition is included in calculations (hereinafter referred to as a "comparison target pseudo-color image").
  • An example of an image in which the discriminability of wavelength information is enhanced is an image that can be distinguished from a comparison target pseudocolor image by color difference and/or brightness difference.
  • the color difference refers to, for example, complementary colors on the hue wheel.
  • the other color out of the two colors in the relationship in the hue wheel is used in the pseudo-color image 130. It will be done.
  • the color used for the pseudo color may be set for the comparison target pseudo color.
  • the brightness difference for example, if the pseudo color image to be compared is expressed within the brightness range of "150 to 255", the pseudo color image 130 may be expressed within the brightness range of "0 to 50". .
  • the comparison target pseudo-color image is an example of a "second pseudo-color image" according to the technology of the present disclosure.
  • the gain is an example of a "coefficient of the first spectral image” according to the technology of the present disclosure.
  • the wavelength information is an example of "second wavelength information” according to the technology of the present disclosure.
  • FIG. 15 shows an example of the flow of image display processing according to this embodiment.
  • step ST10 the output value acquisition unit 82 acquires the output value Y of each physical pixel 58 based on the imaging data 120 input from the image sensor 14 to the processor 70. (See Figure 4). After the process of step ST10 is executed, the image display process moves to step ST12.
  • step ST12 the interference removal processing unit 84 performs interference removal processing on the output value Y of each physical pixel 58 obtained in step ST10 (see FIG. 4). Thereby, the captured image 122 represented by the captured image data 120 is separated into spectral images 124 for each transmission wavelength band ⁇ of the plurality of filters 44 . After the process of step ST12 is executed, the image display process moves to step ST14.
  • step ST14 the alignment processing unit 86 performs alignment processing on the plurality of spectral images 124 generated in step ST12 (see FIG. 5). After the process of step ST14 is executed, the image display process moves to step ST16.
  • step ST16 the initial image generation unit 88 performs an allocation process to allocate the R channel, G channel, and B channel to the plurality of spectral images 124 subjected to the alignment process in step ST14. , G channel, and B channel, an R channel image 126A, a G channel image 126B, and a B channel image 126C are generated (see FIG. 6). After the process of step ST16 is executed, the image display process moves to step ST18.
  • step ST18 the initial image generation unit 88 generates the initial image 128 by combining the R channel image 126A, the G channel image 126B, and the B channel image 126C generated in step ST16 (see FIG. 6). After the process of step ST18 is executed, the image display process moves to step ST20.
  • step ST20 the initial image output unit 90 outputs initial image data indicating the initial image 128 generated in step ST18 to the display 24 (see FIG. 7). As a result, the initial image 128 is displayed on the display 24. After the process of step ST20 is executed, the image display process moves to step ST22.
  • step ST22 the area setting determination unit 92 determines whether or not area division instruction data has been input to the processor 70 (see FIG. 8). If the area segmentation instruction data is not input to the processor 70, the determination is negative and the image display process moves to step ST36. If the area segmentation instruction data is input to the processor 70, the determination is affirmative and the image display process moves to step ST24.
  • step ST24 the region setting unit 94 divides the initial image 128 into a plurality of regions 132 according to the region division instruction data (see FIG. 8). After the process of step ST24 is executed, the image display process moves to step ST26.
  • step ST26 the color setting determination unit 96 determines whether color setting instruction data has been input to the processor 70 (see FIG. 9). If the color setting instruction data is not input to the processor 70, the determination is negative and the image display process moves to step ST36. If the color setting instruction data is input to the processor 70, the determination is affirmative and the image display process moves to step ST28.
  • step ST28 the gain setting unit 98 sets a gain to the plurality of spectral images 124 in accordance with the color setting instruction data so that the region 132 specified by the area specification instruction is set to the color specified by the color specification instruction.
  • Set G (see Figure 9).
  • step ST30 the pseudo-color image generation unit 100 performs arithmetic processing on the plurality of spectral images 124 based on the gain G set in step ST28, so that each of the R channel, G channel, and B channel is , an R channel image 126A, a G channel image 126B, and a B channel image 126C (see FIG. 10). Thereby, multiple spectral images 124 are assigned to the R channel, G channel, and B channel.
  • the image display process moves to step ST32.
  • step ST32 the pseudo color image generation unit 100 generates a pseudo color image 130 by combining the R channel image 126A, the G channel image 126B, and the B channel image 126C generated in step ST30 (see FIG. 10). .
  • the image display process moves to step ST34.
  • step ST34 the pseudo color image output unit 102 outputs pseudo color image data representing the pseudo color image 130 generated in step ST32 to the display 24 (see FIG. 11). As a result, a pseudo-color image 130 is displayed on the display 24.
  • step ST36 the image display process moves to step ST36.
  • step ST36 the processor 70 determines whether a condition for terminating the image display process (ie, an terminating condition) is satisfied.
  • a condition for terminating the image display process ie, an terminating condition
  • An example of the termination condition is a condition that a user or the like has given an instruction to the imaging device 10 to terminate the image display process.
  • the determination is negative and the image display process moves to step ST26.
  • the termination condition is satisfied, the determination is affirmative and the image display process is terminated.
  • the image display processing method described as the function of the imaging device 10 described above is an example of the "information processing method" according to the technology of the present disclosure.
  • the processor 70 generates a channel image 126 for each channel by performing an assignment process for assigning a plurality of different spectral images 124 to different channels. , generates a pseudocolor image 130 based on the plurality of channel images 126 (see FIG. 10).
  • the assignment process includes generating channel images 126 based on operations including subtraction on multiple spectral images 124. Therefore, for example, compared to the case where the channel image 126 is generated based on an operation including only addition for a plurality of different spectral images 124, color adjustment with a higher degree of freedom is possible when pseudo-coloring the plurality of spectral images 124. can be realized. As a result, it is possible to generate a pseudo-color image 130 that is visually distinguishable from the comparison target pseudo-color image generated by combining the channel images 126 generated based on calculations involving only addition.
  • the calculation is a product-sum calculation including a plurality of spectral images 124, and the subtraction is realized by including a negative value in the gain of the plurality of spectral images 124 in the product-sum calculation. Therefore, by adjusting the value of the gain containing a negative value and/or the number of gains containing a negative value, the color of the pseudocolor image 130 can be adjusted.
  • the gain G is set to a value that allows the range of the pseudo-color image 130 to fit within the expression range of the display 24 that displays the pseudo-color image 130. Therefore, it is possible to avoid saturation of the color set for the pseudo-color image 130.
  • the multiple spectral images 124 include polarization information and wavelength information, and the number of multiple spectral images 124 is greater than or equal to the number of channels. Therefore, for example, the degree of freedom in adjusting the color of the pseudo-color image 130 can be increased compared to when the number of multiple spectral images 124 is smaller than the number of channels.
  • the processor 70 performs alignment processing on the plurality of spectral images 124 obtained by imaging by the image sensor 14 having the plurality of polarizers 46, and subtraction is performed on the plurality of spectra on which the alignment processing has been performed. This is done for image 124.
  • the plurality of spectral images 124 are images obtained by being imaged by the image sensor 14 having a plurality of polarizers 46. Therefore, for example, misregistration occurs in the plurality of spectral images 124. Therefore, by performing the alignment process on the plurality of spectral images 124, the initial image 128 (see FIG. 6) and the pseudocolor image 130 (see FIG. ) image quality can be ensured.
  • the pseudo-color image 130 is an image in which the discrimination of wavelength information is enhanced compared to the comparison pseudo-color image in which only addition is included in the calculation. Therefore, a user or the like can visually distinguish the pseudo-color image 130 from the comparison target pseudo-color image.
  • the processor 70 divides the image generated based on the plurality of spectral images 124 into a plurality of regions 132, and calculations are performed based on color information set for the plurality of regions 132. Therefore, the user or the like can set a color for each designated area 132 among the plurality of areas 132.
  • the different channels are the three primary color channels. Therefore, a pseudocolor image 130 can be generated based on the three primary color channels.
  • the processor 70 outputs pseudocolor image data for displaying the pseudocolor image 130 on the display 24. Therefore, the user or the like can confirm the subject image included in the pseudo-color image 130 displayed on the display 24 in a color different from the original color of the subject image.
  • the plurality of spectral images 124 are assigned to the R channel, G channel, and B channel corresponding to the three primary colors of color, but the plurality of spectral images 124 are assigned to the channels corresponding to the three primary colors of light. Good too.
  • the calculation including subtraction is performed on all the spectral images 124, but even if the calculation including subtraction is performed on some of the spectral images 124 among the plurality of spectral images 124, good.
  • a plurality of spectral images 124 including polarization information and wavelength information are generated, but a plurality of spectral images 124 including only one of polarization information and wavelength information may be generated. .
  • the initial image 128 and the pseudo color image 130 are displayed on the display 24 provided in the imaging device 10, but the initial image 128 and the pseudo color image 130 are displayed on a display medium or a display device provided in an external device other than the imaging device 10.
  • An initial image 128 and a pseudocolor image 130 may be displayed.
  • the technology according to the embodiment described above may be applied to types of devices other than the imaging device 10 (hereinafter referred to as "other devices").
  • processor 70 is illustrated, but instead of the processor 70 or together with the processor 70, at least one other CPU, at least one GPU, and/or at least one TPU may be used. It's okay.
  • the image display program 80 may be stored in a portable non-transitory computer-readable storage medium (hereinafter simply referred to as a "non-transitory storage medium") such as an SSD or a USB memory.
  • a non-transitory storage medium such as an SSD or a USB memory.
  • the image display program 80 stored in a non-temporary storage medium may be installed on the computer 20 of the imaging device 10.
  • the image display program 80 is stored in a storage device such as another computer or a server device connected to the imaging device 10 via a network, and the image display program 80 is downloaded in response to a request from the imaging device 10. It may be installed on the computer 20.
  • image display program 80 it is not necessary to store the entire image display program 80 in another computer or storage device such as a server device connected to the imaging device 10, or in the NVM 72, but only a part of the image display program 80 can be stored. You can stay there.
  • the computer 20 is built into the imaging device 10, the technology of the present disclosure is not limited to this, and for example, the computer 20 may be provided outside the imaging device 10.
  • the computer 20 including the processor 70, NVM 72, and RAM 74 is illustrated, but the technology of the present disclosure is not limited to this, and instead of the computer 20, ASIC, FPGA, and/or PLD You may also apply a device that includes. Further, instead of the computer 20, a combination of hardware configuration and software configuration may be used.
  • processors can be used as hardware resources for executing the various processes described in the above embodiments.
  • the processor include a CPU, which is a general-purpose processor that functions as a hardware resource that executes various processes by executing software, that is, a program.
  • the processor include a dedicated electronic circuit such as an FPGA, a PLD, or an ASIC, which is a processor having a circuit configuration specifically designed to execute a specific process.
  • Each processor has a built-in memory or is connected to it, and each processor uses the memory to perform various processes.
  • Hardware resources that execute various processes may be configured with one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs, or a CPU and FPGA). Furthermore, the hardware resource that executes various processes may be one processor.
  • one processor is configured by a combination of one or more CPUs and software, and this processor functions as a hardware resource that executes various processes.
  • a and/or B has the same meaning as “at least one of A and B.” That is, “A and/or B” means that it may be only A, only B, or a combination of A and B. Furthermore, in this specification, even when three or more items are expressed by connecting them with “and/or”, the same concept as “A and/or B" is applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

情報処理装置は、プロセッサを備える。プロセッサは、異なる複数のスペクトル画像に対して、異なるチャネルに割り当てる割り当て処理を行うことにより、チャネル毎にチャネル画像を生成し、複数のチャネル画像に基づいて第１疑似カラー画像を生成する。割り当て処理は、複数のスペクトル画像のうちの第１スペクトル画像に対して減算を含む演算に基づいてチャネル画像を生成する処理を含む。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。
　国際公開第２０１９／１５１０２９号パンフレットには、白色光を対象物に照射する白色光源部と、対象物のマルチスペクトル画像を撮像する撮像部と、白色光が照射された対象物のマルチスペクトル画像より、対象物の解析に最適な光の波長を、有効波長として特定する対象物識別部と、有効波長の光を対象物に照射する可変波長光源部とを含む撮像装置が開示されている。
　特開２０１８－０９８３４１号公報には、第１の周波数帯域の光を透過させる金属薄膜フィルタを備えた第１の画素と、第１の周波数帯域よりも広い第２の周波数帯域の光を透過させるカラーフィルタを備えた第２の画素とを備えた撮像素子が開示されている。
　特開２０２１－１３５４０４号公報には、光学系と、光学部材と、照射装置と、制御部とを備えるレンズ装置が開示されている。光学系は、被写体の光学像を結像させるレンズを含む。光学部材は、光学系の瞳位置または瞳位置の近傍に配置された光学部材であって、複数の開口領域を備える枠体と、複数の開口領域に配置される複数の光学フィルタであって、少なくとも一部の波長帯域が異なる光を透過させる２つ以上の光学フィルタを含む複数の光学フィルタと、複数の開口領域に配置される複数の偏光フィルタであって、偏光方向が異なる複数の偏光フィルタとを有する。照射装置は、照明光を被写体に照射する。制御部は、光学系と、光学部材と、照射装置と、のうち少なくとも１つを制御する。制御部は、光学系から出射される光の分光特性を複数の開口領域について変更する。
　特開２０１０－０２５７５０号公報には、複数のバンドパスフィルタを用いて撮影されたマルチバンド画像を処理する画像処理装置が開示されている。画像処理装置は、主光源とは別の副光源を指定する副光源指定手段と、マルチバンド画像から分光スペクトル画像を得るための分光推定手段と、副光源指定手段により指定された副光源のスペクトルに基づいて、分光推定手段により得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離する画像分離手段とを備える。
　本開示の技術に係る一つの実施形態は、一例として、異なる複数のスペクトル画像のうちの第１スペクトル画像に対して加算のみを含む演算に基づいてチャネル画像が生成される場合に比して、複数のスペクトル画像の疑似カラー化にあたって自由度の高い色調整を実現することができる情報処理装置、情報処理方法、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、異なる複数のスペクトル画像に対して、異なるチャネルに割り当てる割り当て処理を行うことにより、チャネル毎にチャネル画像を生成し、複数のチャネル画像に基づいて第１疑似カラー画像を生成し、割り当て処理は、複数のスペクトル画像のうちの第１スペクトル画像に対して減算を含む演算に基づいてチャネル画像を生成する処理を含む情報処理装置である。
　本開示の技術に係る第２の態様は、第１の態様に係る情報処理装置において、演算は、第１スペクトル画像を含む積和演算であり、減算は、積和演算における第１スペクトル画像の係数に負値が含まれることにより実現される情報処理装置である。
　本開示の技術に係る第３の態様は、第２の態様に係る情報処理装置において、係数は、第１疑似カラー画像を表示する表示媒体の表現域に、第１疑似カラー画像のレンジが収まる値に設定される情報処理装置である。
　本開示の技術に係る第４の態様は、第１の態様から第３の態様の何れか一つの態様に係る情報処理装置において、複数のスペクトル画像は、偏光情報及び／又は第１波長情報を含み、複数のスペクトル画像の数は、チャネルの数以上である情報処理装置である。
　本開示の技術に係る第５の態様は、第１の態様から第４の態様の何れか一つの態様に係る情報処理装置において、複数のスペクトル画像は、偏光子を有するイメージセンサによって撮像されることで得られた画像であり、プロセッサは、第１スペクトル画像に対して位置合わせ処理を行い、減算は、位置合わせ処理が行われた第１スペクトル画像に対して行われる情報処理装置である。
　本開示の技術に係る第６の態様は、第１の態様から第５の態様の何れか一つの態様に係る情報処理装置において、第１疑似カラー画像は、演算に加算のみが含まれる第２疑似カラー画像に対して、第２波長情報の弁別性が高められた画像である情報処理装置である。
　本開示の技術に係る第７の態様は、第１の態様から第６の態様の何れか一つの態様に係る情報処理装置において、プロセッサは、複数のスペクトル画像に基づいて生成された画像を複数の領域に区分けし、演算は、複数の領域に対して設定された色情報に基づいて行われる情報処理装置である。
　本開示の技術に係る第８の態様は、第１の態様から第７の態様の何れか一つの態様に係る情報処理装置において、異なるチャネルは、三原色のチャネルである情報処理装置である。
　本開示の技術に係る第９の態様は、第１の態様から第８の態様の何れか一つの態様に係る情報処理装置において、プロセッサは、表示装置に対して第１疑似カラー画像を表示させるためのデータを出力する情報処理装置である。
　本開示の技術に係る第１０の態様は、異なる複数のスペクトル画像に対して、異なるチャネルに割り当てる割り当て処理を行うことにより、チャネル毎にチャネル画像を生成すること、及び、複数のチャネル画像に基づいて第１疑似カラー画像を生成すること、を備え、割り当て処理は、複数のスペクトル画像のうちの第１スペクトル画像に対して減算を含む演算に基づいてチャネル画像を生成する処理を含む情報処理方法である。
　本開示の技術に係る第１１の態様は、特定処理をコンピュータに実行させるためのプログラムであって、特定処理は、異なる複数のスペクトル画像に対して、異なるチャネルに割り当てる割り当て処理を行うことにより、チャネル毎にチャネル画像を生成すること、及び、複数のチャネル画像に基づいて第１疑似カラー画像を生成すること、を含み、割り当て処理は、複数のスペクトル画像のうちの第１スペクトル画像に対して減算を含む演算に基づいてチャネル画像を生成する処理を含むプログラムである。
実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 実施形態に係る光電変換素子の一例を示す分解斜視図である。 実施形態に係る画像表示処理を実現するための機能的な構成の一例を示すブロック図である。 実施形態に係る出力値取得部及び混信除去処理部の動作の一例を示すブロック図である。 実施形態に係る位置合わせ処理部の動作の一例を示すブロック図である。 実施形態に係る初期画像生成部の動作の一例を示すブロック図である。 実施形態に係る初期画像出力部の動作の一例を示すブロック図である。 実施形態に係る領域設定判定部及び領域設定部の動作の一例を示すブロック図である。 実施形態に係る色設定判定部及びゲイン設定部の動作の一例を示すブロック図である。 実施形態に係る疑似カラー画像生成部の動作の一例を示すブロック図である。 実施形態に係る疑似カラー画像出力部の動作の一例及び疑似カラー画像の第１例を示すブロック図である。 実施形態に係る疑似カラー画像出力部の動作の一例及び疑似カラー画像の第２例を示すブロック図である。 実施形態に係る疑似カラー画像出力部の動作の一例及び疑似カラー画像の第３例を示すブロック図である。 実施形態に係る疑似カラー画像出力部の動作の一例及び疑似カラー画像の第４例を示すブロック図である。 実施形態に係る画像表示処理の流れの一例を示すフローチャートである。
　以下、添付図面に従って本開示の技術に係る情報処理装置、情報処理方法、及びプログラムの実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　Ｉ／Ｆとは、“Interface”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＮＶＭとは、“Non-Volatile Memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＬｉＤＡＲとは、“Light Detection and Ranging”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。
　本明細書の説明において、「同じ」とは、完全な同じの他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの同じを指す。本明細書の説明において、「直交」とは、完全な直交の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの直交を指す。本明細書の説明において、「直線」とは、完全な直線の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの直線を指す。
　一例として図１に示すように、撮像装置１０は、疑似カラー化されたマルチスペクトル画像を出力可能なマルチスペクトルカメラであり、光学系１２、イメージセンサ１４、制御ドライバ１６、入出力Ｉ／Ｆ１８、コンピュータ２０、受付装置２２、及びディスプレイ２４を備える。撮像装置は、本開示の技術に係る「情報処理装置」の一例である。
　光学系１２は、第１レンズ２６、瞳分割フィルタ２８、及び第２レンズ３０を有する。第１レンズ２６、瞳分割フィルタ２８、及び第２レンズ３０は、被写体４側からイメージセンサ１４側にかけて、撮像装置１０の光軸ＯＡに沿って第１レンズ２６、瞳分割フィルタ２８、及び第２レンズ３０の順に配置されている。第１レンズ２６は、光源２から発せられた光が被写体４で反射することで得られた光（以下、「被写体光」と称する）を瞳分割フィルタ２８に透過させる。第２レンズ３０は、瞳分割フィルタ２８を透過した被写体光をイメージセンサ１４に設けられた光電変換素子４８の受光面４８Ａ上に結像させる。
　瞳分割フィルタ２８は、分光フィルタ４０及び偏光フィルタ４２を有する。分光フィルタ４０は、フィルタ４４Ａ～フィルタ４４Ｈを有し、偏光フィルタ４２は、偏光子４６Ａ～偏光子４６Ｈを有する。図１では、便宜上、フィルタ４４Ａ～フィルタ４４Ｈが光軸ＯＡと直交する方向に沿って直線状に配列された状態で示されているが、フィルタ４４Ａ～フィルタ４４Ｈは、光軸ＯＡ周りの方向に沿って配列されている。
　フィルタ４４Ａは、第１透過波長帯域λ１を有し、フィルタ４４Ｂは、第２透過波長帯域λ２を有し、フィルタ４４Ｃは、第３透過波長帯域λ３を有し、フィルタ４４Ｄは、第４透過波長帯域λ４を有している。また、フィルタ４４Ｅは、第５透過波長帯域λ５を有し、フィルタ４４Ｆは、第６透過波長帯域λ６を有し、フィルタ４４Ｇは、第７透過波長帯域λ７を有し、フィルタ４４Ｈは、第８透過波長帯域λ８を有している。
　第１透過波長帯域λ１～第８透過波長帯域λ８は、互いに異なる波長帯域である。一例として、図１に示される例では、第１透過波長帯域λ１は、４３５ｎｍに設定され、第２透過波長帯域λ２は、４９５ｎｍに設定され、第３透過波長帯域λ３は、５５５ｎｍに設定され、第４透過波長帯域λ４は、６１５ｎｍに設定されている。また、第５透過波長帯域λ５は、６７５ｎｍに設定され、第６透過波長帯域λ６は、７３５ｎｍに設定され、第７透過波長帯域λ７は、７９５ｎｍに設定され、第８透過波長帯域λ８は、８５５ｎｍに設定されている。なお、ここで例示した各波長帯域は、あくまでも一例に過ぎず、第１透過波長帯域λ１～第８透過波長帯域λ８は、それぞれ任意の波長帯域に設定されていればよく、互いに異なる波長帯域であることが好ましい。
　以下、フィルタ４４Ａ～フィルタ４４Ｈを区別して説明する必要が無い場合には、フィルタ４４Ａ～フィルタ４４Ｈを「フィルタ４４」と称する。また、第１透過波長帯域λ１～第８透過波長帯域λ８を区別して説明する必要が無い場合には、第１透過波長帯域λ１～第８透過波長帯域λ８を「透過波長帯域λ」と称する。
　偏光子４６Ａ～偏光子４６Ｈは、フィルタ４４Ａ～フィルタ４４Ｈとそれぞれ重ね合わされている。偏光子４６Ａは、透過軸の角度が０°に設定された偏光子であり、偏光子４６Ｂは、透過軸の角度が２０°に設定された偏光子であり、偏光子４６Ｃは、透過軸の角度が４０°に設定された偏光子であり、偏光子４６Ｄは、透過軸の角度が６０°に設定された偏光子である。また、偏光子４６Ｅは、透過軸の角度が８０°に設定された偏光子であり、偏光子４６Ｆは、透過軸の角度が１００°に設定された偏光子であり、偏光子４６Ｇは、透過軸の角度が１２０°に設定された偏光子であり、偏光子４６Ｈは、透過軸の角度が１４０°に設定された偏光子である。以下、偏光子４６Ａ～偏光子４６Ｈを区別して説明する必要がない場合には、偏光子４６Ａ～偏光子４６Ｈをそれぞれ「偏光子４６」と称する。
　なお、図１に示される例では、フィルタ４４の個数が８個であるが、フィルタ４４の個数は、後述するチャネル（図６及び図１０参照）の数以上であれば、何個でもよい。また、図１に示される例では、偏光子４６の個数が８個であるが、偏光子４６の個数は、フィルタ４４の個数と同じであれば、何個でもよい。
　イメージセンサ１４は、光電変換素子４８及び信号処理回路５０を備えている。イメージセンサ１４は、一例として、ＣＭＯＳイメージセンサである。本実施形態では、イメージセンサ１４としてＣＭＯＳイメージセンサが例示されているが、本開示の技術はこれに限定されず、例えば、イメージセンサ１４がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
　一例として図１中には、光電変換素子４８の模式的な構成が示されている。また、一例として図２には、光電変換素子４８の一部の構成が具体的に示されている。光電変換素子４８は、画素層５２、偏光フィルタ層５４、及び分光フィルタ層５６を有する。
　画素層５２は、複数の画素５８を有する。複数の画素５８は、マトリクス状に配置されており、光電変換素子４８の受光面４８Ａを形成している。各画素５８は、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。
　以下、マルチスペクトル画像を形成する画素と区別するために、光電変換素子４８に設けられた画素５８を「物理画素５８」と称する。また、ディスプレイ２４に表示される画像を形成する画素を「画像画素」と称する。
　光電変換素子４８は、複数の物理画素５８から出力された電気信号を撮像データ１２０として信号処理回路５０に対して出力する。信号処理回路５０は、光電変換素子４８から入力されたアナログの撮像データ１２０をデジタル化する。
　複数の物理画素５８は、複数の画素ブロック６０を形成している。各画素ブロック６０は、縦横２個ずつの合計４個の物理画素５８によって形成されている。図１では、便宜上、各画素ブロック６０を形成する４個の物理画素５８が光軸ＯＡと直交する方向に沿って直線状に配列された状態で示されているが、一例として図２に示すように、４個の物理画素５８は、光電変換素子４８の縦方向及び横方向にそれぞれ隣接して配置されている。
　偏光フィルタ層５４は、偏光子６２Ａ～偏光子６２Ｄを有する。偏光子６２Ａは、透過軸の角度が０°に設定された偏光子である。偏光子６２Ｂは、透過軸の角度が４５°に設定された偏光子である。偏光子６２Ｃは、透過軸の角度が９０°に設定された偏光子である。偏光子６２Ｄは、透過軸の角度が１３５°に設定された偏光子である。以下、偏光子６２Ａ～偏光子６２Ｄを区別して説明する必要が無い場合には、偏光子６２Ａ～偏光子６２Ｄを「偏光子６２」と称する。
　分光フィルタ層５６は、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃを有する。Ｂフィルタ６４Ａは、複数の波長帯域の光のうちの青色の波長帯域の光を最も多く透過させる青色帯域フィルタである。Ｇフィルタ６４Ｂは、複数の波長帯域の光のうちの緑色の波長帯域の光を最も多く透過させる緑色帯域フィルタである。Ｒフィルタ６４Ｃは、複数の波長帯域の光のうちの赤色の波長帯域の光を最も多く透過させる赤色帯域フィルタである。Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃは、各画素ブロック６０に割り当てられている。
　図１では、便宜上、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃが光軸ＯＡと直交する方向に沿って直線状に配列された状態で示されているが、一例として図２に示すように、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃは既定のパターン配列でマトリクス状に配置されている。図２に示す例では、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃは、既定のパターン配列の一例として、ベイヤ配列でマトリクス状に配置されている。なお、既定のパターン配列は、ベイヤ配列以外に、ＲＧＢストライプ配列、Ｒ／Ｇ市松配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等でもよい。
　以下、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃを区別して説明する必要がない場合には、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃをそれぞれ「フィルタ６４」と称する。
　一例として図１に示すように、入出力Ｉ／Ｆ１８には、信号処理回路５０、制御ドライバ１６、コンピュータ２０、受付装置２２、及びディスプレイ２４が接続されている。
　コンピュータ２０は、プロセッサ７０、ＮＶＭ７２、及びＲＡＭ７４を有する。プロセッサ７０は、本開示の技術に係る「プロセッサ」の一例である。プロセッサ７０は、撮像装置１０の全体を制御する。プロセッサ７０は、例えば、ＣＰＵ及びＧＰＵを含む演算処理装置であり、ＧＰＵは、ＣＰＵの制御下で動作し、画像に関する処理の実行を担う。ここでは、プロセッサ７０の一例としてＣＰＵ及びＧＰＵを含む演算処理装置を挙げているが、これはあくまでも一例に過ぎず、プロセッサ７０は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。プロセッサ７０、ＮＶＭ７２、及びＲＡＭ７４は、バス７６を介して接続されており、バス７６は、入出力Ｉ／Ｆ１８に接続されている。
　ＮＶＭ７２は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えば、ＮＶＭ７２は、フラッシュメモリ（例えば、ＥＥＰＲＯＭ）である。但し、これは、あくまでも一例に過ぎず、フラッシュメモリと共に、ＨＤＤ等をＮＶＭ７２として適用してもよい。ＲＡＭ７４は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
　プロセッサ７０は、ＮＶＭ７２から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ７４で実行する。プロセッサ７０は、ＲＡＭ７４で実行するプログラムに従って、制御ドライバ１６及び信号処理回路５０を制御する。制御ドライバ１６は、プロセッサ７０の制御下で光電変換素子４８を制御する。
　受付装置２２は、例えば、レリーズボタン、タッチパネル、及びハードキー（いずれも図示省略）等を有しており、ユーザ等からの指示を受け付ける。ディスプレイ２４は、例えば液晶表示器であり、各種画像を表示する。
　一例として図３に示すように、ＮＶＭ７２には、画像表示プログラム８０が記憶されている。画像表示プログラム８０は、本開示の技術に係る「プログラム」の一例である。プロセッサ７０は、ＮＶＭ７２から画像表示プログラム８０を読み出し、読み出した画像表示プログラム８０をＲＡＭ７４上で実行する。プロセッサ７０は、ＲＡＭ７４上で実行する画像表示プログラム８０に従って、撮像データ１２０に対する画像表示処理を実行する。画像表示処理は、本開示の技術に係る「特定処理」の一例である。
　画像表示処理は、プロセッサ７０が画像表示プログラム８０に従って、出力値取得部８２、混信除去処理部８４、位置合わせ処理部８６、初期画像生成部８８、初期画像出力部９０、領域設定判定部９２、領域設定部９４、色設定判定部９６、ゲイン設定部９８、疑似カラー画像生成部１００、及び疑似カラー画像出力部１０２として動作することで実現される。画像表示処理は、イメージセンサ１４からプロセッサ７０に撮像データ１２０が入力される毎に開始される。
　一例として図４に示すように、出力値取得部８２は、イメージセンサ１４からプロセッサ７０に入力された撮像データ１２０に基づいて、各物理画素５８の出力値Ｙをそれぞれ取得する。各物理画素５８の出力値Ｙは、撮像データ１２０によって示される撮像画像１２２に含まれる各画素の輝度値に対応する。
　ここで、各物理画素５８の出力値Ｙは、混信（すなわち、クロストーク）が含まれた値である。すなわち、各物理画素５８には、第１透過波長帯域λ１、第２透過波長帯域λ２、及び第３透過波長帯域λ３の各透過波長帯域λの光が入射するため、出力値Ｙは、第１透過波長帯域λ１の光量に応じた値、第２透過波長帯域λ２の光量に応じた値、及び第３透過波長帯域λ３の光量に応じた値が混合した値となる。
　マルチスペクトル画像を取得するためには、プロセッサ７０が、物理画素５８毎に、出力値Ｙから各透過波長帯域λに対応した値を分離して抽出する処理、すなわち、混信を除去する処理である混信除去処理を出力値Ｙに対して行う必要がある。そこで、本実施形態では、混信除去処理部８４は、出力値取得部８２によって取得された各物理画素５８の出力値Ｙに対して混信除去処理をそれぞれ実行する。
　ここで、混信除去処理について説明する。各物理画素５８の出力値Ｙは、赤色、緑色、及び青色の各輝度値を出力値Ｙの成分として含む。各物理画素５８の出力値Ｙは、式（１）によって表される。
　ただし、ＹＲは、出力値Ｙのうちの赤色の輝度値であり、ＹＧは、出力値Ｙのうちの緑色の輝度値であり、ＹＢは、出力値Ｙのうちの青色の輝度値である。
　第１スペクトル画像１２４Ａ～第８スペクトル画像１２４Ｈは、撮像画像に対して混信除去処理が行われることにより生成される画像である。後述する疑似カラー化される前の第１スペクトル画像１２４Ａ～第８スペクトル画像１２４Ｈに含まれる各画像画素の画素値Ｘは、第１透過波長帯域λ１～第８透過波長帯域λ８の各光の輝度値を画素値Ｘの成分として含む。各画像画素の画素値Ｘは、式（２）によって表される。
　ただし、輝度値Ｘλ１は、画素値Ｘのうちの第１透過波長帯域λ１の光の輝度値であり、輝度値Ｘλ２は、画素値Ｘのうちの第２透過波長帯域λ２の光の輝度値であり、輝度値Ｘλ３は、画素値Ｘのうちの第３透過波長帯域λ３の光の輝度値であり、輝度値Ｘλ４は、画素値Ｘのうちの第４透過波長帯域λ４の光の輝度値である。
　また、輝度値Ｘλ５は、画素値Ｘのうちの第５透過波長帯域λ５の光の輝度値であり、輝度値Ｘλ６は、画素値Ｘのうちの第６透過波長帯域λ６の光の輝度値であり、輝度値Ｘλ７は、画素値Ｘのうちの第７透過波長帯域λ７の光の輝度値であり、輝度値Ｘλ８は、画素値Ｘのうちの第８透過波長帯域λ８の光の輝度値である。以下、輝度値Ｘλ１～輝度値Ｘλ８を区別して説明する必要が無い場合、輝度値Ｘλ１～輝度値Ｘλ８を「輝度値Ｘλ」と称する。
　混信行列をＡとした場合、各物理画素５８の出力値Ｙは、式（３）によって表される。
　混信行列Ａは、被写体光のスペクトル、第１レンズ２６の分光透過率、第２レンズ３０の分光透過率、複数のフィルタ４４の分光透過率、及びイメージセンサ１４の分光感度に基づいて規定される行列である。
　混信行列Ａの一般逆行列である混信除去行列をＡ＋とした場合、各画像画素の画素値Ｘは、式（４）によって表される。
　混信除去行列Ａ＋も、混信行列Ａと同様に、被写体光のスペクトル、第１レンズ２６の分光透過率、第２レンズ３０の分光透過率、複数のフィルタ４４の分光透過率、及びイメージセンサ１４の分光感度に基づいて規定される行列である。混信除去行列Ａ＋は、ユーザ等によって設定され、ＮＶＭ７２に予め記憶される。
　混信除去処理部８４は、ＮＶＭ７２に記憶されている混信除去行列Ａ＋と、出力値取得部８２によって取得された各物理画素５８の出力値Ｙとを取得する。そして、混信除去処理部８４は、取得した混信除去行列Ａ＋と各物理画素５８の出力値Ｙとに基づいて、式（４）により、各画像画素の画素値Ｘを算出して出力する。
　ここで、上述の通り、各画像画素の画素値Ｘは、第１透過波長帯域λ１～第８透過波長帯域λ８の各光の輝度値を画素値Ｘの成分として含む。
　撮像画像１２２のうちの第１スペクトル画像１２４Ａは、第１透過波長帯域λ１の光の輝度値Ｘλ１に対応する画像（すなわち、輝度値Ｘλ１に依拠した画像）である。撮像画像１２２のうちの第２スペクトル画像１２４Ｂは、第２透過波長帯域λ２の光の輝度値Ｘλ２に対応する画像（すなわち、輝度値Ｘλ２に依拠した画像）である。撮像画像１２２のうちの第３スペクトル画像１２４Ｃは、第３透過波長帯域λ３の光の輝度値Ｘλ３に対応する画像（すなわち、輝度値Ｘλ３に依拠した画像）である。撮像画像１２２のうちの第４スペクトル画像１２４Ｄは、第４透過波長帯域λ４の光の輝度値Ｘλ４に対応する画像（すなわち、輝度値Ｘλ４に依拠した画像）である。
　また、撮像画像１２２のうちの第５スペクトル画像１２４Ｅは、第５透過波長帯域λ５の光の輝度値Ｘλ５に対応する画像（すなわち、輝度値Ｘλ５に依拠した画像）である。撮像画像１２２のうちの第６スペクトル画像１２４Ｆは、第６透過波長帯域λ６の光の輝度値Ｘλ６に対応する画像（すなわち、輝度値Ｘλ６に依拠した画像）である。撮像画像１２２のうちの第７スペクトル画像１２４Ｇは、第７透過波長帯域λ７の光の輝度値Ｘλ７に対応する画像（すなわち、輝度値Ｘλ７に依拠した画像）である。撮像画像１２２のうちの第８スペクトル画像１２４Ｈは、第８透過波長帯域λ８の光の輝度値Ｘλ８に対応する画像（すなわち、輝度値Ｘλ８に依拠した画像）である。以下、第１スペクトル画像１２４Ａ～第８スペクトル画像１２４Ｈを区別して説明する必要が無い場合、第１スペクトル画像１２４Ａ～第８スペクトル画像１２４Ｈを「スペクトル画像１２４」と称する。
　このように、混信除去処理部８４によって混信除去処理が行われることにより、撮像画像１２２が、第１透過波長帯域λ１～第８透過波長帯域λ８の各光の輝度値Ｘλに対応する複数のスペクトル画像１２４に分離される。すなわち、撮像画像１２２が、複数のフィルタ４４の透過波長帯域λ毎のスペクトル画像１２４に分離される。複数のスペクトル画像１２４は、偏光子４６及びフィルタ４４を有するイメージセンサ１４によって撮像されることで得られた画像であり、偏光子４６に対応する偏光情報と、フィルタ４４に対応する波長情報とを含む。複数のスペクトル画像１２４の数は、後述するチャネル（図６及び図１０参照）の数以上である。
　複数のスペクトル画像１２４は、本開示の技術に係る「異なる複数のスペクトル画像」及び「第１スペクトル画像」の一例である。波長情報は、本開示の技術に係る「第１波長情報」の一例である。
　一例として図５に示すように、位置合わせ処理部８６は、複数のスペクトル画像１２４に対して位置合わせ処理を行う。位置合わせ処理は、例えば、光学的な歪みを補正する処理及び／又は撮影における歪みを幾何的に補正する処理を含む。光学的な歪みを補正する処理としては、例えば、ディストーション補正（例えば、樽型収差又は糸巻き型収差の補正）などの処理が挙げられる。撮影における歪みを補正する幾何的に補正する処理としては、例えば台形補正（すなわち、射影変換又はアフィン変換等）などの処理が挙げられる。
　一例として図６に示すように、初期画像生成部８８は、異なる複数のスペクトル画像１２４に対して、Ｒチャネル、Ｇチャネル、及びＢチャネルに割り当てる割り当て処理を行うことにより、Ｒチャネル、Ｇチャネル、及びＢチャネル毎に、Ｒチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃを生成する。そして、初期画像生成部８８は、生成したＲチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃを合成することにより、初期画像１２８を生成する。
　初期画像生成部８８による割り当て処理では、初期画像生成部８８は、複数のスペクトル画像１２４に対して演算処理を行う。演算処理では、ゲインを用いた演算が行われる。演算は、複数のスペクトル画像１２４を含む積和演算である。すなわち、式（５）に示すように、複数のスペクトル画像１２４に含まれる各画像画素のうちのＲチャネルに割り当てられる画像画素成分ＸＲは、Ｒチャネルに対して設定された第１ゲインＧＲ１～第８ゲインＧＲ８と透過波長帯域λ１～λ８の輝度値Ｘλ１～Ｘλ８との積の総和によって算出される。第１ゲインＧＲ１～第８ゲインＧＲ８は、第１透過波長帯域λ１～第８透過波長帯域λ８のそれぞれに対応するゲインである。
　同様に、式（６）に示すように、複数のスペクトル画像１２４に含まれる各画像画素のうちのＧチャネルに割り当てられる画像画素成分ＸＧは、Ｇチャネルに対して設定された第１ゲインＧＧ１～第８ゲインＧＧ８と透過波長帯域λ１～λ８の輝度値Ｘλ１～Ｘλ８との積の総和によって算出される。第１ゲインＧＧ１～第８ゲインＧＧ８は、第１透過波長帯域λ１～第８透過波長帯域λ８のそれぞれに対応するゲインである。
　また、式（７）に示すように、複数のスペクトル画像１２４に含まれる各画像画素のうちのＢチャネルに割り当てられる画像画素成分ＸＢは、Ｂチャネルに対して設定された第１ゲインＧＢ１～第８ゲインＧＢ８と透過波長帯域λ１～λ８の輝度値Ｘλ１～Ｘλ８との積の総和によって算出される。第１ゲインＧＢ１～第８ゲインＧＢ８は、第１透過波長帯域λ１～第８透過波長帯域λ８のそれぞれに対応するゲインである。
　そして、複数のスペクトル画像１２４に含まれる各画像画素のうちの画像画素成分ＸＲ、ＸＧ、及びＸＢが算出されることにより、複数のスペクトル画像１２４がＲチャネル、Ｇチャネル、及びＢチャネルに割り当てられる。
　表１には、初期画像生成部８８による割り当て処理において、Ｒチャネルに対して設定された第１ゲインＧＲ１～第８ゲインＧＲ８、Ｇチャネルに対して設定された第１ゲインＧＧ１～第８ゲインＧＧ８、及びＢチャネルに対して設定された第１ゲインＧＢ１～第８ゲインＧＢ８の一例が示されている。表１に示すゲインは、初期画像１２８用のゲインである。
　表１に示すように、Ｒチャネルでは、赤色の透過波長帯域である第５透過波長帯域λ５に対応する第５ゲインＧＲ５が「１」に設定され、第５透過波長帯域λ５以外の透過波長帯域に対応する残りのゲインが「０」に設定されることにより、複数のスペクトル画像１２４から赤色の光の輝度値Ｘλ５のみを含むＲチャネル画像１２６Ａが得られる。
　同様に、Ｇチャネルでは、緑色の透過波長帯域である第３透過波長帯域λ３に対応する第３ゲインＧＧ３が「１」に設定され、第３透過波長帯域λ３以外の透過波長帯域に対応する残りのゲインが「０」に設定されることにより、複数のスペクトル画像１２４から緑色の光の輝度値Ｘλ３のみを含むＧチャネル画像１２６Ｂが得られる。
　また、Ｂチャネルでは、青色の透過波長帯域である第１透過波長帯域λ１に対応する第１ゲインＧＢ１が「１」に設定され、第１透過波長帯域λ１以外の透過波長帯域に対応する残りのゲインが「０」に設定されることにより、複数のスペクトル画像１２４から青色の光の輝度値Ｘλ１のみを含むＢチャネル画像１２６Ｃが得られる。
　このようにして得られたＲチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃが合成されることにより生成された初期画像１２８は、疑似カラー化されていない通常のＲＧＢ画像である。初期画像１２８は、本開示の技術に係る「複数のスペクトル画像に基づいて生成された画像」の一例である。
　以下、Ｒチャネル、Ｇチャネル、及びＢチャネルを区別して説明する必要が無い場合、Ｒチャネル、Ｇチャネル、及びＢチャネルをそれぞれ「チャネル」と称する。また、Ｒチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃを区別して説明する必要が無い場合、Ｒチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃをそれぞれ「チャネル画像１２６」と称する。
　一例として図７に示すように、初期画像出力部９０は、初期画像生成部８８によって生成された初期画像１２８を示す初期画像データをディスプレイ２４に対して出力する。ディスプレイ２４は、初期画像データに基づいて初期画像１２８を表示する。一例として、図７に示される例では、人の左の手１４０と、第１物体１４４と、第２物体１４６と、背景１４８とを示す初期画像１２８がディスプレイ２４に表示されている。手１４０は、血管１４２を含む。
　一例として図８に示すように、プロセッサ７０は、初期画像１２８をディスプレイ２４に表示させた場合、撮像装置１０の動作モードを、ユーザ等が受付装置２２を通じて初期画像１２８を複数の領域１３２に区分けすることが可能な領域区分けモードに設定する。
　ユーザ等は、初期画像１２８がディスプレイ２４に表示されている状態で、初期画像１２８を複数の領域１３２に区分けするための領域区分け指示を受付装置２２に対して付与する。領域区分け指示は、例えば、受付装置２２に含まれるタッチパネル等に対して付与される。
　受付装置２２は、領域区分け指示を受け付けた場合、領域区分け指示を示す領域区分け指示データをプロセッサ７０に対して出力する。領域設定判定部９２は、プロセッサ７０に領域区分け指示データが入力されたか否かを判定する。
　領域設定部９４は、プロセッサ７０に領域区分け指示データが入力されたと領域設定判定部９２によって判定された場合、領域区分け指示データに従って、初期画像１２８を複数の領域１３２に区分けする。初期画像１２８を複数の領域１３２に区分けする処理には、例えば、複数のスペクトル画像１２４に含まれる像の境界を検出する処理、及び／又は予め記憶された分光特性に基づいて複数の領域１３２を区分けする処理等の各種処理が用いられる。
　一例として、図８に示される例では、領域区分け指示は、第１領域指示、第２領域指示、第３領域指示、第４領域指示、及び第５領域指示を含む。第１領域指示は、手１４０のうちの血管１４２以外の部分に対応する領域１３２（以下、「第１領域１３２Ａ」とも称する）を指定する指示である。第２領域指示は、手１４０のうちの血管１４２に対応する領域１３２（以下、「第２領域１３２Ｂ」とも称する）を指定する指示である。第３領域指示は、第１物体１４４に対応する領域１３２（以下、「第３領域１３２Ｃ」とも称する）を指定する指示である。第４領域指示は、第２物体１４６に対応する領域１３２（以下、「第４領域１３２Ｄ」とも称する）を指定する指示である。第５領域指示は、背景１４８に対応する領域１３２（以下、「第５領域１３２Ｅ」とも称する）を指定する指示である。
　そして、図８に示される例では、第１領域指示、第２領域指示、第３領域指示、第４領域指示、及び第５領域指示に対応して、初期画像１２８が、複数の領域１３２に区分けされている。具体的には、初期画像１２８は、第１領域１３２Ａと、第２領域１３２Ｂと、第３領域１３２Ｃと、第４領域１３２Ｄと、第５領域１３２Ｅとに区分けされている。第１領域１３２Ａと、第２領域１３２Ｂと、第３領域１３２Ｃと、第４領域１３２Ｄと、第５領域１３２Ｅとは、互いに異なる波長帯域の光を反射するため、区分け可能である。複数の領域１３２は、本開示の技術に係る「複数の領域」の一例である。
　一例として図９に示すように、プロセッサ７０は、初期画像１２８が複数の領域１３２に区分けされた場合、撮像装置１０の動作モードを、ユーザ等が受付装置２２を通じて各領域１３２に対して色を設定することが可能な色設定モードに設定する。撮像装置１０の動作モードが色設定モードに設定された場合、ディスプレイ２４には、複数の色を選択可能な色パレット１３４が表示される。
　色パレット１３４がディスプレイ２４に表示されている状態で、ユーザ等は、各領域１３２に対して色を設定するための色設定指示を受付装置２２に対して付与する。色設定指示は、複数の領域１３２のうちの色を設定する領域１３２を指定する領域指定指示と、領域指定指示に対応する領域１３２に対して設定する色を指定する色指定指示とを含む。色設定指示は、例えば、受付装置２２に含まれるタッチパネル（図示省略）等に対して付与される。
　受付装置２２は、色設定指示を受け付けた場合、色設定指示を示す色設定指示データをプロセッサ７０に対して出力する。色設定指示データは、領域指定指示に対応する領域情報と、色指定指示に対応する色情報とを含む。色情報は、本開示の技術に係る「色情報」の一例である。色設定判定部９６は、プロセッサ７０に色設定指示データが入力されたか否かを判定する。
　ゲイン設定部９８は、プロセッサ７０に色設定指示データが入力されたと色設定判定部９６によって判定された場合、色設定指示データに従って、領域指定指示によって指定された領域１３２が色指定指示によって指定された色に設定されるように、複数のスペクトル画像１２４に対してゲインＧを設定する。
　ここで、ゲインＧの導出方法について説明する。複数のスペクトル画像１２４に基づいて生成される疑似カラー画像１３０（図１０参照）に含まれる各画像画素の画素値ｙは、式（８）によって表される。
　ただし、ｙＲ１は、第１領域１３２Ａの赤色の輝度値であり、ｙＲ２は、第２領域１３２Ｂの赤色の輝度値であり、ｙＲ３は、第３領域１３２Ｃの赤色の輝度値であり、ｙＲ４は、第４領域１３２Ｄの赤色の輝度値であり、ｙＲ５は、第５領域１３２Ｅの赤色の輝度値である。
　ｙＧ１は、第１領域１３２Ａの緑色の輝度値であり、ｙＧ２は、第２領域１３２Ｂの緑色の輝度値であり、ｙＧ３は、第３領域１３２Ｃの緑色の輝度値であり、ｙＧ４は、第４領域１３２Ｄの緑色の輝度値であり、ｙＧ５は、第５領域１３２Ｅの緑色の輝度値である。
　ｙＢ１は、第１領域１３２Ａの青色の輝度値であり、ｙＢ２は、第２領域１３２Ｂの青色の輝度値であり、ｙＢ３は、第３領域１３２Ｃの青色の輝度値であり、ｙＢ４は、第４領域１３２Ｄの青色の輝度値であり、ｙＢ５は、第５領域１３２Ｅの青色の輝度値である。
　各領域１３２の平均輝度値ｘは、式（９）によって表される。
　ただし、ｘλ１－１は、第１領域１３２Ａに含まれる画像画素における第１透過波長帯域λ１の光の平均輝度値である。ｘλ１－２は、第２領域１３２Ｂに含まれる画像画素における第１透過波長帯域λ１の光の平均輝度値である。ｘλ１－３は、第３領域１３２Ｃに含まれる画像画素における第１透過波長帯域λ１の光の平均輝度値である。ｘλ１－４は、第４領域１３２Ｄに含まれる画像画素における第１透過波長帯域λ１の光の平均輝度値である。ｘλ１－５は、第５領域１３２Ｅに含まれる画像画素における第１透過波長帯域λ１の光の平均輝度値である。
　ｘλ２－１は、第１領域１３２Ａに含まれる画像画素における第２透過波長帯域λ２の光の平均輝度値である。ｘλ２－２は、第２領域１３２Ｂに含まれる画像画素における第２透過波長帯域λ２の光の平均輝度値である。ｘλ２－３は、第３領域１３２Ｃに含まれる画像画素における第２透過波長帯域λ２の光の平均輝度値である。ｘλ２－４は、第４領域１３２Ｄに含まれる画像画素における第２透過波長帯域λ２の光の平均輝度値である。ｘλ２－５は、第５領域１３２Ｅに含まれる画像画素における第２透過波長帯域λ２の光の平均輝度値である。
　ｘλ３－１は、第１領域１３２Ａに含まれる画像画素における第３透過波長帯域λ３の光の平均輝度値である。ｘλ３－２は、第２領域１３２Ｂに含まれる画像画素における第３透過波長帯域λ３の光の平均輝度値である。ｘλ３－３は、第３領域１３２Ｃに含まれる画像画素における第３透過波長帯域λ３の光の平均輝度値である。ｘλ３－４は、第４領域１３２Ｄに含まれる画像画素における第３透過波長帯域λ３の光の平均輝度値である。ｘλ３－５は、第５領域１３２Ｅに含まれる画像画素における第３透過波長帯域λ３の光の平均輝度値である。
　ｘλ４－１は、第１領域１３２Ａに含まれる画像画素における第４透過波長帯域λ４の光の平均輝度値である。ｘλ４－２は、第２領域１３２Ｂに含まれる画像画素における第４透過波長帯域λ４の光の平均輝度値である。ｘλ４－３は、第３領域１３２Ｃに含まれる画像画素における第４透過波長帯域λ４の光の平均輝度値である。ｘλ４－４は、第４領域１３２Ｄに含まれる画像画素における第４透過波長帯域λ４の光の平均輝度値である。ｘλ４－５は、第５領域１３２Ｅに含まれる画像画素における第４透過波長帯域λ４の光の平均輝度値である。
　ｘλ５－１は、第１領域１３２Ａに含まれる画像画素における第５透過波長帯域λ５の光の平均輝度値である。ｘλ５－２は、第２領域１３２Ｂに含まれる画像画素における第５透過波長帯域λ５の光の平均輝度値である。ｘλ５－３は、第３領域１３２Ｃに含まれる画像画素における第５透過波長帯域λ５の光の平均輝度値である。ｘλ５－４は、第４領域１３２Ｄに含まれる画像画素における第５透過波長帯域λ５の光の平均輝度値である。ｘλ５－５は、第５領域１３２Ｅに含まれる画像画素における第５透過波長帯域λ５の光の平均輝度値である。
　ｘλ６－１は、第１領域１３２Ａに含まれる画像画素における第６透過波長帯域λ６の光の平均輝度値である。ｘλ６－２は、第２領域１３２Ｂに含まれる画像画素における第６透過波長帯域λ６の光の平均輝度値である。ｘλ６－３は、第３領域１３２Ｃに含まれる画像画素における第６透過波長帯域λ６の光の平均輝度値である。ｘλ６－４は、第４領域１３２Ｄに含まれる画像画素における第６透過波長帯域λ６の光の平均輝度値である。ｘλ６－５は、第５領域１３２Ｅに含まれる画像画素における第６透過波長帯域λ６の光の平均輝度値である。
　ｘλ７－１は、第１領域１３２Ａに含まれる画像画素における第７透過波長帯域λ７の光の平均輝度値である。ｘλ７－２は、第２領域１３２Ｂに含まれる画像画素における第７透過波長帯域λ７の光の平均輝度値である。ｘλ７－３は、第３領域１３２Ｃに含まれる画像画素における第７透過波長帯域λ７の光の平均輝度値である。ｘλ７－４は、第４領域１３２Ｄに含まれる画像画素における第７透過波長帯域λ７の光の平均輝度値である。ｘλ７－５は、第５領域１３２Ｅに含まれる画像画素における第７透過波長帯域λ７の光の平均輝度値である。
　ｘλ８－１は、第１領域１３２Ａに含まれる画像画素における第８透過波長帯域λ８の光の平均輝度値である。ｘλ８－２は、第２領域１３２Ｂに含まれる画像画素における第８透過波長帯域λ８の光の平均輝度値である。ｘλ８－３は、第３領域１３２Ｃに含まれる画像画素における第８透過波長帯域λ８の光の平均輝度値である。ｘλ８－４は、第４領域１３２Ｄに含まれる画像画素における第８透過波長帯域λ８の光の平均輝度値である。ｘλ８－５は、第５領域１３２Ｅに含まれる画像画素における第８透過波長帯域λ８の光の平均輝度値である。
　疑似カラー画像１３０に含まれる各画像画素の画素値ｙは、ゲインＧを用いることにより、式（１０）によって表される。
　ゲインＧは、Ｒチャネルに対して設定された第１ゲインＧＲ１～第８ゲインＧＲ８と、Ｇチャネルに対して設定された第１ゲインＧＧ１～第８ゲインＧＧ８と、Ｂチャネルに対して設定された第１ゲインＧＢ１～第８ゲインＧＢ８とを含む。第１ゲインＧＲ１～第８ゲインＧＲ８は、第１透過波長帯域λ１～第８透過波長帯域λ８のそれぞれに対応するゲインである。第１ゲインＧＧ１～第８ゲインＧＧ８は、第１透過波長帯域λ１～第８透過波長帯域λ８のそれぞれに対応するゲインである。第１ゲインＧＢ１～第８ゲインＧＢ８は、第１透過波長帯域λ１～第８透過波長帯域λ８のそれぞれに対応するゲインである。ゲインＧは、式（１１）によって表される。
　疑似カラー画像１３０に含まれる各画像画素の画素値ｙは、領域指定指示及び色指定指示によって指定された領域１３２及び色に基づいて設定される。領域指定指示及び色指定指示によって指定されていない領域１３２の色は、初期画像１２８に基づいて設定される。
　そして、式（８）～式（１１）より、第１ゲインＧＲ１～第８ゲインＧＲ８と、第１ゲインＧＧ１～第８ゲインＧＧ８と、第１ゲインＧＢ１～第８ゲインＧＢ８とが導出される。
　なお、ゲインＧは、領域区分け指示によって区分けされた領域１３２の数が透過波長帯域λの数以下である場合に、上記算出方法により導出される。領域１３２の数が透過波長帯域λの数よりも多い場合には、例えば最小二乗和などの補間処理が行われることによりゲインＧが近似解として導出されてもよい。また、ゲインＧは、各スペクトル画像１２４に含まれる複数の画像画素に対して一律に設定されるが、各スペクトル画像１２４に含まれる各画像画素に対して個別に設定されてもよい。
　表２には、第２領域１３２Ｂを青色に設定する色設定指示（以下、「第１色設定指示」と称する）に従って導出されたゲインＧの一例が示されている。表２に示すように、第１色設定指示に従って導出されたゲインＧには、正のゲインに加えて、負のゲインが含まれる。
　図１０には、ゲイン設定部９８によって設定されたゲインＧに基づいて疑似カラー画像１３０が生成される例が示されている。疑似カラー画像生成部１００は、異なる複数のスペクトル画像１２４に対して、Ｒチャネル、Ｇチャネル、及びＢチャネルに割り当てる割り当て処理を行うことにより、Ｒチャネル、Ｇチャネル、及びＢチャネル毎に、Ｒチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃを生成する。
　Ｒチャネル、Ｇチャネル、及びＢチャネルは、本開示の技術に係る「異なるチャネル」の一例である。割り当て処理は、本開示の技術に係る「割り当て処理」の一例である。Ｒチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃは、本開示の技術に係る「チャネル画像」の一例である。疑似カラー画像１３０は、本開示の技術に係る「第１疑似カラー画像」の一例である。
　疑似カラー画像生成部１００による割り当て処理では、疑似カラー画像生成部１００は、複数のスペクトル画像１２４に対して演算処理を行う。演算処理では、上述のゲイン設定部９８によって設定されたゲインＧを用いた演算が行われる。演算は、複数のスペクトル画像１２４を含む積和演算である。
　すなわち、式（５）に示すように、複数のスペクトル画像１２４に含まれる各画像画素のうちのＲチャネルに割り当てられる画像画素成分ＸＲは、Ｒチャネルに対して設定された第１ゲインＧＲ１～第８ゲインＧＲ８と透過波長帯域λ１～λ８の輝度値Ｘλ１～Ｘλ８との積の総和によって算出される。
　同様に、式（６）に示すように、複数のスペクトル画像１２４に含まれる各画像画素のうちのＧチャネルに割り当てられる画像画素成分ＸＧは、Ｇチャネルに対して設定された第１ゲインＧＧ１～第８ゲインＧＧ８と透過波長帯域λ１～λ８の輝度値Ｘλ１～Ｘλ８との積の総和によって算出される。
　また、式（７）に示すように、複数のスペクトル画像１２４に含まれる各画像画素のうちのＢチャネルに割り当てられる画像画素成分ＸＢは、Ｂチャネルに対して設定された第１ゲインＧＢ１～第８ゲインＧＢ８と透過波長帯域λ１～λ８の輝度値Ｘλ１～Ｘλ８との積の総和によって算出される。
　表２に示すように、ゲインＧに正のゲインに加えて負のゲイン（すなわち、負値）が含まれることにより、演算処理では、減算を含む演算が行われる。このようにして、複数のスペクトル画像１２４に含まれる各画像画素のうちの画像画素成分ＸＲ、ＸＧ、及びＸＢが算出されることにより、複数のスペクトル画像１２４がＲチャネル、Ｇチャネル、及びＢチャネルに割り当てられる。そして、疑似カラー画像生成部１００は、生成したＲチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃを合成することにより、疑似カラー画像１３０を生成する。
　一例として図１１に示すように、疑似カラー画像出力部１０２は、疑似カラー画像生成部１００によって生成された疑似カラー画像１３０を示す疑似カラー画像データをディスプレイ２４に対して出力する。疑似カラー画像データは、本開示の技術に係る「第１疑似カラー画像を表示させるためのデータ」の一例である。ディスプレイ２４は、疑似カラー画像データにより示される疑似カラー画像１３０を表示する。
　一例として、図１１に示す例では、第２領域１３２Ｂが青色に設定された疑似カラー画像１３０がディスプレイ２４に表示されている。なお、図１１に示す例では、第２領域１３２Ｂの色が青色に設定されることにより、手１４０の指先において第２領域１３２Ｂの色が飽和している。つまり、ディスプレイ２４の表現域に対して疑似カラー画像１３０のレンジの上限値が上回っている。ディスプレイ２４の表現域とは、ディスプレイ２４に表示可能な輝度の範囲を指す。疑似カラー画像１３０のレンジとは、疑似カラー画像１３０に含まれる画像画素の輝度の範囲を指す。ディスプレイ２４は、本開示の技術に係る「表示媒体」及び「表示装置」の一例である。
　一例として図１２には、第２領域１３２Ｂを青色に代えて水色に設定する色設定指示（以下、「第２色設定指示」と称する）に従って疑似カラー画像１３０が生成された例が示されている。
　例えば、上述のように、第２領域１３２Ｂの色が青色に設定された場合に、第２領域１３２Ｂの色が飽和する場合には、第２領域１３２Ｂの色を青色から水色に変更してもよい。図１２に示す例では、第２領域１３２Ｂの色が青色から水色に変更されることにより、第２領域１３２Ｂの色が飽和することが回避されている。
　表３には、第２色設定指示に従って導出されたゲインＧの一例が示されている。表３に示すように、第２色設定指示に従って導出されたゲインＧには、正のゲインに加えて、負のゲインが含まれる。表３に示すように、ゲインＧに正のゲインに加えて負のゲイン（すなわち、負値）が含まれることにより、演算処理（図１０参照）では、減算を含む演算が行われる。
　図１２に示す例では、第２領域１３２Ｂが水色に設定された疑似カラー画像１３０が生成される。第２領域１３２Ｂの色が水色に設定された場合、ゲインＧは、疑似カラー画像１３０を表示するディスプレイ２４の表現域に、疑似カラー画像１３０のレンジが収まる値に設定される。これにより、第２領域１３２Ｂの色が飽和することが回避される。
　なお、例えば、複数の領域１３２のうちのいずれかの領域１３２の色が飽和する色に指定された場合、ゲイン設定部９８（図９参照）は、ディスプレイ２４の表現域に、疑似カラー画像１３０のレンジが収まるように、ゲインＧを調整してもよい。
　一例として図１３には、第２領域１３２Ｂを水色に設定したまま、第１領域１３２Ａを水色に対して視認しやすい黄色、又は水色に対する補色である赤色に設定する色設定指示（以下、「第３色設定指示」と称する）に従って疑似カラー画像１３０が生成された例が示されている。
　表４には、第３色設定指示に従って導出されたゲインＧの一例が示されている。表４に示すように、第３色設定指示に従って導出されたゲインＧには、正のゲインに加えて、負のゲインが含まれる。表４に示すように、ゲインＧに正のゲインに加えて負のゲイン（すなわち、負値）が含まれることにより、演算処理（図１０参照）では、減算を含む演算が行われる。
　図１３に示す例では、第２領域１３２Ｂが水色に設定され、第１領域１３２Ａが黄色又は赤色に設定された疑似カラー画像１３０が生成される。なお、異なる領域１３２で同じ色が設定されると異なる領域１３２の色がそれぞれ飽和する場合があるので、異なる領域１３２で異なる色が設定されることが好ましい。図１３に示す例では、血管１４２に対応する第２領域１３２Ｂが水色に設定され、手１４０のうちの血管１４２以外の部分に対応する第１領域１３２Ａが黄色又は赤色に設定されることにより、手１４０のうちの血管１４２以外の部分に対して血管１４２が強調される。
　一例として図１４には、第２領域１３２Ｂを水色に設定し、かつ第１領域１３２Ａを黄色又は赤色に設定したまま、第３領域１３２Ｃを白色に設定する色設定指示（以下、「第４色設定指示」と称する）に従って疑似カラー画像１３０が生成された例が示されている。なお、第４領域１３２Ｄ及び第５領域１３２Ｅの色は、初期画像１２８における第４領域１３２Ｄ及び第５領域１３２Ｅの色のままである。
　表５には、第４色設定指示に従って導出されたゲインＧの一例が示されている。表５に示すように、第４色設定指示に従って導出されたゲインＧには、正のゲインに加えて、負のゲインが含まれる。表５に示すように、ゲインＧに正のゲインに加えて負のゲイン（すなわち、負値）が含まれることにより、演算処理（図１０参照）では、減算を含む演算が行われる。
　図１４に示す例では、第２領域１３２Ｂが水色に設定され、第１領域１３２Ａが黄色又は赤色に設定され、第３領域１３２Ｃが白色に設定された疑似カラー画像１３０が生成される。図１４に示す例では、背景１４８に対応する第３領域１３２Ｃが白色に設定されることにより、背景１４８に対して手１４０と血管１４２が強調される。
　なお、疑似カラー画像１３０は、例えば演算に加算のみが含まれる疑似カラー画像（以下、「比較対象疑似カラー画像」と称する）に対して、波長情報の弁別性が高められた画像である。波長情報の弁別性が高められた画像の一例としては、色差及び／又は輝度差等によって比較対象疑似カラー画像と区別可能な画像が挙げられる。
　ここで、色差とは、例えば、色相環において補色関係にあることを指す。例えば、色相環の関係にある２色のうちの一方の色が比較対象疑似カラー画像に用いられている場合、色相環の関係にある２色のうちの他方の色が疑似カラー画像１３０に用いられる。また、光の三原色と色の三原色とが補色関係にあることを利用して、比較対象疑似カラーに対して疑似カラーに用いられる色が設定されてもよい。また、輝度差に関しては、例えば、比較対象疑似カラー画像が「１５０～２５５」の輝度範囲内で表現された場合、疑似カラー画像１３０が「０～５０」の輝度範囲内で表現されてもよい。
　比較対象疑似カラー画像は、本開示の技術に係る「第２疑似カラー画像」の一例である。ゲインは、本開示の技術に係る「第１スペクトル画像の係数」の一例である。波長情報は、本開示の技術に係る「第２波長情報」の一例である。
　次に、本実施形態に係る撮像装置１０の作用について図１５を参照しながら説明する。図１５には、本実施形態に係る画像表示処理の流れの一例が示されている。
　図１５に示す画像表示処理では、先ず、ステップＳＴ１０で、出力値取得部８２は、イメージセンサ１４からプロセッサ７０に入力された撮像データ１２０に基づいて、各物理画素５８の出力値Ｙをそれぞれ取得する（図４参照）。ステップＳＴ１０の処理が実行された後、画像表示処理は、ステップＳＴ１２へ移行する。
　ステップＳＴ１２で、混信除去処理部８４は、ステップＳＴ１０で取得された各物理画素５８の出力値Ｙに対して混信除去処理をそれぞれ実行する（図４参照）。これにより、撮像データ１２０によって示される撮像画像１２２が、複数のフィルタ４４の透過波長帯域λ毎のスペクトル画像１２４に分離される。ステップＳＴ１２の処理が実行された後、画像表示処理は、ステップＳＴ１４へ移行する。
　ステップＳＴ１４で、位置合わせ処理部８６は、ステップＳＴ１２で生成された複数のスペクトル画像１２４に対して位置合わせ処理を行う（図５参照）。ステップＳＴ１４の処理が実行された後、画像表示処理は、ステップＳＴ１６へ移行する。
　ステップＳＴ１６で、初期画像生成部８８は、ステップＳＴ１４で位置合わせ処理が行われた複数のスペクトル画像１２４に対して、Ｒチャネル、Ｇチャネル、及びＢチャネルに割り当てる割り当て処理を行うことにより、Ｒチャネル、Ｇチャネル、及びＢチャネル毎に、Ｒチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃを生成する（図６参照）。ステップＳＴ１６の処理が実行された後、画像表示処理は、ステップＳＴ１８へ移行する。
　ステップＳＴ１８で、初期画像生成部８８は、ステップＳＴ１６で生成したＲチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃを合成することにより、初期画像１２８を生成する（図６参照）。ステップＳＴ１８の処理が実行された後、画像表示処理は、ステップＳＴ２０へ移行する。
　ステップＳＴ２０で、初期画像出力部９０は、ステップＳＴ１８で生成された初期画像１２８を示す初期画像データをディスプレイ２４に対して出力する（図７参照）。これにより、ディスプレイ２４に初期画像１２８が表示される。ステップＳＴ２０の処理が実行された後、画像表示処理は、ステップＳＴ２２へ移行する。
　ステップＳＴ２２で、領域設定判定部９２は、プロセッサ７０に領域区分け指示データが入力されたか否かを判定する（図８参照）。プロセッサ７０に領域区分け指示データが入力されていない場合には、判定が否定されて、画像表示処理は、ステップＳＴ３６へ移行する。プロセッサ７０に領域区分け指示データが入力された場合には、判定が肯定されて、画像表示処理は、ステップＳＴ２４へ移行する。
　ステップＳＴ２４で、領域設定部９４は、領域区分け指示データに従って、初期画像１２８を複数の領域１３２に区分けする（図８参照）。ステップＳＴ２４の処理が実行された後、画像表示処理は、ステップＳＴ２６へ移行する。
　ステップＳＴ２６で、色設定判定部９６は、プロセッサ７０に色設定指示データが入力されたか否かを判定する（図９参照）。プロセッサ７０に色設定指示データが入力されていない場合には、判定が否定されて、画像表示処理は、ステップＳＴ３６へ移行する。プロセッサ７０に色設定指示データが入力された場合には、判定が肯定されて、画像表示処理は、ステップＳＴ２８へ移行する。
　ステップＳＴ２８で、ゲイン設定部９８は、色設定指示データに従って、領域指定指示によって指定された領域１３２が色指定指示によって指定された色に設定されるように、複数のスペクトル画像１２４に対してゲインＧを設定する（図９参照）。ステップＳＴ２８の処理が実行された後、画像表示処理は、ステップＳＴ３０へ移行する。
　ステップＳＴ３０で、疑似カラー画像生成部１００は、ステップＳＴ２８で設定されたゲインＧに基づいて、複数のスペクトル画像１２４に対して演算処理を行うことにより、Ｒチャネル、Ｇチャネル、及びＢチャネル毎に、Ｒチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃを生成する（図１０参照）。これにより、複数のスペクトル画像１２４がＲチャネル、Ｇチャネル、及びＢチャネルに割り当てられる。ステップＳＴ３０の処理が実行された後、画像表示処理は、ステップＳＴ３２へ移行する。
　ステップＳＴ３２で、疑似カラー画像生成部１００は、ステップＳＴ３０で生成したＲチャネル画像１２６Ａ、Ｇチャネル画像１２６Ｂ、及びＢチャネル画像１２６Ｃを合成することにより、疑似カラー画像１３０を生成する（図１０参照）。ステップＳＴ３２の処理が実行された後、画像表示処理は、ステップＳＴ３４へ移行する。
　ステップＳＴ３４で、疑似カラー画像出力部１０２は、ステップＳＴ３２で生成された疑似カラー画像１３０を示す疑似カラー画像データをディスプレイ２４に対して出力する（図１１参照）。これにより、ディスプレイ２４に疑似カラー画像１３０が表示される。ステップＳＴ３４の処理が実行された後、画像表示処理は、ステップＳＴ３６へ移行する。
　ステップＳＴ３６で、プロセッサ７０は、画像表示処理を終了する条件（すなわち、終了条件）が成立したか否かを判定する。終了条件の一例としては、ユーザ等が画像表示処理を終了させる指示を撮像装置１０に対して付与したという条件等が挙げられる。ステップＳＴ３６において、終了条件が成立していない場合には、判定が否定されて、画像表示処理は、ステップＳＴ２６へ移行する。ステップＳＴ３６において、終了条件が成立した場合には、判定が肯定されて、画像表示処理は終了する。なお、上述の撮像装置１０の作用として説明した画像表示処理方法は、本開示の技術に係る「情報処理方法」の一例である。
　以上説明したように、本実施形態に係る撮像装置１０では、プロセッサ７０は、異なる複数のスペクトル画像１２４に対して、異なるチャネルに割り当てる割り当て処理を行うことにより、チャネル毎にチャネル画像１２６を生成し、複数のチャネル画像１２６に基づいて疑似カラー画像１３０を生成する（図１０参照）。割り当て処理は、複数のスペクトル画像１２４に対して減算を含む演算に基づいてチャネル画像１２６を生成する処理を含む。したがって、例えば、異なる複数のスペクトル画像１２４に対して加算のみを含む演算に基づいてチャネル画像１２６が生成される場合に比して、複数のスペクトル画像１２４の疑似カラー化にあたって自由度の高い色調整を実現することができる。この結果、加算のみを含む演算に基づいて生成されたチャネル画像１２６が合成されることにより生成された比較対象疑似カラー画像に対して視覚的に区別可能な疑似カラー画像１３０を生成することできる。
　演算は、複数のスペクトル画像１２４を含む積和演算であり、減算は、積和演算における複数のスペクトル画像１２４のゲインに負値が含まれることにより実現される。したがって、負値を含むゲインの値及び／又は負値を含むゲインの数を調整することにより、疑似カラー画像１３０の色を調整することができる。
　ゲインＧは、疑似カラー画像１３０を表示するディスプレイ２４の表現域に、疑似カラー画像１３０のレンジが収まる値に設定される。したがって、疑似カラー画像１３０に対して設定された色が飽和することを回避することができる。
　複数のスペクトル画像１２４は、偏光情報及び波長情報を含み、複数のスペクトル画像１２４の数は、チャネルの数以上である。したがって、例えば、複数のスペクトル画像１２４の数がチャネルの数よりも少ない場合に比して、疑似カラー画像１３０の色を調整する場合の自由度を高めることができる。
　プロセッサ７０は、複数の偏光子４６を有するイメージセンサ１４によって撮像されることで得られた複数のスペクトル画像１２４に対して位置合わせ処理を行い、減算は、位置合わせ処理が行われた複数のスペクトル画像１２４に対して行われる。ここで、複数のスペクトル画像１２４は、複数の偏光子４６を有するイメージセンサ１４によって撮像されることで得られた画像である。このため、複数のスペクトル画像１２４には、例えば、レジストレーションのずれ等が生じる。したがって、複数のスペクトル画像１２４に対して位置合わせ処理が行われることにより、位置合わせ処理が行われなかった場合に比して、初期画像１２８（図６参照）及び疑似カラー画像１３０（図１０参照）の画質を確保することができる。
　疑似カラー画像１３０は、演算に加算のみが含まれる比較対象疑似カラー画像に対して、波長情報の弁別性が高められた画像である。したがって、ユーザ等が疑似カラー画像１３０を比較対象疑似カラー画像に対して視覚的に区別することができる。
　プロセッサ７０は、複数のスペクトル画像１２４に基づいて生成された画像を複数の領域１３２に区分けし、演算は、複数の領域１３２に対して設定された色情報に基づいて行われる。したがって、ユーザ等が複数の領域１３２のうちの指定した領域１３２毎に色を設定することができる。
　異なるチャネルは、三原色のチャネルである。したがって、三原色のチャネルに基づいて疑似カラー画像１３０を生成することができる。
　プロセッサ７０は、ディスプレイ２４に対して疑似カラー画像１３０を表示させるための疑似カラー画像データを出力する。したがって、ユーザ等がディスプレイ２４に表示された疑似カラー画像１３０に含まれる被写体像を被写体像本来の色とは異なる色で確認することができる。
　なお、上記実施形態では、複数のスペクトル画像１２４が色の三原色に対応するＲチャネル、Ｇチャネル、及びＢチャネルに割り当てられるが、複数のスペクトル画像１２４が光の三原色に対応するチャネルに割り当てられてもよい。
　また、上記実施形態では、全てのスペクトル画像１２４に対して減算を含む演算が行われるが、複数のスペクトル画像１２４のうちの一部のスペクトル画像１２４に対して減算を含む演算が行われてもよい。
　また、上記実施形態では、偏光情報及び波長情報を含む複数のスペクトル画像１２４が生成されるが、偏光情報及び波長情報のうちのどちらか一方のみを含む複数のスペクトル画像１２４が生成されてもよい。
　また、上記実施形態では、撮像装置１０に備えられたディスプレイ２４に初期画像１２８及び疑似カラー画像１３０が表示されるが、撮像装置１０以外の外部の装置に備えられた表示媒体又は表示装置等に初期画像１２８及び疑似カラー画像１３０が表示されてもよい。
　また、上記実施形態では、一例として、マルチスペクトル画像として、８つの透過波長帯域λに分光された光に基づいて生成されるマルチスペクトル画像を例に挙げて説明したが、８つの透過波長帯域λは、あくまでも一例に過ぎず、複数の透過波長帯域λは、いくつでもよい。
　また、上記実施形態に係る技術は、撮像装置１０以外の種類の装置（以下、「その他の装置」と称する）に対して適用されてもよい。
　また、上記実施形態では、プロセッサ７０を例示したが、プロセッサ７０に代えて、又は、プロセッサ７０と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。
　また、上記実施形態では、ＮＶＭ７２に画像表示プログラム８０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像表示プログラム８０がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的なコンピュータ読取可能な記憶媒体（以下、単に「非一時的記憶媒体」と称する）に記憶されていてもよい。非一時的記憶媒体に記憶されている画像表示プログラム８０は、撮像装置１０のコンピュータ２０にインストールされてもよい。
　また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置に画像表示プログラム８０を記憶させておき、撮像装置１０の要求に応じて画像表示プログラム８０がダウンロードされ、コンピュータ２０にインストールされてもよい。
　また、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ７２に画像表示プログラム８０の全てを記憶させておく必要はなく、画像表示プログラム８０の一部を記憶させておいてもよい。
　また、撮像装置１０には、コンピュータ２０が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ２０が撮像装置１０の外部に設けられるようにしてもよい。
　また、上記実施形態では、プロセッサ７０、ＮＶＭ７２、及びＲＡＭ７４を含むコンピュータ２０が例示されているが、本開示の技術はこれに限定されず、コンピュータ２０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ２０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
　また、上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。
　各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の視線検出処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (11)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　異なる複数のスペクトル画像に対して、異なるチャネルに割り当てる割り当て処理を行うことにより、前記チャネル毎にチャネル画像を生成し、
    　複数の前記チャネル画像に基づいて第１疑似カラー画像を生成し、
    　前記割り当て処理は、前記複数のスペクトル画像のうちの第１スペクトル画像に対して減算を含む演算に基づいて前記チャネル画像を生成する処理を含む
    　情報処理装置。
  2. 　前記演算は、前記第１スペクトル画像を含む積和演算であり、
    　前記減算は、前記積和演算における前記第１スペクトル画像の係数に負値が含まれることにより実現される
    　請求項１に記載の情報処理装置。
  3. 　前記係数は、前記第１疑似カラー画像を表示する表示媒体の表現域に、前記第１疑似カラー画像のレンジが収まる値に設定される
    　請求項２に記載の情報処理装置。
  4. 　前記複数のスペクトル画像は、偏光情報及び／又は第１波長情報を含み、
    　前記複数のスペクトル画像の数は、前記チャネルの数以上である
    　請求項１から請求項３の何れか一項に記載の情報処理装置。
  5. 　前記複数のスペクトル画像は、偏光子を有するイメージセンサによって撮像されることで得られた画像であり、
    　前記プロセッサは、前記第１スペクトル画像に対して位置合わせ処理を行い、
    　前記減算は、前記位置合わせ処理が行われた前記第１スペクトル画像に対して行われる
    　請求項１から請求項４の何れか一項に記載の情報処理装置。
  6. 　前記第１疑似カラー画像は、前記演算に加算のみが含まれる第２疑似カラー画像に対して、第２波長情報の弁別性が高められた画像である
    　請求項１から請求項５の何れか一項に記載の情報処理装置。
  7. 　前記プロセッサは、前記複数のスペクトル画像に基づいて生成された画像を複数の領域に区分けし、
    　前記演算は、前記複数の領域に対して設定された色情報に基づいて行われる
    　請求項１から請求項６の何れか一項に記載の情報処理装置。
  8. 　前記異なるチャネルは、三原色のチャネルである
    　請求項１から請求項７の何れか一項に記載の情報処理装置。
  9. 　前記プロセッサは、表示装置に対して前記第１疑似カラー画像を表示させるためのデータを出力する
    　請求項１から請求項８の何れか一項に記載の情報処理装置。
  10. 　異なる複数のスペクトル画像に対して、異なるチャネルに割り当てる割り当て処理を行うことにより、前記チャネル毎にチャネル画像を生成すること、及び、
    　複数の前記チャネル画像に基づいて第１疑似カラー画像を生成すること、
    　を備え、
    　前記割り当て処理は、前記複数のスペクトル画像のうちの第１スペクトル画像に対して減算を含む演算に基づいて前記チャネル画像を生成する処理を含む
    　情報処理方法。
  11. 　特定処理をコンピュータに実行させるためのプログラムであって、
    　前記特定処理は、
    　異なる複数のスペクトル画像に対して、異なるチャネルに割り当てる割り当て処理を行うことにより、前記チャネル毎にチャネル画像を生成すること、及び、
    　複数の前記チャネル画像に基づいて第１疑似カラー画像を生成すること、
    　を含み、
    　前記割り当て処理は、前記複数のスペクトル画像のうちの第１スペクトル画像に対して減算を含む演算に基づいて前記チャネル画像を生成する処理を含む
    　プログラム。
PCT/JP2022/041773 2022-03-28 2022-11-09 情報処理装置、情報処理方法、及びプログラム WO2023188513A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-052533 2022-03-28
JP2022052533 2022-03-28

Publications (1)

Publication Number Publication Date
WO2023188513A1 true WO2023188513A1 (ja) 2023-10-05

Family

ID=88199948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041773 WO2023188513A1 (ja) 2022-03-28 2022-11-09 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023188513A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185952A (ja) * 1997-09-09 1999-03-30 Olympus Optical Co Ltd 色再現装置
WO2019151029A1 (ja) * 2018-02-05 2019-08-08 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
JP2019215676A (ja) * 2018-06-12 2019-12-19 オムロン株式会社 画像処理装置、画像処理方法、画像センサ
WO2020075523A1 (ja) * 2018-10-09 2020-04-16 富士フイルム株式会社 撮像装置
JP2022039246A (ja) * 2020-08-28 2022-03-10 富士フイルム株式会社 領域抽出装置及び方法並びに対象物検出装置及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185952A (ja) * 1997-09-09 1999-03-30 Olympus Optical Co Ltd 色再現装置
WO2019151029A1 (ja) * 2018-02-05 2019-08-08 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
JP2019215676A (ja) * 2018-06-12 2019-12-19 オムロン株式会社 画像処理装置、画像処理方法、画像センサ
WO2020075523A1 (ja) * 2018-10-09 2020-04-16 富士フイルム株式会社 撮像装置
JP2022039246A (ja) * 2020-08-28 2022-03-10 富士フイルム株式会社 領域抽出装置及び方法並びに対象物検出装置及び方法

Similar Documents

Publication Publication Date Title
KR101344824B1 (ko) 이미지 프로세싱 기기, 이미징 기기, 이미지 프로세싱 방법, 이미징 방법 및 이미징 프로세싱 프로그램
EP3416369B1 (en) Image processing method and apparatus for terminal, and terminal
US20170330053A1 (en) Color night vision system and operation method thereof
US10171757B2 (en) Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter
EP2523160A1 (en) Image processing device, image processing method, and program
EP1594321A2 (en) Extended dynamic range in color imagers
US20070153099A1 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program thereof
KR20100103504A (ko) 칼라-모자이크 이미저로부터 전정색 응답을 성취하는 방법 및 장치
JP2010140442A (ja) 画像処理装置およびその方法
CN107534759A (zh) 摄像装置、摄像方法和程序
US20090009831A1 (en) Image Processing Method, Image Capture Device, and Computer Readable Medium
US10334185B2 (en) Image capturing device, signal separation device, and image capturing method
WO2018116972A1 (ja) 画像処理方法、画像処理装置および記録媒体
CN108702494B (zh) 图像处理装置、成像装置、图像处理方法和存储介质
JP6692749B2 (ja) マルチスペクトルカメラ
WO2023188513A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
JP6143575B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2020213418A1 (ja) 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
WO2023188512A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023145188A1 (ja) 撮像装置、処理装置、処理方法、プログラム、及び光学フィルタ
JP7121538B2 (ja) 撮像装置及び撮像方法
US9100532B2 (en) Image processing apparatus and method for generating an image
JP6645504B2 (ja) 画像処理装置、画像処理プログラム、撮像装置、および撮像プログラム
US11284044B2 (en) Image generation device and imaging device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935642

Country of ref document: EP

Kind code of ref document: A1