WO2014017092A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2014017092A1
WO2014017092A1 PCT/JP2013/004518 JP2013004518W WO2014017092A1 WO 2014017092 A1 WO2014017092 A1 WO 2014017092A1 JP 2013004518 W JP2013004518 W JP 2013004518W WO 2014017092 A1 WO2014017092 A1 WO 2014017092A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image information
wavelength band
imaging
information
Prior art date
Application number
PCT/JP2013/004518
Other languages
English (en)
French (fr)
Inventor
今村　典広
山形　道弘
是永　継博
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201380003172.8A priority Critical patent/CN103826530B/zh
Priority to US14/346,866 priority patent/US9300931B2/en
Priority to JP2014526771A priority patent/JP5796191B2/ja
Publication of WO2014017092A1 publication Critical patent/WO2014017092A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • This application relates to an imaging system for imaging a living body such as skin.
  • Patent Document 1 discloses an imaging system that observes skin spots using an ultraviolet illumination equipped with a polarizing filter and an ultraviolet camera equipped with a polarizing filter.
  • Such an imaging system includes polarization illumination that irradiates a living tissue with light that vibrates in the direction of a predetermined polarization axis.
  • the predetermined polarized light becomes specular reflection light that maintains the polarization component on the surface of the living body, and becomes scattered reflection light whose polarization component is disturbed below the surface of the living body. Therefore, an image below the surface of the living body can be acquired by disposing a polarizing filter that transmits light oscillating in a direction perpendicular to the polarization axis of polarized illumination on the imaging device side.
  • Patent Document 2 discloses an imaging system that generates a composite image for distinguishing skin conditions by sequentially capturing an ultraviolet illumination image and a visible illumination image in a time-sharing manner and combining them. .
  • the inventor of the present application examined the conventional imaging system for observing the skin in detail, and found that it may not be particularly suitable for acquiring moving images.
  • One non-limiting exemplary embodiment of the present application provides an imaging system for observing skin capable of acquiring a moving image.
  • An imaging system is based on polarized illumination that emits illumination light including a component of light that vibrates in a direction parallel to a first polarization axis, and light from a subject at the same time by the illumination light.
  • An imaging unit configured to simultaneously acquire fourth image information having light information in a fourth wavelength band, which is a band, and the first, second, and third image information.
  • a first image configured to generate one color image information;
  • a second calculation unit configured to generate a second color image information by combining the calculation processing unit, each of the first to third image information and the fourth image information;
  • a processing unit configured to simultaneously acquire fourth image information having light information in a fourth wavelength band, which is a band, and the first, second, and third image information.
  • an imaging system capable of observing biological skin and the like in real time.
  • FIG. 2 is a block diagram illustrating a configuration example of an imaging apparatus in the imaging system according to Embodiment 1.
  • FIG. 3 is a schematic diagram illustrating a configuration example of an imaging unit in the imaging system of Embodiment 1.
  • FIG. 3 is a schematic diagram illustrating the contents of image processing of the imaging apparatus according to Embodiment 1.
  • FIG. 6 is a block diagram illustrating a configuration of an imaging apparatus in the imaging systems of Embodiments 2 and 3.
  • FIG. 10 is a graph for explaining contrast enhancement processing in the second embodiment.
  • (A) to (c) are graphs for explaining contrast enhancement processing in the third embodiment.
  • FIG. 10 is a schematic diagram illustrating a configuration of an imaging unit in an imaging system according to a fourth embodiment.
  • FIG. 10 is a schematic diagram illustrating a configuration of an imaging unit in an imaging system according to a fifth embodiment.
  • (A) is a block diagram which shows the structure of the imaging device in the imaging system of Embodiment 6,
  • (b) is a figure which shows the arrangement
  • FIG. 10 is a schematic diagram illustrating a configuration of an imaging device in an imaging system according to a seventh embodiment.
  • (A) is the front view which looked at optical field D1, D2, D3, and D4 of optical element L1s in Embodiment 7 from the photographic subject side, and (b) is optical field D1, D2, D3 of optical element L1p.
  • FIG. 4 is a front view of D4 as seen from the subject side.
  • FIG. 10 is a perspective view of an arrayed optical element K in a seventh embodiment.
  • (A) is an enlarged view showing the arrayed optical element K and the image sensor N in Embodiment 7, and (b) shows the positional relationship between the arrayed optical element K and the pixels on the image sensor N.
  • FIG. FIG. 20 is a block diagram illustrating a configuration of an imaging device in an imaging system according to an eighth embodiment.
  • FIG. 20 is a schematic diagram illustrating a configuration of an imaging unit in an imaging system according to an eighth embodiment.
  • Patent Document 1 a polarization image of a plurality of wavelength bands is acquired by a camera in which a plurality of polarization illuminations having different wavelength bands and a polarization filter that transmits light of a polarization component orthogonal to the polarization illumination are arranged. Is done. Since images having different wavelength bands are acquired in a time division manner, the imaging system of Patent Document 1 is not suitable for capturing moving images. Moreover, since only ultraviolet illumination is used, it cannot be compared with an image by visible light.
  • an image by ultraviolet illumination and an image by visible illumination are sequentially acquired in a time division manner. For this reason, it is not suitable for capturing moving images. Further, a composite image of the image by ultraviolet illumination and the image by visible illumination is generated based on a difference signal between the image by ultraviolet illumination and an image in which the color tone of the image by visible illumination is adjusted to purple. For this reason, the image is different from the tone and gradation of a normal color image. Therefore, in order to determine whether it is a skin stain, it is necessary to compare the synthesized image and the image before synthesis side by side. Therefore, for example, when the images are displayed side by side on the display, there is a problem that the amount of information of each image is reduced.
  • the present inventor has conceived a novel imaging system for imaging the skin of a living body in view of the problems of the prior art.
  • An imaging system which is one embodiment of the present invention is as follows.
  • An imaging system is based on polarized illumination that emits illumination light including a component of light that vibrates in a direction parallel to a first polarization axis, and light from a subject at the same time by the illumination light.
  • An imaging unit configured to simultaneously acquire fourth image information having light information in a fourth wavelength band, which is a band, and the first, second, and third image information.
  • a first image configured to generate one color image information;
  • a second calculation unit configured to generate a second color image information by combining the calculation processing unit, each of the first to third image information and the fourth image information;
  • a processing unit configured to simultaneously acquire fourth image information having light information in a fourth wavelength band, which is a band, and the first, second, and third image information.
  • the central wavelength of the fourth wavelength band may be shorter than the central wavelengths of the first, second, and third wavelength bands.
  • the fourth wavelength band is the same wavelength band as the third wavelength band, and the center wavelengths of the third and fourth wavelength bands are greater than the center wavelengths of the first and second wavelength bands. May be shorter.
  • the first, second, third and fourth wavelength bands may all be visible light wavelength bands.
  • the first, second, and third wavelength bands may be visible wavelength bands, and the fourth wavelength band may be near-ultraviolet light wavelength bands.
  • a third arithmetic processing unit configured to perform a process of enhancing the contrast of the fourth image information may be further provided before the composition processing in the second arithmetic processing unit.
  • the third arithmetic processing unit calculates an average value of gradation values for each image block having a predetermined size in the fourth image information before performing the contrast enhancement, and performs a predetermined normalization.
  • the gain adjustment of the gradation value of each pixel of the image block may be performed based on the ratio between the gradation value and the average value.
  • the composition process may include a multiplication process.
  • the imaging unit includes a first imaging element and a second imaging element, acquires the first, second, and third image information with the first imaging element, and the fourth image information. May be acquired by the second image sensor.
  • the imaging unit may further include an optical path dividing structure that divides a light beam from the subject into an optical path that guides the light beam to the first image sensor and an optical path that guides the light beam to the second image sensor.
  • the imaging unit may include an imaging device, and the first, second, third, and fourth image information may be acquired by the imaging device.
  • the imaging unit includes a lens array in which four lenses are arranged in an array, and light in the first to fourth wavelength bands arranged so as to correspond one-to-one on the optical paths of the four lenses.
  • the image sensor may further include four imaging regions corresponding to the four lenses on a one-to-one basis.
  • the imaging element is arranged on a plurality of photoelectric conversion units arranged in a plane and the plurality of photoelectric conversion units, and the first to fourth light beams that transmit the light in the first to fourth wavelength bands, respectively.
  • a plurality of polarizing filters having the second polarization axis which are disposed on the photoelectric conversion unit in which the fourth spectral filter and the fourth spectral filter are disposed.
  • the imaging unit includes a lens optical system and an array-like optical element disposed between the lens optical system and the imaging element, and the imaging element receives a plurality of light beams that have passed through the lens optical system.
  • a first photoelectric conversion unit, a plurality of second photoelectric conversion units, a plurality of third photoelectric conversion units, and a plurality of fourth photoelectric conversion units, and the lens optical system has four optical regions And the four optical regions include a first optical region that transmits light in the first wavelength band, a second optical region that transmits light in the second wavelength band, and a third wavelength band.
  • a third optical region that transmits light of the first wavelength a fourth optical region that primarily transmits light that vibrates in a direction parallel to the second polarization axis, and transmits light of the fourth wavelength band.
  • the array-like optical element includes the first, second, third, and fourth optical regions. Are passed through the plurality of first photoelectric conversion units, the plurality of second photoelectric conversion units, the plurality of third photoelectric conversion units, and the plurality of fourth photoelectric conversion units, respectively. Also good.
  • the imaging system may further include a display device that displays an image acquired by the imaging unit.
  • the polarized illumination may include a light source that emits light in a visible light band, and a polarization filter that has the first polarization axis and is disposed so that light emitted from the light source is transmitted.
  • the polarized illumination includes a light source that emits light in the first, second, third, and fourth wavelength bands, and a polarization filter that has the first polarization axis, respectively.
  • the polarizing filter may be arranged so that only light emitted from the light source that is emitted passes through the polarizing filter.
  • An imaging system includes polarized illumination that emits illumination light including a light component that vibrates in a direction parallel to a first polarization axis, and light from a subject at the same time by the illumination light.
  • the fifth image information that vibrates in a direction parallel to the direction of the first polarization axis has information on light in a third wavelength band, and reflects the subject emitted from the polarized illumination.
  • An imaging unit configured to vibrate in a direction parallel to a second polarization axis different from the direction of the first polarization axis, and to acquire sixth image information having light information in the third wavelength band; , Using the fifth and sixth image information, A fourth arithmetic processing unit configured to generate seventh image information having light information in a wavelength band of the first and second image information using the first, second and seventh
  • a fifth arithmetic processing unit configured to generate color image information, and a third color image information generated by combining the first color image information and the fifth image information.
  • a sixth arithmetic processing unit, and a seventh arithmetic processing unit configured to generate the fourth color image information by combining the first color image information and the sixth image information; Is provided.
  • FIG. 1 is a schematic diagram illustrating a configuration of an imaging system AP according to the first embodiment.
  • the imaging system AP illustrated in FIG. 1 includes an imaging device A, polarized illumination Qa, and a control unit CS.
  • the polarization illumination Qa includes a light source LS1 that emits visible light and a polarization filter PL1 that is disposed so that light emitted from the light source LS1 is transmitted.
  • the polarization filter PL1 has a first polarization axis parallel to the first direction, and the light emitted from the polarization illumination Qa is polarized in the visible light band that vibrates in the first direction in the present embodiment. Light.
  • the polarized illumination Qa includes light in the first, second, third, and fourth wavelength bands, and at least light in the fourth wavelength band may be light that vibrates in the first direction. That is, the illumination light emitted from the polarized illumination Qa only needs to include a component in the fourth wavelength band that oscillates mainly in the first direction, and the light emitted from the polarized illumination Qa is not all polarized light. It may also include non-polarized light.
  • the first, second, third and fourth wavelength bands are red (620-750 nm), green (495-570 nm), blue (450-495 nm) and purple (380-450 nm) wavelength bands. .
  • the white light when the light source LS1 emits white light, the white light includes light in the first, second, third, and fourth wavelength bands described above.
  • the polarizing filter PL1 is arranged with respect to the light source LS1 so that the emitted white light is transmitted.
  • the light source LS1 may include four independent light emitting elements or light sources that respectively emit light in the first, second, third, and fourth wavelength bands. In this case, it is only necessary that the light-emitting element or the light source that emits light of at least the fourth wavelength band is provided with the polarization filter PL1.
  • the control unit CS performs control of the imaging device A and polarization illumination Qa, input / output control with the external device E, and the like.
  • the external device E is, for example, a storage device such as a memory that stores an image output from the imaging system AP, a display device that displays an image, a personal computer that processes an image, or a combination thereof. If a display device is added as the external device E, an image such as skin can be observed in real time.
  • FIG. 2 is a block diagram illustrating a configuration example of the imaging apparatus A.
  • the imaging apparatus A includes an imaging unit IP, a first arithmetic processing unit S201, and a second arithmetic processing unit S202.
  • FIG. 3 is a schematic diagram showing a configuration example of the imaging unit IP shown in FIG.
  • the imaging unit IP includes a first imaging unit OS1 and a second imaging unit OS2, and a subject (not shown) is captured by the first imaging unit OS1 and the second imaging unit OS2, respectively. Is done.
  • the first imaging unit OS1 includes a first lens optical system La and a first imaging element Na.
  • the first image sensor Na is a color image sensor, and includes first image information S101 having light information in the first wavelength band and first light information having light information in the second wavelength band.
  • the second image information S102 and the third image information S103 having the light information of the third wavelength band are acquired.
  • the first wavelength band, the second wavelength band, and the third wavelength band mainly include red, green, and blue wavelength bands, respectively.
  • the first image sensor Na includes a photoelectric conversion unit, which is a plurality of pixels arranged two-dimensionally, as in a general color image sensor, and three or four pixels constituting one pixel of a color image. Or it has the color filter which permeate
  • the second imaging unit OS2 has a bandpass filter F that mainly transmits light in the fourth wavelength band, and a second polarization axis parallel to the second direction, and oscillates light in the second direction. It has a second polarizing filter PL2 that mainly transmits, a second lens optical system Lb, and a second imaging element Nb.
  • the second polarization axis is orthogonal to the first polarization axis of the first polarization filter provided in the polarization illumination Qa of FIG.
  • the second imaging element Nb is, for example, a monochrome imaging element, and acquires image information S104 having information on light in the fourth wavelength band and information on light oscillating in the direction of the second polarization axis. .
  • the fourth wavelength band is a wavelength band mainly including the purple wavelength of the visible light band. That is, the center wavelength of the fourth wavelength band is shorter than the center wavelength of the first wavelength band, the center wavelength of the second wavelength band, and the center wavelength of the third wavelength band.
  • each of the lens optical systems La and Lb may be composed of one lens, or may be composed of a plurality of lenses.
  • FIG. 2 shows an example in which the lens optical systems La and Lb are each composed of one piece.
  • the polarization filter PL1 of the polarization illumination Qa mainly transmits light that vibrates in a direction parallel to the first polarization axis, and absorbs most of the light that vibrates in a direction orthogonal to the second polarization axis. Therefore, only light that vibrates in the direction parallel to the first polarization axis is irradiated to the subject Ob.
  • the subject Ob is, for example, a human face skin.
  • the subject Ob will be described as human face skin.
  • the light reaching the face skin (subject Ob) has a reflected component and a absorbed component, and the imaging apparatus A acquires an image of the subject Ob by the reflected component light.
  • the light reflected by the face skin includes a component reflected by the surface of the face skin and a component emitted from a position different from the incident position after entering the inside of the face skin and repeating scattering.
  • the inside of the facial skin refers to the epidermis region. Melanin is generated in areas where spots are generated in the epidermis area. Light that enters the epidermis, particularly light in the wavelength band from blue to near ultraviolet (UVA, UVB), is attenuated by melanin.
  • UVA, UVB near ultraviolet
  • the light reflected on the surface of the facial skin further includes a specular reflection component and a diffuse reflection component.
  • the component that is specularly reflected on the surface of the facial skin maintains the polarization state.
  • the component diffusely reflected on the surface of the face skin and the component that enters the inside of the face skin and exits from different positions become a non-polarized state in which the polarization state is disturbed, that is, non-polarized light.
  • the first image information S101 having the light information of the first wavelength band acquired by the first imaging unit OS1, the second image information S102 having the light information of the second wavelength band, and the second The third image information S103 having information on light in the wavelength band 3 captures the subject Ob by light oscillating in all directions, so that the component of light that is specularly reflected on the face skin and diffusely reflected on the surface of the face skin Light components and light components that enter the face skin and exit from different positions.
  • a color image generated from the image information is the same as an image taken with a normal color camera. For this reason, since the color image generated from the image information acquired by the first imaging unit OS1 includes a specular reflection component (face skin shine) of the face skin, it is difficult to recognize a decrease in luminance due to a stain. is there.
  • the fourth image information obtained by photographing the subject Ob by the second imaging unit OS2 most of the specular reflection component (face skin shine) of the facial skin is cut by the second polarizing filter PL2, and the purple color is purple. It has information on light in the fourth wavelength band. For this reason, in the image generated from the fourth image information, it is easy to recognize facial skin spots that are somewhat difficult to see with the naked eye.
  • the imaging unit IP has the first image information S101 having light information of the first wavelength band and the second image light having information of the second wavelength band.
  • the image information S102, the third image information S103 having the light information of the third wavelength band, and the fourth image information S104 in which the state of the face skin is easy to see are obtained at the same time.
  • simultaneous means that the first image information S101, the second image information S102, the third image information S103, and the fourth image information S104 are light from the subject by light emitted from the polarized illumination Qa at the same time. It is acquired based on.
  • the generation of these pieces of image information may not be completely simultaneous. For example, there may be a time lag so as not to hinder the generation of moving images.
  • the first arithmetic processing unit S201 includes first image information S101 having light information in the first wavelength band, and second image information having light information in the second wavelength band.
  • the first color image S301 is generated using S102 and the third image information S103 having the light information of the third wavelength band.
  • the second arithmetic processing unit S202 vibrates in the direction of the second polarization axis with each of the first image information S101, the second image information S102, and the third image information S103, and has a fourth wavelength.
  • the second color image information is generated by synthesizing the image information S104 having the band light information.
  • the first arithmetic processing unit S201 and the first arithmetic processing unit S201 of the imaging apparatus A may be configured by a dedicated integrated circuit, or may be an arithmetic unit (MPU), a memory, And it may be comprised on the software which memorize
  • the first image sensor Na and the second image sensor Nb are A / D converted digital first image information S101, second image information S102, and third image information.
  • the image information S103 and the fourth image information S104 may be output, or the first to seventh arithmetic processing units S201 to S207 may output the analog first image information S101, the second image information S102, and the third image information.
  • the image information S103 and the fourth image information S104 may be converted to digital.
  • the third to seventh arithmetic processing units S203 to S207 in the following embodiments may be similarly configured.
  • the above image processing is schematically shown as a flow in FIG.
  • the first color image S301 is generated by the first image information S101, the second image information S102, and the third image information S103.
  • This image processing can be performed in the same manner as color image processing in a general imaging apparatus that generates color images from R, G, B image information in the first arithmetic processing unit S201, for example.
  • the stain XS is imaged in the fourth image information S104.
  • the image information S21, the image information S22, and the image information S23 are combined.
  • the above-described combining process is preferably a multiplication process, for example. More specifically, the second arithmetic processing unit S202 uses gradation values (luminance information) at each pixel of the first image information S101, the second image information S102, and the third image information S103. The gradation value in the corresponding pixel of the fourth image information S104 is multiplied. Further, from the obtained image information S21, image information S22, and image information S23, processing similar to color image processing in a general imaging device is performed to generate a second color image S302.
  • the fourth image information S104 before synthesis includes information on the stain XS
  • the first image information S101, the second image information S102, and the third image information S103 are included.
  • the stain XS information is reflected in the image information S21, the image information S22, and the image information S23.
  • the color ratio of the second color image S302 after synthesis is maintained.
  • gamma correction may be performed after multiplication.
  • saturation enhancement processing may be further performed.
  • the second arithmetic processing unit since the first imaging unit OS1 and the second imaging unit OS2 are spaced apart from each other, the image acquired by the first imaging element Na and the second imaging element Nb The parallax corresponding to the subject distance is generated between the images acquired in step (1). If this parallax is a problem, the second arithmetic processing unit generates the image information S21, the image information S22, and the image information S23 after generating the parallax corrected image information of S104 of the fourth image information. Also good. Specifically, the parallax generated between the third image information S103 acquired by the first image capturing unit OS1 and the fourth image information S104 acquired by the second image capturing unit OS2 is determined by a minute amount of each image. The parallax corrected image information of the fourth image information S104 can be generated by extracting the blocks by pattern matching and shifting the image by the amount of parallax extracted for each minute block.
  • a normal color image and a color image in which a spot portion is emphasized can be simultaneously acquired by the configuration and image processing of the imaging system described above. Therefore, it is possible to acquire a normal color image and a color image in which a spot portion is emphasized continuously and in parallel, and a moving image can be taken. Therefore, it is possible to realize an imaging system that can observe skin spots and the like in real time.
  • the fourth wavelength band is purple in the visible light band, but the fourth wavelength band may be the same blue wavelength band as the third wavelength band. That is, the center wavelengths of the third and fourth wavelength bands are shorter than the center wavelengths of the first and second wavelength bands. Even in the blue band, since the state of the stain can be confirmed, it is possible to take an image with further emphasis on the stain visible with the naked eye.
  • the fourth wavelength band may be a near ultraviolet band.
  • a light source including light in the near ultraviolet band is used as the polarized illumination Qa.
  • the face skin is irradiated with light in the near-ultraviolet band, it is preferable to shoot with protective glasses that cut off ultraviolet rays.
  • By using light in the near-ultraviolet band it is possible to image hidden spots that are hardly visible to the naked eye.
  • the illumination light emitted from the polarized illumination Qa may have only the fourth wavelength band component that vibrates only in the first direction. That's fine.
  • the imaging system of the present embodiment can obtain information in the epidermis region, and is therefore suitable for observing the skin of various parts of a living body, not limited to facial skin.
  • the imaging system of the present embodiment is applied to an endoscope, the state of a tissue located slightly inside from the surface can be observed in a viscera such as a stomach. For this reason, the imaging system of this Embodiment can be used suitably also for an endoscope.
  • FIG. 5 is a block diagram illustrating a configuration example of the imaging device of the imaging system according to the present embodiment.
  • the imaging system according to the present embodiment is different from the first embodiment in that the imaging apparatus includes a third arithmetic processing unit. For this reason, the third arithmetic processing unit will be mainly described below.
  • the third arithmetic processing unit is configured to process the fourth image information S104 so as to enhance the contrast of the image obtained by the fourth image information S104.
  • the fourth image information S104 with enhanced contrast is then combined with each of the first image information S101, the second image information S102, and the third image information S103 in the second arithmetic processing unit S202. Is done.
  • FIG. 6 is a graph illustrating contrast enhancement. Although the image is two-dimensional, the images before and after contrast enhancement will be described using one-dimensional gradation values for easy understanding.
  • the horizontal axis is the pixel position on the image sensor, and the vertical axis is the gradation value.
  • the solid line represents the facial skin tone value W1 in the fourth image information S104 before the contrast enhancement processing.
  • the concave portion indicates that there is a spot, and the gradation value is small.
  • a broken line indicates a gradation value W2 obtained by performing contrast enhancement on the fourth image information S104.
  • the concave shape becomes deep in the gradation value W2, and the gradation value difference between the spot portion and the other portion increases.
  • fourth image information S104 in which the stain state is more emphasized is obtained. Therefore, each of the first image information S101, the second image information S102, and the third image information S103 and the fourth image information S104 are combined with each other to generate a color image in which the stain state is easier to understand. be able to.
  • FIG. 5 is a block diagram illustrating a configuration example of the imaging device of the imaging system according to the present embodiment.
  • the imaging system of the present embodiment is different from the second embodiment in that the third arithmetic processing unit performs normalization processing before contrast enhancement processing. For this reason, below, the normalization process in a 3rd arithmetic process part is mainly demonstrated.
  • the third arithmetic processing unit normalizes the gradation value of the fourth image information S104 before performing contrast enhancement. To do. Specifically, the average value of the gradation values is calculated for each image block of a predetermined size in the fourth image information S104, and the image block is determined based on the ratio between the predetermined normalized gradation value and the average value. Gain adjustment of the gradation value of each pixel is performed.
  • an average value of gradation values is calculated in units of 8 pixel blocks, and a ratio between a predetermined normalized gradation value and an average value in block units (normalized gradation value / block unit). (Average value) is taken as the gain of the image block, and this gain is multiplied by the gradation of each pixel.
  • the average value of the gradation values in units of blocks of 8 pixels becomes a predetermined normalized gradation value.
  • the gradation value W1 having a gradient before contrast enhancement decreases the gradient as indicated by the normalized gradation value W1 '.
  • the gradation value after contrast enhancement becomes W2 ′′ shown in FIG. 7C, which is a gradation value in which only the concave portion corresponding to the spot is enhanced.
  • the fourth image information S104 can be obtained.
  • the image after synthesis can be emphasized only at a spot portion. That is, the combined color image is an image in which only the stain state is favorably enhanced.
  • FIG. 8 shows the configuration of the imaging unit IP of the imaging system of the present embodiment.
  • the imaging system of the present embodiment includes an imaging unit IP having a structure different from that of the first embodiment. For this reason, the imaging unit IP will be mainly described below.
  • the imaging unit IP of the imaging apparatus in the present embodiment includes a lens optical system L, a half mirror HM that separates an optical path, a first imaging element Na, and a band that mainly transmits light in the fourth wavelength band. It includes a pass filter F, a second polarizing filter PL2 that mainly transmits light oscillating in a direction parallel to the second polarization axis, and a second imaging element Nb.
  • the light beam from the subject reaches the half mirror HM after passing through the lens optical system L.
  • the half mirror HM has an optical path division structure, and the half mirror HM divides the light beam into a light beam traveling toward the first image sensor Na and a light beam traveling toward the second image sensor Nb.
  • the light beam traveling toward the first image sensor Na reaches the first image sensor Na as it is.
  • the light beam traveling toward the second image sensor Nb is a band-pass filter F that mainly transmits light in the fourth wavelength band, and a second polarization filter that mainly transmits light that vibrates in the direction of the second polarization axis.
  • the light passes through PL2 in order and reaches the second image sensor Nb.
  • the first image sensor Na is a color image sensor, and includes first image information S101 having information on light in the first wavelength band and light in the second wavelength band. 2nd image information S102 which has information, and 3rd image information S103 which has the information of the light of the 3rd wavelength band are acquired.
  • the second image sensor Nb is a monochrome image sensor, and acquires image information S104 having light information in the fourth wavelength band and light information oscillating in the direction of the second polarization axis. .
  • the first image information S101, the second image information S102, the third image information S103, and the third image information S104 are acquired.
  • Image composition may be performed using any of the image processing described in the first, second, and third embodiments.
  • an imaging system capable of simultaneously acquiring a normal color image and a color image in which a spot portion is emphasized can be realized as in the first embodiment.
  • the optical path is separated by the half mirror, between the image acquired by the first image sensor Na and the image acquired by the second image sensor Nb as in the first embodiment. No parallax occurs. According to this embodiment, it is not necessary to perform image processing for correcting parallax, and the circuit scale of the second image processing unit can be reduced.
  • a half mirror is used as an element for separating the optical path, but a dichroic mirror may be used instead of the half mirror.
  • the wavelength band of the transmitted light may be designed to be the first, second, and third wavelength bands
  • the wavelength band of the reflected light may be designed to be the fourth wavelength band.
  • FIG. 9 shows the configuration of the imaging unit IP of the imaging system of the present embodiment.
  • the imaging system of the present embodiment includes an imaging unit IP having a structure different from that of the first embodiment. For this reason, the imaging unit IP will be mainly described below.
  • the imaging unit IP of the imaging apparatus according to the present embodiment includes a compound eye lens LL, a bandpass filter F1 that mainly transmits light in the first wavelength band, and a bandpass that mainly transmits light in the second wavelength band.
  • It includes a second polarizing filter PL2 that mainly transmits light, and an image sensor Nc.
  • the compound eye lens LL four lens optical systems are arranged in an array. Specifically, the lens optical systems La1, La2, La3, and La4 are arranged in 2 rows and 2 columns on the same plane. In addition, imaging areas Ni1, Ni2, Ni3, and Ni4 corresponding to the lens optical systems La1, La2, La3, and La4, respectively, are set on the imaging surface Ni on the imaging element Nc.
  • the light emitted from the polarized illumination Qa is reflected by the subject, and the reflected light is collected by the lens optical systems La1, La2, La3, and La4, respectively, and the corresponding imaging regions Ni1, Ni2, Ni3, and An object image is formed in Ni4.
  • Band pass filters F1, F2, F3, and F4 are disposed on the optical paths of the lens optical systems La1, La2, La3, and La4, respectively. Therefore, an image of the subject is formed in the imaging region Ni1 through the lens optical system La1 and the bandpass filter F1 that mainly transmits light in the first wavelength band.
  • a bandpass filter F2 that mainly transmits light in the lens optical system La2 and the second wavelength band
  • a bandpass filter F3 that mainly transmits light in the lens optical system La3 and the third wavelength band
  • lens optics Images of the subject are formed in the imaging regions Ni2, Ni3, and Ni4 through the system La4 and the bandpass filter F4 that mainly transmits light in the fourth wavelength band and the second polarizing filter PL2, respectively.
  • the imaging unit IP images a subject (not shown) by the four optical paths.
  • the first image information S101 having the light information of the first wavelength band and the second light having the light information of the second wavelength band from the imaging regions Ni1, Ni2, Ni3, and Ni4, respectively.
  • Image information S102, third image information S103 having information on light in the third wavelength band, and information on light having information on light in the fourth wavelength band and oscillating in the direction of the second polarization axis
  • the image information S104 having is acquired.
  • the lens optical systems La1, La2, La3, and La4 are arranged apart from each other, the images acquired by the imaging regions Ni1, Ni2, Ni3, and Ni4 correspond to the subject distance from each other. Parallax occurs.
  • a color image may be generated after correcting the parallax in the first image processing unit and the second arithmetic processing unit.
  • the first image information S101 is used as a reference image
  • the parallax correction image of the second image information S102, the parallax correction image of the third image information S103, and the parallax correction image of the fourth image information S104 respectively.
  • a synthesis process may be performed after the generation.
  • each parallax corrected image can be generated by pattern matching for each micro block of each image and shifting the image by the amount of parallax extracted for each micro block.
  • the first image information S101, the second image information S102, the third image information S103, and the fourth image information S104 are acquired.
  • Image composition may be performed using any of the image processing described in the first, second, and third embodiments.
  • the volume of the imaging unit IP can be made smaller than in the configurations of the first and fourth embodiments, and the imaging device is It can be downsized.
  • FIG. 10A shows the configuration of the imaging unit IP of the imaging system of the present embodiment.
  • the imaging system of the present embodiment includes an imaging unit IP having a structure different from that of the first embodiment. For this reason, the imaging unit IP will be mainly described below.
  • the imaging unit IP of the imaging apparatus includes a lens optical system L and an imaging element Nd.
  • FIG. 10B is a diagram illustrating an array of pixels on the image sensor Nd. A plurality of photoelectric conversion units are arranged in a two-dimensional array on the imaging surface of the image sensor Nd, and each photoelectric conversion unit constitutes a pixel.
  • the pixel Pa1 of the photoelectric conversion unit is provided with a band-pass filter that mainly transmits light in the first wavelength band.
  • each of the pixels Pa2 and Pa3 includes a band pass filter that mainly transmits light in the second wavelength band and light in the third wavelength band.
  • the pixel Pa4 includes a bandpass filter that mainly transmits light in the fourth wavelength band and a polarization filter that mainly transmits light that vibrates in the direction of the second polarization axis.
  • the band pass filter of each pixel is constituted by an absorption type filter or a filter constituted by a dielectric multilayer film, and the polarization filter is constituted by a wire grid polarizer.
  • the image sensor Nd When photographing a subject (not shown), a light beam from the subject reaches the image sensor Nd after passing through the lens optical system L. Since the pixel Pa1 is provided with a bandpass filter that mainly transmits light in the first wavelength band, the first image information having information on the light in the first wavelength band is extracted by extracting only the pixel Pa1. S101 can be generated. Similarly, by extracting the pixel Pa2 and the pixel Pa3, respectively, the second image information S102 having the light information of the second wavelength band and the third image information having the light information of the third wavelength band are obtained. S103 can be generated.
  • the pixel Pa4 includes a bandpass filter that mainly transmits light in the fourth wavelength band and a polarization filter that mainly transmits light that vibrates in the direction of the second polarization axis. Therefore, only the pixel Pa4 is provided. By extracting, it is possible to generate fourth image information S104 that vibrates in a direction parallel to the second polarization axis and that has information on light in the fourth wavelength band.
  • the first image information S101, the second image information S102, the third image information S103, and the fourth image information S104 are acquired.
  • Image composition may be performed using any of the image processing described in the first, second, and third embodiments.
  • the volume of the image pickup unit IP can be made smaller than in the configurations of the first and fourth embodiments. Can be miniaturized.
  • the seventh embodiment is different from the first, fourth, fifth, and sixth embodiments in that the configuration of the imaging unit IP of the imaging apparatus A is different.
  • detailed description of the same contents as in the first, fourth, fifth, and sixth embodiments will be omitted.
  • FIG. 11 shows the configuration of the imaging unit IP of the imaging system of the present embodiment.
  • the imaging system of the present embodiment includes an imaging unit IP having a structure different from that of the first embodiment. For this reason, the imaging unit IP will be mainly described below.
  • the imaging unit IP of the present embodiment includes a lens optical system Lx having V as an optical axis, an arrayed optical element K disposed near the focal point of the lens optical system Lx, and a monochrome imaging element Ne.
  • the lens optical system Lx includes a stop S on which light from a subject (not shown) enters, an optical element L1p on which light that has passed through the stop S enters, and a lens L2 on which light that has passed through the optical element L1p enters. Including.
  • the lens optical system Lx has first, second, third, and fourth optical regions D1, D2, D3, and D4.
  • the lens L2 may be composed of a single lens or a plurality of lenses. Moreover, the structure arrange
  • restriction S may be sufficient. In FIG. 11, it is illustrated as a single-sheet configuration.
  • FIG. 12A is a front view of the optical element L1s viewed from the subject side.
  • the optical element L1s is disposed in the optical regions D1, D2, D3, and D4.
  • the optical regions D1, D2, D3, and D4 are four regions that are divided by two straight lines that pass through a point that intersects the surface perpendicular to the optical axis V in the surface perpendicular to the optical axis V. .
  • the optical regions D1, D2, D3, and D4 extend parallel to the optical axis V in the lens optical system Lx.
  • the spectral transmittance characteristics of the portions located in the optical regions D1, D2, D3, and D4 are different from each other.
  • the optical element L1s is disposed between the stop S and the optical element L1p.
  • the optical element L1s is an optical region D1, D2, D3, and D4, and the regions mainly transmit spectral light transmittance characteristics that mainly transmit light in the first wavelength band and transmit light in the second wavelength band, respectively.
  • the optical element L1s includes a filter having spectral transmittance characteristics that mainly transmits light in the first, second, third, and fourth wavelength bands in the optical regions D1, D2, D3, and D4. ing.
  • FIG. 12B is a front view of the optical element L1p as viewed from the subject side.
  • the optical element L1p has a polarization filter that mainly transmits light that vibrates in a direction parallel to the second polarization axis only in the optical region D1, and transmits light that vibrates in all directions in the other regions. It has a glass plate.
  • the light B1, B2, B3, and B4 are transmitted through the optical regions D1, D2, D3, and D4, respectively.
  • FIG. 13 is a perspective view of the arrayed optical element K.
  • the optical elements M are arranged in a grid pattern on the surface of the arrayed optical element K on the imaging element Ne side.
  • the cross section of each optical element M2 (the cross section in the vertical direction and the horizontal direction) has a curved surface shape, and each optical element M protrudes toward the image sensor N.
  • the optical element M is a microlens
  • the array-like optical element K includes a plurality of optical elements M arranged two-dimensionally in the same two directions as the photoelectric conversion unit of the imaging element Ne, thereby forming a microlens array. It is composed.
  • the optical element M corresponds to four photoelectric conversion units arranged in the row and column directions.
  • FIG. 14A is an enlarged view showing the arrayed optical element K and the image sensor Ne
  • FIG. 14B is a photoelectric conversion unit (pixel) on the arrayed optical element K and the image sensor N.
  • FIG. The arrayed optical element K is arranged such that the surface on which the optical element M is formed faces the imaging surface Ni side.
  • the imaging element Ne has a plurality of color pixels P configured by four photoelectric conversion units on the imaging surface Ni.
  • the plurality of pixels P are arranged in the row and column directions.
  • Each pixel P includes first, second, third, and fourth photoelectric conversion units arranged in the row and column directions.
  • the first, second, third, and fourth photoelectric conversion units independently detect light and convert it into an electric signal, and constitute a pixel Pb1, a pixel Pb2, a pixel Pb3, and a pixel Pb4.
  • the arrayed optical element K is disposed in the vicinity of the focal point of the lens optical system Lx, and is disposed at a position away from the imaging surface Ni by a predetermined distance.
  • the center Mc of each optical element M of the arrayed optical element K and the center Pc of the pixel P formed by the four photoelectric conversion units are the same straight line parallel to the optical axis V. Located on the top. For this reason, each optical element M is arrange
  • a microlens Ms is provided so as to cover the surfaces of the first, second, third, and fourth photoelectric conversion units (pixels Pb1, Pb2, Pb3, Pb4).
  • pixels Pb1, Pb2, Pb3, and Pb4 On each of the first, second, third, and fourth photoelectric conversion units (pixels Pb1, Pb2, Pb3, and Pb4), color filters having different spectral transmittance characteristics are not provided.
  • the above-described configuration is realized by appropriately setting parameters such as the refractive index of the arrayed optical element K, the distance from the imaging surface Ni, and the radius of curvature of the surface of the optical element M.
  • first image information S101 mainly having only information of light of the first wavelength band.
  • second image information S102 mainly having only the light information of the second wavelength band
  • third image information having only the light information of the third wavelength band
  • Image information S103 can be generated.
  • light that vibrates in the direction parallel to the second polarization axis in the fourth wavelength band is mainly incident on the pixel Pb4. Therefore, by extracting only the pixel Pb4, vibration occurs in the direction of the second polarization axis.
  • the first image information S101, the second image information S102, the third image information S103, and the fourth image information S104 are acquired.
  • any of the image processing described in the first, second, and third embodiments may be performed.
  • the configuration of the optical elements L1s and L1p can be changed according to the purpose.
  • desired spectral characteristics can be designed, so that the spectral characteristics can be easily customized.
  • FIG. 15 is a block diagram illustrating a configuration example of the imaging device of the imaging system according to the present embodiment.
  • the imaging system of the present embodiment is different from that of the first embodiment in the configuration of the imaging unit IP and the configuration of the imaging apparatus A. For this reason, the imaging unit IP and the flow of image processing will be described below.
  • FIG. 15 is a block diagram illustrating a configuration example of the imaging apparatus A according to the present embodiment.
  • the imaging apparatus A includes an imaging unit IP, a fourth arithmetic processing unit S204, a fifth arithmetic processing unit S205, a sixth arithmetic processing unit S206, and a seventh arithmetic processing unit S207.
  • FIG. 16 is a schematic diagram illustrating a configuration example of the imaging unit IP illustrated in FIG.
  • the imaging unit IP is different from that of the fifth embodiment in that a polarizing filter PL3 is added and that the bandpass filter F3 and the bandpass filter F4 both transmit light in the third wavelength band.
  • the polarization filter PL3 mainly transmits light that vibrates in the direction of the first polarization axis orthogonal to the polarization filter PL2.
  • the first image information S101 having the light information of the first wavelength band and the second light having the light information of the second wavelength band from the imaging regions Ni1, Ni2, Ni3, and Ni4, respectively.
  • sixth image information S106 having information on light oscillating in the direction of the second polarization axis perpendicular to the first polarization axis.
  • the fourth arithmetic processing unit S204 includes fifth image information S105 having information on light in the third wavelength band and information on light oscillating in the direction of the first polarization axis. And the sixth image information S106 having information on light in the third wavelength band and information on light oscillating in the direction of the second polarization axis is added to the seventh wavelength information having the third wavelength information. It is configured to generate image information.
  • the seventh image information since the second polarization axis is orthogonal to the first polarization axis, the seventh image information has non-polarized light information in the third wavelength band by addition processing. It becomes.
  • the fifth arithmetic processing unit S205 is configured to generate the first color information S301 using the first image information S101, the second image information S102, and the seventh image information S107.
  • a color image is generated from R, G, and B image information.
  • the sixth arithmetic processing unit S206 is configured to combine the first color image S301 and the fifth image information S105 by, for example, multiplication to generate a third color image S303.
  • the fifth image information S105 includes information on light that vibrates in the direction of the first polarization axis. Since the direction of the first polarization axis is the same as the direction of the polarization axis of illumination, the fifth image information S105 includes a lot of specular reflection components of the facial skin. In the image information having a light component that is specularly reflected on the surface of the face skin, the shading due to the unevenness of the face skin is clear, so that the image is easy to recognize small wrinkles on the skin. Therefore, the third color image S303 in which a portion such as a small wrinkle is emphasized can be generated by such a composition process.
  • the seventh arithmetic processing unit S207 is configured to combine the first color image S301 and the sixth image information S106 by, for example, multiplication to generate a fourth color image S304.
  • the sixth image information S106 makes it easy to recognize the face skin spots. Become. Therefore, the fourth color image S304 in which the spot portion is emphasized can be generated by such a synthesis process as in the first embodiment.
  • a normal color image, a color image in which a spot portion is emphasized, and a color image in which a portion such as a fine wrinkle is emphasized by the configuration and image processing of the imaging system described above. Can be acquired at the same time. Therefore, it is possible to acquire a normal color image, a color image in which a spot portion is emphasized, and a color image in which a portion such as a fine wrinkle is emphasized continuously and in parallel. It can be carried out. Therefore, it is possible to realize an imaging system capable of observing in real time an image in which skin spots or wrinkles are emphasized.
  • imaging unit of the eighth embodiment is not limited to the optical system shown in FIG. 16, and in the optical system shown in FIG. 10 of the sixth embodiment and FIG. May be arranged.
  • the imaging system according to the present invention is useful as an imaging apparatus such as a skin diagnostic camera and an endoscope camera. Further, it can be applied to an imaging system such as a microscope and an electronic mirror.
  • IP image pickup unit A image pickup apparatus AP image pickup system S101 to S104 image information S201 to S203 arithmetic processing unit S301, S302 color image information W1, W2 gradation value PL1, PL2 polarization filters La, Lb, L lenses Na, Nb, Nc, Nd , Ne image pickup element LL compound eye lens La1 to La4 optical elements F1 to F4 of compound eye lens bandpass filter Ni image pickup surface Ni1 to Ni4 image pickup region OS1, OS2 image pickup unit Pa1 to Pa4 pixel Lx on image pickup element lens optical system L1s, L1p Optical element L2 Lenses D1 to D4 Optical region S Aperture K Array-like optical element M For array-like optical element Kicking pixel Qa polarized illumination on the microlens Pb1 ⁇ Pb4 imaging element on the optical element Ms imaging element

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

　本願に開示された撮像システムは、第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、第３の波長帯域の光の情報を有する第３の画像情報および、前記偏光照明から出射され前記被写体を反射して第１の偏光軸とは異なる第２の偏光軸と平行な方向に振動し、前記照明光の前記光の成分と同じ波長帯域である第４の波長帯域の光の情報を有する第４の画像情報Ｓ１０４を取得するように構成された撮像ユニットＩＰと、第１、第２および第３の画像情報を用いて第１のカラー画像情報Ｓ３０１を生成するように構成された第１の演算処理部Ｓ２０１と、第１から前記第３の画像情報のそれぞれと、第４の画像情報とをそれぞれ合成処理して第２のカラー画像情報Ｓ３０２を生成するように構成された第２の演算処理部Ｓ２０２とを備える。

Description

撮像システム
　本願は肌等の生体を撮影するための撮像システムに関する。
　生体の肌の観察を行うための撮影システムが開発されている。例えば特許文献１は、偏光フィルタを備えた紫外線照明と偏光フィルタを備えた紫外線カメラとを用いて肌のシミを観察する撮像システムを開示している。
　このような撮像システムは、所定の偏光軸の方向に振動する光を生体組織に照射する偏光照明を備えている。所定の偏光光は、生体表面において、偏光成分を維持された鏡面反射光となり、生体表面下では、偏光成分が乱れた散乱反射光となる。したがって、撮像装置側に偏光照明の偏光軸と垂直な方向に振動する光を透過する偏光フィルタを配置することで、生体表面下の画像を取得することが可能となる。
　また、特許文献２は、紫外線照明画像と可視照明画像とを時分割で順次撮影し、これらを合成することにより、肌の状態を区別するための合成画像を生成する撮像システムを開示している。
特開２００８－２３７２４３号公報 特開２００４－８１７３５号公報
　本願発明者が従来の肌を観察する撮像システムを詳細に検討したところ、特に動画を取得するのに適さない場合があることが分かった。本願の限定的ではない、例示的なある実施の形態は、動画を取得することが可能な、肌を観察する撮像システムを提供する。
　本発明の一態様である撮像システムは、第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、第３の波長帯域の光の情報を有する第３の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸とは異なる第２の偏光軸と平行な方向に振動し、前記照明光の前記光の成分と同じ波長帯域である第４の波長帯域の光の情報を有する第４の画像情報を同時に取得するように構成された撮像ユニットと、前記第１、前記第２および前記第３の画像情報を用いて第１のカラー画像情報を生成するように構成された第１の演算処理部と、前記第１から前記第３の画像情報のそれぞれと、前記第４の画像情報とをそれぞれ合成処理して第２のカラー画像情報を生成するように構成された第２の演算処理部とを備える。
　本発明の一態様によれば、生体の肌等をリアルタイムに観察し得る撮像システムを提供することができる。
本発明による撮像システムの実施の形態１の構成を示す模式図である。 実施の形態１の撮像システムにおける撮像装置の構成例を示すブロック図である。 実施の形態１の撮像システムにおける撮像部の構成例を示す模式図である。 実施の形態１における撮像装置の画像処理の内容を示す模式図である。 実施の形態２および３の撮像システムにおける撮像装置の構成を示すブロック図である。 実施の形態２におけるコントラスト強調処理を説明するグラフである。 （ａ）から(ｃ)は、実施の形態３におけるコントラスト強調処理を説明するグラフである。 実施の形態４の撮像システムにおける撮像部の構成を示す模式図である。 実施の形態５の撮像システムにおける撮像部の構成を示す模式図である。 （ａ）は、実施の形態６の撮像システムにおける撮像装置の構成を示すブロック図であり、（ｂ）は撮像素子上の画素の配列を示す図である。 実施の形態７の撮像システムにおける撮像装置の構成を示す模式図である。 （ａ）は、実施の形態７における光学素子Ｌ１ｓの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を被写体側から見た正面図であり、（ｂ）は、光学素子Ｌ１ｐの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を被写体側から見た正面図である。 実施の形態７におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、実施の形態７におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 実施の形態８の撮像システムにおける撮像装置の構成を示すブロック図である。 実施の形態８の撮像システムにおける撮像部の構成を示す模式図である。
　本願発明者が従来の撮像システムを検討したところ、課題があることが分かった。具体的には、特許文献１では、波長帯域の異なる複数の偏光照明と、偏光照明と直交した偏光成分の光を透過する偏光フィルタが配置されたカメラによって、複数の波長帯域の偏光画像が取得される。波長帯域の異なる画像は、時分割で取得されるため、特許文献１の撮像システムは動画の撮像に適さない。また、紫外線照明のみを用いるため、可視光による画像との比較ができない。
　特許文献２でも、紫外線照明による画像と可視照明による画像とは時分割で順次取得される。このため動画の撮像には適さない。また、紫外線照明による画像と可視照明による画像の合成画像は、紫外線照明による画像と、可視照明による画像の色調を紫に調整した画像との差分信号に基づいて生成される。このため、通常のカラー画像の色調や階調とは異なった画像となる。したがって、肌のシミかどうかを判定するには、合成画像と合成前の画像と並べて見比べる必要がある。そのため、例えばディスプレイ上に並べて表示すると、１つ１つの画像の情報量が少なくなるという課題が生じる。
　本願発明者はこのような従来技術の課題に鑑み、生体の肌等を撮影するための新規な撮像システムを想到した。本発明の一態様である撮像システムは以下の通りである。
　本発明の一態様である撮像システムは、第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、第３の波長帯域の光の情報を有する第３の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸とは異なる第２の偏光軸と平行な方向に振動し、前記照明光の前記光の成分と同じ波長帯域である第４の波長帯域の光の情報を有する第４の画像情報を同時に取得するように構成された撮像ユニットと、前記第１、前記第２および前記第３の画像情報を用いて第１のカラー画像情報を生成するように構成された第１の演算処理部と、前記第１から前記第３の画像情報のそれぞれと、前記第４の画像情報とをそれぞれ合成処理して第２のカラー画像情報を生成するように構成された第２の演算処理部とを備える。
　前記第４の波長帯域の中心波長は、前記第１、前記第２、および前記第３の波長帯域の中心波長よりも短くてもよい。
　前記第４の波長帯域は、前記第３の波長帯域と同じ波長帯域であって、前記第３および前記第４の波長帯域の中心波長は、前記第１および第２の波長帯域の中心波長よりも短くてもよい。
　前記第１、前記第２、前記第３および前記第４の波長帯域は、いずれも可視光の波長帯域であってもよい。
　前記第１、前記第２、および前記第３の波長帯域は、いずれも可視光の波長帯域であり、前記第４の波長帯域は近紫外光の波長帯域であってもよい。
　前記第２の演算処理部における前記合成処理の前に、前記第４の画像情報のコントラストを強調する処理を行うように構成された第３の演算処理部をさらに備えていてもよい。
　前記第３の演算処理部は、前記コントラストの強調を行う前に、前記第４の画像情報において、所定の大きさの画像ブロック毎に階調値の平均値を計算し、所定の正規化の階調値と前記平均値の比に基づいて前記画像ブロックの各画素の階調値のゲイン調整を行ってもよい。
　前記合成処理は、乗算処理を含んでいてもよい。
　前記撮像ユニットは、第１の撮像素子および第２の撮像素子を備え、前記第１、前記第２および前記第３の画像情報を前記第１の撮像素子で取得し、前記第４の画像情報を前記第２の撮像素子で取得してもよい。
　前記撮像ユニットは、前記被写体からの光線を前記第１の撮像素子に導く光路と前記第２の撮像素子に導く光路に分割する光路分割構造をさらに備えていてもよい。
　前記撮像ユニットは撮像素子を備え、前記第１、前記第２、前記第３、および前記第４の画像情報を前記撮像素子で取得してもよい。
　前記撮像ユニットは４つのレンズがアレイ状に配列されたレンズアレイと、前記４つのレンズのそれぞれの光路上で一対一に対応するように配置された前記第１から前記第４の波長帯域の光の情報を透過する分光フィルタとをさらに備え、前記撮像素子は、前記４つのレンズと一対一に対応する４つの撮像領域を含んでいてもよい。
　前記撮像素子は、平面状に配列された複数の光電変換部と、前記複数の光電変換部上に配置され、前記第１から前記第４の波長帯域の光をそれぞれ透過する第１から第４の分光フィルタと、前記第４の分光フィルタが配置された光電変換部上に配置され、前記第２の偏光軸を有する複数の偏光フィルタを含んでいてもよい。
　前記撮像ユニットは、レンズ光学系と、前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子とを備え、前記撮像素子は、前記レンズ光学系を通過した光が入射する複数の第１の光電変換部、複数の第２の光電変換部、複数の第３の光電変換部、および複数の第４の光電変換部とを有し、前記レンズ光学系は、４つの光学領域を有し、前記４つの光学領域は、第１の波長帯域の光を透過する第１の光学領域と、第２の波長帯域の光を透過する第２の光学領域と、第３の波長帯域の光を透過する第３の光学領域と、前記第２の偏光軸に平行な方向に振動する光を主に透過し、かつ、第４の波長帯域の光を透過する第４の光学領域とを含み、前記アレイ状光学素子は、前記第１、前記第２、前記第３、および前記第４の光学領域を通過した光をそれぞれ前記複数の第１の光電変換部、前記複数の第２の光電変換部、前記複数の第３の光電変換部、および前記複数の第４の光電変換部に入射させてもよい。
　前記撮像システムは前記撮像部で取得した画像を表示する表示装置をさらに備えていてもよい。
　前記偏光照明は、可視光帯域の光を出射する光源と、前記光源から出射した光が透過するように配置された、前記第１の偏光軸を有する偏光フィルタとを含んでいてもよい。
　前記偏光照明は、前記第１、第２、第３および第４の波長帯域の光をそれぞれ出射する光源および前記第１の偏光軸を有する偏光フィルタを含み、前記第４の波長帯域の光の出射する光源から出射した光のみが前記偏光フィルタを透過するように前記偏光フィルタは配置されていてもよい。
　本発明の他の一態様である撮像システムは、第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向と平行な方向に振動し、第３の波長帯域の光の情報を有する第５の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向とは異なる第２の偏光軸と平行な方向に振動し、前記第３の波長帯域の光の情報を有する第６の画像情報を取得するように構成された撮像ユニットと、前記第５および前記第６の画像情報を用いて前記第３の波長帯域の光の情報を有する第７の画像情報を生成するように構成された第４の演算処理部と、前記第１、前記第２および前記第７の画像情報を用いて第１のカラー画像情報を生成するように構成された第５の演算処理部と、前記第１のカラー画像情報と前記第５の画像情報とを合成して第３のカラー画像情報を生成するように構成された第６の演算処理部と、前記第１のカラー画像情報と前記第６の画像情報とを合成して第４のカラー画像情報を生成するように構成された第７の演算処理部とを備える。
　以下、本発明による撮像装置の実施の形態を、図面を参照しながら説明する。
　　（実施の形態１）
　図１は、実施の形態１の撮像システムＡＰの構成を示す模式図である。図１に示す撮像システムＡＰは、撮像装置Ａと、偏光照明Ｑａと、制御部ＣＳとを備える。本実施の形態では、偏光照明Ｑａは、可視光の光を出射する光源ＬＳ１と、光源ＬＳ１から照射した光が透過するように配置された偏光フィルタＰＬ１を含む。偏光フィルタＰＬ１は、第１の方向に平行な第１の偏光軸を有しており、偏光照明Ｑａから出射する光は、本実施の形態では、第１の方向に振動する可視光帯域の偏光光である。偏光照明Ｑａは、第１、第２、第３および第４の波長帯域の光を含み、このうち、少なくとも第４の波長帯域の光が第１の方向に振動する光であればよい。つまり、偏光照明Ｑａから出射する照明光は、主として第１の方向にのみ振動する第４の波長帯域の成分を含んでおればよく、偏光照明Ｑａから出射する光が、すべて偏光光でなくてもよく、非偏光光を含んでいてもよい。例えば、第１、第２、第３および第４の波長帯域は、赤色（６２０－７５０ｎｍ）、緑色（４９５－５７０ｎｍ）、青色（４５０－４９５ｎｍ）および紫色（３８０－４５０ｎｍ）の波長帯域である。
　例えば、光源ＬＳ１が白色光を出射する場合、白色光は、上述した第１、第２、第３および第４の波長帯域の光を含む。この場合、出射した白色光が透過するように偏光フィルタＰＬ１を光源ＬＳ１に対して配置する。あるいは、光源ＬＳ１は、第１、第２、第３および第４の波長帯域の光をそれぞれ出射する独立した４つの発光素子あるいは光源を含んでいてもよい。この場合、少なくとも第４の波長帯域の光を出射する発光素子あるいは光源に偏光フィルタＰＬ１が設けられていればよい。
　制御部ＣＳは、撮像装置Ａおよび偏光照明Ｑａの制御や、外部装置Ｅとの入出力制御等を行う。外部装置Ｅは、例えば、撮像システムＡＰから出力された画像を保存するメモリ等の記憶装置、画像を表示する表示装置、画像を処理するパーソナルコンピュータやこれらの組合せである。外部装置Ｅとして表示装置を追加すれば、肌等の画像をリアルタイムに観察することができる。
　図２は、撮像装置Ａの構成例を示すブロック図である。撮像装置Ａは、撮像ユニットＩＰと、第１の演算処理部Ｓ２０１と、第２の演算処理部Ｓ２０２とを含む。
　図３は、図２に示す撮像ユニットＩＰの構成例を示す模式図である。本実施の形態では撮像ユニットＩＰは、第１の撮像部ＯＳ１および第２の撮像部ＯＳ２を含み、被写体（図示せず）は、第１の撮像部ＯＳ１および第２の撮像部ＯＳ２によってそれぞれ撮影される。
　第１の撮像部ＯＳ１は、第１のレンズ光学系Ｌａと、第１の撮像素子Ｎａを有する。第１の撮像素子Ｎａは、本実施の形態では、カラー撮像素子であり、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３を取得する。上述したように、第１の波長帯域、第２の波長帯域、および第３の波長帯域は、それぞれ、赤色、緑色、および青色の波長帯域を主に含んでいる。例えば、第１の撮像素子Ｎａは、一般的なカラー撮像素子のように、２次元に配置された複数の画素である光電変換部と、カラー画像の１画素を構成する３つあるいは４つの画素あるいは光電変換部に対してそれぞれ設けられた、第１の波長帯域、第２の波長帯域、および第３の波長帯域の光を透過するカラーフィルタとを有している。
　第２の撮像部ＯＳ２は、第４の波長帯域の光を主に透過するバンドパスフィルターＦと、第２方向に平行な第２の偏光軸を有し、第２の方向に振動する光を主に透過する第２の偏光フィルタＰＬ２と、第２のレンズ光学系Ｌｂと、第２の撮像素子Ｎｂとを有する。第２の偏光軸は、図２の偏光照明Ｑａに備えられた第１偏光フィルタの第１の偏光軸と直交している。第２の撮像素子Ｎｂは、例えばモノクロ撮像素子であり、第４の波長帯域の光の情報を有し、かつ第２の偏光軸の方向に振動する光の情報を有する画像情報Ｓ１０４を取得する。また、第４の波長帯域は、上述したように、可視光帯域の紫色の波長を主に含む波長帯域である。すなわち、第４の波長帯域の中心波長は、第１の波長帯域の中心波長、第２の波長帯域の中心波長、および第３の波長帯域の中心波長よりも短い。
　ここで、レンズ光学系ＬａおよびＬｂは、それぞれ一枚のレンズで構成されていてもよいし、複数枚のレンズで構成されていてもよい。図２は、レンズ光学系ＬａおよびＬｂはそれぞれ一枚で構成される例を示している。
　次に、撮像システムＡＰの動作および撮像システムＡＰによって生体の肌等を撮影する手順を説明する。図１の偏光照明Ｑａから出射した光は、被写体Ｏｂに到達する。偏光照明Ｑａの偏光フィルタＰＬ１は、第１の偏光軸と平行な方向に振動する光を主に透過し、第２の偏光軸と直交する方向に振動する光の大部分を吸収する。したがって、被写体Ｏｂには、第１の偏光軸と平行な方向に振動する光のみが照射される。
　被写体Ｏｂは、例えば、人の顔肌等である。本実施の形態では、被写体Ｏｂは人の顔肌として説明する。顔肌（被写体Ｏｂ）に到達した光は、反射される成分と吸収される成分があり、撮像装置Ａは反射される成分の光による被写体Ｏｂの像を取得する。顔肌で反射される光は、顔肌の表面で反射する成分と、顔肌の内部に入り込んで散乱を繰り返した後、入射した位置とは異なる位置から出射する成分とを含む。ここで、顔肌の内部とは、表皮領域をいう。表皮領域の中でシミが発生している領域にはメラニンが生成している。表皮に入り込んだ光、特に青色から近紫外線（ＵＶＡ、ＵＶＢ）の波長帯域の光は、メラニンによって減衰される。
　顔肌の表面で反射する光は、さらに鏡面反射する成分と拡散反射する成分とを含む。顔肌の表面で鏡面反射する成分は、偏光状態を維持している。また、顔肌の表面で拡散反射する成分と、顔肌の内部に入り込んで異なる位置から出射する成分は、偏光状態が乱れた無偏光の状態、つまり、非偏光光となる。
　したがって、第１の撮像部ＯＳ１で取得される第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３は、全ての方向に振動する光による被写体Ｏｂを撮像するため、顔肌で鏡面反射する光の成分、顔肌の表面で拡散反射した光の成分、および顔肌の内部に入り込んで異なる位置から出射する光の成分を有している。これらの画像情報から生成されるカラー画像は、通常のカラーカメラで撮影した画像と同じである。このため、第１の撮像部ＯＳ１で取得した画像情報から生成されるカラー画像では、顔肌の鏡面反射成分（顔肌のテカリ）を含んでいるため、シミによる輝度の低下の認識が困難である。
　一方、第２の撮像部ＯＳ２で被写体Ｏｂを撮影した第４の画像情報は、第２の偏光フィルタＰＬ２によって顔肌の鏡面反射成分（顔肌のテカリ）の大部分がカットされ、かつ紫色の第４の波長帯域の光の情報を有する。このため、第４の画像情報から生成される画像では、肉眼ではやや見えにくい顔肌のシミを認識しやすい。
　このように撮像ユニットＩＰは、通常のカラー画像を生成するために、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および、第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３と、顔肌のシミの状態が見やすい第４の画像情報Ｓ１０４とを同時に取得するように構成されている。ここで同時とは、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４が、同じ時刻における偏光照明Ｑａから出射した光による被写体からの光に基づき取得されることを意味している。これらの画像情報の生成は完全に同時ではなくてもよく、例えば、動画の生成に支障がない程度に、時間的なズレがあってもよい。
　次に、画像処理のフローについて説明する。図２に示すように、第１の演算処理部Ｓ２０１は、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３を用いて第１のカラー画像Ｓ３０１を生成するように構成されている。
　第２の演算処理部Ｓ２０２は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと、第２の偏光軸の方向に振動し、かつ第４の波長帯域の光の情報を有する画像情報Ｓ１０４とをそれぞれ合成処理して第２のカラー画像情報を生成するように構成されている。
　上述した信号処理を行うため、撮像装置Ａの第１の演算処理部Ｓ２０１および第１の演算処理部Ｓ２０１は、専用の集積回路によって構成されていてもよいし、演算装置（ＭＰＵ）、メモリ、および、メモリ等に記憶され、上述の信号処理手順によって信号を処理するソフト上によって構成されていてもよい。あるいは、これらの両方によって構成されていてもよい。また、上述した信号処理のため、第１の撮像素子Ｎａおよび第２の撮像素子Ｎｂは、Ａ／Ｄ変換された、デジタルの第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４を出力してもよいし、第１～第７の演算処理部Ｓ２０１～Ｓ２０７がアナログの第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４をデジタルに変換してもよい。以下の実施の形態における第３～第７の演算処理部Ｓ２０３～Ｓ２０７も同様に構成されていてもよい。
　以上の画像処理を模式的に示すと、図４のようなフローになる。第１のカラー画像Ｓ３０１は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３によって生成される。この画像処理は、第１の演算処理部Ｓ２０１において、例えば、Ｒ、Ｇ、Ｂの画像情報からカラー画像を生成する、一般的な撮像装置におけるカラー画像処理と同様にして行うことができる。
　ここで、被写体Ｏｂの顔肌にシミが存在していると、第４の画像情報Ｓ１０４には、シミＸＳが撮像される。第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと、第４の画像情報Ｓ１０４とをそれぞれ合成処理すると、画像情報Ｓ２１、画像情報Ｓ２２、および画像情報Ｓ２３がそれぞれ生成される。前述の合成処理は、例えば乗算処理であることが好ましい。より具体的には、第２の演算処理部Ｓ２０２は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれの、各画素における諧調値（輝度情報）に、第４の画像情報Ｓ１０４の対応する画素における諧調値を掛け合わせる。また、得られた画像情報Ｓ２１、画像情報Ｓ２２、および画像情報Ｓ２３から、一般な撮像装置におけるカラー画像処理と同様の処理を行い、第２のカラー画像Ｓ３０２を生成する。
　図４に示すように、合成前の第４の画像情報Ｓ１０４には、シミＸＳの情報が存在するため、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと、第４の画像情報Ｓ１０４とをそれぞれ乗算処理すると、画像情報Ｓ２１、画像情報Ｓ２２、および画像情報Ｓ２３には、いずれもシミＸＳの情報が反映される。また、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと乗算するため、合成後の第２のカラー画像Ｓ３０２の色の比率は保持される。但し、乗算処理のみであると画像全体が暗くなるので、乗算後にガンマ補正を行ってもよい。また、ガンマ補正を行うと彩度が低下するため、彩度強調処理をさらに行ってもよい。
　また、本実施の形態では、第１の撮像部ＯＳ１と第２の撮像部ＯＳ２とは互いに離間して配置されているため、第１の撮像素子Ｎａで取得した画像と第２の撮像素子Ｎｂで取得した画像との間には被写体距離に対応した視差が発生する。この視差が問題となる場合には、第２の演算処理部において、第４の画像情報のＳ１０４の視差補正画像情報を生成した後に画像情報Ｓ２１、画像情報Ｓ２２、および画像情報Ｓ２３を生成してもよい。具体的には、第１の撮像部ＯＳ１で取得する第３の画像情報Ｓ１０３と、第２の撮像部ＯＳ２で取得する第４の画像情報Ｓ１０４との間で発生する視差を、各画像の微小ブロック毎にパターンマッチングにより抽出し、微小ブロック毎に抽出した視差の分だけ画像をずらすことにより、第４の画像情報Ｓ１０４の視差補正画像情報を生成することができる。
　本実施の形態によれば、上述した撮像システムの構成および画像処理により、通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる。したがって、通常のカラー画像およびシミの部分が強調されたカラー画像をそれぞれ連続してかつ、並行して取得することが可能となり、動画の撮影を行うことができる。よって、肌のシミ等をリアルタイムで観察することのできる撮像システムを実現することができる。
　なお、本実施の形態では、第４の波長帯域は可視光帯域の紫色としたが、第４の波長帯域は、第３の波長帯域と同じ青色の波長帯域であってもよい。すなわち、第３および第４の波長帯域の中心波長は、第１および第２の波長帯域の中心波長よりも短い。青色の帯域であっても、シミの状態を確認できるため、肉眼で見えるシミをさらに強調して撮像することができる。
　また、第４の波長帯域は近紫外線の帯域であってもよい。近紫外線の帯域の画像を取得する場合、偏光照明Ｑａには、近紫外線の帯域の光が含まれる光源を用いる。近紫外線の帯域の光を顔肌に照射する場合は、紫外線をカットする保護眼鏡をして撮影することが好ましい。近紫外線の帯域の光を用いることにより、肉眼ではほとんど見えない隠れシミを撮像することができる。
　さらに、本実施の形態にかかる撮像装置を環境光下で使用する場合、偏光照明Ｑａから出射する照明光は、第１の方向にのみ振動する第４の波長帯域の成分のみを有していればよい。
　また、上述したように本実施の形態の撮像システムは、表皮領域における情報を得ることができるため、顔肌に限らず、生体の種々の部分の皮膚を観察するのに適している。また、本実施の形態の撮像システムを内視鏡に適用すれば、胃などの内臓において、表面から少し内部に位置する組織の状態を観察し得る。このため、本実施の形態の撮像システムは内視鏡にも好適に用いることができる。
　　（実施の形態２）
　図５は、本実施の形態の撮像システムの撮像装置の構成例を示すブロック図である。本実施の形態の撮像システムは、撮像装置が第３の演算処理部を有する点で実施の形態１と異なっている。このため、以下では、第３の演算処理部を主として説明する。
　本実施の形態では、第３の演算処理部は第４の画像情報Ｓ１０４によって得られる画像のコントラスト強調するように第４の画像情報Ｓ１０４を処理するように構成されている。コントラストが強調された、第４の画像情報Ｓ１０４は、その後、第２の演算処理部Ｓ２０２において、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと合成される。
　図６は、コントラスト強調を説明するグラフである。画像は２次元であるが、説明をわかりやすくするため、コントラスト強調前後の画像について１次元の階調値を用いて説明する。図６のグラフにおいて、横軸は撮像素子上の画素位置であり、縦軸は階調値である。実線は、コントラスト強調処理前の第４の画像情報Ｓ１０４における顔肌の階調値Ｗ１を表している。階調値Ｗ１において、凹形状になっている箇所は、シミが存在することを示しており階調値が小さくなっている。破線は、第４の画像情報Ｓ１０４にコントラスト強調を施した階調値Ｗ２を示している。第４の画像情報Ｓ１０４にコントラスト強調を施すことにより、階調値Ｗ２において、凹形状が深くなり、シミの部分と他の部分との諧調値差が大きくなる。これによりシミの状態がより強調された第４の画像情報Ｓ１０４が得られる。よって、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと第４の画像情報Ｓ１０４とを合成することにより、シミの状態がよりわかり易いカラー画像を生成することができる。
　　（実施の形態３）
　図５は、本実施の形態の撮像システムの撮像装置の構成例を示すブロック図である。本実施の形態の撮像システムは、第３の演算処理部において、コントラスト強調処理の前に正規化処理を行う点で実施の形態２と異なっている。このため、以下では、第３の演算処理部における正規化処理を主として説明する。
　コントラスト強調処理の前の第４の画像情報Ｓ１０４による画像において、図６のグラフの実線で示すように階調値Ｗ１の勾配が存在している場合、そのままコントラスト強調処理を行うと、シミ以外の箇所についてもコントラストが強調される。その結果、合成後の画像では、シミ以外の箇所の画像の陰影も強くなる。特に照明が被写体に対して不均一に照射されている場合においては、合成後のカラー画像が不自然になる場合がある。逆に不自然にならない範囲でコントラスト強調をかけようとすると、シミの状態のコントラスト強調が制限されてしまう。
　このようなコントラストの強調を避け、自然な画像を得るために、本実施の形態では、第３の演算処理部は、コントラスト強調を行う前に、第４の画像情報Ｓ１０４の諧調値を正規化する。具体的には、第４の画像情報Ｓ１０４において所定の大きさの画像ブロック毎に階調値の平均値を計算し、所定の正規化の階調値と平均値の比に基づいて画像ブロックの各画素の階調値のゲイン調整を行う。
　図７（ａ）から（ｃ）を参照して上述した正規化処理をより詳細に説明する。例えば、正規化処理は、８画素のブロック単位で諧調値の平均値を計算し、所定の正規化された階調値とブロック単位の平均値との比（正規化の階調値／ブロック単位の平均値）を当該画像ブロックのゲインとし、このゲインを各画素の諧調と掛け合わせる。この処理により、８画素のブロック単位の諧調値の平均値は、所定の正規化の階調値となる。図７（ａ）に示すようにコントラスト強調前に勾配があった階調値Ｗ１は、正規化した階調値Ｗ１’で示すように勾配が減少する。但し、ブロック単位でゲインを決定しているため、矢印で示すブロックの境界位置に階調の段差が生じる。これを抑制するために８画素単位のブロック間のゲインを線形補完することにより、正規化した階調値は図７（ｂ）に示すにＷ１”のようになり、段差が解消される。
　正規化した階調値Ｗ１”をさらにコントラスト強調処理すると、コントラスト強調後の階調値は図７（ｃ）に示すＷ２”のようになり、シミに対応する凹部のみが強調された諧調値の第４の画像情報Ｓ１０４を得ることができる。
　以上の処理により、コントラスト強調前に階調の勾配がある場合においても、合成後の画像はシミの箇所のみに強調をかけることができる。つまり、合成後のカラー画像はシミの状態のみが良好に強調された画像となる。
　　（実施の形態４）
　図８は、本実施の形態の撮像システムの撮像ユニットＩＰの構成を示している。本実施の形態の撮像システムは、実施の形態１とは異なる構造を有する撮像ユニットＩＰを備えている。このため、以下では、撮像ユニットＩＰを主として説明する。本実の施形態における撮像装置の撮像ユニットＩＰは、レンズ光学系Ｌと、光路を分離するハーフミラーＨＭと、第１の撮像素子Ｎａと、第４の波長帯域の光を主に透過するバンドパスフィルターＦと、第２の偏光軸と平行な方向に振動する光を主に透過する第２の偏光フィルタＰＬ２と、第２の撮像素子Ｎｂとを含む。
　被写体（図示せず）を撮像する場合、被写体からの光線は、レンズ光学系Ｌを通過した後、ハーフミラーＨＭに到達する。ハーフミラーＨＭは光路分割構造であり、ハーフミラーＨＭにより、光線は、第１の撮像素子Ｎａに向かう光線と、第２の撮像素子Ｎｂに向かう光線とに分割される。第１の撮像素子Ｎａに向かう光線は、そのまま第１の撮像素子Ｎａに到達する。第２の撮像素子Ｎｂに向かう光線は、第４の波長帯域の光を主に透過するバンドパスフィルターＦと、第２の偏光軸の方向に振動する光を主に透過する第２の偏光フィルタＰＬ２とを順に透過し、第２の撮像素子Ｎｂに到達する。
　第１の撮像素子Ｎａは、実施の形態１で説明したように、カラー撮像素子であり、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３を取得する。第２の撮像素子Ｎｂは、モノクロ撮像素子であり、第４の波長帯域の光の情報を有し、かつする第２の偏光軸の方向に振動する光の情報を有する画像情報Ｓ１０４を取得する。
　このような構成により、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第３の画像情報Ｓ１０４を取得する。画像合成は、実施の形態１、２、および３で説明したいずれの画像処理を用いて行ってもよい。
　以上のような構成により、実施の形態１と同様、通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる撮像システムを実現することができる。
　また、本実施の形態では、ハーフミラーによって光路を分離しているため、実施の形態１のように第１の撮像素子Ｎａで取得した画像と第２の撮像素子Ｎｂで取得した画像との間には視差が発生しない。本実施の形態によれば、視差を補正するための画像処理を行わなくてもよく、第２の画像処理部の、回路規模を小さくすることができる。
　なお、本実施の形態では、光路を分離する素子としてハーフミラーを用いているが、ハーフミラーの代わりにダイクロイックミラーを用いてもよい。ダイクロイックミラーを用いる場合、透過する光の波長帯域を第１、第２、および第３の波長帯域とし、反射する光の波長帯域を第４の波長帯域となるように設計すればよい。このような構成により、第２の撮像素子に向かう光線は、主として第４の波長帯域の光線のみになり、バンドパスフィルターＦを用いなくてもよい。これにより、第２の撮像素子Ｎｂに入射する光の量の低下を抑制し、撮影感度を向上させることができる。
　　（実施の形態５）
　図９は、本実施の形態の撮像システムの撮像ユニットＩＰの構成を示している。本実施の形態の撮像システムは、実施の形態１とは異なる構造を有する撮像ユニットＩＰを備えている。このため、以下では、撮像ユニットＩＰを主として説明する。本実施の形態の撮像装置の撮像ユニットＩＰは、複眼レンズＬＬと、第１の波長帯域の光を主に透過するバンドパスフィルターＦ１と、第２の波長帯域の光を主に透過するバンドパスフィルターＦ２と、第３の波長帯域の光を主に透過するバンドパスフィルターＦと、第４の波長帯域の光を主に透過するバンドパスフィルターＦ４と、第２の偏光軸の方向に振動する光を主に透過する第２の偏光フィルタＰＬ２と、撮像素子Ｎｃとを含む。
　複眼レンズＬＬには、４つのレンズ光学系がアレイ状に配置されている。具体的には、同一平面上にレンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４が、２行２列に配列されている。また、撮像素子Ｎｃ上の撮像面Ｎｉには、レンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４にそれぞれ一対一で対応する撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４が設定されている。
　偏光照明Ｑａから出射した光は、被写体で反射し、反射光は、レンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４によってそれぞれ集光され、撮像素子Ｎｃの対応する撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４において被写体の像を形成する。レンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４の光路上にはそれぞれ、バンドパスフィルターＦ１、Ｆ２、Ｆ３、Ｆ４が配置されている。このため、レンズ光学系Ｌａ１と第１の波長帯域の光を主に透過するバンドパスフィルターＦ１とを介して撮像領域Ｎｉ１に被写体の画像が形成される。同様に、レンズ光学系Ｌａ２および第２の波長帯域の光を主に透過するバンドパスフィルターＦ２、レンズ光学系Ｌａ３および第３の波長帯域の光を主に透過するバンドパスフィルターフィルタＦ３、レンズ光学系Ｌａ４および第４の波長帯域の光を主に透過するバンドパスフィルターＦ４と第２の偏光フィルタＰＬ２とを介して、それぞれ、撮像領域Ｎｉ２、Ｎｉ３、Ｎｉ４に被写体の画像が形成される。このようにして、撮像ユニットＩＰは、４つの光路によって、被写体（図示せず）を撮影する。このような構成により、撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４から、それぞれ第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３、および第４の波長帯域の光の情報を有しかつ第２の偏光軸の方向に振動する光の情報を有する画像情報Ｓ１０４を取得する。
　本実施の形態では、レンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４が互いに離間して配列されているため、撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４で取得した画像は、互いに被写体距離に対応した視差が発生する。この視差が問題となる場合には、第１の画像処理部および第２の演算処理部においてそれぞれの視差を補正した後にカラー画像を生成してもよい。具合的には、第１の画像情報Ｓ１０１を基準画像とし、第２の画像情報Ｓ１０２の視差補正画像、第３の画像情報Ｓ１０３の視差補正画像、第４の画像情報Ｓ１０４の視差補正画像をそれぞれ生成した後に合成処理を行えばよい。各視差補正画像は、実施の形態１で説明したように、各画像の微小ブロック毎にパターンマッチングにより抽出し、微小ブロック毎に抽出した視差の分だけ画像をずらすことにより生成することができる。
　このような構成により、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得する。画像合成は、実施の形態１、２、および３で説明したいずれの画像処理を用いて行ってもよい。
　以上のような構成により、実施の形態１と同様に通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる撮像システムを実現することができる。
　本実施の形態５では、１つの撮像素子Ｎｃ上に複眼レンズＬＬを配置する構成であるため、実施の形態１および４の構成よりも撮像ユニットＩＰの容積を小さくすることができ、撮像装置を小型化することができる。
　　（実施の形態６）
　図１０（ａ）は、本実施の形態の撮像システムの撮像ユニットＩＰの構成を示している。本実施の形態の撮像システムは、実施の形態１とは異なる構造を有する撮像ユニットＩＰを備えている。このため、以下では、撮像ユニットＩＰを主として説明する。
　本実施の形態の撮像装置の撮像ユニットＩＰは、レンズ光学系Ｌと、撮像素子Ｎｄとを備える。図１０（ｂ）は、撮像素子Ｎｄ上の画素の配列を示す図である。撮像素子Ｎｄの撮像面上には複数の光電変換部が２次元アレイ状に配置されており、各光電変換部が画素を構成している。図１０（ｂ）において、光電変換部の画素Ｐａ１には、第１の波長帯域の光を主に透過するバンドパスフィルターが備えられている。同様に、画素Ｐａ２、Ｐａ３には、第２の波長帯域の光、および、第３の波長帯域の光を主に透過するバンドパスフィルターがそれぞれ備えられている。一方、画素Ｐａ４には、第４の波長帯域の光を主に透過するバンドパスフィルターと第２の偏光軸の方向に振動する光を主に透過する偏光フィルタが備えられている。各画素のバンドパスフィルターは、吸収型のフィルタや誘電体多層膜によって構成されたフィルタによって構成されており、偏光フィルタは、ワイヤーグリッド偏光子によって構成されている。
　被写体（図示せず）を撮影する場合、被写体からの光線は、レンズ光学系Ｌを通過した後、撮像素子Ｎｄに到達する。画素Ｐａ１は、第１の波長帯域の光を主に透過するバンドパスフィルターが備えられているため、画素Ｐａ１のみ抽出することにより、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１を生成することができる。同様に、画素Ｐａ２および画素Ｐａ３をそれぞれ抽出することにより、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３を生成することができる。また、画素Ｐａ４は、第４の波長帯域の光を主に透過するバンドパスフィルターと第２の偏光軸の方向に振動する光を主に透過する偏光フィルタが備えられているため、画素Ｐａ４のみ抽出することにより、第２の偏光軸と平行なの方向に振動し、かつ第４の波長帯域の光の情報を有する第４の画像情報Ｓ１０４を生成することができる。
　このような構成により、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得する。画像合成は、実施の形態１、２、および３で説明したいずれの画像処理を用いて行ってもよい。
　以上のような構成により、実施の形態１と同様に通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる撮像システムを実現することができる。
　本実施の形態６では、１つの撮像素子Ｎ上にレンズ光学系Ｌを配置する構成であるため、実施の形態１および４の構成よりも撮像ユニットＩＰの容積を小さくすることができ、撮像装置を小型化することができる。
　　（実施の形態７）
　本実施の形態７は、撮像装置Ａの撮像ユニットＩＰの構成が異なる点で、実施の形態１、４、５、および６と異なる。ここでは、本実施の形態において実施の形態１、４、５、および６と同様の内容についての詳細な説明は省略する。
　図１１は、本実施の形態の撮像システムの撮像ユニットＩＰの構成を示している。本実施の形態の撮像システムは、実施の形態１とは異なる構造を有する撮像ユニットＩＰを備えている。このため、以下では、撮像ユニットＩＰを主として説明する。本実の施形態の撮像ユニットＩＰは、Ｖを光軸とするレンズ光学系Ｌｘと、レンズ光学系Ｌｘの焦点近傍に配置されたアレイ状光学素子Ｋと、モノクロの撮像素子Ｎｅとを備える。
　レンズ光学系Ｌｘは、被写体（図示せず）からの光が入射する絞りＳと、絞りＳを通過した光が入射する光学素子Ｌ１ｐと、光学素子Ｌ１ｐを通過した光が入射するレンズＬ２とを含む。レンズ光学系Ｌｘは、第１、第２、第３、および第４の光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４を有する。
　レンズＬ２は、１枚のレンズで構成されていてもよいし、複数枚のレンズで構成されていてもよい。また、絞りＳの前後に複数枚に分かれて配置された構成であってもよい。図１１では、１枚構成として図示している。
　図１２（ａ）は、光学素子Ｌ１ｓを被写体側から見た正面図である。光学素子Ｌ１ｓは、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４に配置されている。光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４は、光軸Ｖに垂直な面内において、光軸Ｖが垂直な面と交わる点を通る互いに直交する２本の直線によって分割された４つの領域である。また、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４は、レンズ光学系Ｌｘにおいて、光軸Ｖに平行に伸びている。光学素子Ｌ１ｓのうち、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４に位置する部分の分光透過率特性は互いに異なる。光学素子Ｌ１ｓは、絞りＳと光学素子Ｌ１ｐの間に配置されている。光学素子Ｌ１ｓは、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４において、領域は、それぞれ、第１の波長帯域の光を主に透過する分光透過率特性、第２の波長帯域の光を主に透過する分光透過率特性、第３の波長帯域の光を主に透過する分光透過率特性、および第４の波長帯域の光を主に透過する分光透過率特性を有している。例えば、光学素子Ｌ１ｓは、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４において、第１、第２、第３、第４の波長帯域の光を主に透過する分光透過率特性を有するフィルタを有している。
　図１２（ｂ）は、光学素子Ｌ１ｐを被写体側から見た正面図である。光学素子Ｌ１ｐは、光学領域Ｄ１においてのみ、第２の偏光軸と平行な方向に振動する光を主に透過する偏光フィルタを有し、その他の領域には、全ての方向に振動する光を透過するガラス板を有している。
　図１１、図１２（ａ）、（ｂ）に示すように、被写体からの光のうち、光Ｂ１、Ｂ２、Ｂ３、Ｂ４が、それぞれ光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を透過する。
　図１３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎｅ側の面には、光学要素Ｍが格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は、曲面形状を有し、それぞれの光学要素Ｍは、撮像素子Ｎ側に突出している。このように、光学要素Ｍはマイクロレンズであり、アレイ状光学素子Ｋは、複数の光学要素Ｍが撮像素子Ｎｅの光電変換部と同じ２方向に２次元に配列されることによってマイクロレンズアレイを構成している。光学要素Ｍは行および列方向に配置された４つの光電変換部に対応している。
　図１４（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎｅとを拡大して示す図であり、図１４（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の光電変換部（画素）との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍが形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像素子Ｎｅは、撮像面Ｎｉにおいて、４つの光電変換部によって構成されるカラーの画素Ｐを複数有している。複数の画素Ｐは行および列方向に配置されている。各画素Ｐは、行および列方向配置された第１、第２、第３および第４の光電変換部を含む。第１、第２、第３および第４の光電変換部は、独立して、光を検出して電気信号に変換し、画素Ｐｂ１、画素Ｐｂ２、画素Ｐｂ３および画素Ｐｂ４を構成する。
　アレイ状光学素子Ｋは、レンズ光学系Ｌｘの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。図１４（ｂ）に示すように、アレイ状光学素子Ｋの各光学要素Ｍの中心Ｍｃと、４つの光電変換部によって構成される画素Ｐの中心Ｐｃとは、光軸Ｖに平行な同じ直線上に位置している。このため、各光学要素Ｍは、４つの光電変換部に対尾して配置される。
　撮像面Ｎｉ上には、第１、第２、第３および第４の光電変換部（画素Ｐｂ１、Ｐｂ２、Ｐｂ３、Ｐｂ４）の表面を覆うようにマイクロレンズＭｓが設けられている。各第１、第２、第３および第４の光電変換部（画素Ｐｂ１、Ｐｂ２、Ｐｂ３、Ｐｂ４）の上には、異なる分光透過率特性を有するカラーフィルタ等は設けられていない。
　アレイ状光学素子Ｋは、光学素子Ｌ１ｓ、およびＬ１ｐの光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４をそれぞれ通過した光Ｂ１、Ｂ２、Ｂ３、Ｂ４の大部分が撮像面Ｎｉ上の画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達するように設計されている。具体的にはアレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離および光学要素Ｍ表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。
　したがって、画素Ｐｂ１には、第１の波長帯域の光が主に入射し、画素Ｐｂ１のみ抽出することにより、主として第１の波長帯域の光の情報をのみを有する第１の画像情報Ｓ１０１を生成することができる。同様に、画素Ｐｂ２および画素Ｐｂ３をそれぞれ抽出することにより、主として第２の波長帯域の光の情報のみを有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報のみを有する第３の画像情報Ｓ１０３を生成することができる。また、画素Ｐｂ４には、第４の波長帯域において第２の偏光軸と平行な方向に振動する光が主に入射するため、画素Ｐｂ４のみ抽出することにより、第２の偏光軸の方向に振動し、かつ第４の波長帯域の光の情報のみを有する第４の画像情報Ｓ１０４を生成することができる。
　このような構成により、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得する。画像合成は、実施の形態１、２および３で説明したいずれの画像処理を行ってもよい。
　以上のような構成により、実施の形態１と同様に通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる撮像システムを実現することができる。
　本実施の形態７では、光学素子Ｌ１ｓ、およびＬ１ｐの構成を目的に応じて変更することができる。特に、光学素子Ｌ１ｓにおいては、誘電体多層膜を適用することにより、所望の分光特性を設計することができるため、分光特性のカスタマイズがしやすくなる。
（実施の形態８）
　図１５は、本実施の形態の撮像システムの撮像装置の構成例を示すブロック図である。本実施の形態の撮像システムは、撮像部ＩＰの構成と撮像装置Ａの構成が実施の形態１と異なっている。このため、以下では、撮像部ＩＰと画像処理のフローについて説明する。
　図１５は、本実施の形態の撮像装置Ａの構成例を示すブロック図である。撮像装置Ａは、撮像部ＩＰと、第４の演算処理部Ｓ２０４と、第５の演算処理部Ｓ２０５と、第６の演算処理部Ｓ２０６と、第７の演算処理部Ｓ２０７とを含む。
　図１６は、図２に示す撮像部ＩＰの構成例を示す模式図である。本実施の形態では撮像部ＩＰは、偏光フィルタＰＬ３が付加された点と、バンドパスフィルターＦ３とバンドパスフィルターＦ４がいずれも第３の波長帯域の光を透過する点で実施の形態５と異なっている。偏光フィルタＰＬ３は、偏光フィルタＰＬ２と直交する第１の偏光軸の方向に振動する光を主に透過する。
　このような構成により、撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４から、それぞれ第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、第３の波長帯域の光の情報を有しかつ第１の偏光軸の方向に振動する光の情報を有する第５の画像情報Ｓ１０５、および第３の波長帯域の光の情報を有しかつ第１の偏光軸と直交する第２の偏光軸の方向に振動する光の情報を有する第６の画像情報Ｓ１０６を取得する。
　次に、画像処理のフローについて説明する。図１５に示すように、第４の演算処理部Ｓ２０４は、第３の波長帯域の光の情報を有しかつ第１の偏光軸の方向に振動する光の情報を有する第５の画像情報Ｓ１０５、および第３の波長帯域の光の情報を有しかつ第２の偏光軸の方向に振動する光の情報を有する第６の画像情報Ｓ１０６を加算して第３の波長情報を有する第７の画像情報を生成するように構成されている。ここで、第２の偏光軸は第１の偏光軸に対して直交しているため、加算処理によって、第７の画像情報は、無偏光かつ第３の波長帯域の光の情報を有する画像情報となる。
　第５の演算処理部Ｓ２０５は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第７の画像情報Ｓ１０７を用いて第１のカラー情報Ｓ３０１を生成するように構成されている。この画像処理は、例えばＲ、Ｇ、Ｂの画像情報からカラー画像を生成する。
　第６の演算処理部Ｓ２０６は、第１のカラー画像Ｓ３０１と第５の画像情報Ｓ１０５とを、例えば乗算によって合成処理し、第３のカラー画像Ｓ３０３を生成するように構成されている。第５の画像情報Ｓ１０５は、第１の偏光軸の方向に振動する光の情報を有する。第１の偏光軸の方向は照明の偏光軸の方向と同じであるため、第５の画像情報Ｓ１０５は、顔肌の鏡面反射成分を多く含む。顔肌の表面で鏡面反射した光の成分を有する画像情報においては、顔肌の凹凸による陰影がはっきりするため、肌の小ジワ等が認識しやすい画像となる。よって、このような合成処理によって、小ジワ等の部分が強調された第３のカラー画像Ｓ３０３を生成することができる。
　第７の演算処理部Ｓ２０７は、第１のカラー画像Ｓ３０１と第６の画像情報Ｓ１０６とを、例えば乗算によって合成処理し、第４のカラー画像Ｓ３０４を生成するように構成されている。
　実施の形態１で説明したとおり、偏光フィルタＰＬ２によって顔肌の鏡面反射成分（顔肌のテカリ）の大部分がカットされるため、第６の画像情報Ｓ１０６では、顔肌のシミを認識しやすくなる。よって、このような合成処理によって、実施の形態１と同様にシミの部分が強調された第４のカラー画像Ｓ３０４を生成することができる。
　このように本実施の形態によれば、上述した撮像システムの構成および画像処理により、通常のカラー画像と、シミの部分が強調されたカラー画像、および小ジワ等の部分が強調されたカラー画像を同時に取得できる。したがって、通常のカラー画像、シミの部分が強調されたカラー画像、および小ジワ等の部分が強調されたカラー画像をそれぞれ連続してかつ、並行して取得することが可能となり、動画の撮影を行うことができる。よって、肌のシミや小ジワ等が強調された画像をリアルタイムで観察することのできる撮像システムを実現することができる。
　なお、本実施の形態８の撮像部は、図１６に示す光学系に限定されるものではなく、実施の形態６の図１０や実施の形態７の図１１に示す光学系において、適宜偏光フィルタを配置して構成してもよい。
　本発明にかかる撮像システムは、肌診断カメラ、および内視鏡カメラ等の撮像装置として有用である。また、マイクロスコープや電子ミラーなどの撮像システムに応用することができる。
ＩＰ　　　　　　　　　　　　　撮像ユニット
Ａ　　　　　　　　　　　　　　撮像装置
ＡＰ　　　　　　　　　　　　　撮像システム
Ｓ１０１～Ｓ１０４　　　　　　画像情報
Ｓ２０１～Ｓ２０３　　　　　　演算処理部
Ｓ３０１、Ｓ３０２　　　　　　カラー画像情報
Ｗ１、Ｗ２　　　　　　　　　　階調値
ＰＬ１、ＰＬ２　　　　　　　　偏光フィルタ
Ｌａ、Ｌｂ、Ｌ　　　　　　　　レンズ
Ｎａ、Ｎｂ、Ｎｃ、Ｎｄ、Ｎｅ　撮像素子
ＬＬ　　　　　　　　　　　　　複眼レンズ
Ｌａ１～Ｌａ４　　　　　　　　複眼レンズの光学要素
Ｆ１～Ｆ４　　　　　　　　　　バンドパスフィルター
Ｎｉ　　　　　　　　　　　　　撮像面
Ｎｉ１～Ｎｉ４　　　　　　　　撮像面上の撮像領域
ＯＳ１、ＯＳ２　　　　　　　　撮像部
Ｐａ１～Ｐａ４　　　　　　　　撮像素子上の画素
Ｌｘ　　　　　　　　　　　　　レンズ光学系
Ｌ１ｓ、Ｌ１ｐ　　　　　　　　光学素子
Ｌ２　　　　　　　　　　　　　レンズ
Ｄ１～Ｄ４　　　　　　　　　　光学領域
Ｓ　　　　　　　　　　　　　　絞り
Ｋ　　　　　　　　　　　　　　アレイ状光学素子
Ｍ　　　　　　　　　　　　　　アレイ状光学素子における光学要素
Ｍｓ　　　　　　　　　　　　　撮像素子上のマイクロレンズ
Ｐｂ１～Ｐｂ４　　　　　　　　撮像素子上の画素
Ｑａ　　　　　　　　　　　　　偏光照明

Claims (18)

  1. 　第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、
    　前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、第３の波長帯域の光の情報を有する第３の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向とは異なる第２の偏光軸と平行な方向に振動し、前記照明光の前記光の成分と同じ波長帯域である第４の波長帯域の光の情報を有する第４の画像情報を取得するように構成された撮像ユニットと、
    　前記第１、前記第２および前記第３の画像情報を用いて第１のカラー画像情報を生成するように構成された第１の演算処理部と、
    　前記第１から前記第３の画像情報のそれぞれと、前記第４の画像情報とをそれぞれ合成処理して第２のカラー画像情報を生成するように構成された第２の演算処理部と、
    を備えた撮像システム。
  2. 　前記第４の波長帯域の中心波長は、前記第１、前記第２、および前記第３の波長帯域の中心波長よりも短い、請求項１に記載の撮像システム。
  3. 　前記第４の波長帯域は、前記第３の波長帯域と同じ波長帯域であって、前記第３および前記第４の波長帯域の中心波長は、前記第１および第２の波長帯域の中心波長よりも短い、請求項１に記載の撮像システム。
  4. 　前記第１、前記第２、前記第３および前記第４の波長帯域は、いずれも可視光の波長帯域である請求項１から３のいずれかに記載の撮像システム。
  5. 　前記第１、前記第２、および前記第３の波長帯域は、いずれも可視光の波長帯域であり、前記第４の波長帯域は近紫外光の波長帯域である、請求項１から３のいずれかに記載の撮像システム。
  6. 　前記第２の演算処理部における前記合成処理の前に、前記第４の画像情報のコントラストを強調する処理を行うように構成された第３の演算処理部をさらに備える、請求項１から５のいずれかに記載の撮像システム。
  7. 　前記第３の演算処理部は、前記コントラストの強調を行う前に、前記第４の画像情報において、所定の大きさの画像ブロック毎に階調値の平均値を計算し、所定の正規化の階調値と前記平均値の比に基づいて前記画像ブロックの各画素の階調値のゲイン調整を行う、請求項６に記載の撮像システム。
  8. 　前記合成処理は、乗算処理を含む請求項１から７のいずれかに記載の撮像システム。
  9. 　前記撮像ユニットは、第１の撮像素子および第２の撮像素子を備え、
    　前記第１、前記第２および前記第３の画像情報を前記第１の撮像素子で取得し、
    　前記第４の画像情報を前記第２の撮像素子で取得する、
    請求項１から８のいずれかに記載の撮像システム。
  10. 　前記撮像ユニットは、前記被写体からの光線を前記第１の撮像素子に導く光路と前記第２の撮像素子に導く光路に分割する光路分割構造をさらに備える請求項９に記載の撮像システム。
  11. 　前記撮像ユニットは、撮像素子を備え、
    　前記第１、前記第２、前記第３、および前記第４の画像情報を前記撮像素子で取得する、請求項１から８のいずれかに記載の撮像システム。
  12. 　前記撮像ユニットは、
    　４つのレンズがアレイ状に配列されたレンズアレイと、
    　前記４つのレンズのそれぞれの光路上で一対一に対応するように配置された前記第１から前記第４の波長帯域の光の情報を透過する分光フィルタと、
    をさらに備え、
    　前記撮像素子は、前記４つのレンズと一対一に対応する４つの撮像領域を含む請求項１１に記載の撮像システム。
  13. 　前記撮像素子は、
    　平面状に配列された複数の光電変換部と、
    　前記複数の光電変換部上に配置され、前記第１から前記第４の波長帯域の光をそれぞれ透過する複数の第１から第４の分光フィルタと、
    　前記第４の分光フィルタが配置された光電変換素子上に配置され、前記第２の偏光軸を有する複数の偏光フィルタと
    を含む、請求項１１に記載の撮像システム。
  14. 　前記撮像ユニットは、
    　レンズ光学系と、
    　前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子と
    を備え、
    　前記撮像素子は、前記レンズ光学系を通過した光が入射する複数の第１の光電変換部、複数の第２の光電変換部、複数の第３の光電変換部および複数の第４の光電変換部を有し、
    　前記レンズ光学系は、４つの光学領域を有し、前記４つの光学領域は、第１の波長帯域の光を透過する第１の光学領域と、第２の波長帯域の光を透過する第２の光学領域と、第３の波長帯域の光を透過する第３の光学領域と、前記第２の偏光軸に平行な方向に振動する光を主に透過し、かつ第４の波長帯域の光を透過する第４の光学領域とを含み、
    　前記アレイ状光学素子は、前記第１、前記第２、前記第３、および前記第４の光学領域を通過した光をそれぞれ前記複数の第１の光電変換部、前記複数の第２の光電変換部、前記複数の第３の光電変換部、および前記複数の第４の光電変換部に入射させる、請求項１１に記載の撮像システム。
  15. 　前記撮像部で取得した画像を表示する表示装置をさらに備える、請求項１から１４のいずれかに記載の撮像システム。
  16. 　前記偏光照明は、可視光帯域の光を出射する光源と、前記光源から出射した光が透過するように配置された、前記第１の偏光軸を有する偏光フィルタとを含む請求項１から１５のいずれかに記載の撮像システム。
  17. 　前記偏光照明は、前記第１、第２、第３および第４の波長帯域の光をそれぞれ出射する光源および前記第１の偏光軸を有する偏光フィルタを含み、
    　前記第４の波長帯域の光の出射する光源から出射した光のみが前記偏光フィルタを透過するように前記偏光フィルタは配置されている請求項１から１５のいずれかに記載の撮像システム。
  18. 　第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、
    　前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向と平行な方向に振動し、第３の波長帯域の光の情報を有する第５の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向とは異なる第２の偏光軸と平行な方向に振動し、前記第３の波長帯域の光の情報を有する第６の画像情報を取得するように構成された撮像ユニットと、
    　前記第５および前記第６の画像情報を用いて前記第３の波長帯域の光の情報を有する第７の画像情報を生成するように構成された第４の演算処理部と、
    　前記第１、前記第２および前記第７の画像情報を用いて第１のカラー画像情報を生成するように構成された第５の演算処理部と、
    　前記第１のカラー画像情報と前記第５の画像情報とを合成して第３のカラー画像情報を生成するように構成された第６の演算処理部と、
    　前記第１のカラー画像情報と前記第６の画像情報とを合成して第４カラー画像情報を生成するように構成された第７の演算処理部と、
    を備えた撮像システム。
PCT/JP2013/004518 2012-07-25 2013-07-24 撮像システム WO2014017092A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380003172.8A CN103826530B (zh) 2012-07-25 2013-07-24 摄像系统
US14/346,866 US9300931B2 (en) 2012-07-25 2013-07-24 Image pickup system
JP2014526771A JP5796191B2 (ja) 2012-07-25 2013-07-24 撮像システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012164857 2012-07-25
JP2012-164857 2012-07-25

Publications (1)

Publication Number Publication Date
WO2014017092A1 true WO2014017092A1 (ja) 2014-01-30

Family

ID=49996918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/004518 WO2014017092A1 (ja) 2012-07-25 2013-07-24 撮像システム

Country Status (4)

Country Link
US (1) US9300931B2 (ja)
JP (1) JP5796191B2 (ja)
CN (1) CN103826530B (ja)
WO (1) WO2014017092A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016112270A (ja) * 2014-12-17 2016-06-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2017209280A (ja) * 2016-05-25 2017-11-30 パナソニックＩｐマネジメント株式会社 肌診断装置および肌診断方法
WO2018012096A1 (ja) * 2016-07-12 2018-01-18 ソニー株式会社 内視鏡装置及び内視鏡装置の画像合成方法
JP2020516877A (ja) * 2017-04-05 2020-06-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ブルースター角度を用いる皮膚光沢測定
JP2021126475A (ja) * 2020-02-10 2021-09-02 株式会社三井光機製作所 打撲傷及び皮膚疾患等観察用光学機器
JP7570001B2 (ja) 2020-03-18 2024-10-21 パナソニックＩｐマネジメント株式会社 情報処理方法、及び、情報処理システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300931B2 (en) * 2012-07-25 2016-03-29 Panasonic Intellectual Property Management Co., Ltd. Image pickup system
CN105898193A (zh) * 2014-10-28 2016-08-24 中国科学院西安光学精密机械研究所 一种基于偏振光谱的雾天影像增强系统
US9565361B2 (en) * 2015-05-14 2017-02-07 Altek Semiconductor Corp. Image capturing device and hybrid image processing method thereof
TWI639137B (zh) * 2017-04-27 2018-10-21 立特克科技股份有限公司 皮膚檢測裝置及其檢測方法
CN107767349B (zh) * 2017-10-12 2019-08-02 深圳市华星光电半导体显示技术有限公司 一种图像局部对比度增强的方法
CN111970971B (zh) * 2018-05-30 2024-08-27 松下知识产权经营株式会社 识别装置及识别方法
CN114731368B (zh) * 2019-12-13 2024-07-16 索尼集团公司 成像装置、信息处理装置、成像方法和信息处理方法
CN114647092A (zh) * 2020-12-18 2022-06-21 深圳光峰科技股份有限公司 一种立体显示装置与立体投影显示系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139846A (ja) * 1998-11-02 2000-05-23 Jena Optronik Gmbh 患者の皮膚組織への創傷の程度の診断用デ―タを発生するための方法および装置
JP2003333608A (ja) * 2002-05-08 2003-11-21 Makoto Dejima 肌撮影用面順次方式テレビカメラ装置
JP2005004468A (ja) * 2003-06-11 2005-01-06 Kose Corp 画像のシミュレーション方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6276359A (ja) * 1985-09-27 1987-04-08 Konishiroku Photo Ind Co Ltd カラ−プリンタ
JP4137559B2 (ja) 2002-08-29 2008-08-20 株式会社モリテックス 全顔観察装置
WO2004110264A1 (ja) 2003-06-11 2004-12-23 Kose Corporation 肌の評価方法および画像のシミュレーション方法
JP2006254331A (ja) 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd 被写体の反射光成分を検出する画像処理方法およびこれを実行する装置
US20090021598A1 (en) * 2006-12-06 2009-01-22 Mclean John Miniature integrated multispectral/multipolarization digital camera
JP2010515489A (ja) 2007-01-05 2010-05-13 マイスキン インコーポレイテッド 皮膚を撮像するためのシステム、装置、及び方法
JP5080116B2 (ja) * 2007-03-23 2012-11-21 株式会社 資生堂 肌画像撮影装置
CN102611896B (zh) 2007-06-15 2015-01-07 松下电器产业株式会社 图像处理装置
WO2009115947A1 (en) 2008-03-18 2009-09-24 Koninklijke Philips Electronics N.V. Apparatus for skin imaging, system for skin analysis
JP5229489B2 (ja) 2009-03-17 2013-07-03 株式会社リコー 生体認証装置
EP2574273B1 (en) * 2011-06-23 2014-09-24 Nidek Co., Ltd. Optical coherence tomography apparatus
US9300931B2 (en) * 2012-07-25 2016-03-29 Panasonic Intellectual Property Management Co., Ltd. Image pickup system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139846A (ja) * 1998-11-02 2000-05-23 Jena Optronik Gmbh 患者の皮膚組織への創傷の程度の診断用デ―タを発生するための方法および装置
JP2003333608A (ja) * 2002-05-08 2003-11-21 Makoto Dejima 肌撮影用面順次方式テレビカメラ装置
JP2005004468A (ja) * 2003-06-11 2005-01-06 Kose Corp 画像のシミュレーション方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016112270A (ja) * 2014-12-17 2016-06-23 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
JP2017209280A (ja) * 2016-05-25 2017-11-30 パナソニックＩｐマネジメント株式会社 肌診断装置および肌診断方法
US11069057B2 (en) 2016-05-25 2021-07-20 Panasonic Intellectual Property Management Co., Ltd. Skin diagnostic device and skin diagnostic method
WO2018012096A1 (ja) * 2016-07-12 2018-01-18 ソニー株式会社 内視鏡装置及び内視鏡装置の画像合成方法
JPWO2018012096A1 (ja) * 2016-07-12 2019-04-25 ソニー株式会社 内視鏡装置及び内視鏡装置の画像合成方法
JP2020516877A (ja) * 2017-04-05 2020-06-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ブルースター角度を用いる皮膚光沢測定
JP2021126475A (ja) * 2020-02-10 2021-09-02 株式会社三井光機製作所 打撲傷及び皮膚疾患等観察用光学機器
JP7570001B2 (ja) 2020-03-18 2024-10-21 パナソニックＩｐマネジメント株式会社 情報処理方法、及び、情報処理システム

Also Published As

Publication number Publication date
US9300931B2 (en) 2016-03-29
CN103826530A (zh) 2014-05-28
CN103826530B (zh) 2015-12-30
US20140300721A1 (en) 2014-10-09
JP5796191B2 (ja) 2015-10-21
JPWO2014017092A1 (ja) 2016-07-07

Similar Documents

Publication Publication Date Title
JP5796191B2 (ja) 撮像システム
US10606031B2 (en) Imaging apparatus, imaging system that includes imaging apparatus, electron mirror system that includes imaging apparatus, and ranging apparatus that includes imaging apparatus
US9658463B2 (en) Imaging device and imaging system
JP6455604B2 (ja) 撮像装置、撮像プログラムおよび撮像方法
JP6939000B2 (ja) 撮像装置及び撮像方法
JP6156787B2 (ja) 撮影観察装置
US10247866B2 (en) Imaging device
US9271635B2 (en) Fluorescence endoscope apparatus
JP5873983B2 (ja) 撮像システム
JP6913162B2 (ja) 色分解光学系、撮像ユニット及び撮像装置
JP5229489B2 (ja) 生体認証装置
JP2016063928A (ja) 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ
JP7160044B2 (ja) 電子機器
JP6660720B2 (ja) 指静脈認証装置
JP7247890B2 (ja) 電子機器及び信号処理装置
CN110731748A (zh) 一种电子内窥镜
CN110955039B (zh) 相差显微成像系统及其成像方法
JP6433829B2 (ja) 比較画像撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13822118

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014526771

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14346866

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13822118

Country of ref document: EP

Kind code of ref document: A1