WO2019026472A1 - コンバージョンレンズユニットおよび状態測定システム - Google Patents

コンバージョンレンズユニットおよび状態測定システム Download PDF

Info

Publication number
WO2019026472A1
WO2019026472A1 PCT/JP2018/023994 JP2018023994W WO2019026472A1 WO 2019026472 A1 WO2019026472 A1 WO 2019026472A1 JP 2018023994 W JP2018023994 W JP 2018023994W WO 2019026472 A1 WO2019026472 A1 WO 2019026472A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
skin
subject
lens
conversion lens
Prior art date
Application number
PCT/JP2018/023994
Other languages
English (en)
French (fr)
Inventor
助田　裕史
和明 青山
朋子 中山
Original Assignee
マクセルホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセルホールディングス株式会社 filed Critical マクセルホールディングス株式会社
Publication of WO2019026472A1 publication Critical patent/WO2019026472A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a conversion lens unit and a state measurement system used when capturing a color image of an object.
  • Such skin quality measurement includes a method of photographing the skin and measuring the state of texture of skin, the state of pores, the state of stain, and the state of skin color from the photographed image.
  • extremely useful knowledge is obtained to grasp the physical condition of each individual and aim at a healthier life. It is considered to be obtained.
  • the skin of the eyelid is yellow and the possibility of jaundice or glycation due to liver function, and the skin of eyelid is red when the skin is red.
  • the possibility of diabetes etc. is considered, and if the skin of the eyelid is blue, the blood circulation may be bad. Therefore, if you can collect a lot of data from people before you go to a doctor, it will be a guideline for specifically considering the process leading to your health condition, and it will also contribute to the health promotion of the people.
  • a service has been proposed in which the skin is photographed using the built-in camera of the smartphone, and the image is transmitted to a predetermined site by the wireless communication function of the smartphone to have the skin quality determined.
  • the skin is photographed in color, the same subject depending on the illumination of the camera, the characteristics of the image sensor (image sensor), the integrated circuit for image processing, the surrounding environment such as ambient light, and the surface reflection of light. Since even if it takes a picture of different color tone, it is necessary to correct the color and output the same color as almost the same color.
  • each model is updated to a new model in a relatively short time, for example, it was photographed compared to when preparing and using a dedicated camera for skin quality measurement
  • the image quality including the color tone of the image is disorganized by the user.
  • the factor that the color of the image varies depending on the shooting is based on the difference in the color filter of the imaging device of each camera, the difference based on the difference in the spectrum of the illumination light, and the difference in automatic white balance method of camera image processing And those based on the difference in the state of the reflected light on the skin surface, and it is difficult to match the colors at the photographing stage. Therefore, it is difficult to make a judgment based on the skin color even if the image of the skin taken with the smartphone is sent as it is to the site that diagnoses the skin image from the smartphone.
  • a magnified image pickup unit attached to a mobile phone with built-in camera to capture an enlarged photo of a subject is photographed with a color sample having a plurality of reference colors for correcting the color of the image after it is captured. It is proposed to arrange so as to be embedded (see, for example, Patent Document 1).
  • the color of the same subject is substantially the same for any smartphone, and the colors of the subject are substantially the same even if the lighting conditions change.
  • a color frame provided with a kind of reference color be photographed together with the skin and color correction be performed based on the reference color on the photographed image (see, for example, Non-Patent Document 1).
  • a lens unit (conversion lens unit) for skin photographing is attached to the camera of the smartphone, and the tip end of the lens unit contacts the skin, and the lens unit has an opening through which the optical axis of the lens system for photographing passes. It is preferable to provide a contact part, a shielding part that shields external light from the abutting part to the camera, and a light source for illuminating the skin exposed from the opening part in the shielding part.
  • color correction can be performed by arranging a color scale having a plurality of reference colors so as to be reflected in the image of the skin in the shielding unit.
  • the camera of the smartphone is basically autofocus, and the autofocus control system of a mirrorless digital camera such as a smartphone works to focus on a portion where the contrast is high due to strong reflected light.
  • the reflected light from the "color scale” may have a higher contrast than the "facial skin” depending on the density of the skin color. Therefore, there is a possibility that the focus position is not on the skin but on the part that is most brightly illuminated by the light source of the color scale. In this case, the subject's skin, which is the subject, is slightly out of focus, the image quality of the skin image is degraded, and there is a possibility that the measurement of the skin condition may be disturbed.
  • the present invention has been made in view of the above-mentioned circumstances, and a person who is not accustomed to photographing can photograph skin almost like other people and also according to the type of camera used for photographing and the situation of outside light It is an object of the present invention to provide a conversion lens unit and a state measurement system in which the color of an image to be
  • the conversion lens unit of the present invention guides reflected light from an object to the master lens in front of the master lens of the camera of a portable terminal having a camera and having a wireless communication function.
  • a conversion lens unit for attaching a lens system of a conversion lens The lens system, An abutting portion that is in contact with the subject and has an opening through which the optical axis of the lens system passes;
  • a shielding unit which encloses the lens system and shields the master lens from external light from other than the opening;
  • a substantially white color which is disposed outside the field of view of the lens system in the shielding portion, and illuminates a portion of the object facing the inside of the shielding portion from the opening of the object in a state where the object abuts on the contact portion.
  • Light source and A color scale provided within the field of view in the shielding section and having three or more reference colors;
  • the distance along the optical axis direction of the lens system between the contact surface of the contact portion coming into contact with the subject and the scale surface on which the reference color of the color scale is displayed is the depth of field of the lens system The distance is less than or equal to the range of
  • the subject and the camera can be photographed regardless of who photographs the subject Since the subject is illuminated with a substantially white light source in the state where the outside light is blocked by the shielding part, the illumination condition such as the illuminance of the subject can be the same no matter whoever shoots. can do.
  • the reference color of the scale surface of the color scale within the field of view of the lens system will be reflected together with the subject in the image obtained by shooting the subject. Therefore, the subject and the reference color appear in the image, and the color correction of the subject can be performed based on the reflected reference color.
  • the same color becomes substantially the same color, regardless of who the subject is photographing.
  • the state of the subject can be determined by the color.
  • the skin condition and the health condition from the color of the skin.
  • different skin colors are registered according to the skin condition, health condition, sunburn condition, etc., and the skin condition is the color of the photographed skin that approximates the registered color. And health status can be determined.
  • the lens system of the conversion lens is one or more lenses disposed in front of the master lens as a front type conversion lens.
  • the visual field range of the lens system is the range in the space of light reaching the master lens through the lens system, and here, it is the area shown in the photographed image of the camera attached with the conversion lens If it is inside, it will be reflected in the image taken with the camera attached with the conversion lens, and it will be in the state where it is not photographed outside the field of view range. Therefore, the light source does not directly appear in the captured image.
  • a color scale within the field of view of the lens system will be reflected in the captured image. It is preferable that the color scale be disposed outside the opening at a position where the color scale is reflected in the photographed image so as not to interfere with the subject.
  • the contact surface and the scale surface are preferably surfaces orthogonal to the direction of the optical axis of the lens system.
  • the depth of field is the range of the distance on the subject side where the picture appears to be in focus.
  • the location that is in focus in a strict sense in one setting is only on one plane, but a certain tolerance allows you to clearly and clearly mark the image before and after it This range is called the depth of field.
  • a catoptric light control part which controls an influence by unevenness of the subject surface from catoptric light of the subject surface.
  • a catoptric light control part which controls an influence by unevenness of the subject surface from catoptric light of the subject surface.
  • color calibration can be performed with high accuracy without being affected by the photographic subject and reflected white light from the surface of the color scale, and particularly clear color information can be obtained, so it is applied to the skin. If so, very accurate color calibration can be performed.
  • the reflected light control unit uses, for example, polarized light described later, but may use a shooting jelly for refractive index matching or shadowless illumination used in a dermoscope.
  • the reflected light control unit transmits a first polarizing plate through which light from the light source from the light source to the subject transmits, and reflected light from the subject from the subject to the master lens
  • the polarization direction of the first polarizer and the polarization direction of the second polarizer are orthogonal to each other.
  • the first polarizing plate whose polarization directions are orthogonal to each other can not pass, and it is possible to suppress the reflected light due to the surface unevenness.
  • a part of the light for example, slightly inwards and reflects from the surface of the skin as the subject, and reflected light is generated to reflect the color of the skin, and even if the reflected light is suppressed, the color of the skin Can be photographed.
  • the state measurement system includes the conversion lens unit having the above configuration, and the portable terminal including the camera having the master lens to which the conversion lens of the conversion lens unit is attached in advance, and having a wireless communication function.
  • Color correction provided on the portable terminal or an external device capable of communicating with the portable terminal, and performing color correction of the image of the subject photographed by the camera based on the reference color of the color scale reflected in the image
  • state determination means for determining the state of the subject from the color and the color of the subject on the color-corrected image.
  • the distance to the subject is the same regardless of whoever shoots, the condition of the illumination of the subject is the same, and an image in which the color scale is captured and both the subject and the color scale are in focus is obtained.
  • This image can be color calibrated on a color scale to determine the subject's condition.
  • data and an image of colors for each state of the subject may be registered, and the determination may be made by comparison with the registered data.
  • the subject can be photographed under substantially the same conditions regardless of whoever photographs with any camera, and the color of the photographed image can be calibrated based on the same reference color, so that the state of the subject can be determined under substantially the same conditions.
  • FIG. 1 is a block diagram showing a condition measurement system (skin quality measurement system) according to an embodiment of the present invention. It is a figure which similarly shows the schematic structure of a conversion lens unit. It is a front view showing a color scale the same. It is a figure which similarly shows the imaging
  • the skin texture measuring system is a portable terminal provided with a camera (master lens) 2, a wireless communication device (not shown), and a control means 3 as an arithmetic processing unit. And a conversion lens unit 10 attached to the smartphone 1.
  • the control unit 3 of the smartphone 1 may perform processing such as color correction (color calibration) described later of an image captured by the camera 2 of the smartphone 1 using the conversion lens unit 10 and determination of skin quality.
  • the data such as the above-mentioned image is transmitted from the smartphone 1 to a server (computer system) connected to the Internet, and color correction and skin quality determination are performed by the server. It is good also as what shall carry out and a judgment result etc. of skin quality may be transmitted to smart phone 1 from a server.
  • the server manages data transmitted from each smartphone 1 and data generated on the server side based on the data by the server, and the data is transmitted to the smartphone 1 in response to a request from the smartphone 1 under a known authentication process. It may be transmitted, or data on skin quality may be provided to research institutes and the like.
  • the color correction and the skin quality determination process are performed by the smartphone 1. However, part or all of the process after the image capturing may be performed by the server.
  • the conversion lens unit 10 is mounted on a portion in front of a master lens (not shown) of the camera 2 of the smartphone 1 to make two close-up shots of the skin 24 as a subject.
  • a conversion lens 11, which is a lens system having lenses 11a and 11b (shown in FIG. 2), and LEDs 12 and 13 for photographing illumination are provided.
  • the conversion lens unit 10 includes a barrel 20a (shown in FIG. 2) for supporting the conversion lens 11, and a front portion of the housing 10a excluding the portion of the lens housing 20 described later.
  • the circuit board 16b on which the internal battery 17, the power switch 19 and the like are mounted is shown in a visible state.
  • the conversion lens unit 10 is provided with a housing 10 a, and the housing 10 a is formed in a flat box shape except for the lens housing 20, and on the opposite side of the front of the smartphone 1 provided with a display (not shown).
  • the conversion lens 11 is disposed so as to be superimposed on the lens portion of the camera 2 on the rear surface.
  • the fixing of the housing 10 a to the smartphone 1 is performed by, for example, a clip type or a band type.
  • the conversion lens unit 10 is provided with a clip member (not shown) for sandwiching the smartphone 1 with the conversion lens unit 10. That is, the smartphone 1 is sandwiched between the conversion lens unit 10 and the clip member fixed to the conversion lens unit 10 by an elastic force.
  • the conversion lens unit 10 can be moved in the vertical and horizontal directions with respect to the back surface of the smartphone 1 within an allowable range, and the arrangement of the cameras 2 of each model of the smartphone 1 can be supported.
  • the band type for example, a stretchable band (not shown) such as a rubber band is attached to the conversion lens unit 10 like a watch band, and the conversion lens unit 10 is inserted into the band by inserting the smartphone 1 into the band.
  • the conversion lens 11 can also be moved in the vertical and horizontal directions with respect to the back surface of the smartphone 1.
  • the conversion lens unit 10 includes the conversion lens 11 and the LEDs 12 and 13 described above, an LED drive circuit 14 (shown in FIG. 1) that drives the LED 12, and an LED drive circuit 15 (shown in FIG. 1) that drives the LED 13. .
  • the conversion lens unit 10 also includes a lens housing 20 in which the conversion lens 11 is housed.
  • the lens housing 20 is provided with a barrel 20a for supporting the conversion lens 11 on the base end side (a side to be attached to the camera 2), and the tip surface is an abutment portion 20b that abuts on the skin 24 when photographing the skin 24. Outside light is blocked in a state where the contact portion 20 b contacts the skin 24.
  • the lens housing 20 is a shielding part which surrounds the conversion lens 11 as a lens system and shields external light from other than the opening 20 c with respect to the master lens of the camera 2.
  • the barrel 20a supports the conversion lens 11, which is a lens system including the lens 11a and the lens 11b, and the proximal end portion of the lens housing 20 (the side attached to the camera 2). Fixed at the end of the Moreover, the below-mentioned 2nd polarizing plate 22 is provided in the base end part of the barrel 20a. Further, in the lens housing 20, an LED substrate 12a (shown in FIG. 1) provided with LEDs 12 and 13 for emitting illumination light for photographing toward the opening 20c of the contact portion 20b is supported.
  • the LEDs 12 and 13 are provided on the LED substrate 12 a. Further, as described later, one LED 13 for photographing the texture of the skin 24 is one, and two LEDs 12 for photographing a stain of the skin 24 are considered. Moreover, the light of two LED12 of LED board 12a passes the 1st polarizing plate 21 mentioned later, and illuminates the skin 24 from the opening part 20c. Further, the LED drive circuits 14 and 15 are also provided on the LED substrate 12 a. The LED drive circuits 14 and 15 may be provided on the circuit board 16 b.
  • the conversion lens unit 10 supplies a battery 17 for supplying power to the LED drive circuits 14, 15, the CPU 16 and the like to the circuit board 16b (shown in FIG. 2) fixed to the housing 10a.
  • a power supply circuit 18 and a power switch 19 are provided.
  • the two LEDs 12, 13 described above are, for example, white LEDs, but they do not have to be completely white.
  • the two types of LEDs 12 and 13 are an LED 13 for capturing skin texture and an LED 12 for capturing skin stains and colors, and may be slightly shifted from white depending on the purpose.
  • the first polarizing plate 21 is provided to the spot imaging LED 12, and the second polarizing plate 22 is provided between the conversion lens 11 and the camera 2. This is for photographing stains slightly below the surface of the skin 24.
  • the reflected light from the inside of the skin 24 when the stains of the skin 24 are photographed with the LED 12 by the polarizing plates 21 and 22 is the skin 24.
  • the reflected light on the surface is greatly reduced to make it easy to take stains.
  • the reference color of the color scale 41 is captured in the image, and the color of the image captured in the reference color is corrected as described later. The accuracy of the correction can be enhanced by performing the correction with the image in which the surface reflection of the color scale is suppressed.
  • the polarization directions of the first polarizing plate 21 and the second polarizing plate 22 are orthogonal to each other.
  • the light of the LED 12 is polarized by passing through the first polarizing plate 21, and this polarized light is maintained even if it is reflected by the skin 24, and it becomes difficult to pass through the second polarizing plate 22.
  • the light reflected inside the skin 24 has no polarization and passes through the second polarizer 22.
  • the first polarizing plate 21 and the second polarizing plate 22 become a reflected light control unit that suppresses the influence of the small unevenness on the surface of the skin 24 from the reflected light of the surface of the skin 24.
  • the reflected light control unit can prevent, for example, the light of the LED 12 from being reflected white on the surface of the skin 24 and appearing to be visible.
  • the polarizing plates 21 and 22 may not be provided.
  • the opening 20 c of the contact portion 20 b of the lens housing 20 has its periphery
  • An annular color scale 41 is provided.
  • the substantial opening 20c of the contact portion 20b is the opening of the annular color scale 41, and when it is photographed by the camera 2 using the conversion lens unit 10, the annular opening 20c is formed around the skin 24 facing the opening 20c.
  • the color scale 41 of the image is captured.
  • the color scale 41 is disposed along a plane orthogonal to the optical axis of the conversion lens 11, and is orthogonal to the optical axis.
  • the surface of the color scale 41 on the conversion lens 11 side is a scale surface on which at least three reference colors are arranged.
  • the distance L along the optical axis direction of the conversion lens 11 between the contact surface of the contact portion 20b in contact with the skin and the scale surface of the color scale 41 is equal to or less than the distance of the range of depth of field of the conversion lens 11 It has become.
  • the distance L which is the range of the depth of field is in a range in which both of them are in focus. It is sufficient if it is a distance of The skin 24 is likely to be curved so as to be convex, and the skin 24 may come closer to the color scale 41 than the contact surface of the contact portion 20b.
  • the distance from the contact surface to the scale surface may be corrected, and the distance between the skin surface and the scale surface along the optical axis of the conversion lens 11 may be within the range of the depth of field.
  • the color scale 41 as shown in FIG. 3, the scale plane is divided into three areas, and each area is colored in different reference colors. In this example, for example, red is used as the three reference colors. Green and blue are used. The reference color is not limited to these, and for example, a color close to the skin color may be used.
  • the color scale 41 is provided with a red reference color area 41R, a green reference color area 41G, and a blue reference color area 41B.
  • the LED 13 is made to emit light (turn on) at the time of shooting a texture and the LED 12 remains off, and at the time of shooting stains and shooting of skin color.
  • the LED 12 is made to emit light and the LED 13 is kept off.
  • the smartphone 1 has a function as a mobile phone, and can make a call using a mobile phone line. Further, the smartphone 1 has a display (not shown), can be connected to the Internet by a mobile phone line or WiFi, and can perform data communication via the Internet.
  • the smartphone 1 further includes a control unit 3 having a CPU, a ROM, a RAM, and the like, and can execute an application as a program.
  • a flash memory 4 as a storage device is connected to the control means 3 and can transmit data stored in the flash memory 4 or store received data.
  • the control unit 3 can control the camera 2 to perform photographing (imaging), and can store the imaged image data in the flash memory 4.
  • analysis and processing of image data can be performed by an application for image processing and image analysis.
  • the camera 2 is controlled by the control means 3 and has an imaging element, and can shoot still images and moving pictures. For example, the camera 2 shoots an image at a set frame rate such as 30 fps.
  • control means 3 detects the lighting and extinguishing of the LEDs 12 and 13 when the lighting and extinguishing of the LEDs 12 and 13 is detected by the lighting on / off detection means 3a for detecting the lighting and extinguishment of the LEDs 12 and 13, and And a display control means 3c for displaying a photographed image photographed by the camera 2 under the control of the photographing control means 3b in association with the LEDs 12 and 13 on the screen of the smartphone 1.
  • control means 3 performs color correction of the image of the skin 24 taken by the camera 2 based on the reference color of the color scale 41 shown in the image and the color of the skin on the corrected image It functions as a state determination unit that determines the state of the skin.
  • the color correction unit and the state determination unit may be disposed not on the smartphone 1 but on, for example, a server as an external device capable of data communication with the smartphone 1.
  • the server is, for example, the smartphone 1 and data via the Internet Communication is possible.
  • the server transmits an image captured by the camera 2 to the server from the smartphone 1 while authenticating the smartphone 1 accessed via the Internet, performs color correction and skin condition determination by the server, and determines the determination result as the smartphone 1 Send to
  • FIG. 4 shows a state in which an imaging range 43, which is an area of about 10 mm in diameter, of an object to be imaged facing from the opening 20c of the contact portion 20b is formed on the effective pixel area 42 of the imaging element of the camera 2.
  • an imaging range 43 which is an area of about 10 mm in diameter
  • an object to be imaged facing from the opening 20c of the contact portion 20b is formed on the effective pixel area 42 of the imaging element of the camera 2.
  • an imaging range 43 which is an area of about 10 mm in diameter
  • the resolution required for the smartphone imaging device is sufficient at the VGA (640 ⁇ 480) level, and the camera 2 (having a high-resolution imaging device with one million pixels or more) of a normal smartphone 1 commercially available is used. Can.
  • a range that can be said to be in focus is a 20 ⁇ m cycle fine pattern [line of 10 ⁇ m width (black) and space of 10 ⁇ m width (white) is one cycle] It can be defined as a range in which a modulation degree of 50% or more can be obtained when shooting.
  • the one-pixel size of the imaging range 43 is A ⁇ m
  • the period of the fine pattern may also be A ⁇ m.
  • the distance L between the scale surface and the contact surface described above is set based on the range of the depth of field.
  • a specific measurement of the depth of field can be performed, for example, by drawing a smartphone 1 equipped with a camera 2 capable of fixed focus, a conversion lens unit 10 having a conversion lens 11, and the fine pattern described above.
  • the fine movement stage which can measure the position of the panel 44 with respect to the conversion lens 11 while moving the panel 44 in the optical axis direction of the conversion lens 11 with respect to the smart phone 1 to which the conversion lens unit 10 is attached. Use 45 and.
  • the panel 44 is movable into the opening 20 c of the lens housing 20.
  • the camera 2 may be a digital camera other than the smartphone 1. The position of the panel 44 is moved by the fine movement stage 45 and photographing is repeated, and the range of the position of the panel 44 having a modulation degree of 50% or more is obtained.
  • the spectrum of the illumination is substantially constant, practical skin color detection becomes possible by simple calibration, and in the present embodiment, the skin 24 is illuminated with the light of the LED 12 as a light source, so the LED 12
  • the calibration is possible as described above even if there are some variations in the characteristics of.
  • some white LEDs have different white light emission methods, the mainstream is to use a blue LED to illuminate a yellow phosphor and output white light by a combination of blue light and yellow light.
  • the emission spectrum of the yellow phosphor has a broad peak spanning the green wavelength band and the red wavelength band.
  • the above-mentioned white LED is used for each conversion lens unit 10, and in the photographed image using each conversion lens unit 10, the spectrum of illumination becomes substantially constant.
  • the conversion lens unit 10 having the color scale 41 is attached to a color-calibrated camera, and the skin 24 (object to be photographed) is photographed in the light-shielded state as described above.
  • Average intensity calibration values Pr0, Pg0, Pb0 in each of the red reference color area 41R, the green reference color area 41G, and the blue reference color area 41B are calculated from the photographed image, and the calibration values are calculated in advance by the server (cloud ) Or stored in the flash memory 4 by the application of the smartphone 1.
  • an image is generated by separating the photographed image of the skin 24 and the color scale 41 into RGB components of red, green, and blue, respectively, and images separated into each component of RGB are reference color areas 41R, 41G, Extract 41B.
  • the average intensities Pr, Pg and Pb in the reference color regions 41R, 41G and 41B are calculated, and these are used as average intensity calibration values Pr0, Pg0 and Pb0.
  • each smartphone 1 to be subjected to color calibration an image is generated by separating the photographed image of the skin 24 and the color scale 41 into RGB components of red, green, and blue respectively, and an image decomposed into each component of RGB
  • the reference color areas 41R, 41G, and 41B are extracted from the above.
  • average intensities Pr, Pg and Pb in the reference color areas 41R, 41G and 41B are calculated.
  • the red component intensity of each pixel of the red component image is multiplied by (Pr0 / Pr).
  • the green component intensity of each pixel of the green component image is multiplied by (Pg0 / Pg), and the blue component intensity of each pixel of the blue component image is multiplied by (Pr0 / Pr).
  • the color components normalized by the method described above can be synthesized to obtain an accurate color-corrected image.
  • the color calibration method is not limited to this, and a known calibration method using a reference color reflected in an image can be used.
  • the light from the LED 12 is irradiated to the skin 24 through the first polarizing plate 21, and the reflected light based on the light of the LED 12 from the skin 24 passes through the conversion lens 11 and the second It reaches the camera 2 through the polarizer 22.
  • the polarization directions of the first polarizing plate 21 and the second polarizing plate 22 are orthogonal to each other, and the variation in the reflected light can be suppressed as described above. Therefore, when determining the condition of the skin from the color of the skin 24, using the image of the skin 24 photographed with the LED 12 turned on instead of the LED 13, color calibration is performed from the reference color of the color scale 41 reflected in the image Do.
  • digital data representing a color such as an RGB value is obtained.
  • a representative value of digital data such as an RGB value of an image
  • an average value, a mode value, or a median value of RGB values of each pixel of the whole image or the main part is used. You may use the calculated
  • a skin color database for example, a level or comment indicating the degree of whiteness or blackness of skin, yellow, red etc. other than white for each RGB value as the color of skin It may be registered, and the level or comment of each color corresponding to the representative value of the RGB value of the image may be displayed as determination processing of the skin condition.
  • the database is assumed to be stored in the flash memory 4 of the smartphone 1 or the storage of the server. Further, the determination process of the skin condition may be performed by the smartphone 1 or by the server.
  • the skin condition of the image obtained by photographing the skin with the camera 2 of the smartphone 1 using the conversion lens unit 10 is the skin condition
  • the color scale 41 having three or more reference colors in the captured image
  • the color scale instead of the skin will be in focus and the skin 24 as the subject may be out of focus. Since the distance along the optical axis direction of the conversion lens 11 between the contact surface of the contact portion 20b and the scale surface of the color scale 41 is within the range of the depth of field, the color scale 41 is obtained by autofocusing.
  • the subject's skin 24 can be brought into focus. Thereby, when the color scale 41 is to be reflected on the image together with the subject, it is possible to prevent the focus from being shifted from the subject by the autofocus. From the above, at the time of shooting, by using the conversion lens unit 10 of the present embodiment, the distance between the subject and the camera 2 is constant and the state of illumination is constant, regardless of whoever shoots with the camera 2 of the smartphone 1 Thus, it is possible to take a picture in a state in which both the color scale 41 and the skin 24 are in focus, and it is possible to perform correction of the taken color with high accuracy by a simple method.
  • two polarizing plates 21 and 22 having different polarization directions function as a reflected light control unit that suppresses the influence of unevenness on the object surface from the reflected light on the object surface.
  • the reflected light control unit for suppressing direct reflection on the subject the above-mentioned imaging jelly for refractive index matching may be used other than the one using the polarizing plate, or shadowless illumination used in the dermoscope may be used. You may use.
  • the shape of the color scale 41 is not limited to that shown in FIG. 3, and three or more reference colors are displayed, and the photographing of the necessary part of the subject is not interrupted. It is sufficient if there is a reference color within the range of the depth of field described above.
  • the color scale 51 having the shape shown in FIG. 7 may be used.
  • the color scale 51 is provided with a red reference color area 51R, a green reference color area 51G, and a blue reference color area 51B, and is disposed at the same position as the color scale 41 and used similarly. Ru.
  • the subject is not limited to the skin 24, and may be, for example, various living bodies such as leaves and fruits of a plant, and it is possible to determine the degree of growth, the degree of ripeness, etc. from the color.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

撮影に慣れていない人でも他の人と略同様に肌を撮影することができるとともに撮影に使うカメラの機種や外光の状況に撮影される画像の色が影響を受け難いコンバージョンレンズユニットおよび状態測定システムを提供する。　スマートフォン１に取り付けられるコンバージョンレンズユニット１０は、コンバージョンレンズ１１と、肌２４に当接するとともに、開口部２０ｃを有する当接部２０ｂと、コンバージョンレンズ１０を囲み、開口部２０ｃ以外からの外光をマスターレンズに対して遮るレンズ筐体２０とを備える。レンズ筐体２０内で、肌２４が当接部２０ｂに当接した状態で開口部２０ｃからレンズ筐体２０の内側に臨む部分を照明する略白色のＬＥＤ１２と、三種類以上の基準色を備えたカラースケールとを備える。当接部２０ｂの当接面とカラースケール４１のスケール面との距離がコンバージョンレンズ１１の被写界深度の範囲となる距離以下となっている。

Description

コンバージョンレンズユニットおよび状態測定システム
　本発明は、被写体のカラー画像を撮影する際に用いるコンバージョンレンズユニットおよび状態測定システムに関する。
　従来、化粧品会社の店舗等のスタッフが肌質測定用の専用機を使って、肌質、すなわち、肌の状態を測定していた。このような肌質測定には、肌を撮影し、撮影された画像から、肌のキメの状態や、毛穴の状態や、シミの状態や、肌の色の状態を測定するものが含まれる。自分の肌の状態を知りたいと思っている人は多くいると思われるが、店舗で肌質測定を行う人は必ずしも多くない。しかし、例えば、肌の色を考えた場合に、医者に掛かっていない多くの人の肌色データベースができれば、各個人の体調を把握し、より健康的な生活を目指す上で、極めて有用な知見が得られると考えられる。
　例えば、肌色と健康状態の関係の例では、顏の肌が黄色いと肝機能による黄疸や糖化等の可能性が考えられ、顏の肌が赤いと肝機能障害などによる毛細血管拡張、更年期障害や糖尿病等の可能性が考えられ、顏の肌が青いと血液の循環が悪い可能性が考えられる。そのため、医者に掛かる前の方々から多くのデータを集めることができれば、健康状態の悪化に至る過程を具体的に検討するための指針となり、ひいては国民の健康増進にも寄与することが多くの医学者からも期待されている。
　そこで、スマートフォンの内蔵カメラを用いて肌を撮影し、その画像をスマートフォンの無線通信機能で所定のサイトに送信して肌質を判断してもらうサービスが提案されている。ここで、肌をカラーで撮影する場合に、カメラの照明、イメージセンサ（撮像素子）、画像処理用集積回路等の特性や外光等の周囲の環境や光の表面反射の状態により、同じ被写体を撮影しても異なる色合いの写真となってしまうので、色を補正し、同一の色が略同じ色として出力される必要がある。特に、スマートフォンでは、様々な機種があるとともに、比較的短期間で各機種が新機種に更新されることから、例えば、肌質測定用の専用カメラを用意して使う場合に比較して撮影した画像の色合いを含む画質がユーザーによってばらばらの状態となる。
　例えば、撮影によって画像の色がばらつく要因は、各カメラの撮像素子のカラーフィルタの違いに基づくものと、照明光のスペクトルの違いに基づくものと、カメラの画像処理の自動ホワイトバランスの方式の違いに基づくものと、肌表面の反射光の状態の違いに基づくものなどがあり、撮影段階で色を合わせることは困難である。
　したがって、スマートフォンから肌画像の診断をしてくれるサイトにスマートフォンで撮影した肌の画像をそのまま送っても肌の色による判断は難しい。
　そこで、カメラ内蔵の携帯電話に取り付けて被写体の拡大写真を撮影する拡大撮像用ユニットに、撮影された後の画像の色の補正を行うための複数種類の基準色を有する色見本を画像に写り込むように配置することが提案されている（例えば、特許文献１参照）。
　また、スマートフォンのカメラの画像で肌状態の測定を行うために同じ被写体の色がいずれのスマートフォンでも略同じ色になるとともに、被写体の色が照明の状況が変わっても略同じになるように複数種類の基準色を備えたカラーフレームを肌と一緒に撮影し、撮影された画像上の基準色に基づいて色補正することが提案されている（例えば、非特許文献１参照）。
特許第４１７５５０２号公報
手塚耕一、鈴木祥治、清水雅芳著「スマートフォンを用いた肌状態測定技術」雑誌ＦＵＪＩＴＳＵ、２０１３－１月号（ＶＯＬ．６４、ＮＯ．１）Ｐ．５９－６５
　ところで、専門家ではない一般の人がスマートフォンの内蔵カメラで肌質測定用に肌を撮影する上では、誰が撮影しても略同じ撮影条件となるようにすることが好ましい。さらに、略定期的に撮影した場合に、いつでも略同じ撮影条件となるようにすることが好ましい。この場合には、スマートフォンのカメラに肌撮影用のレンズユニット（コンバージョンレンズユニット）を取り付け、前記レンズユニットに先端面が肌に接触し、撮影用のレンズ系の光軸が通る開口部を有する当接部と、当接部からカメラまで外光を遮る遮蔽部と、開口部から遮蔽部内に露出する肌を照明する光源とを設けることが好ましい。これにより、肌撮影時に誰が撮影しても肌から同じ距離で同じ照度で撮影することが可能となる。この場合に、例えば、複数の基準色を備えたカラースケールを遮蔽部内に肌の画像に写り込むように配置することで、色の補正が可能となる。
　しかし、スマートフォンのカメラは、基本的にオートフォーカスとなっており、スマートフォン等のミラーレスデジタルカメラの自動焦点制御系は強い反射光によってコントラストが高くなっている箇所にピントを合わせようと働くことになる。遮蔽部内の撮影範囲にカラースケールを設けた場合に、肌色の濃さによっては、「顔の肌」よりも「カラースケール」からの反射光の方が、コントラストが高くなる場合がある。したがって、ピント位置が肌ではなく、カラースケールの光源に最も明るく照明された部分に合ってしまう虞がある。この場合に、被写体である肌に対して少しピントがずれてしまい、肌の画像の画質が低下し、肌状態の測定に支障がでる虞がある。
　本発明は、前記事情に鑑みてなされたものであり、撮影に慣れていない人でも他の人と略同様に肌を撮影することができるとともに撮影に使うカメラの機種や外光の状況に撮影される画像の色が影響を受けにくいコンバージョンレンズユニットおよび状態測定システムを提供することを目的とする。
　前記課題を解決するために、本発明のコンバージョンレンズユニットは、カメラを備えるとともに無線通信機能を有する携帯端末の前記カメラのマスターレンズの前に、被写体からの反射光を前記マスターレンズに導光するコンバージョンレンズのレンズ系を取り付けるためのコンバージョンレンズユニットであって、
　前記レンズ系と、
　前記被写体に当接するとともに、前記レンズ系の光軸が通る開口部を有する当接部と、
　前記レンズ系を囲み、前記開口部以外からの外光を前記マスターレンズに対して遮る遮蔽部と、
　前記遮蔽部内で、前記レンズ系の視野範囲の外側に配置され、前記被写体が前記当接部に当接した状態で前記被写体の前記開口部から前記遮蔽部の内側に臨む部分を照明する略白色の光源と、
　前記遮蔽部内の前記視野範囲内に設けられ、三種類以上の基準色を備えたカラースケールとを備え、
　前記当接部の前記被写体に当接する当接面と、前記カラースケールの前記基準色が表示されるスケール面との前記レンズ系の光軸方向に沿った距離が前記レンズ系の被写界深度の範囲となる距離以下となっていることを特徴とする。
　このような構成によれば、当接部に被写体を当接させた状態で被写体の当接部の開口部から臨む部分を撮影することになるので、被写体をいつ誰が撮影しても被写体とカメラとの距離を同じにすることができ、かつ、遮蔽部で外光を遮断した状態で略白色の光源で被写体を照明するのでいつ誰が撮影しても被写体の照度等の照明の状況を同じにすることができる。このような状態でレンズ系の視野範囲にあるカラースケールのスケール面の基準色が被写体を撮影した画像に被写体とともに写り込むことになる。したがって、画像中には、被写体と基準色が写っており、写り込んだ基準色に基づいて被写体の色補正を行うことができる。これにより色補正後の画像において、いつ誰が撮影した被写体であっても同じ色は略同様の色となる。これにより、被写体の状態を色により判定することができる。例えば、被写体を肌とした場合に肌の色から肌の状態や健康状態を判定することができる。判定においては、例えば、肌の状態や、健康状態や、日焼けの状態等によって異なる肌の色を登録しておき、撮影された肌の色が登録されたどの色に近似するかで肌の状態や健康状態を判定することができる。
　なお、コンバージョンレンズのレンズ系とは、フロント型のコンバージョンレンズとしてマスターレンズの前に配置される一つまたは複数のレンズである。また、レンズ系の視野範囲とは、レンズ系を通ってマスターレンズに至る光の空間における範囲であり、ここでは、コンバージョンレンズを取り付けたカメラの撮影画像に写る範囲であり、レンズ系の視野範囲内ならコンバージョンレンズを取り付けたカメラで撮影された画像に写り、視野範囲外なら写らない状態となる。したがって、光源は直接撮影画像に写り込むことはない。レンズ系の視野範囲内のカラースケールは、撮影画像に写り込むことになる。なお、カラースケールは、撮影画像に写り込む位置で開口部より外側に配置されて被写体の邪魔にならない位置に配置されることが好ましい。また、当接面とスケール面とは、レンズ系の光軸の方向に直交する面であることが好ましい。
　前記被写界深度とは、写真の焦点が合っているように見える被写体側の距離の範囲のことである。 写真用レンズにおいては、ある一つの設定で厳密な意味でピントが合っている場所は、一つの平面上にしかないが、一定の許容量を認めることでその前後にも十分にはっきりと像を結んでいるといえる範囲があり、この範囲を被写界深度という。
　本発明の前記構成において、前記被写体表面の反射光から前記被写体表面の凹凸による影響を抑える反射光制御部を備えることが好ましい。
　このような構成によれば、撮影対象である被写体表面形状の凹凸などの影響を受けず、いわゆる無反射条件で観察することが可能となる。その場合、撮影対象並びにカラースケールの表面からの白っぽく見える反射光の影響をうけることなく、精度高く色較正を実施することができ、特に、鮮明な色情報を得ることができるので、肌に適用する場合は、非常に正確な色較正を実施することができる。なお、反射光制御部は、例えば、後述する偏光を用いるものであるが、屈折率マッチング用の撮影ゼリーを用いてもよいし、ダーモスコープで用いられる無影照明を用いてもよい。
　本発明の前記構成において、前記反射光制御部は、前記光源から前記被写体に向かう前記光源の光が透過する第1の偏光板と、前記被写体からマスターレンズに向かう前記被写体からの反射光が透過する第２偏光板とを備え、前記第１の偏光板の偏光方向と前記第２の偏光板の偏光方向が直交していることが好ましい。
　このような構成によれば、第１の偏光板で偏光された光が被写体表面で反射した反射光が第２の偏光板に向かうがこの反射光では偏光が維持され、第１の偏光板と偏光方向が直交する第２の偏光板を通れず、表面の凹凸による反射光を抑制できる。なお、光の一部は、例えば、被写体としての皮膚の表面よりわずかに内側に入り込んで反射し、肌の色を反映した反射光を生じることになり、反射光を抑制しても肌の色を写すことができる。
　本発明の状態測定システムは、前記構成のコンバージョンレンズユニットと、前記コンバージョンレンズユニットの前記コンバージョンレンズが前に取り付けられる前記マスターレンズを有する前記カメラを備えるとともに無線通信機能を備える前記携帯端末と、
　前記携帯端末または前記携帯端末と通信可能な外部機器に設けられ、前記カメラで撮影された前記被写体の画像の色補正を、前記画像に写った前記カラースケールの前記基準色に基づいて行う色補正部および色補正された前記画像上の前記被写体の色から前記被写体の状態を判定する状態判定手段とを備えることを特徴とする。
　このような構成によれば、いつ誰が撮影しても被写体までの距離が同じで、被写体の照明の条件が同じでカラースケールが写り込むとともに被写体とカラースケールの両方にピントが合った画像を得ることができ、この画像をカラースケールで色較正して、被写体の状態を判定することができる。被写体の状態の判定には、例えば、被写体の状態毎の色のデータや画像を登録しておき、登録されたデータとの比較から判定することができる。
　本発明によれば、いつ誰がどのカメラで撮影しても被写体を略同じ条件で撮影できるとともに撮影画像の色を同じ基準色に基づいて較正できるので、略同条件で被写体の状態を判定できる。
本発明の実施の形態の状態測定システム（肌質測定システム）を示すブロック図である。 同、コンバージョンレンズユニットの概略構造を示す図である。 同、カラースケールを示す正面図である。 同、コンバージョンレンズユニットの撮影範囲と撮像素子の関係を示す図である。 同、被写界深度の求め方を説明する図である。 同、コンバージョンレンズユニットのカラースケール部分を示す図である。 同、異なる例のカラースケールを示す正面図である。
　本発明の実施の形態のコンバージョンレンズユニットおよび状態測定システムを説明する。
　本実施の形態の状態測定システムである肌質測定システムは、図１に示すようにカメラ（マスターレンズ）２と無線通信装置（図示略）と演算処理装置としての制御手段３とを備える携帯端末としてのスマートフォン１と、当該スマートフォン１に取り付けられるコンバージョンレンズユニット１０とを備える。なお、コンバージョンレンズユニット１０を用いてスマートフォン１のカメラ２で撮影された画像の後述の色補正（色較正）や、肌質の判定等の処理をスマートフォン１の制御手段３で行うものとしてもよいし、スマートフォン１とデータ通信可能な外部機器として、例えば、インターネットに繋がれたサーバ（コンピュータシステム）に、上述の画像等のデータをスマートフォン１から送信し、サーバで色補正や肌質の判定を行うものとし、肌質の判定結果等をサーバからスマートフォン１に送信するものとしてもよい。この場合に各スマートフォン１から送信されるデータや、当該データに基づいてサーバ側で生成したデータをサーバで管理し、周知の認証処理の下にスマートフォン１からの要求に応じてスマートフォン１にデータを送信したり、肌質に関するデータを研究機関等に提供したりしてもよい。以下の説明では、色補正や肌質判定の処理をスマートフォン１で行うものとするが、画像撮影後の処理の一部または全部をサーバで行うものとしてもよい。
　図１および図２に示すように、コンバージョンレンズユニット１０は、スマートフォン１のカメラ２のマスターレンズ（図示略）の前となる部分に装着されて被写体としての肌２４を接写するための２枚のレンズ１１ａ、１１ｂ（図２に図示）を有するレンズ系であるコンバージョンレンズ１１および撮影の照明用のＬＥＤ１２、１３を備えている。
　なお、図１、図２において、コンバージョンレンズユニット１０は、コンバージョンレンズ１１を支持するバレル２０ａ（図２に図示）を備える後述のレンズ筐体２０の部分を除いた筐体１０ａの前面部分を図示せずに内部の電池１７、電源スイッチ１９等が実装される回路基板１６ｂが見える状態で図示している。
　コンバージョンレンズユニット１０は、筐体１０ａを備え、筐体１０ａは、レンズ筐体２０を除いて、扁平な箱状に形成され、スマートフォン１のディスプレイ（図示略）が設けられた正面の反対側である背面のカメラ２のレンズ部分にコンバージョンレンズ１１を重ね合わせるように配置される。
　この筐体１０ａのスマートフォン１への固定は、例えば、クリップ式やバンド式で行われる。クリップ式は、例えば、コンバージョンレンズユニット１０に、コンバージョンレンズユニット１０との間にスマートフォン１を挟み込むクリップ部材（図示略）を設けたものである。すなわち、コンバージョンレンズユニット１０と、このコンバージョンレンズユニット１０に固定されたクリップ部材との間に弾性力によりスマートフォン１を挟むものである。
　この場合に、コンバージョンレンズユニット１０をスマートフォン１の背面に対して、許容範囲内で縦横に移動可能になっており、スマートフォン１の各機種のカメラ２の配置に対応可能になっている。
　バンド式は、例えば、腕時計のバンドのように、コンバージョンレンズユニット１０にゴムバンド等の伸び縮みするバンド（図示略）を取り付け、スマートフォン１をバンド内に挿入することで、コンバージョンレンズユニット１０をスマートフォン１に奏略するものであり、この場合もコンバージョンレンズ１１をスマートフォン１の背面に対して縦横に移動可能になっている。
　コンバージョンレンズユニット１０は、上述のコンバージョンレンズ１１およびＬＥＤ１２、１３と、ＬＥＤ１２を駆動するＬＥＤ駆動回路１４（図１に図示）と、ＬＥＤ１３を駆動するＬＥＤ駆動回路１５（図１に図示）とを備える。
　また、コンバージョンレンズユニット１０は、コンバージョンレンズ１１が収納されるレンズ筐体２０を備える。レンズ筐体２０は、コンバージョンレンズ１１を支持するバレル２０ａを基端側（カメラ２に装着される側）に備え、先端面が肌２４の撮影時に肌２４に当接する当接部２０ｂとされ、当接部２０ｂが肌２４に当接した状態で外光を遮るようになっている。また、当接部２０ｂには、円形の開口部２０ｃが形成され、肌２４の開口部２０ｃに臨む部分が撮影されるようになっている。したがって、レンズ筐体２０は、レンズ系としてのコンバージョンレンズ１１を囲み、開口部２０ｃ以外からの外光をカメラ２のマスターレンズに対して遮る遮蔽部である。
　図３～図５に示すように、バレル２０ａは、レンズ１１ａおよびレンズ１１ｂからなるレンズ系であるコンバージョンレンズ１１を支持した状態で、レンズ筐体２０の基端部（カメラ２に装着される側の端部）内に固定されている。また、バレル２０ａの基端部には、後述の第２偏光板２２が設けられている。また、レンズ筐体２０内には、当接部２０ｂの開口部２０ｃに向けて撮影用の照明光を照射するＬＥＤ１２、１３を備えたＬＥＤ基板１２ａ（図１に図示）が支持されている。
　ＬＥＤ１２,１３は、ＬＥＤ基板１２ａに設けられている。また、後述のように肌２４のキメを撮影するためのＬＥＤ１３が一つで、肌２４のシミを撮影するためのＬＥＤ１２が２つとされている。また、ＬＥＤ基板１２ａの２つのＬＥＤ１２の光は、後述の第１偏光板２１を通過して開口部２０ｃから肌２４を照らすようになっている。また、ＬＥＤ駆動回路１４、１５もＬＥＤ基板１２ａに設けられている。なお、ＬＥＤ駆動回路１４、１５が回路基板１６ｂに設けられていてもよい。
　また、図１に示すように、コンバージョンレンズユニット１０は、筐体１０ａに固定された回路基板１６ｂ（図２に図示）に、ＬＥＤ駆動回路１４、１５、ＣＰＵ１６等に電力を供給する電池１７を備えた電源回路１８と、電源スイッチ１９を備える。
　また、上述の二つのＬＥＤ１２、１３は、例えば、白色ＬＥＤであるが、完全な白である必要はない。また、二種類のＬＥＤ１２、１３は、肌のキメを撮影するためのＬＥＤ１３と、肌のシミと色を撮影するためのＬＥＤ１２であり、目的によって少しだけ白色からずらしてもよい。
　また、シミ撮影用のＬＥＤ１２に第１偏光板２１が設けられ、コンバージョンレンズ１１と、カメラ２との間に第２偏光板２２が設けられている。これは、肌２４の表面より少し下にあるシミを撮影するためのもので、これら偏光板２１、２２により、ＬＥＤ１２で肌２４のシミを撮影する際の肌２４内部の反射光より、肌２４表面の反射光を大きく低減させ、シミが撮影され易くするものである。また、本実施の形態では、画像にカラースケール４１の基準色が撮影されるようになっており、後述のように基準色で撮影された画像の色を補正するが、この際に、肌およびカラースケールの表面反射が抑制された画像で補正を行うことで補正の精度を高めることができる。なお、第１偏光板２１と、第２偏光板２２では、偏光方向が直交している。ＬＥＤ１２の光は第１偏光板２１を通過して偏光され、この偏光は、肌２４で反射されても維持され、第２偏光板２２を通過困難な状態となる。それに対して肌２４内部で反射した光は、偏光がなくなり、第２偏光板２２を通過する。これにより、第１偏光板２１および第２偏光板２２は、肌２４表面の反射光からこの肌２４表面の細かな凹凸による影響を抑える反射光制御部となる。この反射光制御部により、例えば、肌２４の表面にＬＥＤ１２の光が白っぽく反射して見える状態となるのを防止できる。なお、偏光板２１、２２を設けなくてもよい。
　図１および図２と、レンズ筐体２０の被写体側となる前部の拡大図である図６に示すように、レンズ筐体２０の当接部２０ｂの開口部２０ｃには、その周縁部に円環状のカラースケール４１が設けられている。当接部２０ｂの実質的な開口部２０ｃは、円環状のカラースケール４１の開口であり、コンバージョンレンズユニット１０を用いてカメラ２で撮影した場合に開口部２０ｃから臨む肌２４の周囲に円環状のカラースケール４１が写り込むようになっている。カラースケール４１は、コンバージョンレンズ１１の光軸に直交する平面に沿うように配置されており、光軸に直交している。このカラースケール４１のコンバージョンレンズ１１側の面が少なくとも３種類の基準色が配置されたスケール面となっている。
　当接部２０ｂの肌に当接する当接面と、カラースケール４１のスケール面とのコンバージョンレンズ１１の光軸方向に沿った距離Ｌは、コンバージョンレンズ１１の被写界深度の範囲となる距離以下となっている。なお、この被写界深度の範囲となる距離Ｌは、コンバージョンレンズユニット１０を取り付けたスマートフォン１のカメラ２で肌２４とカラースケール４１とを撮影した際に、これらの両方にピントが合う範囲内の距離であればよい。なお、肌２４は、凸面となるように湾曲している可能性が高く、肌２４が当接部２０ｂの当接面よりカラースケール４１に近づく可能性があるので、それを考慮して、当接面からスケール面までの距離を補正してもよく、最終的に肌表面とスケール面とのコンバージョンレンズ１１の光軸に沿った距離が被写界深度の範囲内となっていればよい。
　カラースケール４１は、図３に示すようにスケール面が三つの領域に分けられ、各領域がそれぞれ異なる基準色で着色された状態となっており、この例では三種類の基準色として例えば赤、緑、青が用いられている。なお、基準色はこれらに限られるものではなく、例えば、肌色に近い色等を用いてもよい。本実施の形態では、カラースケール４１に、赤の基準色領域４１Ｒと、緑の基準色領域４１Ｇと、青の基準色領域４１Ｂが設けられている。
　このようなコンバージョンレンズユニット１０では、回路基板１６ｂのＣＰＵ１６の制御により、キメの撮影時にＬＥＤ１３を発光（点灯）させるとともにＬＥＤ１２を消灯したままの状態とし、シミの撮影時および肌の色の撮影時にＬＥＤ１２を発光させるとともにＬＥＤ１３を消灯したままとする。
　スマートフォン１は、周知の通り携帯電話としての機能を有し、携帯電話回線を用いた通話が可能となっている。また、スマートフォン１は、図示しないディスプレイを有するとともに、携帯電話回線やＷｉＦｉによりインターネットに接続可能であり、インターネットを介してデータ通信が可能になっている。
　また、スマートフォン１には、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する制御手段３を備え、プログラムとしてのアプリを実行可能になっている。また、制御手段３には、記憶装置としてのフラッシュメモリ４が接続されており、フラッシュメモリ４に記憶したデータを送信したり、受信したデータを記憶したりできる。
　また、制御手段３は、カメラ２を制御して撮影（撮像）が可能であるとともに、撮像した画像データをフラッシュメモリ４に保存することができる。また、画像処理や画像解析用のアプリにより画像データの解析や処理が可能である。ここでは、画像のカラースケール４１を用いた色補正と補正された肌の色に基づく肌状態の判定が可能となっている。
　カメラ２は、制御手段３に制御され、撮像素子を有し、静止画、動画の撮影が可能であり、例えば、３０ｆｐｓ等の設定されたフレームレートで画像を撮影する。
　さらに、制御手段３は、ＬＥＤ１２,１３の点灯および消灯を検出する点消灯検出手段３ａと、点消灯検出手段３ａによってそれぞれのＬＥＤ１２,１３の点灯および消灯が検出された際に、カメラ２による撮影を制御する撮影制御手段３ｂと、この撮影制御手段３ｂによる制御によってカメラ２で撮影された撮影画像をＬＥＤ１２,１３に関連付けてスマートフォン１の画面に表示させる表示制御手段３ｃとを備えている。
　また、制御手段３は、カメラ２で撮影された肌２４の画像の色補正を、画像に写ったカラースケール４１の基準色に基づいて行う色補正部および補正された画像上の肌の色から肌の状態を判定する状態判定手段として機能する。なお、色補正部および状態判定手段は、スマートフォン１ではなく、例えば、スマートフォン１とデータ通信可能な外部機器としてのサーバに配置してもよく、サーバは、例えば、インターネットを介してスマートフォン１とデータ通信が可能となっている。サーバは、インターネットを介してアクセスするスマートフォン１を認証した状態で、スマートフォン１からサーバにカメラ２で撮影された画像を送信し、サーバで色補正および肌の状態判定を行い、判定結果をスマートフォン１に送信する。
　次に、本実施の形態におけるコンバージョンレンズ１１の被写界深度の求め方について説明する。当接部２０ｂの開口部２０ｃから臨む撮影対象の直径１０ｍｍ程度のエリアである撮像範囲４３をカメラ２の撮像素子の有効画素エリア４２上に結像させた場合の状態を図４に図示した。例えば、肌のキメ（１００μｍ程度以上のサイズ)を観察しようとする場合、撮影対象上で２０μｍ程度に相当した画素サイズが望ましいが、この画素サイズで直径１０ｍｍは約５００画素分に相当する。従って、スマホ撮像素子に求められる解像度はＶＧＡ(６４０×４８０)レベルで十分であり、市販されている通常のスマートフォン１のカメラ２(百万画素以上の高解像度撮像素子を有する)を利用することができる。また、電子ズーム機能等により、実際のスマートフォン１の撮像素子の画素サイズに関わらず、デジタル写真上の一画素サイズを２０μｍ程度に設定することが可能である。
　撮像範囲４３の一画素サイズを２０μｍ程度に設定した場合、ピントが合っているといえる範囲は２０μｍ周期の微細パターン［１０μｍ幅のライン(黒)と１０μｍ幅のスペース(白)が１周期］を撮影した場合の変調度が５０％以上取れる範囲であると定義することができる。
　撮像範囲４３の一画素サイズをＡμｍとする場合は、微細パターンの周期もＡμｍとすれば良い。このような被写界深度の範囲に基づいて上述のスケール面と当接面との距離Ｌが設定される。
　図５に示すように、具体的な被写界深度の測定は、例えば、固定焦点にできるカメラ２を備えたスマートフォン１と、コンバージョンレンズ１１を有するコンバージョンレンズユニット１０と、上述の微細バターンが描かれたパネル４４と、コンバージョンレンズユニット１０が取り付けられたスマートフォン１に対してパネル４４をコンバージョンレンズ１１の光軸方向に移動させるとともに、コンバージョンレンズ１１に対してパネル４４の位置を計測可能な微動ステージ４５とを使用する。なお、パネル４４は、レンズ筐体２０の開口部２０ｃ内に移動可能となっている。また、カメラ２は、スマートフォン１以外のデジタルカメラであってもよい。パネル４４の位置を微動ステージ４５で移動させて撮影することを繰り返し、変調度が５０％以上のパネル４４の位置の範囲を求める。
　次に画像のカラースケール４１を用いた色の較正方法を説明する。
　なお、照明のスペクトルが略一定であれば、単純な較正で実用的な肌色検出が可能となり、本実施の形態では、外光を遮り光源としてのＬＥＤ１２の光で肌２４を照明するので、ＬＥＤ１２の特性に多少のばらつきがあっても、上述のように較正が可能である。なお、白色ＬＥＤには、白色光の発光方式が異なるものがあるが、主流は、青色ＬＥＤにより、黄色蛍光体を光らせて、青色光と黄色光との組み合わせで白色光を出力するものであり、黄色蛍光体の発光スペクトルは、緑の波長帯域と赤の波長帯域とにまたがる幅の広いピークを有するものとなっている。本実施の形態では、各コンバージョンレンズユニット１０に、上述の白色ＬＥＤを用いており、各コンバージョンレンズユニット１０を用いた撮影画像においては、照明のスペクトルが略一定となる。
　まず、標準環境として、色較正済みカメラに、カラースケール４１を有するコンバージョンレンズユニット１０を取り付け、上述のように遮光された状態で肌２４（撮影対象物）を撮影する。撮影した写真から赤の基準色領域４１Ｒ、緑の基準色領域４１Ｇ、青の基準色領域４１Ｂの各領域内の平均強度較正値Ｐｒ０, Ｐｇ０, Ｐｂ０を算出し、予め当該較正値をサーバ（クラウド）またはスマートフォン１のアプリによりフラッシュメモリ４に格納しておく。この際には、撮影した肌２４とカラースケール４１の画像を赤、緑、青のＲＧＢ成分にそれぞれ分解した画像を作成し、ＲＧＢの各成分に分解した画像から各基準色領域４１Ｒ、４１Ｇ、４１Ｂを抽出する。次に、各基準色領域４１Ｒ、４１Ｇ、４１Ｂ内の平均強度Ｐｒ, Ｐｇ, Ｐｂを算出し、これを平均強度較正値Ｐｒ０, Ｐｇ０, Ｐｂ０とする。
　次に、色較正の対象となる各スマートフォン１において、撮影した肌２４とカラースケール４１の画像を赤、緑、青のＲＧＢ成分にそれぞれ分解した画像を作成し、ＲＧＢの各成分に分解した画像から各基準色領域４１Ｒ、４１Ｇ、４１Ｂを抽出する。次に、各基準色領域４１Ｒ、４１Ｇ、４１Ｂ内の平均強度Ｐｒ, Ｐｇ, Ｐｂを算出する。
　次に、撮影した画像を成分毎に正規化するため、赤色成分画像の各画素の赤色成分強度を(Ｐｒ０/Ｐｒ)倍する。同様に、緑色成分画像の各画素の緑色成分強度を(Ｐｇ０/Ｐｇ)倍するとともに、青色成分画像の各画素の青色成分強度を(Ｐｒ０/Ｐｒ)倍する。
　次に、上述の方法により正規化した各色成分を合成し、正確な色補正済みの画像を得ることができる。なお、色の較正方法は、これに限られるものではなく、画像に写り込んだ基準色を利用する周知の較正方法を用いることができる。
　上述のように本実施の形態では、ＬＥＤ１２からの光は第１偏光板２１を通って肌２４に照射され、この肌２４からのＬＥＤ１２の光に基づく反射光はコンバージョンレンズ１１を通るとともに第２偏光板２２を通ってカメラ２に至る。また、第１偏光板２１と第２偏光板２２とは、偏光方向が直交し、上述のように反射光のばらつきを抑制できる。したがって、肌２４の色から肌の状態を判定する場合には、ＬＥＤ１３ではなく、ＬＥＤ１２を点灯させて撮影した肌２４の画像を用い、画像に写り込んだカラースケール４１の基準色から色較正を行う。これにより、例えば、ＬＥＤ１２の光が光沢のある面を有する対象物で反射して、ＬＥＤ１２の反射光が対象物上に輝点として現れるような画像や、それに近い状態で対象物の一部が白っぽく写る画像となるのを防止し、肌の色を高精度で補正することが可能となるとともに、肌の色を高精度で取得可能となる。
　以上のようにして取得された肌の色補正された画像から、例えば、色を示すＲＧＢ値等の色を示すデジタルデータを得る。この場合に、画像のＲＧＢ値等のデジタルデータの代表値として、例えば、画像の全体または主要部の各画素のＲＧＢ値の平均値や最頻値や中央値を用いたり、他の統計処理によって求められた代表値を用いたりしてもよい。また、例えば、肌の色のデータベースとして、例えば、肌の色としての各ＲＧＢ値に対して、肌の白さや黒さの度合いや、白以外の黄色、赤色等の度合いを示すレベルやコメントを登録しておき、肌の状態の判定処理として画像のＲＧＢ値の代表値に対応する各色のレベルやコメントを表示可能としてもよい。なお、データベースは、スマートフォン１のフラッシュメモリ４またはサーバのストレージに記憶されているものとする。また、肌の状態の判定処理をスマートフォン１で行ってもよいし、サーバで行ってもよい。
　このような本実施の形態のコンバージョンレンズユニット１０および肌状態測定システムによれば、コンバージョンレンズユニット１０を用いてスマートフォン１のカメラ２で肌を撮影して得られた画像の肌の色から肌状態を判定する場合に、撮影された画像に三つ以上の基準色を有するカラースケール４１を写り込ませることで、基準色を用いて画像の色の較正を行うことができる。この場合に、スマートフォン１のカメラ２のオートフォーカス機能により、肌ではなくカラースケールにピントが合い、被写体としての肌２４からピントがはずれる虞があるが、本実施の形態では、肌２４に当接する当接部２０ｂの当接面と、カラースケール４１のスケール面とのコンバージョンレンズ１１の光軸方向に沿った距離が被写界深度の範囲内となっているので、オートフォーカスにより、カラースケール４１のスケール面にピントが合わされても被写体である肌２４にもピントが合った状態とすることができる。これにより、カラースケール４１を被写体とともに画像に写り込ませるものとした場合にオートフォーカスによりピントが被写体からずれるのを防止できる。
　以上のことから撮影時に、本実施の形態のコンバージョンレンズユニット１０を用いることにより、いつ誰がどのスマートフォン１のカメラ２で撮影しても、被写体とカメラ２の距離が一定で、照明の状態が一定となり、かつ、カラースケール４１と肌２４の両方にピントがあった状態での撮影が可能となり、撮影された色の補正を簡単な方法で高精度に行うことができる。また、同じ色の被写体を撮影した場合に、いつ誰がどのスマートフォン１のカメラ２で撮影しても略同じ色の被写体の画像を得ることが可能となる。これにより、上述の画像から肌２４の色を求め、この肌２４の色から肌の状態を判定する際に、より精度の高い判定を行うことができる。
　なお、本実施の形態では、被写体表面の反射光から前記被写体表面の凹凸による影響を抑える反射光制御部として、２つの偏光方向の異なる偏光板２１、２２が機能することになる。
　また、被写体における直接的な反射を抑制する反射光制御部としては、偏光板を用いるもの以外に、上述の屈折率マッチング用の撮影ゼリーを用いてもよいし、ダーモスコープで用いられる無影照明を用いてもよい。また、カラースケール４１の形状は、図３に限られるものではなく、三種類以上の基準色が表示されたもので、被写体の必要部分の撮影を遮らず、被写体の近傍で、被写体に対して上述の被写界深度の範囲内に基準色があればよい。例えば、レンズ筐体２０の断面が正方形の場合に、図７に示す形状のカラースケール５１を用いてもよい。このカラースケール５１には、赤の基準色領域５１Ｒと、緑の基準色領域５１Ｇと、青の基準色領域５１Ｂが設けられており、カラースケール４１と同じ位置に配置されて、同様に使用される。また、被写体は肌２４に限られるものではなく、例えば、植物の葉や果実などの各種の生体であってもよく、色から成長度合いや熟し度合い等を判定可能である。
１　　　スマートフォン（無線通信機能を有する携帯端末）
２　　　カメラ
３　　　制御手段（色補正部、状態判定手段）
１０　　コンバージョンレンズユニット
１１　　コンバージョンレンズ
１１ａ　レンズ（レンズ系）
１１ｂ　レンズ（レンズ系）
１２　　ＬＥＤ（光源）
２０　　レンズ筐体（遮蔽部）
２０ｂ　当接部
２０ｃ　開口部
２１　　第１偏光板（反射光制御部）
２２　　第２偏光板（反射光制御部）
４１　　カラースケール

Claims (4)

  1. 　カメラを備えるとともに無線通信機能を有する携帯端末の前記カメラのマスターレンズの前に、被写体からの反射光を前記マスターレンズに導光するコンバージョンレンズのレンズ系を取り付けるためのコンバージョンレンズユニットであって、
    　前記レンズ系と、
    　前記被写体に当接するとともに、前記レンズ系の光軸が通る開口部を有する当接部と、
    　前記レンズ系を囲み、前記開口部以外からの外光を前記マスターレンズに対して遮る遮蔽部と、
    　前記遮蔽部内で、前記レンズ系の視野範囲の外側に配置され、前記被写体が前記当接部に当接した状態で前記被写体の前記開口部から前記遮蔽部の内側に臨む部分を照明する略白色の光源と、
    　前記遮蔽部内の前記視野範囲内に設けられ、三種類以上の基準色を備えたカラースケールとを備え、
    　前記当接部の前記被写体に当接する当接面と、前記カラースケールの前記基準色が表示されるスケール面との前記レンズ系の光軸方向に沿った距離が前記レンズ系の被写界深度の範囲となる距離以下となっていることを特徴とするコンバージョンレンズユニット。
  2. 　前記被写体表面の反射光から前記被写体表面の凹凸による影響を抑える反射光制御部を備えることを特徴とする請求項１に記載のコンバージョンレンズユニット。
  3. 　前記反射光制御部は、前記光源から前記被写体に向かう前記光源の光が透過する第1の偏光板と、前記被写体からマスターレンズに向かう前記被写体からの反射光が透過する第２偏光板とを備え、前記第１の偏光板の偏光方向と前記第２の偏光板の偏光方向が直交していることを特徴とする請求項２に記載のコンバージョンレンズユニット。
  4. 　請求項１から請求項３のいずれか１項に記載のコンバージョンレンズユニットと、前記コンバージョンレンズユニットの前記コンバージョンレンズが前に取り付けられる前記マスターレンズを有する前記カメラを備えるとともに無線通信機能を備える前記携帯端末と、
    　前記携帯端末または前記携帯端末と通信可能な外部機器に設けられ、前記カメラで撮影された前記被写体の画像の色補正を、前記画像に写った前記カラースケールの前記基準色に基づいて行う色補正部および色補正された前記画像上の前記被写体の色から前記被写体の状態を判定する状態判定手段とを備えることを特徴とする状態測定システム。
PCT/JP2018/023994 2017-07-31 2018-06-25 コンバージョンレンズユニットおよび状態測定システム WO2019026472A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-147564 2017-07-31
JP2017147564A JP2019028255A (ja) 2017-07-31 2017-07-31 コンバージョンレンズユニットおよび状態測定システム

Publications (1)

Publication Number Publication Date
WO2019026472A1 true WO2019026472A1 (ja) 2019-02-07

Family

ID=65234012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/023994 WO2019026472A1 (ja) 2017-07-31 2018-06-25 コンバージョンレンズユニットおよび状態測定システム

Country Status (2)

Country Link
JP (1) JP2019028255A (ja)
WO (1) WO2019026472A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013132636A1 (ja) * 2012-03-08 2013-09-12 株式会社洛洛.Com 指標体、及び、接写レンズユニット
JP2013205571A (ja) * 2012-03-28 2013-10-07 Sony Corp 撮像装置と撮像方法、プログラム、撮像システム、および付属装置
JP2014029486A (ja) * 2012-07-02 2014-02-13 Kenji Yoshida レンズユニット
JP2014180284A (ja) * 2013-03-16 2014-09-29 Hitachi Maxell Ltd 分析用肌画像生成システムおよび分析用肌画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013132636A1 (ja) * 2012-03-08 2013-09-12 株式会社洛洛.Com 指標体、及び、接写レンズユニット
JP2013205571A (ja) * 2012-03-28 2013-10-07 Sony Corp 撮像装置と撮像方法、プログラム、撮像システム、および付属装置
JP2014029486A (ja) * 2012-07-02 2014-02-13 Kenji Yoshida レンズユニット
JP2014180284A (ja) * 2013-03-16 2014-09-29 Hitachi Maxell Ltd 分析用肌画像生成システムおよび分析用肌画像生成方法

Also Published As

Publication number Publication date
JP2019028255A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
KR101493064B1 (ko) 고도의 정확성으로 결함이 있는 눈을 검출하는 카메라에 기반한 방법
KR101594967B1 (ko) 촬상 장치, 촬상 제어 방법, 및 기록 매체
US20100220211A1 (en) Photographing system for performing color correction of an image of a subject using spectroscopic information of the subject
CN108900782A (zh) 曝光控制方法、装置以及电子设备
WO2005071372A1 (ja) 画像処理システム、カメラ
JPWO2015029537A1 (ja) 器官画像撮影装置
CN104980647B (zh) 图像处理装置、摄像装置、判定方法以及驱动方法
CN104581104A (zh) 一种摄像器白平衡测色温装置
JP6059012B2 (ja) 光通信装置、光通信方法および肌撮像システム
CN104586355A (zh) 测定装置
JP2014137482A (ja) 撮影装置および撮影用照明装置
JP6856762B2 (ja) 撮像装置、情報取得方法及び情報取得プログラム
JP2015034850A (ja) 撮影装置および撮影方法
WO2019026472A1 (ja) コンバージョンレンズユニットおよび状態測定システム
JP2003066519A (ja) カメラ装置及びカメラ装置における発光制御方法
JP2014180284A (ja) 分析用肌画像生成システムおよび分析用肌画像生成方法
JP2006324760A (ja) 撮像装置
CN207939596U (zh) 一种双摄像头模组
JP5029765B2 (ja) 画像データ生成装置、画像データ生成方法
JP2003087608A (ja) 電子カメラ
JP2016045332A (ja) 撮影装置、撮影方法、及びプログラム
JP4315773B2 (ja) カメラ及びアクセサリ
WO2022018898A1 (ja) 撮像装置、及びプログラム
JP2005318465A (ja) 撮像装置及びその画像データ処理方法
WO2020149015A1 (ja) 携帯型情報端末、計測方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18840148

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18840148

Country of ref document: EP

Kind code of ref document: A1