WO2024106391A1 - 画像処理方法、画像処理装置、及び、プログラム - Google Patents

画像処理方法、画像処理装置、及び、プログラム Download PDF

Info

Publication number
WO2024106391A1
WO2024106391A1 PCT/JP2023/040799 JP2023040799W WO2024106391A1 WO 2024106391 A1 WO2024106391 A1 WO 2024106391A1 JP 2023040799 W JP2023040799 W JP 2023040799W WO 2024106391 A1 WO2024106391 A1 WO 2024106391A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
rgb image
pixels
image processing
pixel
Prior art date
Application number
PCT/JP2023/040799
Other languages
English (en)
French (fr)
Inventor
岳史 浜崎
祥光 浅井
俊幸 中嶋
泰雄 大塚
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2024106391A1 publication Critical patent/WO2024106391A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Definitions

  • This disclosure relates to an image processing method, an image processing device, and a program.
  • Patent Document 1 discloses an intraoral camera system that captures images of teeth inside the oral cavity.
  • the present disclosure therefore provides an image processing method that can easily identify plaque areas in tooth images.
  • An image processing method includes: acquiring a first RGB image obtained by photographing the teeth and dental plaque that are undergoing a fluorescent reaction by irradiating the teeth with light including a wavelength range of blue light; and generating a second RGB image by performing image processing including a first image processing on the first RGB image; the first image processing is a process of adjusting the gain of at least two color components of the red, green, and blue components of the RGB image to be processed so that a first red pixel average value of multiple red pixel values of multiple first pixels constituting the tooth region of the RGB image to be processed, a first green pixel average value of multiple green pixel values of the multiple first pixels, and a first blue pixel average value of multiple blue pixel values of the multiple first pixels are equal.
  • the image processing method and the like disclosed herein can easily identify plaque areas in dental images.
  • FIG. 1A is a perspective view of an intraoral camera in an intraoral camera system according to an embodiment.
  • FIG. 1B is a cross-sectional view that illustrates a schematic diagram of a photographing optical system incorporated in an intraoral camera in an intraoral camera system according to an embodiment.
  • FIG. 2 is a schematic configuration diagram of an intraoral camera system according to an embodiment.
  • FIG. 3 is a diagram showing a flow of an intraoral photographing operation in the intraoral camera system according to the embodiment.
  • FIG. 4 is a functional block diagram of the mobile terminal according to the embodiment.
  • FIG. 5 is a diagram showing the state in which the front teeth of the upper jaw are photographed from the cheek side (labial side).
  • FIG. 6A is a diagram showing an example of a first RGB image of the front teeth captured in the state shown in FIG. 5.
  • FIG. 6B is a diagram showing an example of color difference data between a plaque region and a tooth region when light including a wavelength range of blue light is irradiated onto the tooth in the absence of a blue light cut filter.
  • FIG. 6C is a diagram showing an example of color difference data between a plaque region and a tooth region when the tooth is irradiated with light including a wavelength range of blue light using a blue light cut filter.
  • FIG. 6A is a diagram showing an example of a first RGB image of the front teeth captured in the state shown in FIG. 5.
  • FIG. 6B is a diagram showing an example of color difference data between a plaque region and a tooth region when light including a wavelength range of blue light is irradiated onto the tooth in the absence of a blue light cut filter.
  • FIG. 6C is a diagram showing an example of color difference data between a plaque region and
  • FIG. 6D is a diagram showing an example of color difference data between a plaque region and a tooth region when light including a wavelength range of blue light and white light are irradiated onto the tooth in the absence of a blue light cut filter.
  • FIG. 7A is a diagram showing an example of a second RGB image of the front teeth captured in the state shown in FIG. 5.
  • FIG. 7B shows an example of color difference data between the plaque region and the tooth region after exposure control processing and white balance adjustment processing are performed when light including the blue light wavelength range is irradiated onto the tooth without a blue light cut filter.
  • FIG. 7C shows an example of color difference data between the plaque region and the tooth region after exposure control processing and white balance adjustment processing are performed when light including the wavelength range of blue light is irradiated onto the tooth using a blue light cut filter.
  • FIG. 7D shows an example of color difference data of the plaque region and the tooth region after exposure control processing and white balance adjustment processing are performed when light including the blue light wavelength range and white light are irradiated onto the tooth without a blue light cut filter.
  • FIG. 8 is a diagram showing an example of a fourth RGB image of the front teeth captured in the state shown in FIG.
  • FIG. 9 is a diagram showing another example of the fourth RGB image of the front teeth captured in the state shown in FIG.
  • FIG. 10 is a flowchart of image processing in the mobile terminal.
  • FIG. 11 is a flowchart showing the details of the process for detecting the natural tooth region.
  • FIG. 12 is a diagram showing an example of an RGB image (first RGB image).
  • FIG. 13 is a diagram showing an example of the detected first natural tooth region.
  • FIG. 14 is a diagram showing an example of a detected gingival region.
  • FIG. 15 is a diagram showing an example of the second natural tooth region.
  • the image processing method involves obtaining a first RGB image obtained by photographing the teeth and plaque that are undergoing a fluorescent reaction by irradiating the teeth with light including a wavelength range of blue light, and generating a second RGB image by performing image processing including a first image processing on the first RGB image, the first image processing being a process of adjusting the gains of at least two color components of the red, green, and blue components of the RGB image to be processed so that a first red pixel average value of multiple red pixel values of multiple first pixels constituting the tooth region of the RGB image to be processed, a first green pixel average value of multiple green pixel values of the multiple first pixels, and a first blue pixel average value of multiple blue pixel values of the multiple first pixels are equal.
  • the first image processing it is possible to adjust the white balance of the first RGB image in which the fluorescently reacting teeth are captured.
  • This makes it possible to generate a second RGB image in which it is easy to distinguish plaque regions, which are regions on the teeth where plaque has adhered.
  • This makes it easy to identify plaque regions in the tooth image.
  • This makes it possible, for example, to capture an image of the teeth after brushing, identify plaque regions, and present the user with areas that have not been brushed.
  • the image processing method is the image processing method according to the first aspect, and the first image processing is a process of adjusting the gain of at least two color components of the red component, the green component, and the blue component of the RGB image to be processed so that a first red pixel average value of multiple red pixel values possessed by multiple first pixels constituting a natural tooth region in the RGB image to be processed, a first green pixel average value of multiple green pixel values possessed by the multiple first pixels, and a first blue pixel average value of multiple blue pixel values possessed by the multiple first pixels are equal.
  • the image processing method is the image processing method according to the first or second aspect, and further includes generating an HSV image by converting the color space of the second RGB image into an HSV space, identifying a specific pixel region in which one or more fourth pixels of the multiple fourth pixels in the HSV image that satisfy at least one of a first predetermined range for saturation, a second predetermined range for hue, and a third predetermined range for brightness are located, and generating a fourth RGB image by performing saturation enhancement processing on the specific pixel region in the second RGB image.
  • a specific pixel area is identified as a plaque area in the second RGB image, and saturation enhancement processing is performed on the specific pixel area, so that a third RGB image can be generated in which the plaque area is easily distinguished. Therefore, the plaque area in the tooth image can be easily identified.
  • the image processing method is the image processing method according to the first or second aspect, further comprising: generating an HSV image by converting the color space of the second RGB image into an HSV space; identifying a specific pixel area in which one or more fourth pixels of the multiple fourth pixels in the HSV image are located, the one or more fourth pixels having at least one of a first predetermined range for saturation, a second predetermined range for hue, and a third predetermined range for brightness; and generating a fourth RGB image by replacing the specific pixel area in the second RGB image with a predetermined pattern.
  • a specific pixel area in the second RGB image is identified as a plaque area, and the specific pixel area is replaced with a predetermined pattern, so that a fourth RGB image in which the plaque area is easily distinguished can be generated. Therefore, the plaque area in the tooth image can be easily identified.
  • the image processing method is an image processing method according to any one of the first to fourth aspects, wherein the image processing further includes a second image processing, the second image processing being a process of determining a gain such that an average value of a plurality of index values calculated from a plurality of second pixel values respectively possessed by a plurality of second pixels included in an RGB image to be processed becomes a predetermined value, and generating a third RGB image by applying the determined gain to the RGB image to be processed, and the first image processing being a process in which the third RGB image is the processing target.
  • the second image processing being a process of determining a gain such that an average value of a plurality of index values calculated from a plurality of second pixel values respectively possessed by a plurality of second pixels included in an RGB image to be processed becomes a predetermined value, and generating a third RGB image by applying the determined gain to the RGB image to be processed, and the first image processing being a process in which the third RGB image is the processing target.
  • exposure control processing is performed by adjusting the gain of the luminance values of multiple second pixels, so that the conditions for multiple luminance values can be kept constant even if there is variation in the shooting conditions.
  • the conditions for the luminance distribution of the third RGB image to be processed in the first image processing can be kept constant regardless of the shooting conditions, so that the first image processing can be performed more effectively.
  • the image processing method according to the sixth aspect of the present disclosure is the image processing method according to the fifth aspect, in which the average value of the plurality of index values is the average value of the color component having the maximum average value among the red component, the green component, and the blue component of the first RGB image.
  • the image processing method according to the seventh aspect of the present disclosure is the image processing method according to the fifth aspect, in which the index values are obtained by calculating, for each of the second pixel values, the red pixel value, the green pixel value, and the blue pixel value contained in the second pixel value.
  • the image processing method according to the eighth aspect of the present disclosure is the image processing method according to the fifth aspect, and the second pixels are pixels among the third pixels constituting the first RGB image, which satisfy the following: the pixel value of the maximum color component is smaller than a first threshold value, and the pixel value of the minimum color component is equal to or smaller than a second threshold value.
  • the second image processing can be performed by excluding areas in the first RGB image that are strongly affected by reflection from the irradiated light.
  • the image processing method according to the ninth aspect of the present disclosure is an image processing method according to any one of the first to fourth aspects, further detecting an intraoral position where the first RGB image was captured, and storing the intraoral position in association with the second RGB image.
  • the image processing device includes an acquisition unit that acquires a first RGB image obtained by photographing the teeth and plaque that are undergoing a fluorescent reaction by irradiating the teeth with light including a wavelength range of blue light, and a generation unit that generates a second RGB image by performing image processing including a first image processing on the first RGB image, the first image processing being a process of adjusting the gains of at least two color components of the red component, the green component, and the blue component of the RGB image to be processed so that a first red pixel average value of multiple red pixel values of multiple first pixels constituting the tooth region of the RGB image to be processed, a first green pixel average value of multiple green pixel values of the multiple first pixels, and a first blue pixel average value of multiple blue pixel values of the multiple first pixels are equal.
  • the first image processing it is possible to adjust the white balance of the first RGB image in which the fluorescently reacting teeth are captured.
  • This makes it possible to generate a second RGB image in which it is easy to distinguish plaque regions, which are regions on the teeth where plaque has adhered.
  • This makes it easy to identify plaque regions in the tooth image.
  • This makes it possible, for example, to capture an image of the teeth after brushing, identify plaque regions, and present the user with areas that have not been brushed.
  • the image processing device is the image processing device according to the tenth aspect, and the first image processing is a process of adjusting the gain of at least two color components of the red component, the green component, and the blue component of the RGB image to be processed so that a first red pixel average value of multiple red pixel values possessed by multiple first pixels constituting a natural tooth region in the RGB image to be processed, a first green pixel average value of multiple green pixel values possessed by the multiple first pixels, and a first blue pixel average value of multiple blue pixel values possessed by the multiple first pixels are equal.
  • the program according to the twelfth aspect of the present disclosure is a program for causing a computer to execute an image processing method according to any one of the first to ninth aspects.
  • an intraoral camera 10 has a toothbrush-like housing that can be handled with one hand, and the housing includes a head portion 10a that is placed in a user's oral cavity when photographing a dentition, a handle portion 10b that the user holds, and a neck portion 10c that connects the head portion 10a and the handle portion 10b.
  • the imaging optical system 12 is incorporated into the head portion 10a and the neck portion 10c.
  • the imaging optical system 12 includes an image sensor 14 and a lens arranged on its optical axis LA.
  • the imaging optical system 12 of the intraoral camera 10 is incorporated into the head portion 10a and the neck portion 10c.
  • the imaging optical system 12 includes an image sensor 14 and a lens 16 arranged on its optical axis LA.
  • the imaging element 14 is a photographing device such as a C-MOS sensor or a CCD element, and an image of the tooth D is formed by the lens 16.
  • the imaging element 14 outputs a signal (image data) corresponding to the formed image to the outside.
  • the lens 16 is, for example, a focusing lens, and forms an image of the tooth D that is incident on the imaging element 14.
  • the lens 16 may be a single lens or a lens group consisting of multiple lenses.
  • the imaging optical system 12 further includes a mirror 18 that reflects the image of the tooth D toward the lens 16, a blue light cut filter (blue light blocking element) 20 arranged between the mirror 18 and the lens 16, and an aperture 24 arranged between the lens 16 and the image sensor 14.
  • a mirror 18 that reflects the image of the tooth D toward the lens 16
  • a blue light cut filter (blue light blocking element) 20 arranged between the mirror 18 and the lens 16
  • an aperture 24 arranged between the lens 16 and the image sensor 14.
  • the mirror 18 is positioned on the optical axis LA of the imaging optical system 12 so as to reflect the image of the tooth D that passes through the entrance 12a of the imaging optical system 12 toward the lens 16.
  • the blue light cut filter 20 is a filter that cuts out the blue wavelength light components contained in the light that enters the image sensor 14.
  • the blue light cut filter 20 cuts out light including the blue wavelength range from the light before it enters the image sensor 14.
  • the aperture 24 is a plate-shaped member with a through hole on the optical axis LA of the imaging optical system 12, and achieves a deep focal depth. This allows the focus to be adjusted in the depth direction within the oral cavity, and an image of the dentition with clear contours can be obtained.
  • the intraoral camera 10 is also equipped with a plurality of first to fourth LEDs 26A to 26D as lighting devices that irradiate light onto the tooth D to be photographed during photography.
  • the first to fourth LEDs 26A to 26D are, for example, blue LEDs.
  • the first to fourth LEDs 26A to 26D are arranged to surround the entrance 12a.
  • a translucent cover 28 that covers the first to fourth LEDs 26A to 26D and the entrance 12a is provided on the head unit 10a so that the gums G and the like do not come into contact with the first to fourth LEDs 26A to 26D and cause a shortage of illumination light.
  • Some of the first to fourth LEDs 26A to 26D may be white LEDs. By using white LEDs as some of the first to fourth LEDs 26A to 26D, the first RGB image can be brightened and the balance of the blue pixel value relative to the red pixel value and the green pixel value can be improved.
  • the intraoral camera 10 has a composition adjustment mechanism 30 and a focus adjustment mechanism 32, as shown in FIG. 1B.
  • the composition adjustment mechanism 30 is composed of a housing 34 that holds the image sensor 14 and lens 16, and an actuator 36 that moves the housing 34 in the direction in which the optical axis LA extends.
  • the actuator 36 adjusts the position of the housing 34 to adjust the angle of view, i.e., the size of the row of teeth imaged on the image sensor 14.
  • the composition adjustment mechanism 30 automatically adjusts the position of the housing 34 so that, for example, an entire tooth is captured in the captured image.
  • the composition adjustment mechanism 30 also adjusts the position of the housing 34 based on the user's operation so that the angle of view desired by the user is achieved.
  • the focus adjustment mechanism 32 is held within the housing 34 of the composition adjustment mechanism 30 and is composed of a lens holder 38 that holds the lens 16, and an actuator 40 that moves the lens holder 38 in the direction in which the optical axis LA extends.
  • the actuator 40 adjusts the relative position of the lens holder 38 with respect to the image sensor 14, thereby adjusting the focus, i.e., the focal point.
  • the focus adjustment mechanism 32 automatically adjusts the position of the lens holder 38 so that, for example, a tooth located in the center of the captured image is brought into focus.
  • the focus adjustment mechanism 32 also adjusts the position of the lens holder 38 based on the user's operation.
  • the components of the imaging optical system 12, except for the mirror 18, may be provided on the handle portion 10bc of the intraoral camera 10.
  • the imaging element 14 is a photographing device such as a C-MOS sensor or CCD element, and an image of the teeth is formed by a lens.
  • the imaging element 14 outputs a signal (image data) corresponding to the formed image to the outside.
  • the image output by the imaging element 14 is an RGB image in which each of the multiple pixels that make up the image has RGB sub-pixels.
  • the intraoral camera 10 is also equipped with multiple first to fourth LEDs 26A to 26D as lighting devices that irradiate light onto the teeth to be photographed during photography.
  • the first to fourth LEDs 26A to 26D are, for example, blue LEDs that irradiate blue light with a wavelength that peaks at 405 nm. Note that the first to fourth LEDs 26A to 26D are not limited to blue LEDs as long as they are light sources that irradiate light that includes the wavelength range of blue light.
  • FIG. 2 is a schematic diagram of an intraoral camera system according to this embodiment.
  • the intraoral camera system according to this embodiment is generally configured to capture an image of the dentition using an intraoral camera 10 and perform image processing on the captured image.
  • the intraoral camera system includes an intraoral camera 10, a mobile terminal 70, and a cloud server 80.
  • the mobile terminal 70 is, for example, a smartphone or tablet terminal capable of wireless communication.
  • the mobile terminal 70 is equipped with, as an input device and an output device, a touch screen 72 capable of displaying, for example, an image of a dentition.
  • the mobile terminal 70 functions as a user interface for the intraoral camera system.
  • the cloud server 80 is a server that can communicate with the mobile terminal 70 via the Internet or the like, and provides the mobile terminal 70 with an application for using the intraoral camera 10. For example, a user downloads an application from the cloud server 80 and installs it on the mobile terminal 70. The cloud server 80 also acquires dentition images captured by the intraoral camera 10 via the mobile terminal 70.
  • the intraoral camera system includes a central control unit 50 as the main part that controls the system, an LED control unit 54 that controls the multiple LEDs 26A-26D, a lens driver 56 that controls the actuator 36 of the composition adjustment mechanism and the actuator 40 of the focus adjustment mechanism, and a position sensor 90.
  • the intraoral camera system also includes a wireless communication module 58 that communicates wirelessly with the mobile terminal 70, and a power supply control unit 60 that supplies power to the central control unit 50, etc.
  • the central control unit 50 of the intraoral camera system is mounted, for example, on the handle portion 10b of the intraoral camera 10.
  • the central control unit 50 also includes a controller 62 such as a CPU or MPU that executes various processes described below, and a memory 64 such as a RAM or ROM that stores programs for causing the controller 62 to execute various processes.
  • the memory 64 also stores a dentition image (image data) captured by the imaging element 14, various setting data, and the like.
  • the dentition image captured by the imaging element 14 is an example of a first RGB image.
  • the controller 62 transmits the dentition image output from the imaging element 14 to the mobile terminal 70 via the wireless communication module 58.
  • the mobile terminal 70 displays the transmitted dentition image on the touch screen 72, thereby presenting the dentition image to the user.
  • the LED control unit 54 is mounted, for example, on the handle portion 10b of the intraoral camera 10, and turns on and off the first to fourth LEDs 26A to 26D based on a control signal from the controller 62.
  • the LED control unit 54 is, for example, composed of a circuit. For example, when a user performs an operation on the touch screen 72 of the mobile terminal 70 to start the intraoral camera 10, a corresponding signal is sent from the mobile terminal 70 to the controller 62 via the wireless communication module 58. Based on the received signal, the controller 62 sends a control signal to the LED control unit 54 to turn on the first to fourth LEDs 26A to 26D.
  • the lens driver 56 is mounted, for example, on the handle portion 10b of the intraoral camera 10, and controls the actuator 36 of the composition adjustment mechanism and the actuator 40 of the focus adjustment mechanism based on a control signal from the controller 62 of the central control unit 50.
  • the lens driver 56 is, for example, composed of a circuit.
  • a corresponding signal is transmitted from the mobile terminal 70 to the central control unit 50 via the wireless communication module 58.
  • the controller 62 of the central control unit 50 transmits a control signal to the lens driver 56 to perform composition adjustment or focus adjustment.
  • the controller 62 calculates the control amount of the actuators 36, 40 required for composition adjustment or focus adjustment based on the dentition image from the imaging element 14, and transmits a control signal corresponding to the calculated control amount to the lens driver 56.
  • the wireless communication module 58 is mounted, for example, on the handle portion 10b of the intraoral camera 10, and performs wireless communication with the mobile terminal 70 based on a control signal from the controller 62.
  • the wireless communication module 58 performs wireless communication with the mobile terminal 70 that complies with existing communication standards such as WiFi (registered trademark) or Bluetooth (registered trademark).
  • WiFi registered trademark
  • Bluetooth registered trademark
  • the power supply control unit 60 is mounted on the handle portion 10b of the intraoral camera 10, and distributes power from a battery 66 to the central control unit 50, the LED control unit 54, the lens driver 56, and the wireless communication module 58.
  • the power supply control unit 60 is composed of, for example, a circuit.
  • the battery 66 is a rechargeable secondary battery, and is wirelessly charged by an external charger 69 connected to a commercial power source via a coil 68 mounted on the intraoral camera 10.
  • the position sensor 90 is a sensor for detecting the posture and position of the intraoral camera 10, and is, for example, a multi-axis (here, three axes: x, y, and z) acceleration sensor.
  • the position sensor 90 may be a six-axis sensor having a three-axis acceleration sensor and a three-axis gyro sensor.
  • the z-axis coincides with the optical axis LA.
  • the y-axis is parallel to the imaging surface and extends in the longitudinal direction of the intraoral camera 10.
  • the x-axis is parallel to the imaging surface and perpendicular to the y-axis.
  • the output of each axis of the position sensor 90 may be transmitted to the mobile terminal 70 via the central control unit 50 and the wireless communication module 58.
  • the position sensor 90 may be a piezoresistance type, capacitance type, or heat detection type MEMS sensor. Although not shown, it is advisable to provide a correction circuit for correcting the balance of the sensor sensitivity for each axis, the temperature characteristics of sensitivity, temperature drift, etc. Also, a band-pass filter (low-pass filter) may be provided to remove dynamic acceleration components and noise. Noise may also be reduced by smoothing the output waveform of the acceleration sensor.
  • a band-pass filter low-pass filter
  • Figure 3 is a diagram showing the flow of the intraoral photography operation in the intraoral camera system. Note that the process shown in Figure 3 is, for example, a process that is performed in real time, and is performed each time one frame or multiple frames of image data are obtained.
  • the user uses the intraoral camera 10 to capture an image of the teeth and gums in their mouth, generating image data (S101).
  • the intraoral camera 10 transmits the captured image data to the mobile device 70 (S102).
  • the image data may be a video or one or more still images.
  • the sensor data may be transmitted for each frame of the video or for each still image.
  • the image data is a video, the sensor data may be transmitted for each set of frames.
  • image data may be transmitted in real time, or may be transmitted all at once after a series of photographs (e.g., photographs of all teeth in the oral cavity) have been taken.
  • the mobile terminal 70 performs image processing on the received image data (first RGB image) (S103), and displays the image data after image processing (S104).
  • the user can take images of the inside of their own oral cavity with the intraoral camera 10 and check the condition of the oral cavity displayed on the mobile terminal 70. This allows the user to easily check the health condition of their own teeth, etc.
  • the mobile terminal 70 may also generate a three-dimensional model of multiple teeth in the oral cavity from multiple captured image data.
  • the mobile terminal 70 may also display an image based on the generated three-dimensional model.
  • the mobile terminal 70 processes the tooth images, some or all of this processing may be performed by the intraoral camera 10.
  • the mobile terminal 70 is an example of an image processing device.
  • FIG. 4 is a functional block diagram of the mobile terminal 70.
  • the mobile terminal 70 includes an acquisition unit 101, a generation unit 102, and a display unit 103.
  • the acquisition unit 101 acquires image data (first RGB image) transmitted from the intraoral camera 10.
  • the acquisition unit 101 may acquire sensor data in addition to image data from the intraoral camera 10.
  • the first RGB image is an image obtained by the intraoral camera 10 photographing the teeth that are undergoing a fluorescent reaction by irradiating the teeth with light that includes the wavelength range of blue light.
  • the generating unit 102 may generate a third RGB image by performing an exposure control process (second image processing) on the first RGB image, and generate a second RGB image by performing a white balance adjustment process (first image processing) on the third RGB image.
  • the generation unit 102 first extracts a plurality of pixels whose RGB values satisfy the following formulas 1 and 2 from among the plurality of first RGB pixels (third pixels) constituting the first RGB image.
  • min(R,G,B) indicates the minimum of the pixel values of the three RGB subpixels (i.e., the red pixel value, the green pixel value, and the blue pixel value) of the first RGB pixel.
  • Ths is a threshold value for removing areas in the first RGB image that are strongly affected by the reflection of the irradiated light (e.g., glossy areas). Ths is, for example, 900 in 10-bit representation.
  • max(R,G,B) indicates the maximum pixel value of the three RGB subpixels (i.e., the red pixel value, the green pixel value, and the blue pixel value) that the first RGB pixel has.
  • Thmax indicates the maximum value that a pixel value can take.
  • Thmax is expressed as 1023 in 10-bit representation.
  • Thmax is an example of a first threshold value.
  • Gmax is the maximum value of the multiple green pixel values in the first RGB image. In other words, it is the pixel value of the green pixel with the maximum pixel value among the multiple first RGB green pixels that make up the first RGB image.
  • Thb is a threshold value for extracting the second green pixel from the first RGB pixels. If the Thb value is made large, the image will become too bright, so for example, it is set to a value of 10 or less in 10-bit representation.
  • Equation 1 excludes glossy regions, and equation 2 extracts the tooth region in the first RGB image.
  • the multiple pixels extracted by equations 1 and 2 are the multiple second pixels that make up the tooth region.
  • the multiple second pixels are pixels that, among the multiple first RGB pixels (third pixels) that make up the first RGB image, satisfy the following: the pixel value max (R, G, B) of the maximum color component is smaller than the first threshold value (Thmax), and the pixel value min (R, G, B) of the minimum color component is equal to or smaller than the second threshold value (Ths).
  • the generating unit 102 calculates the average value of the green pixels of the second pixels, and determines the gain to be multiplied to the pixel values of the three RGB subpixels according to the calculated average value of the green pixels.
  • the generating unit 102 determines the gain to be multiplied to the pixel values of the three RGB subpixels, for example, using the following formula 3.
  • the gain is obtained by dividing the target pixel value by the average value of the green pixels.
  • the generating unit 102 generates a third RGB image by multiplying each of the first RGB pixels constituting the first RGB image by the determined gain. More specifically, the generating unit 102 generates a third RGB image by multiplying the pixel values of the three subpixels of each of the first RGB pixels by the determined gain for each of the first RGB pixels.
  • the pixel values of the third RGB pixels constituting the third RGB image are pixel values calculated by multiplying the pixel values of the first RGB pixels constituting the first RGB image by the determined gain.
  • the generation unit 102 replaces the pixel value with 1023.
  • the average value of the green pixels of the multiple second pixels extracted from the first RGB pixel is calculated using Equation 2, and the gain to be multiplied to the pixel values of the three RGB subpixels is determined according to the calculated average value of the green pixels, but this is not limited to the above.
  • the average value of the red pixels of the multiple second pixels extracted from the first RGB pixel may be calculated, and the gain to be multiplied to the pixel values of the three RGB subpixels may be determined according to the calculated average value of the red pixels.
  • the average value of the blue pixels of the multiple second pixels extracted from the first RGB pixel may be calculated, and the gain to be multiplied to the pixel values of the three RGB subpixels may be determined according to the calculated average value of the blue pixels.
  • the exposure control process is a process for generating a third RGB image by determining a gain for multiple second pixel values so that the average value of multiple index values calculated from multiple second pixel values owned by each of multiple second pixels (pixels corresponding to the tooth area) included in the RGB image to be processed (here, the first RGB image) becomes a predetermined value, and applying the determined gain to multiple first RGB pixel values owned by multiple first RGB pixels in the first RGB image.
  • the index value may be a value calculated from the pixel values of the three RGB subpixels that make up one pixel, or it may be the pixel value of any one of the three subpixels.
  • the average value of the multiple index values is the average value of the color component having the maximum pixel value among the red, green, and blue components of the first RGB image.
  • the color component having the maximum average value is the color component having the maximum average value among the three average values: the first red pixel average value of the multiple red pixel values of the multiple first pixels constituting the first RGB image, the first green pixel average value of the multiple green pixel values of the multiple first pixels, and the first blue pixel average value of the multiple blue pixel values of the multiple first pixels. Note that the color component having the maximum average value does not need to be determined by calculating and comparing the first red pixel average value, the first green pixel average value, and the first blue pixel average value, and may be fixed to the green component.
  • the generating unit 102 calculates the average value of the green pixels of the second pixels in determining the gain, and determines the gain according to the calculated average value of the green pixels.
  • the generating unit 102 may calculate the average value of the luminance values of the second pixels as the average value of the index values, and determine the gain according to the calculated average value of the luminance values.
  • the index value may be the pixel value of any one of the three RGB subpixels constituting one pixel, or may be a value calculated from the pixel values of the three subpixels.
  • the generating unit 102 calculates the luminance value of each of the second pixels using the subpixel values of the three subpixels of the second pixel. For example, the generating unit 102 calculates the luminance value using the following formula 3.
  • Equation 3 Y is the luminance value, R is the red pixel value, G is the green pixel value, and B is the blue pixel value.
  • multiple luminance values may be obtained for each of multiple pixel values by calculating them based on the red pixel value, the green pixel value, and the blue pixel value contained in the pixel value.
  • the generation unit 102 extracts a plurality of pixels whose RGB values satisfy Expression 1 and the following Expression 4 from among a plurality of third RGB pixels constituting the third RGB image to be processed.
  • Thl is a threshold value indicating the lower limit of the tooth area
  • Thu is a threshold value indicating the upper limit of the tooth area.
  • the tooth area in the third RGB image is extracted using equation 4.
  • the multiple pixels extracted using equations 1 and 4 are the multiple second pixels that make up the tooth area.
  • the generation unit 102 calculates a first red pixel average value Rave, which is the average value of multiple red pixel values in the tooth region that satisfy Equations 1 and 4, a first green pixel average value Gave, which is the average value of multiple green pixel values in the tooth region, and a first blue pixel average value Bave, which is the average value of multiple blue pixel values in the tooth region.
  • the generation unit 102 then adjusts the gains of at least two color components, the red component, the green component, and the blue component, of the RGB image to be processed so that the first red pixel average value Rave, the first green pixel average value Gave, and the first blue pixel average value Bave are equal.
  • the generating unit 102 calculates the gains of the multiple red pixel values (gain for red pixels) by dividing the first green pixel average value Gave by the first red pixel average value Rave.
  • the generating unit 102 also calculates the gains of the multiple blue pixel values (gain for blue pixels) by dividing the first green pixel average value Gave by the first blue pixel average value Bave.
  • the generating unit 102 then multiplies each red pixel of the multiple third RGB pixels constituting the third RGB image by the gain for red pixels, and multiplies each blue pixel of the multiple third RGB pixels by the gain for blue pixels, to generate a second RGB image.
  • the pixel values of the multiple second RGB pixels constituting the second RGB image are pixel values calculated by multiplying the red pixel values of the multiple third RGB pixels constituting the third RGB image by the gain for red pixels, and multiplying the blue pixel values of the multiple third RGB pixels by the gain for blue pixels.
  • the generation unit 102 performs white balance adjustment by calculating the red pixel gain and the blue pixel gain based on the green pixel average value and multiplying each gain by the pixel value of the corresponding color component, but this is not limited to the above.
  • the green pixel gain and the blue pixel gain may be calculated based on the red pixel average value, or the red pixel gain and the green pixel gain may be calculated based on the blue pixel average value.
  • the generating unit 102 replaces the pixel value with 1023.
  • the generating unit 102 may emphasize the plaque area in the tooth area in the second RGB image by performing a third image process as described below on the second RGB image. Specifically, the generating unit 102 generates an HSV image by converting the color space of the second RGB image into an HSV space.
  • the generating unit 102 identifies, as the plaque area, a specific pixel area in which one or more fourth pixels are located that satisfy at least one of the following conditions among the multiple fourth pixels in the HSV image: a saturation within a first predetermined range (e.g., 30 to 80 in 8-bit representation), a hue within a second predetermined range (e.g., 140 to 170 in 8-bit representation), and a brightness within a third predetermined range (e.g., 100 to 180 in 8-bit representation).
  • the first, second, and third predetermined ranges are not limited to the above-mentioned numerical ranges, and may be determined by comparing the actual plaque region, tooth region, and HSV image.
  • the generating unit 102 generates the fourth RGB image by performing saturation enhancement processing on the plaque region in the second RGB image. Instead of performing saturation enhancement processing, the generating unit 102 may generate the fourth RGB image by replacing the plaque region with a predetermined pattern.
  • the predetermined pattern may be, for example, graphics having a constant pixel value, or graphics including a specific pattern.
  • the display unit 103 is a display device included in the mobile terminal 70, and displays the image after image processing has been performed by the generation unit 102.
  • the display unit 103 may display the second RGB image or the fourth RGB image.
  • FIG. 5 is a diagram showing a state in which a user is vertically holding the intraoral camera 10 and photographing the upper front teeth from the cheek side (labial side).
  • Fig. 6A is a diagram showing an example of a first RGB image of the front teeth photographed in the state shown in Fig. 5 by irradiating the oral cavity with blue light (peak wavelength is 405 nm).
  • FIG. 6B is a diagram showing an example of color difference data of the plaque region 201 and tooth region detected in FIG. 6A.
  • FIG. 6B shows the color difference data of the plaque region 201 and tooth region detected from the first RGB image captured without the blue light cut filter 20 shown in FIG. 1B.
  • the color difference average coordinates of the hue of the plaque region are (0.16, 0.06)
  • the color difference average coordinates of the hue of the tooth region are (0.25, -0.02). Note that these color difference average coordinates of the hues are only reference values, and may vary depending on the intensity of blue light and the sensitivity of the camera.
  • a blue light cut filter is effective as a method for reducing noise.
  • light including the blue wavelength range can be cut off by a blue light cut filter 20 from the light reflected from the teeth before it enters the image sensor 14.
  • Figure 6C is a diagram showing an example of color difference data of the plaque region 201 and tooth region detected from a first RGB image of a front tooth captured with the blue light cut filter 20 cutting out light including the wavelength range of blue light.
  • the color difference average coordinates of the hue of the plaque region in Figure 6C are (0.058, 0.068), and the color difference average coordinates of the hue of the tooth region are (0.050, -0.004). Note that these color difference average coordinates of the hues are for reference only, and may vary depending on the intensity of blue light and the sensitivity of the camera.
  • cutting light that includes the wavelength range of blue light using a blue light cut filter reduces the saturation of blue (makes the color lighter). Because the plaque area fluoresces a reddish pink color, it is possible to reduce the brightness of the tooth area while maintaining the brightness of the plaque area. This reduces the blue pixel value and reduces the difference between the red and green pixel values, thereby reducing the white balance gain multiplied by the red and green pixel values, resulting in the effect of suppressing noise.
  • some of the first to fourth LEDs 26A to 26D in FIG. 1 may be white LEDs.
  • FIG. 6D shows an example of color difference data of the plaque region 201 and tooth region detected from a first RGB image of a front tooth captured by illuminating the oral cavity with blue light (peak wavelength 405 nm) and white light.
  • FIG. 6D shows color difference data of the plaque region 201 and tooth region detected from a first RGB image captured without the blue light cut filter 20 shown in FIG. 1B.
  • FIG. 6C shows color difference data of the plaque region 201 and tooth region detected from a first RGB image captured without the blue light cut filter 20 shown in FIG. 1B.
  • the color difference average coordinates of the hue of the plaque region were (0.089, 0.041), and the color difference average coordinates of the hue of the tooth region were (0.15, -0.013). Note that these color difference average coordinates of the hues are reference values and may vary depending on the intensity of the blue light and white light and the sensitivity of the camera.
  • the mobile terminal 70 performs image processing (exposure control processing and white balance adjustment processing) to generate a second RGB image 210 in which the plaque region 211 is easily distinguishable, as shown in Fig. 7A.
  • the image processing essentially makes the tooth region colorless, making the plaque region 211 easier to distinguish.
  • Figure 7B shows an example of color difference data for the plaque region and tooth region after exposure control processing and white balance adjustment processing when light including the wavelength range of blue light is irradiated onto the tooth without a blue light cut filter.
  • the tooth region is considered to be substantially white.
  • the color difference average coordinates of the hue of the plaque region in Figure 7B were (0.033, 0.071). Note that these color difference average coordinates of the hues are for reference only and may change depending on the intensity of the blue light and the sensitivity of the camera.
  • Figure 7C shows an example of color difference data for the plaque region and tooth region after exposure control processing and white balance adjustment processing when a tooth is irradiated with light including the wavelength range of blue light using a blue light cut filter.
  • the tooth region is considered to be substantially white.
  • the color difference average coordinates of the hue of the plaque region in Figure 6C were (0.033, 0.071). Note that these color difference average coordinates of the hues are for reference only and may change depending on the intensity of the blue light and the sensitivity of the camera.
  • Figure 7D shows an example of color difference data for the plaque region and tooth region after exposure control processing and white balance adjustment processing when light including the wavelength range of blue light and white light are irradiated onto the tooth without a blue light cut filter.
  • the tooth region is considered to be substantially white.
  • the color difference average coordinates of the hue of the plaque region in Figure 6D were (0.014, 0.048). Note that these color difference average coordinates of the hues are for reference only and may change depending on the intensity of the blue light and white light and the sensitivity of the camera.
  • the hue of the plaque area can be displayed in roughly the same reddish pink color regardless of the type of light source used to illuminate the oral cavity.
  • FIG. 8 is a diagram showing an example of a fourth RGB image of the front teeth photographed in the state shown in Fig. 5.
  • Fig. 9 is a diagram showing another example of the fourth RGB image of the front teeth photographed in the state shown in Fig. 5.
  • the mobile terminal 70 acquires a first RGB image 200 from the intraoral camera 10 as shown in FIG. 6A.
  • the mobile terminal 70 can also perform saturation enhancement processing on the plaque region 211 of the second RGB image 210 to generate a fourth RGB image 220 in which the plaque region 221 is easily distinguishable, as shown in FIG. 8.
  • the mobile terminal 70 can further replace the plaque region 211 of the second RGB image 210 with a predetermined pattern to generate a fourth RGB image 230 in which the plaque region 231 has been replaced with a predetermined pattern as shown in FIG. 9.
  • FIG. 10 is a flowchart of image processing in the mobile terminal 70.
  • the mobile terminal 70 acquires a first RGB image from the intraoral camera 10 (S111).
  • the mobile terminal 70 generates a third RGB image by performing exposure control processing on the first RGB image (S112).
  • the mobile terminal 70 generates a second RGB image by performing a white balance adjustment process on the third RGB image (S113).
  • the mobile terminal 70 identifies the plaque area in the second RGB image (S114).
  • the mobile terminal 70 generates a fourth RGB image by performing saturation enhancement processing on the plaque region of the second RGB image, or by replacing the plaque region with a predetermined pattern (S115).
  • the image processing device (e.g., mobile terminal 70) according to this embodiment includes an acquisition unit 101 and a generation unit 102.
  • the acquisition unit 101 acquires a first RGB image obtained by photographing a tooth undergoing a fluorescent reaction by irradiating the tooth with light including a wavelength range of blue light.
  • the generation unit 102 generates a second RGB image by performing image processing including a first image processing on the first RGB image.
  • the first image processing is a process of adjusting the gain of at least two color components of the red component, the green component, and the blue component of the first RGB image so that a first red pixel average value of multiple red pixel values of multiple first pixels constituting a tooth region in the RGB image to be processed, a first green pixel average value of multiple green pixel values of multiple first pixels, and a first blue pixel average value of multiple blue pixel values of multiple first pixels are equal.
  • the first image processing it is possible to adjust the white balance of the first RGB image in which the fluorescently reacting teeth are captured.
  • This makes it possible to generate a second RGB image in which it is easy to distinguish plaque regions, which are regions on the teeth where plaque has adhered.
  • This makes it easy to identify plaque regions in the tooth image.
  • This makes it possible, for example, to capture an image of the teeth after brushing, identify plaque regions, and present the user with areas that have not been brushed.
  • an HSV image is generated by converting the color space of the second RGB image into an HSV space, a specific pixel region is identified in which one or more fourth pixels of the multiple fourth pixels in the HSV image that satisfy at least one of a first predetermined range for saturation, a second predetermined range for hue, and a third predetermined range for brightness are located, and a fourth RGB image is generated by performing saturation enhancement processing on the specific pixel region in the second RGB image.
  • a specific pixel area is identified as a plaque area in the second RGB image, and saturation enhancement processing is performed on the specific pixel area, so that a third RGB image can be generated in which the plaque area is easily distinguished. Therefore, the plaque area in the tooth image can be easily identified.
  • an HSV image is generated by converting the color space of the second RGB image into an HSV space, a specific pixel area is identified in which one or more fourth pixels of the multiple fourth pixels in the HSV image that satisfy at least one of a first predetermined range for saturation, a second predetermined range for hue, and a third predetermined range for brightness are located, and a fourth RGB image is generated by replacing the specific pixel area in the second RGB image with a predetermined pattern.
  • a specific pixel area in the second RGB image is identified as a plaque area, and the specific pixel area is replaced with a predetermined pattern, so that a fourth RGB image in which the plaque area is easily distinguished can be generated. Therefore, the plaque area in the tooth image can be easily identified.
  • the image processing further includes a second image processing.
  • the second image processing is a process for determining a gain such that the average value of multiple luminance values calculated from multiple second pixel values possessed by each of multiple second pixels included in the RGB image to be processed becomes a predetermined value, and for generating a third RGB image by applying the determined gain to the RGB image to be processed.
  • the first image processing is a process for processing the third RGB image.
  • exposure control processing is performed by adjusting the gain of the luminance values of multiple second pixels, so that the conditions for multiple luminance values can be kept constant even if there is variation in the shooting conditions.
  • the conditions for the luminance distribution of the third RGB image to be processed in the first image processing can be kept constant regardless of the shooting conditions, so that the first image processing can be performed more effectively.
  • the average value of the multiple luminance values is the average value of the color component that has the maximum average value among the red component, green component, and blue component of the first RGB image.
  • multiple luminance values are obtained by calculating, for each of multiple pixel values, based on the red pixel value, green pixel value, and blue pixel value contained in the pixel value.
  • the second pixels are pixels among the third pixels constituting the first RGB image, which satisfy the following: the pixel value of the maximum color component is smaller than the first threshold value, and the pixel value of the minimum color component is equal to or smaller than the second threshold value.
  • the second image processing can be performed by excluding areas in the first RGB image that are strongly affected by reflection from the irradiated light.
  • the generating unit 102 performs exposure control processing on the first RGB image and performs white balance adjustment processing on the third RGB image generated by the exposure control processing, but the present invention is not limited to this and the exposure control processing may not be performed. For example, if a first RGB image in which the occurrence of variations in the luminance distribution is reduced is obtained, the exposure control processing may not be performed. For example, the variation in the luminance distribution of the obtained first RGB image may be reduced by controlling the illumination so that the shooting conditions are constant.
  • a guidance for specifying an intraoral position to be photographed may be displayed on the display unit 103 of the mobile terminal 70.
  • the guidance may be output as audio from a speaker (not shown) of the mobile terminal 70.
  • the intraoral position may be the position of a front tooth, a back tooth, or the like.
  • the mobile terminal 70 may store, in association with the intraoral position indicated in the guidance, a second RGB image or a fourth RGB image generated by image processing performed on the first RGB image acquired while the intraoral position was being indicated.
  • the intraoral camera 10 transmits the first RGB image to the mobile terminal 70, and the image processing of the first RGB image is performed in the mobile terminal 70, but this is not limited thereto.
  • the first RGB image may be transmitted to the cloud server 80, the cloud server 80 performs the image processing, and the second RGB image or the fourth RGB image resulting from the image processing may be transmitted to the mobile terminal 70.
  • the first RGB image may be transmitted from the intraoral camera 10 to the cloud server 80 without passing through the mobile terminal 70, or may be transmitted from the intraoral camera 10 to the cloud server 80 via the mobile terminal 70.
  • a tooth region is extracted from the RGB image to be processed, and the gains of at least two color components among the red, green, and blue components of the RGB image to be processed are adjusted so that the first red pixel average value, the first green pixel average value, and the first blue pixel average value in the tooth region are equal, but this is not limited to the above.
  • the pixel average values of each color targeted for adjusting the gain are not limited to the average values in the tooth region, and may be the average values in the natural tooth region.
  • Fig. 11 is a flowchart showing the details of the process of detecting natural tooth regions.
  • FIG. 12 is a diagram showing an example of an RGB image (first RGB image).
  • the RGB image shown in FIG. 12 is an image of a natural tooth 241, an artificial tooth 242, and gums 243 (gums).
  • the artificial tooth 242 is, for example, a prosthesis made of a metal such as gold or silver.
  • the natural tooth 241 is a natural tooth, and is the part of the tooth excluding the artificial tooth 242.
  • the generating unit 102 detects a first natural tooth region using the RGB image (first RGB image) (S201). Specifically, the generating unit 102 detects, as the first natural tooth region, a region in the RGB image that satisfies both a first condition that the green pixel value (G) is equal to or greater than a predetermined first threshold value, and a second condition that the respective differences between the green pixel value (G), red pixel value (R), and blue pixel value (B) are less than a predetermined third threshold value.
  • excitation light blue light
  • excitation fluorescence is emitted from the dentin. This excitation fluorescence passes through the enamel. This causes the natural tooth to fluoresce green.
  • blue light is irradiated onto a filling in a caries treatment scar, it appears dark (low brightness) in the image captured by the camera, unlike when white light is irradiated.
  • natural teeth covered with enamel appear bright (high brightness) in the image. Therefore, by extracting this green fluorescence according to the first condition, it is possible to identify the area of the natural tooth and exclude the area of the artificial tooth.
  • the red, green, and blue pixel values are small, so that when the data values vary, the gain varies widely, and the hue of the natural tooth, which is a high-brightness part, varies widely.
  • the natural tooth, which should be displayed in white varies greatly in the red and blue directions. Therefore, by extracting the area of the natural tooth excluding the area of the artificial tooth as the tooth region and performing white balance adjustment processing, it is possible to adjust the white balance more appropriately.
  • the second condition is specifically a condition that (1) the absolute value of the difference between the red pixel value (R) and the green pixel value (G) (abs(R-G)) is less than the threshold value rg_th, (2) the absolute value of the difference between the green pixel value (G) and the blue pixel value (B) (abs(G-B)) is less than the threshold value gb_th, and (3) the absolute value of the difference between the blue pixel value (B) and the red pixel value (R) (abs(B-R)) is less than the threshold value gb_th.
  • the threshold values rg_th, gb_th, and br_th may be the same value or different values.
  • the luminance value (Y) may be used instead of the green pixel value (G).
  • the luminance value (Y) is calculated using the above-mentioned formula 3.
  • the ratio of green pixel values to luminance values is high, so detection can be performed using luminance values in the same way as when green pixel values are used.
  • first condition only one of the first condition and the second condition may be used.
  • first condition only the first condition may be used.
  • FIG. 13 is a diagram showing an example of a detected first natural tooth region 251. Note that for the sake of explanation, FIG. 13 shows the shape of teeth, etc. in addition to the first natural tooth region 251, but the detected information does not necessarily have to include the shape of teeth, etc. This also applies to FIG. 14 and FIG. 15.
  • the area including the area of the natural tooth 241 and the area of the gums 243 is detected as the first natural tooth area 251.
  • the first natural tooth area 251 does not include the area of the artificial tooth 242.
  • the first natural tooth region 251 includes the entire area of the gums 243, depending on the shooting conditions, there may be cases in which only a portion of the area of the gums 243 is included in the first natural tooth region 251, or where the area of the gums 243 is not included in the first natural tooth region 251.
  • the generating unit 102 generates an HSV image by converting the color space of the RGB image (first RGB image) into an HSV space (S202).
  • the generating unit 102 detects a gingival region using the HSV image (S203). Specifically, the generating unit 102 detects a region whose hue (H) falls within a predetermined range as the gingival region.
  • FIG. 14 is a diagram showing an example of a detected gum region 252. As shown in FIG. 14, the gum 243 region is detected as the gum region 252. Note that, although an example of detecting the gum region is shown here, in addition to the gums, lips, etc. may also be detected as the gum region 252.
  • FIG. 15 is a diagram showing an example of the second natural tooth area 253.
  • the second natural tooth area 253 includes the area of the natural tooth 241, but does not include the areas of the artificial tooth 242 and the gums 243.
  • the generating unit 102 determines the third natural tooth region by excluding small regions from the second natural tooth region 253 (S205).
  • a small region is, for example, a region whose area is smaller than a predetermined value. This makes it possible to prevent high-brightness regions caused by reflected light, etc., outside the natural tooth region (for example, the gum region) from being erroneously determined to be a natural tooth region.
  • the generating unit 102 determines the fourth natural tooth region by expanding the third natural tooth region (S206). Specifically, the generating unit 102 determines the fourth natural tooth region as an area obtained by expanding the boundary of the third natural tooth region outward by a predetermined amount. This makes it possible to add the boundary between the teeth and gums, etc. to the natural tooth region, and prevents the plaque region from being displayed excessively.
  • the generating unit 102 finally detects the fourth natural tooth area as the natural tooth area to be used in the white balance adjustment process.
  • the image data obtained by the intraoral camera 10 is an RGB image, but it may be a CMYG image obtained by a CMYG complementary color filter of four colors, cyan, magenta, yellow, and green.
  • the CMYG image may be converted into an RGB image by a calculation using an approximation formula, and the mobile terminal 70 may perform image processing on the converted RGB image.
  • the conversion from the CMYG image to the RGB image may be performed by the intraoral camera 10, the mobile terminal 70, or another information processing device.
  • Mg stands for magenta
  • Ye stands for yellow
  • Cy stands for cyan
  • the intraoral camera system according to the embodiment of the present disclosure has been described above, but the present disclosure is not limited to this embodiment.
  • the intraoral camera 10 is used primarily for photographing teeth, but the intraoral camera 10 may also be an oral care device equipped with a camera.
  • the intraoral camera 10 may also be an oral irrigator equipped with a camera.
  • each processing unit included in the intraoral camera system according to the above embodiment is typically realized as an LSI, which is an integrated circuit. These may be individually implemented as single chips, or may be integrated into a single chip that includes some or all of them.
  • the integrated circuit is not limited to LSI, but may be realized by a dedicated circuit or a general-purpose processor. It is also possible to use an FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI.
  • FPGA Field Programmable Gate Array
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • the present disclosure may also be realized as an image display method executed by an intraoral camera system.
  • the present disclosure may also be realized as an intraoral camera, a mobile terminal, or a cloud server included in an intraoral camera system.
  • the division of functional blocks in the block diagram is one example, and multiple functional blocks may be realized as one functional block, one functional block may be divided into multiple blocks, or some functions may be transferred to other functional blocks. Furthermore, the functions of multiple functional blocks having similar functions may be processed in parallel or in a time-shared manner by a single piece of hardware or software.
  • This disclosure can be applied to intraoral camera systems.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

画像処理方法は、青色光の波長域を含む光を歯牙に照射することで蛍光反応している歯牙及び歯垢を撮影することで得られた第１ＲＧＢ画像（２００）を取得し（Ｓ１１１）、第１ＲＧＢ画像（２００）に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像（２１０）を生成し（Ｓ１１３）、第１画像処理は、処理対象のＲＧＢ画像のうちの歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。

Description

画像処理方法、画像処理装置、及び、プログラム
　本開示は、画像処理方法、画像処理装置、及び、プログラムに関する。
　口腔内の歯牙の画像を撮影する口腔内カメラシステムが特許文献１に開示されている。
特開２０１９－１４１５８２号公報
　このような、口腔内カメラシステムでは、歯牙の画像において歯垢が付着している領域である歯垢領域を容易に特定できることが望まれている。
　そこで、本開示は、歯牙の画像における歯垢領域を容易に特定できる画像処理方法などを提供する。
　本開示の一態様に係る画像処理方法は、青色光の波長域を含む光を歯牙に照射することで蛍光反応している前記歯牙および歯垢を撮影することで得られた第１ＲＧＢ画像を取得し、前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、前記第１画像処理は、処理対象のＲＧＢ画像のうちの前記歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
　本開示に係る画像処理方法などは、歯牙の画像における歯垢領域を容易に特定できる。
図１Ａは、実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。 図１Ｂは、実施の形態に係る口腔内カメラシステムにおける口腔内カメラに組み込まれた撮影光学系を概略的に示す断面図である。 図２は、実施の形態に係る口腔内カメラシステムの概略的構成図である。 図３は、実施の形態に係る口腔内カメラシステムにおける口腔内撮影動作の流れを示す図である。 図４は、実施の形態に係る携帯端末の機能ブロック図である。 図５は、上顎の前歯を頬側（唇側）から撮影している状態を示す図である。 図６Ａは、図５に示した状態で撮影した前歯の第１ＲＧＢ画像の一例を示す図である。 図６Ｂは、青色光カットフィルタがない状態で、青色光の波長域を含む光を歯牙に照射したときの、歯垢領域と歯牙の領域の色差データの一例を示す図である。 図６Ｃは、青色光カットフィルタを用いて、青色光の波長域を含む光を歯牙に照射したときの、歯垢領域と歯牙の領域の色差データの一例を示す図である。 図６Ｄは、青色光カットフィルタがない状態で、青色光の波長域を含む光と白色光を歯牙に照射したときの、歯垢領域と歯牙の領域の色差データの一例を示す図である。 図７Ａは、図５に示した状態で撮影した前歯の第２ＲＧＢ画像の一例を示す図である。 図７Ｂは、青色光カットフィルタがない状態で、青色光の波長域を含む光を歯牙に照射したとき、露出制御処理及びホワイトバランス調整処理を行った後の、歯垢領域と歯牙の領域の色差データの一例を示す図である。 図７Ｃは、青色光カットフィルタを用いて、青色光の波長域を含む光を歯牙に照射したとき、露出制御処理及びホワイトバランス調整処理を行った後の、歯垢領域と歯牙の領域の色差データの一例を示す図である。 図７Ｄは、青色光カットフィルタがない状態で、青色光の波長域を含む光と白色光を歯牙に照射したとき、露出制御処理及びホワイトバランス調整処理を行った後の、歯垢領域と歯牙の領域の色差データの一例を示す図である。 図８は、図５に示した状態で撮影した前歯の第４ＲＧＢ画像の一例を示す図である。 図９は、図５に示した状態で撮影した前歯の第４ＲＧＢ画像の他の一例を示す図である。 図１０は、携帯端末における画像処理のフローチャートである。 図１１は、天然歯牙の領域の検出処理の詳細を示すフローチャートである。 図１２は、ＲＧＢ画像（第１ＲＧＢ画像）の例を示す図である。 図１３は、検出される第１天然歯牙領域の例を示す図である。 図１４は、検出された歯肉領域の例を示す図である。 図１５は、第２天然歯牙領域の例を示す図である。
　本開示の第１の態様に係る画像処理方法は、青色光の波長域を含む光を歯牙に照射することで蛍光反応している前記歯牙および歯垢を撮影することで得られた第１ＲＧＢ画像を取得し、前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、前記第１画像処理は、処理対象のＲＧＢ画像のうちの前記歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　これによれば、第１画像処理を行うことで、蛍光反応している歯牙が撮影されている第１ＲＧＢ画像のホワイトバランスを調整することができる。このため、歯牙において歯垢が付着している領域である歯垢領域を区別しやすい第２ＲＧＢ画像を生成することができる。よって、歯牙の画像における歯垢領域を容易に特定することができる。これにより、例えば、歯磨き後の歯牙の画像を撮影し、歯垢領域を特定することで、磨き残しの領域をユーザに提示することができる。
　本開示の第２の態様に係る画像処理方法は、第１の態様に係る画像処理方法であって、前記第１画像処理は、処理対象のＲＧＢ画像のうちの天然歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　本開示の第３の態様に係る画像処理方法は、第１の態様または第２の態様に係る画像処理方法であって、さらに、前記第２ＲＧＢ画像の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成し、前記ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、前記第２ＲＧＢ画像における前記特定画素領域に対して彩度強調処理を行うことで第４ＲＧＢ画像を生成する。
　これによれば、第２ＲＧＢ画像において歯垢領域としての特定画素領域を特定し、特定画素領域に対して彩度強調処理を行うため、さらに、歯垢領域を区別しやすい第３ＲＧＢ画像を生成することができる。よって、歯牙の画像における歯垢領域を容易に特定することができる。
　本開示の第４の態様に係る画像処理方法は、第１の態様または第２の態様に係る画像処理方法であって、さらに、前記第２ＲＧＢ画像の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成し、前記ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、前記第２ＲＧＢ画像における前記特定画素領域を所定パターンで置き換えることで第４ＲＧＢ画像を生成する。
　これによれば、第２ＲＧＢ画像において歯垢領域としての特定画素領域を特定し、特定画素領域を所定パターンで置き換えるため、さらに、歯垢領域を区別しやすい第４ＲＧＢ画像を生成することができる。よって、歯牙の画像における歯垢領域を容易に特定することができる。
　本開示の第５の態様に係る画像処理方法は、第１の態様から第４の態様のいずれか１つの態様に係る画像処理方法であって、前記画像処理は、さらに、第２画像処理を含み、前記第２画像処理は、処理対象のＲＧＢ画像に含まれる複数の第２画素がそれぞれ有する複数の第２画素値から算出した複数の指標値の平均値が所定値になるようにゲインを決定し、決定した前記ゲインを前記処理対象のＲＧＢ画像に適用することで第３ＲＧＢ画像を生成する処理であり、前記第１画像処理は、前記第３ＲＧＢ画像を処理対象とする処理である。
　これによれば、複数の第２画素の輝度値のゲインを調整することで露出制御処理を行うため、撮影条件にバラツキがあっても複数の輝度値の条件を一定にすることができる。つまり、第１画像処理を行う処理対象の第３ＲＧＢ画像の輝度分布の条件を撮影条件によらず一定にすることができるため、より効果的に第１画像処理を行うことができる。
　本開示の第６の態様に係る画像処理方法は、第５の態様に係る画像処理方法であって、前記複数の指標値の平均値は、前記第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの最大平均値を有する色成分の平均値である。
　本開示の第７の態様に係る画像処理方法は、第５の態様に係る画像処理方法であって、前記複数の指標値は、前記複数の第２画素値のそれぞれについて、当該第２画素値に含まれる赤画素値、緑画素値、及び、青画素値に基づいて算出することで得られる。
　本開示の第８の態様に係る画像処理方法は、第５の態様に係る画像処理方法であって、前記複数の第２画素は、前記第１ＲＧＢ画像を構成する複数の第３画素のうち、最大の色成分の画素値が第１閾値より小さく、かつ、最小の色成分の画素値が第２閾値以下であることを満たす画素である。
　このため、第１ＲＧＢ画像において照射している光による反射の影響を強く受けている領域を除外して、第２画像処理を行うことができる。
　本開示の第９の態様に係る画像処理方法は、第１の態様から第４の態様のいずれか１つの態様に係る画像処理方法であって、さらに、前記第１ＲＧＢ画像が撮影された口腔内位置を検出し、前記口腔内位置と、前記第２ＲＧＢ画像とを対応付けて記憶する。
　このため、第２ＲＧＢ画像または第４ＲＧＢ画像に含まれる歯牙の口腔内位置を容易に特定することができる。
　本開示の第１０の態様に係る画像処理装置は、青色光の波長域を含む光を歯牙に照射することで蛍光反応している前記歯牙及び歯垢を撮影することで得られた第１ＲＧＢ画像を取得する取得部と、前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成する生成部と、を備え、前記第１画像処理は、処理対象のＲＧＢ画像のうちの前記歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　これによれば、第１画像処理を行うことで、蛍光反応している歯牙が撮影されている第１ＲＧＢ画像のホワイトバランスを調整することができる。このため、歯牙において歯垢が付着している領域である歯垢領域を区別しやすい第２ＲＧＢ画像を生成することができる。よって、歯牙の画像における歯垢領域を容易に特定することができる。これにより、例えば、歯磨き後の歯牙の画像を撮影し、歯垢領域を特定することで、磨き残しの領域をユーザに提示することができる。
　本開示の第１１の態様に係る画像処理装置は、第１０の態様に係る画像処理装置であって、前記第１画像処理は、処理対象のＲＧＢ画像のうちの天然歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　本開示の第１２の態様に係るプログラムは、第１の態様から第９の態様のいずれか１つの態様に係る画像処理方法をコンピュータに実行させるためのプログラムである。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態）
　図１Ａは、本実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。図１Ａに示すように、口腔内カメラ１０は、片手で取り扱うことが可能な歯ブラシ状の筺体を備え、その筺体は、歯列撮影時にユーザの口腔内に配置されるヘッド部１０ａと、ユーザが把持するハンドル部１０ｂと、ヘッド部１０ａとハンドル部１０ｂとを接続するネック部１０ｃとを含んでいる。
　撮影光学系１２は、ヘッド部１０ａとネック部１０ｃとに組み込まれている。撮影光学系１２は、その光軸ＬＡ上に配置された撮像素子１４とレンズとを含んでいる。
　図１Ｂに示すように、本実施の形態の場合、口腔内カメラ１０の撮影光学系１２は、ヘッド部１０ａとネック部１０ｃとに組み込まれている。撮影光学系１２は、その光軸ＬＡ上に配置された撮像素子１４とレンズ１６とを含んでいる。
　撮像素子１４は、例えばＣ－ＭＯＳセンサまたはＣＣＤ素子などの撮影デバイスであって、レンズ１６によって歯牙Ｄの像が結像される。その結像した像に対応する信号（画像データ）を、撮像素子１４は外部に出力する。
　レンズ１６は、例えば集光レンズであって、入射した歯牙Ｄの像を撮像素子１４に結像する。なお、レンズ１６は、１つのレンズであってもよいし、複数のレンズから構成されるレンズ群であってもよい。
　本実施の形態１の場合、撮影光学系１２はさらに、歯牙Ｄの像をレンズ１６に向かって反射するミラー１８と、ミラー１８とレンズ１６との間に配置された青色光カットフィルタ（青色遮断要素）２０と、レンズ１６と撮像素子１４との間に配置された絞り２４とを含んでいる。
　ミラー１８は、撮影光学系１２の入射口１２ａを通過した歯牙Ｄの像をレンズ１６に向かって反射するように、撮影光学系１２の光軸ＬＡ上に配置されている。
　青色光カットフィルタ２０は、撮像素子１４に入射する光に含まれる青色波長の光成分をカットするフィルタである。青色光の波長域を含む光を歯牙に照射し、歯垢を検出する場合、歯垢の励起蛍光を強くするため青色光の波長域を含む光を強くすると第１ＲＧＢ画像の全体が青色を帯びる。この状態は、青画素値が赤画素値及び緑画素値に比べて支配的になるため、後述する画像処理（露出制御処理及びホワイトバランス調整処理）を行うことで歯垢領域を区別しやすくできる効果が小さくなる場合がある。この対処として、青色光カットフィルタ２０が撮像素子１４に入射する前の光から青色光の波長域を含む光をカットする。
　絞り２４は、撮影光学系１２の光軸ＬＡ上に貫通穴を備える板状部材であって、深い焦点深度を実現する。これにより、口腔内の奥行方向についてピントを合わせることができ、輪郭が明瞭な歯列画像を得ることができる。
　また、口腔内カメラ１０は、撮影時に撮影対象の歯牙Ｄに対して光を照射する照明デバイスとして、複数の第１～第４のＬＥＤ２６Ａ～２６Ｄを搭載している。第１～第４のＬＥＤ２６Ａ～２６Ｄは、例えば青色ＬＥＤである。また、図１Ａに示すように、本実施の形態１の場合、第１～第４のＬＥＤ２６Ａ～２６Ｄが、入射口１２ａを囲むように配置されている。なお、歯茎Ｇなどが第１～第４のＬＥＤ２６Ａ～２６Ｄに当接して照明光が不足しないように、第１～第４のＬＥＤ２６Ａ～２６Ｄと入射口１２ａとを覆う透光性のカバー２８がヘッド部１０ａに設けられている。なお、第１～第４のＬＥＤ２６Ａ～２６Ｄの一部を白色ＬＥＤとしてもよい。第１～第４のＬＥＤ２６Ａ～２６Ｄの一部を白色ＬＥＤとすることで、第１ＲＧＢ画像を明るくすることができ、青画素値の赤画素値及び緑画素値に対するバランスを改善することができる。
　さらに、本実施の形態の場合、口腔内カメラ１０は、図１Ｂに示すように、構図調節機構３０と焦点調節機構３２とを有する。
　構図調節機構３０は、撮像素子１４とレンズ１６とを保持する筺体３４と、筺体３４を光軸ＬＡの延在方向に移動させるアクチュエータ３６とから構成される。アクチュエータ３６が筺体３４の位置を調節することにより、画角が調節される、すなわち撮像素子１４に結像する歯列の大きさが調節される。なお、構図調節機構３０は、例えば１つの歯牙全体が撮影画像に写るように筺体３４の位置を自動的に調節する。また、構図調節機構３０は、ユーザの操作に基づいて、ユーザが所望する画角になるように筺体３４の位置を調節する。
　焦点調節機構３２は、構図調節機構３０の筺体３４内に保持され、レンズ１６を保持するレンズホルダ３８と、レンズホルダ３８を光軸ＬＡの延在方向に移動させるアクチュエータ４０とから構成される。アクチュエータ４０が撮像素子１４に対するレンズホルダ３８の相対位置を調節することにより、焦点が調節される、すなわちピントが調節される。なお、焦点調節機構３２は、例えば撮影画像の中央に位置する歯牙にピントが合うようにレンズホルダ３８の位置を自動的に調節する。また、焦点調節機構３２は、ユーザの操作に基づいて、レンズホルダ３８の位置を調節する。
　なお、ミラー１８を除く撮影光学系１２の構成要素は、口腔内カメラ１０のハンドル部１０ｂｃに設けられてもよい。
　撮像素子１４は、例えばＣ－ＭＯＳセンサまたはＣＣＤ素子などの撮影デバイスであって、レンズによって歯牙の像が結像される。その結像した像に対応する信号（画像データ）を、撮像素子１４は外部に出力する。撮像素子１４により出力される画像は、当該画像を構成する複数の画素のそれぞれがＲＧＢのサブ画素を有するＲＧＢ画像である。
　また、口腔内カメラ１０は、撮影時に撮影対象の歯牙に対して光を照射する照明デバイスとして、複数の第１～第４のＬＥＤ２６Ａ～２６Ｄを搭載している。第１～第４のＬＥＤ２６Ａ～２６Ｄは、例えば、４０５ｎｍをピークとする波長を有する青色光を照射する青色ＬＥＤである。なお、第１～第４のＬＥＤ２６Ａ～２６Ｄは、青色光の波長域を含む光を照射する光源であればよく、青色ＬＥＤに限るものではない。
　図２は、本実施の形態に係る口腔内カメラシステムの概略的構成図である。図２に示すように、本実施の形態に係る口腔内カメラシステムは、概略的には、口腔内カメラ１０を用いて歯列を撮影し、その撮影画像に対して画像処理を実行するように構成されている。
　図２に示すように、口腔内カメラシステムは、口腔内カメラ１０と、携帯端末７０と、クラウドサーバ８０とを含んでいる。携帯端末７０は、例えば、無線通信可能なスマートフォン又はタブレット端末等である。携帯端末７０は、入力デバイス及び出力デバイスとして、例えば歯列画像を表示可能なタッチスクリーン７２を備える。携帯端末７０は、口腔内カメラシステムのユーザインタフェースとして機能する。
　クラウドサーバ８０は、携帯端末７０に対してインターネットなどを介して通信可能なサーバであって、携帯端末７０に口腔内カメラ１０を使用するためのアプリケーションを提供する。例えば、ユーザがアプリケーションをクラウドサーバ８０からダウンロードして携帯端末７０にインストールする。また、クラウドサーバ８０は、口腔内カメラ１０によって撮影された歯列画像を、携帯端末７０を介して取得する。
　口腔内カメラシステムは、システムの制御を行う主要部分として中央制御部５０と、複数のＬＥＤ２６Ａ～２６Ｄを制御するＬＥＤ制御部５４と、構図調節機構のアクチュエータ３６と焦点調節機構のアクチュエータ４０を制御するレンズドライバ５６と、位置センサ９０とを含んでいる。
　また、口腔内カメラシステムは、携帯端末７０と無線通信を行う無線通信モジュール５８と、中央制御部５０などに電力供給を行う電源制御部６０とを有する。
　口腔内カメラシステムの中央制御部５０は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載されている。例えば、また、中央制御部５０は、後述する様々な処理を実行するＣＰＵやＭＰＵなどのコントローラ６２と、コントローラ６２に様々な処理を実行させるためのプログラムを記憶するＲＡＭやＲＯＭなどのメモリ６４とを含んでいる。なお、メモリ６４には、プログラム以外に、撮像素子１４によって撮影された歯列画像（画像データ）や種々の設定データなどが記憶される。撮像素子１４によって撮影された歯列画像は、第１ＲＧＢ画像の一例である。
　コントローラ６２は、撮像素子１４から出力された歯列画像を、無線通信モジュール５８を介して携帯端末７０に送信する。携帯端末７０は、その送信された歯列画像をタッチスクリーン７２に表示し、それによりユーザに歯列画像を提示する。
　ＬＥＤ制御部５４は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄの点灯および消灯を実行する。ＬＥＤ制御部５４は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して口腔内カメラ１０を起動させる操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介してコントローラ６２に送信される。コントローラ６２は、受信した信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄを点灯させるようにＬＥＤ制御部５４に制御信号を送信する。
　レンズドライバ５６は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、構図調節機構のアクチュエータ３６と焦点調節機構のアクチュエータ４０を制御する。レンズドライバ５６は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して構図調節やピント調節に関する操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介して中央制御部５０に送信される。中央制御部５０のコントローラ６２は、受信した信号に基づいて、構図調節やピント調節を実行するようにレンズドライバ５６に制御信号を送信する。また例えば、コントローラ６２が撮像素子１４からの歯列画像に基づいて構図調節やピント調節に必要なアクチュエータ３６、４０の制御量を演算し、その演算された制御量に対応する制御信号がレンズドライバ５６に送信される。
　無線通信モジュール５８は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、携帯端末７０と無線通信を行う。無線通信モジュール５８は、例えばＷｉＦｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの既存の通信規格に準拠した無線通信を携帯端末７０との間で実行する。無線通信モジュール５８を介して、口腔内カメラ１０から歯牙Ｄが写る歯列画像が携帯端末７０に送信されたり、携帯端末７０から口腔内カメラ１０に操作信号が送信される。
　電源制御部６０は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０、ＬＥＤ制御部５４、レンズドライバ５６、および無線通信モジュール５８に、電池６６の電力を分配する。電源制御部６０は、例えば回路で構成される。なお、本実施の形態の場合、電池６６は、充電可能な二次電池であって、口腔内カメラ１０に搭載されたコイル６８を介して、商用電源に接続された外部の充電器６９によってワイヤレス充電される。
　位置センサ９０は、口腔内カメラ１０の姿勢及び位置を検出するためのセンサであり、例えば、多軸（ここではｘ，ｙ，ｚの三軸）の加速度センサである。例えば、位置センサ９０は、三軸の加速度センサと三軸のジャイロセンサとを有する六軸センサであってもよい。例えば、図１に示すように、ｚ軸は光軸ＬＡに一致する。ｙ軸は、撮像面と平行であり、かつ口腔内カメラ１０の長手方向に延びる。また、ｘ軸は、撮像面と平行であり、ｙ軸と直交する。位置センサ９０の各軸の出力は、中央制御部５０及び無線通信モジュール５８を介して、携帯端末７０に送信されてもよい。
　位置センサ９０としては、ピエゾ抵抗タイプ、静電容量タイプ、もしくは熱検知タイプのＭＥＭＳセンサが用いられてもよい。また特に図示しないが、各軸のセンサの感度のバランス、感度の温度特性、温度ドリフトなどを補正するための補正回路を設けるとよい。また、動加速度成分やノイズを除去するためのバンドパスフィルタ（ローパスフィルタ）を設けてもよい。また、加速度センサの出力波形を平滑化することによりノイズを低減してもよい。
　次に、口腔内カメラシステムにおける口腔内撮影動作について説明する。図３は、口腔内カメラシステムにおける口腔内撮影動作の流れを示す図である。なお、図３に示す処理は、例えば、リアルタイムに行われる処理であり、１フレーム又は複数フレームの画像データが得られる毎に行われる。
　ユーザが口腔内カメラ１０を用いて、自身の口腔内の歯牙及び歯茎を撮影することで画像データが生成される（Ｓ１０１）。次に、口腔内カメラ１０は、撮影された画像データを携帯端末７０に送信する（Ｓ１０２）。なお、ここで、画像データは、動画であってもよいし、１又は複数の静止画であってもよい。また、画像データが動画又は複数の静止画である場合には、動画のフレーム毎、又は静止画毎に、センサデータが送信されてもよい。なお、画像データが動画である場合において複数フレーム毎にセンサデータが送信されてもよい。
　また、画像データの送信は、リアルタイムで行われてもよいし、一連の撮影（例えば口腔内の全ての歯牙の撮影）が行われた後にまとめて送信されてもよい。
　携帯端末７０は、受信した画像データ（第１ＲＧＢ画像）に対して画像処理し（Ｓ１０３）、画像処理後の画像データを表示する（Ｓ１０４）。
　このような、口腔内カメラシステムを用いることで、ユーザは、口腔内カメラ１０でユーザ自身の口腔内の画像を撮影し、携帯端末７０に表示された口腔内の状態を確認できる。これにより、ユーザは自身の歯牙の健康状態の確認などを容易に行うことができる。
　また、携帯端末７０は、例えば、撮影された複数の画像データから、口腔内の複数の歯牙の三次元モデルを生成してもよい。また、携帯端末７０は、生成された三次元モデルに基づく画像を表示してもよい。
　なお、ここでは、携帯端末７０が歯牙の画像の画像処理を行う例を述べるが、この処理の一部又は全てを口腔内カメラ１０が行ってもよい。携帯端末７０は、画像処理装置の一例である。
　図４は、携帯端末７０の機能ブロック図である。携帯端末７０は、取得部１０１と、生成部１０２と、表示部１０３とを備える。
　取得部１０１は、口腔内カメラ１０から送信された画像データ（第１ＲＧＢ画像）を取得する。取得部１０１は、口腔内カメラ１０から、画像データの他にセンサデータを取得してもよい。第１ＲＧＢ画像は、口腔内カメラ１０が青色光の波長域を含む光を歯牙に照射することで蛍光反応している歯牙を撮影することで得られた画像である。
　生成部１０２は、第１ＲＧＢ画像に対して、露出制御処理（第２画像処理）を行うことで第３ＲＧＢ画像を生成し、第３ＲＧＢ画像に対してホワイトバランス調整処理（第１画像処理）を行うことで第２ＲＧＢ画像を生成してもよい。
　（露出制御処理）
　露出制御処理では、生成部１０２は、まず、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素（第３画素）のうちで、ＲＧＢの値が下記の式１及び式２を満たす複数の画素を抽出する。
　ｍｉｎ（Ｒ，Ｇ，Ｂ）≦Ｔｈｓ、ａｎｄ、ｍａｘ（Ｒ，Ｇ，Ｂ）＜Ｔｈｍａｘ　　　　　　　　　　　　　　　　　　　　　　　　　　　　（式１）
　Ｇｍａｘ　－　Ｇ　≦　Ｔｈｂ　　　　　　　　　　　　　　　（式２）
　ｍｉｎ（Ｒ，Ｇ，Ｂ）は、第１ＲＧＢ画素が有するＲＧＢそれぞれの３つのサブピクセルの画素値（つまり、赤画素値、緑画素値、及び、青画素値）のうちの最小値を示す。
　Ｔｈｓは、第１ＲＧＢ画像において照射している光による反射の影響を強く受けている領域（例えば、光沢領域）を除外するための閾値である。Ｔｈｓは、例えば、１０ｂｉｔ表現において９００である。
　ｍａｘ（Ｒ，Ｇ，Ｂ）は、第１ＲＧＢ画素が有するＲＧＢの３つのサブピクセルの画素値（つまり、赤画素値、緑画素値、及び、青画素値）のうちの最大値を示す。
　Ｔｈｍａｘは、画素値が取り得る最大値を示す。Ｔｈｍａｘは、例えば、１０ｂｉｔ表現において１０２３で表される。Ｔｈｍａｘは、第１閾値の一例である。
　Ｇｍａｘは、第１ＲＧＢ画像中の複数の緑画素値の最大値である。つまり、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素の緑画素のうち、最大の画素値を有する緑画素の画素値である。Ｔｈｂは、第１ＲＧＢ画素中から第２画素の緑画素を抽出するための閾値である。Ｔｈｂの値を大きくすると画像が明るくなり過ぎるため、例えば、１０ｂｉｔ表現において１０以下の値に設定される。
　式１により、光沢領域が除外され、式２により、第１ＲＧＢ画像中の歯牙の領域が抽出される。つまり、式１及び式２により抽出される複数の画素は、歯牙の領域を構成する複数の第２画素である。このように、複数の第２画素は、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素（第３画素）のうち、最大の色成分の画素値ｍａｘ（Ｒ，Ｇ，Ｂ）が第１閾値（Ｔｈｍａｘ）より小さく、かつ、最小の色成分の画素値ｍｉｎ（Ｒ，Ｇ，Ｂ）が第２閾値（Ｔｈｓ）以下であることを満たす画素である。
　生成部１０２は、複数の第２画素の緑画素の平均値を算出し、算出した緑画素の平均値に応じて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定する。生成部１０２は、例えば、下記の式３を用いて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定する。ゲインは、目標画素値を緑画素の平均値で除算することで得られる。生成部１０２は、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素のそれぞれに決定したゲインを乗じることで、第３ＲＧＢ画像を生成する。より具体的には、生成部１０２は、複数の第１ＲＧＢ画素のそれぞれについて、当該第１ＲＧＢ画素が有する３つのサブピクセルの画素値に、決定したゲインを乗じることで、第３ＲＧＢ画像を生成する。言い換えると、第３ＲＧＢ画像を構成する複数の第３ＲＧＢ画素の画素値は、第１ＲＧＢ画像を構成する複数の第１ＲＧＢ画素の画素値に、決定したゲインを乗じて算出された画素値である。なお、生成部１０２は、ゲインを乗じることで画素値が最大値（１０ｂｉｔ表現の場合は１０２３）を超える場合、当該画素値を１０２３に置き換える。
　上記説明では、式２で第１ＲＧＢ画素中から抽出した複数の第２画素の緑画素の平均値を算出し、算出した緑画素の平均値に応じて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定したが、これに限定されない。第１ＲＧＢ画素中から抽出した複数の第２画素の赤画素の平均値を算出し、算出した赤画素の平均値に応じて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定してもよい。同様に、第１ＲＧＢ画素中から抽出した複数の第２画素の青画素の平均値を算出し、算出した青画素の平均値に応じて、ＲＧＢの３つのサブピクセルの画素値に乗ずるゲインを決定してもよい。
　以上のように、露出制御処理は、処理対象のＲＧＢ画像（ここでは、第１ＲＧＢ画像）に含まれる複数の第２画素（歯牙の領域に対応する画素）がそれぞれ有する複数の第２画素値から算出した複数の指標値の平均値が所定値になるように複数の第２画素値に対するゲインを決定し、決定したゲインを第１ＲＧＢ画像が備える複数の第１ＲＧＢ画素が有する複数の第１ＲＧＢ画素値に適用することで、第３ＲＧＢ画像を生成する処理である。なお、指標値は、１つの画素を構成するＲＧＢの３つのサブピクセルの画素値から算出された値であってもよいし、３つのサブピクセルのいずれか１つの画素値であってもよい。ここで、複数の指標値の平均値は、第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの最大画素値を有する色成分の平均値である。また、最大平均値を有する色成分は、第１ＲＧＢ画像を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、複数の第１画素が有する複数の青画素値の第１青画素平均値との３つの平均値のうちで最大の平均値を有する色成分である。なお、最大平均値を有する色成分は、第１赤画素平均値と、第１緑画素平均値と、第１青画素平均値とを算出して比較しなくてもよく、緑成分に固定で決定されていてもよい。
　なお、生成部１０２は、ゲインの決定において、複数の第２画素の緑画素の平均値を算出し、算出した緑画素の平均値に応じてゲインを決定するとしたが、これに限らない。生成部１０２は、複数の第２画素の輝度値の平均値を複数の指標値の平均値として算出し、算出した輝度値の平均値に応じてゲインを決定してもよい。このように、指標値は、１つの画素を構成するＲＧＢの３つのサブピクセルのいずれか１つの画素値であってもよいし、当該３つのサブピクセルの画素値から算出された値であってもよい。具体的には、生成部１０２は、複数の第２画素のそれぞれについて、当該第２画素が有する３つのサブピクセルのサブ画素値を用いて当該第２画素の輝度値を算出する。例えば、生成部１０２は、下記の式３を用いて輝度値を算出する。
　Ｙ＝０．２１＊Ｒ＋０．７２＊Ｇ＋０．０７＊Ｂ　　　　　（式３）
　式３においてＹは輝度値であり、Ｒは赤画素値であり、Ｇは緑画素値であり、Ｂは青画素値である。
　このように、複数の輝度値は、複数の画素値のそれぞれについて、当該画素値に含まれる赤画素値、緑画素値、及び、青画素値に基づいて算出することで得られてもよい。
　（ホワイトバランス調整処理）
　ホワイトバランス調整処理では、生成部１０２は、処理対象の第３ＲＧＢ画像を構成する複数の第３ＲＧＢ画素の内で、ＲＧＢの値が式１及び下記の式４を満たす複数の画素を抽出する。
　Ｔｈｌ≦Ｙ≦Ｔｈｕ　　　　　　　　　　　　　　　　　　　（式４）
　式４においてＴｈｌは歯牙の領域の下限値を示す閾値であり、Ｔｈｕは歯牙の領域の上限値を示す閾値である。
　式４により、第３ＲＧＢ画像中の歯牙の領域が抽出される。つまり、式１及び式４により抽出される複数の画素は、歯牙の領域を構成する複数の第２画素である。
　そして、生成部１０２は、式１及び式４を満たす歯牙の領域における複数の赤画素値の平均値である第１赤画素平均値Ｒａｖｅと、当該歯牙の領域における複数の緑画素値の平均値である第１緑画素平均値Ｇａｖｅと、当該歯牙の領域における複数の青画素値の平均値である第１青画素平均値Ｂａｖｅとを算出する。そして、生成部１０２は、第１赤画素平均値Ｒａｖｅと、第１緑画素平均値Ｇａｖｅと、第１青画素平均値Ｂａｖｅとが等しくなるように、処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分の少なくとも２つの色成分のゲインを調整する。
　具体的には、生成部１０２は、複数の赤画素値のゲイン（赤画素用ゲイン）を、第１緑画素平均値Ｇａｖｅを第１赤画素平均値Ｒａｖｅで除すことで算出する。また、生成部１０２は、複数の青画素値のゲイン（青画素用ゲイン）を、第１緑画素平均値Ｇａｖｅを第１青画素平均値Ｂａｖｅで除すことで算出する。そして、生成部１０２は、第３ＲＧＢ画像を構成する複数の第３ＲＧＢ画素のそれぞれの赤画素に赤画素用ゲインを乗じ、かつ、複数の第３ＲＧＢ画素のそれぞれの青画素に青画素用ゲインを乗じることで、第２ＲＧＢ画像を生成する。言い換えると、第２ＲＧＢ画像を構成する複数の第２ＲＧＢ画素の画素値は、第３ＲＧＢ画像を構成する複数の第３ＲＧＢ画素の赤画素値に赤画素用ゲインを乗じ、かつ、複数の第３ＲＧＢ画素の青画素値に青画素用ゲインを乗じて算出された画素値である。なお、生成部１０２は、緑画素平均値を基準として、赤画素用ゲイン及び青画素用ゲインを算出し各ゲインを対応する色成分の画素値に乗算することでホワイトバランス調整を行うとしたがこれに限らずに、赤画素平均値を基準として、緑画素用ゲイン及び青画素用ゲインを算出してもよいし、青画素平均値を基準として、赤画素用ゲイン及び緑画素用ゲインを算出してもよい。
　なお、生成部１０２は、ゲインを乗じることで画素値が最大値（１０ｂｉｔ表現の場合は１０２３）を超える場合、当該画素値を１０２３に置き換える。
　また、生成部１０２は、以下のような第３画像処理を第２ＲＧＢ画像に対して行うことで、第２ＲＧＢ画像における歯牙の領域内の歯垢領域を強調してもよい。具体的には、生成部１０２は、第２ＲＧＢ画像の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成する。そして、生成部１０２は、ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲（例えば、８ｂｉｔ表現で３０以上８０以下）内、色相が第２の所定範囲（例えば、８ｂｉｔ表現で１４０以上１７０以下）内、及び、明度が第３の所定範囲（例えば、８ｂｉｔ表現で１００以上１８０以下）内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を歯垢領域として特定する。なお、第１の所定範囲、第２の所定範囲及び第３の所定範囲は、実際の歯垢領域と歯牙の領域とＨＳＶ画像とを比較することで特定されればよく、上記の数値範囲に限るものではない。生成部１０２は、第２ＲＧＢ画像における歯垢領域に対して彩度強調処理を行うことで第４ＲＧＢ画像を生成する。なお、生成部１０２は、彩度強調処理を行う代わりに、歯垢領域を所定パターンに置き換えることで第４ＲＧＢ画像を生成してもよい。所定パターンは、例えば、一定の画素値を有するグラフィックスであってもよいし、特定の模様を含むグラフィックスであってもよい。
　表示部１０３は、携帯端末７０が備える表示デバイスであり、生成部１０２により画像処理が行われた後の画像を表示する。表示部１０３は、第２ＲＧＢ画像を表示してもよいし、第４ＲＧＢ画像を表示してもよい。
　（各種照射光での第１ＲＧＢ画像から検出した歯垢領域と歯牙領域の色差データ比較）
　（１）口腔内を青色光（ピーク波長は４０５ｎｍ）のみで照射した場合
　図５は、ユーザが口腔内カメラ１０を垂直に把持した状態で上顎の前歯を頬側（唇側）から撮影している状態を示す図である。図６Ａは口腔内を青色光（ピーク波長は４０５ｎｍ）で照射し、図５に示した状態で撮影した前歯の第１ＲＧＢ画像の一例を示す図である。
　また、図６Ｂは図６Ａで検出した歯垢領域２０１と歯牙の領域の色差データの一例を示す図である。なお、後述の青色光カットフィルタにより青色光の波長域を含む光をカットして撮影した前歯の第１ＲＧＢ画像から検出した歯垢領域２０１ならびに歯牙領域の色差データと比較するため、図６Ｂは図１Ｂに示した青色光カットフィルタ２０がない状態で撮影した第１ＲＧＢ画像から検出した歯垢領域２０１と歯牙の領域の色差データを示している。参考として、図６Ｂにおいて歯垢領域の色相の色差平均座標は（０．１６、０．０６）、歯牙領域の色相の色差平均座標は（０．２５、－０．０２）であった。なお、これらの色相の色差平均座標は参考値であり、青色光の強度やカメラの感度の影響で変わり得る値である。
　定量的可視光誘起蛍光法（ＱＬＦ法）でも知られているように、青色光が照射されると歯垢内のバクテリアが赤みを帯びたピンク色に蛍光することが知られている。また、青色光の波長域を含む光を歯牙に照射すると、象牙質から励起蛍光が発せられ、エナメル層を透過して緑色に発光することが知られている。一方で、唇や歯茎は青みを帯びるので、歯牙や歯垢は唇や歯茎と識別が容易である。
　（２）青色光カットフィルタで青色光の波長域を含む光をカットした場合
　ノイズを低減する方法として、青色光カットフィルタが有効である。図１Ｂに示したように、歯牙から反射して撮像素子１４に入射する前の光から青色光カットフィルタ２０により青色光の波長域を含む光をカットすることができる。
　図６Ｃは、青色光カットフィルタ２０により青色光の波長域を含む光をカットして撮影した前歯の第１ＲＧＢ画像から検出した歯垢領域２０１と歯牙の領域の色差データの一例を示す図である。参考として、図６Ｃにおいて歯垢領域の色相の色差平均座標は（０．０５８、０．０６８）、歯牙領域の色相の色差平均座標は（０．０５０、－０．００４）であった。なお、これらの色相の色差平均座標は参考値であり、青色光の強度やカメラの感度の影響で変わり得る値である。
　図６Ｂと図６Ｃを比較すると、青色光カットフィルタにより青色光の波長域を含む光をカットすることで、青色の彩度が低く（色が薄く）なる。歯垢領域は赤みを帯びたピンク色に蛍光するので、歯垢領域の明度を維持した状態で、歯牙領域の明度を抑えることができる。これにより、青画素値を低減させ、赤画素値、緑画素値との差を小さくすることで、赤画素値、緑画素値に乗算されるホワイトバランスゲインを小さくでき、ノイズを抑制する効果が得られる。
　（３）口腔内を青色光（ピーク波長は４０５ｎｍ）と白色光で照射した場合
　白色光を加えることで、第１ＲＧＢ画像における歯牙領域の赤画素値、緑画素値の値を大きくし、青色光のみで口腔内を照射した場合よりも露出補正ゲインを小さく抑えることができる。ただし、白色光の強度を上げていくと、歯垢領域の色相と歯茎や唇の色相との差が小さくなっていくため、歯茎や唇を歯垢と判断する誤検出を招きやすくなる。そのため、青色光の波長域を含む光の強度と白色光の強度の比率は、誤検出を避けるため、予め最適化しておく必要がある。
　なお、口腔内を青色光と白色光で照射するには、図１において第１～第４のＬＥＤ２６Ａ～２６Ｄの一部を白色ＬＥＤとすればよい。
　図６Ｄは、口腔内を青色光（ピーク波長は４０５ｎｍ）と白色光で照射して撮影した前歯の第１ＲＧＢ画像から検出した歯垢領域２０１と歯牙の領域の色差データの一例を示す図である。前述した青色光カットフィルタにより青色光の波長域を含む光をカットして撮影した前歯の第１ＲＧＢ画像から検出した歯垢領域２０１ならびに歯牙領域の色差データ（図６Ｃ）と比較するため、図６Ｄは図１Ｂに示した青色光カットフィルタ２０がない状態で撮影した第１ＲＧＢ画像から検出した歯垢領域２０１と歯牙の領域の色差データを示している。参考として、図６Ｄにおいて歯垢領域の色相の色差平均座標は（０．０８９、０．０４１）、歯牙領域の色相の色差平均座標は（０．１５、－０．０１３）であった。なお、これらの色相の色差平均座標は参考値であり、青色光、白色光の強度やカメラの感度の影響で変わり得る値である。
　図６Ｂと図６Ｄを比較すると、口腔内に青色光に加えて白色光を照射することで、歯垢領域の明度を維持した状態で、青みを帯びた歯牙領域の明度を抑える効果が確認できる。これにより、青画素値を低減させ、赤画素値、緑画素値との差を小さくすることで、赤画素値、緑画素値に乗算されるホワイトバランスゲインを小さくでき、ノイズを小さくする効果が得られる。
　（ホワイトバランス処理）
　携帯端末７０は、画像処理（露出制御処理及びホワイトバランス調整処理）を行うことで図７Ａに示されるように歯垢領域２１１を区別しやすい第２ＲＧＢ画像２１０を生成することができる。画像処理により、実質的に歯牙の領域が無色化されることで、歯垢領域２１１が区別しやすくなる。
　図７Ｂは、青色光カットフィルタがない状態で、青色光の波長域を含む光を歯牙に照射したとき、露出制御処理及びホワイトバランス調整処理を行った後の、歯垢領域と歯牙の領域の色差データの一例を示す図である。歯牙領域は実質的に白色と見なしている。参考として、図７Ｂにおいて歯垢領域の色相の色差平均座標は（０．０３３、０．０７１）であった。なお、これらの色相の色差平均座標は参考値であり、青色光の強度やカメラの感度の影響で変わり得る値である。
　同様に、図７Ｃは、青色光カットフィルタを用いて、青色光の波長域を含む光を歯牙に照射したとき、露出制御処理及びホワイトバランス調整処理を行った後の、歯垢領域と歯牙の領域の色差データの一例を示す図である。歯牙領域は実質的に白色と見なしている。参考として、図６Ｃにおいて歯垢領域の色相の色差平均座標は（０．０３３、０．０７１）であった。なお、これらの色相の色差平均座標は参考値であり、青色光の強度やカメラの感度の影響で変わり得る値である。
　同様に、図７Ｄは、青色光カットフィルタがない状態で、青色光の波長域を含む光と白色光を歯牙に照射したとき、露出制御処理及びホワイトバランス調整処理を行った後の、歯垢領域と歯牙の領域の色差データの一例を示す図である。歯牙領域は実質的に白色と見なしている。参考として、図６Ｄにおいて歯垢領域の色相の色差平均座標は（０．０１４、０．０４８）であった。なお、これらの色相の色差平均座標は参考値であり、青色光、白色光の強度やカメラの感度の影響で変わり得る値である。
　図７Ｂ～図７Ｄより、口腔内を照射する光源の種類によらず、歯垢領域の色相をほぼ同じく、赤みを帯びたピンク色に表示することができる。
　（歯垢領域の強調表示）
　図８は、図５に示した状態で撮影した前歯の第４ＲＧＢ画像の一例を示す図である。図９は、図５に示した状態で撮影した前歯の第４ＲＧＢ画像の他の一例を示す図である。
　携帯端末７０は、図６Ａに示されるように第１ＲＧＢ画像２００を口腔内カメラ１０から取得する。
　また、携帯端末７０は、さらに、第２ＲＧＢ画像２１０の歯垢領域２１１に対して彩度強調処理を行うことで図８に示されるように歯垢領域２２１を区別しやすい第４ＲＧＢ画像２２０を生成することができる。
　一方で、携帯端末７０は、さらに、第２ＲＧＢ画像２１０の歯垢領域２１１を所定パターンに置き換えることで図９に示されるように歯垢領域２３１が所定パターンに置き換えられた第４ＲＧＢ画像２３０を生成することができる。
　（画像処理フロー）
　図１０は、携帯端末７０における画像処理のフローチャートである。
　携帯端末７０は、第１ＲＧＢ画像を口腔内カメラ１０から取得する（Ｓ１１１）。
　次に、携帯端末７０は、第１ＲＧＢ画像に対して露出制御処理を行うことで第３ＲＧＢ画像を生成する（Ｓ１１２）。
　次に、携帯端末７０は、第３ＲＧＢ画像に対してホワイトバランス調整処理を行うことで第２ＲＧＢ画像を生成する（Ｓ１１３）。
　次に、携帯端末７０は、第２ＲＧＢ画像における歯垢領域を特定する（Ｓ１１４）。
　次に、携帯端末７０は、第２ＲＧＢ画像の歯垢領域に対して彩度強調処理を行うか、歯垢領域を所定パターンに置き換えることで第４ＲＧＢ画像を生成する（Ｓ１１５）。
　以上のように、本実施の形態に係る画像処理装置（例えば、携帯端末７０）は、取得部１０１と、生成部１０２とを備える。取得部１０１は、青色光の波長域を含む光を歯牙に照射することで蛍光反応している歯牙を撮影することで得られた第１ＲＧＢ画像を取得する。生成部１０２は、第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成する。第１画像処理は、処理対象のＲＧＢ画像のうちの歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である。
　これによれば、第１画像処理を行うことで、蛍光反応している歯牙が撮影されている第１ＲＧＢ画像のホワイトバランスを調整することができる。このため、歯牙において歯垢が付着している領域である歯垢領域を区別しやすい第２ＲＧＢ画像を生成することができる。よって、歯牙の画像における歯垢領域を容易に特定することができる。これにより、例えば、歯磨き後の歯牙の画像を撮影し、歯垢領域を特定することで、磨き残しの領域をユーザに提示することができる。
　また、本実施の形態に係る画像処理装置（例えば、携帯端末７０）において、さらに、第２ＲＧＢ画像の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成し、ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、第２ＲＧＢ画像における特定画素領域に対して彩度強調処理を行うことで第４ＲＧＢ画像を生成する。
　これによれば、第２ＲＧＢ画像において歯垢領域としての特定画素領域を特定し、特定画素領域に対して彩度強調処理を行うため、さらに、歯垢領域を区別しやすい第３ＲＧＢ画像を生成することができる。よって、歯牙の画像における歯垢領域を容易に特定することができる。
　また、本実施の形態に係る画像処理装置（例えば、携帯端末７０）において、さらに、第２ＲＧＢ画像の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成し、ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、第２ＲＧＢ画像における特定画素領域を所定パターンで置き換えることで第４ＲＧＢ画像を生成する。
　これによれば、第２ＲＧＢ画像において歯垢領域としての特定画素領域を特定し、特定画素領域を所定パターンで置き換えるため、さらに、歯垢領域を区別しやすい第４ＲＧＢ画像を生成することができる。よって、歯牙の画像における歯垢領域を容易に特定することができる。
　また、本実施の形態に係る画像処理装置（例えば、携帯端末７０）において、画像処理は、さらに、第２画像処理を含む。第２画像処理は、処理対象のＲＧＢ画像に含まれる複数の第２画素がそれぞれ有する複数の第２画素値から算出した複数の輝度値の平均値が所定値になるようにゲインを決定し、決定したゲインを処理対象のＲＧＢ画像に適用することで第３ＲＧＢ画像を生成する処理である。第１画像処理は、第３ＲＧＢ画像を処理対象とする処理である。
　これによれば、複数の第２画素の輝度値のゲインを調整することで露出制御処理を行うため、撮影条件にバラツキがあっても複数の輝度値の条件を一定にすることができる。つまり、第１画像処理を行う処理対象の第３ＲＧＢ画像の輝度分布の条件を撮影条件によらず一定にすることができるため、より効果的に第１画像処理を行うことができる。
　また、本実施の形態に係る画像処理装置（例えば、携帯端末７０）において、複数の輝度値の平均値は、第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの最大平均値を有する色成分の平均値である。
　また、本実施の形態に係る画像処理装置（例えば、携帯端末７０）において、複数の輝度値は、複数の画素値のそれぞれについて、当該画素値に含まれる赤画素値、緑画素値、及び、青画素値に基づいて算出することで得られる。
　また、本実施の形態に係る画像処理装置（例えば、携帯端末７０）において、複数の第２画素は、第１ＲＧＢ画像を構成する複数の第３画素のうち、最大の色成分の画素値が第１閾値より小さく、かつ、最小の色成分の画素値が第２閾値以下であることを満たす画素である。
　このため、第１ＲＧＢ画像において照射している光による反射の影響を強く受けている領域を除外して、第２画像処理を行うことができる。
　以下、上述した実施の形態の変形例について説明する。
　（変形例１）
　上記実施の形態では、生成部１０２は、第１ＲＧＢ画像に対して露出制御処理を行い、露出制御処理で生成された第３ＲＧＢ画像に対してホワイトバランス調整処理を行うとしたが、これに限らずに、露出制御処理を行わなくてもよい。例えば、輝度分布にバラツキが生じることを低減された第１ＲＧＢ画像が得られていれば、露出制御処理は行われなくてもよい。例えば、撮影条件が一定になるように照明制御を行うことで、得られる第１ＲＧＢ画像の輝度分布のバラツキを低減してもよい。
　（変形例２）
　上記実施の形態では、口腔内カメラ１０を用いてユーザが口腔内の撮影を行うときに、携帯端末７０の表示部１０３に、撮影する口腔内位置を指定するガイダンスを表示してもよい。ガイダンスは、携帯端末７０の図示しないスピーカから音声で出力してもよい。これにより、ユーザは、ガイダンスに従って、指定された口腔内位置で撮影が行われるように、口腔内カメラ１０を指定された口腔内位置に移動させることができる。例えば、口腔内位置とは、前歯の位置、奥歯の位置などである。
　そして、携帯端末７０は、ガイダンスで指示している口腔内位置と、当該口腔内位置が指示されている間に取得された第１ＲＧＢ画像に対して行われた画像処理によって生成された第２ＲＧＢ画像または第４ＲＧＢ画像とを対応付けて記憶してもよい。
　このため、第２ＲＧＢ画像または第４ＲＧＢ画像に含まれる歯牙の口腔内位置を容易に特定することができる。
　（変形例３）
　上記実施の形態では、口腔内カメラ１０は、携帯端末７０に第１ＲＧＢ画像を送信し、携帯端末７０において第１ＲＧＢ画像に対する画像処理が行われるとしたが、これに限らない。第１ＲＧＢ画像は、クラウドサーバ８０に送信され、クラウドサーバ８０が上記画像処理を行い、画像処理結果の第２ＲＧＢ画像または第４ＲＧＢ画像を携帯端末７０へ送信する構成であってもよい。この場合、第１ＲＧＢ画像は、口腔内カメラ１０から携帯端末７０を経由せずにクラウドサーバ８０へ送信されてもよいし、口腔内カメラ１０から携帯端末７０を経由してクラウドサーバ８０へ送信されてもよい。
　（変形例４）
　上記実施の形態では、ホワイトバランス調整処理（第１画像処理）において、処理対象のＲＧＢ画像のうちの歯牙の領域を抽出し、歯牙の領域における第１赤画素平均値と、第１緑画素平均値と、第１青画素平均値とが等しくなるように、処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整するとしたがこれに限らない。ゲインを調整するための目標とする、各色の画素平均値は歯牙の領域における平均値に限らずに、天然歯牙の領域の平均値としてもよい。
　以下に、天然歯牙の領域を検出する処理について図１１～図１５を用いて説明する。図１１は、天然歯牙の領域の検出処理の詳細を示すフローチャートである。
　図１２は、ＲＧＢ画像（第１ＲＧＢ画像）の例を示す図である。図１２に示すＲＧＢ画像は、天然歯牙２４１と、人工歯牙２４２と、歯肉２４３（歯茎）とが撮影された画像である。人工歯牙２４２は、例えば、金又は銀等の金属で構成される補綴物等である。天然歯牙２４１は、天然の歯牙であり、歯牙のうち人工歯牙２４２を除く部分である。
　まず、生成部１０２は、ＲＧＢ画像（第１ＲＧＢ画像）を用いて第１天然歯牙領域を検出する（Ｓ２０１）。具体的には、生成部１０２は、ＲＧＢ画像において、緑画素値（Ｇ）が予め定められた第１閾値以上であるという第１条件と、緑画素値（Ｇ）、赤画素値（Ｒ）及び青画素値（Ｂ）のそれぞれの差が予め定められた第３閾値未満であるという第２条件との両方を満たす領域を、第１天然歯牙領域として検出する。
　ここで、天然歯牙に励起光（青色光）を照射した場合、象牙質から励起蛍光が発せられる。この励起蛍光は、エナメル質を透過する。これにより、天然歯牙は緑色に蛍光する。また、齲歯治療痕の詰め物は、青色光が照射されている状態では、白色光が照射されている状態とは異なり、カメラで撮影された画像において暗く（低輝度に）なる。一方で、エナメル質で覆われた天然の歯牙は画像において明るく（高輝度に）なる。よって、第１条件により、この緑色の蛍光を抽出することで天然歯牙の領域を判別するとともに人工歯牙の領域を除外することができる。
　上記のように、補綴物などの人工歯牙は、低輝度のため、ＲＧＢ画像の人工歯牙の領域において、赤画素値、緑画素値、及び、青画素値が小さくなる。そのため、緑画素値にレベルを合わせるために赤画素値、青画素値に乗算するホワイトバランスゲインをＡＲ、ＡＢとすると、
　ＡＲ＝Ｇ／Ｒ
　ＡＢ＝Ｇ／Ｂ
となる。人工歯牙の領域では赤画素値、緑画素値、及び、青画素値が小さいので、データの値がばらついた場合のゲインのばらつきが大きくなり、高輝度部である天然歯牙の色相変動が大きくなる。すなわち、白色表示なるべき天然歯牙が、赤方向や青方向に変動する量が大きくなる。よって、人工歯牙の領域を除いた天然歯牙の領域を歯牙領域として抽出し、ホワイトバランス調整処理を行うことでより適切にホワイトバランスを調整することができる。
　また、第２条件は、具体的には、（１）赤画素値（Ｒ）と緑画素値（Ｇ）との差分の絶対値（ａｂｓ（Ｒ－Ｇ））が閾値ｒｇ＿ｔｈ未満であり、かつ、（２）緑画素値（Ｇ）と青画素値（Ｂ）との差分の絶対値（ａｂｓ（Ｇ－Ｂ））が閾値ｇｂ＿ｔｈ未満であり、かつ（３）青画素値（Ｂ）と赤画素値（Ｒ）との差分の絶対値（ａｂｓ（Ｂ－Ｒ））が閾値ｇｂ＿ｔｈ未満であるという条件である。なお、閾値ｒｇ＿ｔｈ、閾値ｇｂ＿ｔｈ、閾値ｂｒ＿ｔｈは、同一の値であってもよいし、異なる値であってもよい。
　また、第１条件において、緑画素値（Ｇ）の代わりに輝度値（Ｙ）が用いられもよい。輝度値（Ｙ）は、上述した式３を用いて算出される。
　式３に示すように、輝度値は緑画素値の割合が大きいため、輝度値を用いても緑画素値を用いた場合と同様の検出を行うことができる。
　なお、ここでは、第１条件と第２条件との両方が用いられる場合を示したが、第１条件と第２条件とのいずれか一方のみが用いられてもよい。例えば、第１条件のみが用いられてもよい。
　図１３は、検出される第１天然歯牙領域２５１の例を示す図である。なお、図１３では、説明のため第１天然歯牙領域２５１に加え、歯牙等の形状を図示しているが、検出される情報には、歯牙等の形状は含まれなくもよい。この点については、図１４及び図１５も同様である。
　図１３に示すように、天然歯牙２４１の領域及び歯肉２４３の領域を含む領域が第１天然歯牙領域２５１として検出される。つまり、第１天然歯牙領域２５１は、人工歯牙２４２の領域を含まない。
　なお、ここでは、第１天然歯牙領域２５１が歯肉２４３の領域の全てを含む例を示しているが、撮影状況に応じて、歯肉２４３の領域の一部のみが第１天然歯牙領域２５１に含まれる場合、又は、歯肉２４３の領域が第１天然歯牙領域２５１に含まれない場合も発生しうる。
　次に、生成部１０２は、ＲＧＢ画像（第１ＲＧＢ画像）の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成する（Ｓ２０２）。次に、生成部１０２は、ＨＳＶ画像を用いて歯肉領域を検出する（Ｓ２０３）。具体的には、生成部１０２は、色相（Ｈ）が予め定められた範囲に含まれる領域を歯肉領域として検出する。
　図１４は、検出された歯肉領域２５２の例を示す図である。図１４に示すように、歯肉２４３の領域が歯肉領域２５２として検出される。なお、ここでは、歯茎の領域が検出される例を示すが、歯茎に加え、唇等も歯肉領域２５２として検出されてもよい。
　次に、生成部１０２は、第１天然歯牙領域２５１から歯肉領域２５２を除外した領域を第２天然歯牙領域２５３に決定する（Ｓ２０４）。図１５は、第２天然歯牙領域２５３の例を示す図である。図１５に示すように、第２天然歯牙領域２５３は、天然歯牙２４１の領域を含み、人工歯牙２４２及び歯肉２４３の領域を含まない。
　次に、生成部１０２は、第２天然歯牙領域２５３から小領域を除外することで第３天然歯牙領域を決定する（Ｓ２０５）。ここで、小領域とは、例えば、面積が予め定められた値より小さい領域である。これにより、天然歯牙の領域以外（例えば歯肉の領域）における反射光等に起因する高輝度の領域等が誤って天然歯牙領域と判定されることを抑制できる。
　次に、生成部１０２は、第３天然歯牙領域を拡張することで第４天然歯牙領域を決定する（Ｓ２０６）。具体的には、生成部１０２は、第３天然歯牙領域の境界を予め定められた量だけ外側に拡張した領域を第４天然歯牙領域に決定する。これにより、歯牙と歯茎の境界等を天然歯牙領域に加えることができ、歯垢領域が過剰に表示されなくなることを抑制できる。
　生成部１０２は、最終的に、第４天然歯牙領域を、ホワイトバランス調整処理に用いられる天然歯牙領域として検出する。
　（変形例５）
　上記実施の形態では、口腔内カメラ１０で得られた画像データはＲＧＢ画像であるとしたが、シアン、マゼンタ、イエロー、及び、グリーンの４色によるＣＭＹＧ補色系フィルタで得られるＣＭＹＧ画像であってもよい。ＣＭＹＧ画像は、近似式を用いた演算によりＲＧＢ画像に変換され、携帯端末７０は変換されたＲＧＢ画像に対して画像処理を行ってもよい。ＣＭＹＧ画像からＲＧＢ画像への変換は、口腔内カメラ１０で行われてもよいし、携帯端末７０で行われてもよいし、他の情報処理装置で行われてもよい。
　ＣＭＹＧの各値からＲＧＢの各値を演算する方法としては例えば下記のような演算式（式５～式９）を用いることができる。
　Ｍｇ≒Ｒ＋Ｂ　　　　　（式５）
　Ｙｅ≒Ｒ＋Ｇ　　　　　（式６）
　Ｃｙ≒Ｇ＋Ｂ　　　　　（式７）
　（Ｍｇ＋Ｙｅ－Ｃｙ）／２≒｛（Ｒ＋Ｂ）＋（Ｒ＋Ｇ）－（Ｇ＋Ｂ）｝／２＝Ｒ　　　（式８）
　（Ｍｇ＋Ｃｙ－Ｙｅ）／２≒｛（Ｒ＋Ｂ）＋（Ｇ＋Ｂ）－（Ｒ＋Ｇ）｝／２＝Ｂ　　　　（式９）
　ここで、Ｍｇはマゼンタを示し、Ｙｅはイエローを示し、Ｃｙはシアンを示す。
　以上、本開示の実施の形態に係る口腔内カメラシステムについて説明したが、本開示は、この実施の形態に限定されるものではない。
　例えば、上記説明では、歯牙を撮影することを主目的とした口腔内カメラ１０を用いる例を説明したが、口腔内カメラ１０は、カメラを備える口腔内ケア機器であってもよい。例えば、口腔内カメラ１０は、カメラを備える口腔内洗浄機等であってもよい。
　また、上記実施の形態に係る口腔内カメラシステムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、口腔内カメラシステムにより実行される画像表示方法等として実現されてもよい。また、本開示は、口腔内カメラシステムに含まれる口腔内カメラ、携帯端末、又はクラウドサーバとして実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る口腔内カメラシステム等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、口腔内カメラシステムに適用できる。
　１０　口腔内カメラ
　１０ａ　ヘッド部
　１０ｂ　ハンドル部
　１０ｃ　ネック部
　１２　撮影光学系
　１２ａ　入射口
　１４　撮像素子
　２６Ａ　第１のＬＥＤ
　２６Ｂ　第２のＬＥＤ
　２６Ｃ　第３のＬＥＤ
　２６Ｄ　第４のＬＥＤ　
　３６、４０　アクチュエータ
　３８　レンズホルダ
　５０　中央制御部
　５４　ＬＥＤ制御部
　５６　レンズドライバ
　５８　無線通信モジュール
　６０　電源制御部
　６２　コントローラ
　６４　メモリ
　６６　電池
　６８　コイル
　６９　充電器
　７０　携帯端末
　７２　タッチスクリーン
　８０　クラウドサーバ
　９０　位置センサ
１０１　取得部
１０２　生成部
１０３　表示部
２００　第１ＲＧＢ画像
２０１、２１１、２２１、２３１　歯垢領域
２１０　第２ＲＧＢ画像
２２０、２３０　第４ＲＧＢ画像
２４１　天然歯牙
２４２　人工歯牙
２４３　歯肉
２５１　第１天然歯牙領域
２５２　歯肉領域
２５３　第２天然歯牙領域

Claims (12)

  1. 　青色光の波長域を含む光を歯牙に照射することで蛍光反応している前記歯牙及び歯垢を撮影することで得られた第１ＲＧＢ画像を取得し、
    　前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成し、
    　前記第１画像処理は、処理対象のＲＧＢ画像のうちの前記歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である
    　画像処理方法。
  2. 　前記第１画像処理は、処理対象のＲＧＢ画像のうちの天然歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である
    　請求項１記載の画像処理方法。
  3. 　さらに、
    　前記第２ＲＧＢ画像の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成し、前記ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、前記第２ＲＧＢ画像における前記特定画素領域に対して彩度強調処理を行うことで第４ＲＧＢ画像を生成する
    　請求項１に記載の画像処理方法。
  4. 　さらに、
    　前記第２ＲＧＢ画像の色空間をＨＳＶ空間に変換することでＨＳＶ画像を生成し、前記ＨＳＶ画像が有する複数の第４画素のうち彩度が第１の所定範囲内、色相が第２の所定範囲内、及び、明度が第３の所定範囲内の少なくとも１つを満たす１以上の第４画素が位置する特定画素領域を特定し、前記第２ＲＧＢ画像における前記特定画素領域を所定パターンで置き換えることで第４ＲＧＢ画像を生成する
    　請求項１に記載の画像処理方法。
  5. 　前記画像処理は、さらに、第２画像処理を含み、
    　前記第２画像処理は、処理対象のＲＧＢ画像に含まれる複数の第２画素がそれぞれ有する複数の第２画素値から算出した複数の指標値の平均値が所定値になるようにゲインを決定し、決定した前記ゲインを前記処理対象のＲＧＢ画像に適用することで第３ＲＧＢ画像を生成する処理であり、
    　前記第１画像処理は、前記第３ＲＧＢ画像を処理対象とする処理である
    　請求項１から４のいずれか１項に記載の画像処理方法。
  6. 　前記複数の指標値の平均値は、前記第１ＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの最大平均値を有する色成分の平均値である
    　請求項５に記載の画像処理方法。
  7. 　前記複数の指標値は、前記複数の第２画素値のそれぞれについて、当該第２画素値に含まれる赤画素値、緑画素値、及び、青画素値に基づいて算出することで得られる
    　請求項５に記載の画像処理方法。
  8. 　前記複数の第２画素は、前記第１ＲＧＢ画像を構成する複数の第３画素のうち、最大の色成分の画素値が第１閾値より小さく、かつ、最小の色成分の画素値が第２閾値以下であることを満たす画素である
    　請求項５に記載の画像処理方法。
  9. 　さらに、
    　前記第１ＲＧＢ画像が撮影された口腔内位置を検出し、
    　前記口腔内位置と、前記第２ＲＧＢ画像とを対応付けて記憶する
    　請求項１から４のいずれか１項に記載の画像処理方法。
  10. 　青色光の波長域を含む光を歯牙に照射することで蛍光反応している前記歯牙及び歯垢を撮影することで得られた第１ＲＧＢ画像を取得する取得部と、
    　前記第１ＲＧＢ画像に対して第１画像処理を含む画像処理を行うことで第２ＲＧＢ画像を生成する生成部と、を備え、
    　前記第１画像処理は、処理対象のＲＧＢ画像のうちの前記歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である
    　画像処理装置。
  11. 　前記第１画像処理は、処理対象のＲＧＢ画像のうちの天然歯牙の領域を構成する複数の第１画素が有する複数の赤画素値の第１赤画素平均値と、前記複数の第１画素が有する複数の緑画素値の第１緑画素平均値と、前記複数の第１画素が有する複数の青画素値の第１青画素平均値とが等しくなるように、前記処理対象のＲＧＢ画像の赤成分、緑成分、及び、青成分のうちの少なくとも２つの色成分のゲインを調整する処理である
    　請求項１０記載の画像処理装置。
  12. 　請求項１から４のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2023/040799 2022-11-17 2023-11-13 画像処理方法、画像処理装置、及び、プログラム WO2024106391A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022183836 2022-11-17
JP2022-183836 2022-11-17

Publications (1)

Publication Number Publication Date
WO2024106391A1 true WO2024106391A1 (ja) 2024-05-23

Family

ID=91084376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/040799 WO2024106391A1 (ja) 2022-11-17 2023-11-13 画像処理方法、画像処理装置、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2024106391A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162715A (ja) * 2001-11-22 2003-06-06 Sharp Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体、並びに画像入力装置および画像出力装置
JP2005064853A (ja) * 2003-08-12 2005-03-10 Minolta Co Ltd 撮像装置、プログラム、および色バランス補正方法
JP2009100252A (ja) * 2007-10-17 2009-05-07 Mitsubishi Electric Corp 撮像装置
JP2014133029A (ja) * 2013-01-11 2014-07-24 Panasonic Corp 歯垢検知システム及び歯垢検知方法
US20200022582A1 (en) * 2018-07-23 2020-01-23 Quanta Computer Inc. Image-processing methods for marking plaque fluorescent reaction area and systems therefor
WO2021060158A1 (ja) * 2019-09-24 2021-04-01 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2022523597A (ja) * 2019-03-11 2022-04-25 ３シェイプ アー／エス デジタル３次元歯科モデルを生成するシステムおよび方法
WO2022113995A1 (ja) * 2020-11-27 2022-06-02 パナソニックＩｐマネジメント株式会社 歯列画像撮影システムおよび歯列画像撮影方法
WO2022187654A1 (en) * 2021-03-05 2022-09-09 Greenmark Biomedical Inc. Dental imaging system and image analysis

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003162715A (ja) * 2001-11-22 2003-06-06 Sharp Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体、並びに画像入力装置および画像出力装置
JP2005064853A (ja) * 2003-08-12 2005-03-10 Minolta Co Ltd 撮像装置、プログラム、および色バランス補正方法
JP2009100252A (ja) * 2007-10-17 2009-05-07 Mitsubishi Electric Corp 撮像装置
JP2014133029A (ja) * 2013-01-11 2014-07-24 Panasonic Corp 歯垢検知システム及び歯垢検知方法
US20200022582A1 (en) * 2018-07-23 2020-01-23 Quanta Computer Inc. Image-processing methods for marking plaque fluorescent reaction area and systems therefor
JP2022523597A (ja) * 2019-03-11 2022-04-25 ３シェイプ アー／エス デジタル３次元歯科モデルを生成するシステムおよび方法
WO2021060158A1 (ja) * 2019-09-24 2021-04-01 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2022113995A1 (ja) * 2020-11-27 2022-06-02 パナソニックＩｐマネジメント株式会社 歯列画像撮影システムおよび歯列画像撮影方法
WO2022187654A1 (en) * 2021-03-05 2022-09-09 Greenmark Biomedical Inc. Dental imaging system and image analysis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MASAFUMI INUIYA: "Fundamentals of Digital Photography 3 Signal Processing Technology for Digital Still Camera (I)", JOURNAL OF THE SOCIETY OF PHOTOGRAPHIC SCIENCE AND TECHNOLOGY OF JAPAN, vol. 72, no. 5, 1 January 2009 (2009-01-01), pages 360 - 365, XP093169587 *

Similar Documents

Publication Publication Date Title
JP6905540B2 (ja) 統合されたカメラを有する歯科ミラーおよびそのアプリケーション
JP4527166B2 (ja) 双方向歯科治療ネットワーク
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
US8050519B2 (en) Image combining apparatus
JP2007047045A (ja) 画像処理装置及び方法並びにプログラム
US20070140553A1 (en) Dental colorimetry apparatus
WO2017085793A1 (ja) 内視鏡システム、画像処理装置、画像処理方法およびプログラム
JP2005000652A (ja) 歯科用カラー画像システム
JP2012020130A (ja) 歯色調マッピング
JP6817154B2 (ja) プロセッサ装置及びその作動方法
CN106714651B (zh) 评价值计算装置以及电子内窥镜系统
JP2002529122A (ja) 歯のシェードを解析するシステムならびに方法
JP3989521B2 (ja) 画像合成装置およびその方法並びにプログラム
WO2022113995A1 (ja) 歯列画像撮影システムおよび歯列画像撮影方法
JP3989522B2 (ja) 歯科用測色装置、システム、方法、およびプログラム
JP2010081057A (ja) 画像処理装置、画像処理方法および測色システム
WO2024106391A1 (ja) 画像処理方法、画像処理装置、及び、プログラム
US10842383B2 (en) Dental health assessment assisting apparatus and dental health assessment assisting system
JPWO2019155816A1 (ja) 内視鏡システム
JP5074066B2 (ja) 画像処理装置、及び、画像処理方法
JP7015382B2 (ja) 内視鏡システム
JP2009195495A (ja) 歯科用測色装置
JP2016095577A (ja) 視覚補助装置，視覚補助プログラム，視覚補助方法，検査装置，検査プログラム，及び検査方法
JP4831962B2 (ja) 撮影装置
WO2023163051A1 (ja) 口腔洗浄装置、制御装置、口腔洗浄方法、及び、プログラム