WO2022113995A1 - 歯列画像撮影システムおよび歯列画像撮影方法 - Google Patents

歯列画像撮影システムおよび歯列画像撮影方法 Download PDF

Info

Publication number
WO2022113995A1
WO2022113995A1 PCT/JP2021/042961 JP2021042961W WO2022113995A1 WO 2022113995 A1 WO2022113995 A1 WO 2022113995A1 JP 2021042961 W JP2021042961 W JP 2021042961W WO 2022113995 A1 WO2022113995 A1 WO 2022113995A1
Authority
WO
WIPO (PCT)
Prior art keywords
dentition
image
region
images
halation
Prior art date
Application number
PCT/JP2021/042961
Other languages
English (en)
French (fr)
Inventor
泰雄 大塚
正人 伊澤
智輝 小川
俊幸 中嶋
雅之 粟飯原
和宏 船本
匡 三木
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202180073642.2A priority Critical patent/CN116507260A/zh
Priority to US18/030,445 priority patent/US20230377101A1/en
Priority to EP21897967.2A priority patent/EP4254936A1/en
Priority to JP2022565368A priority patent/JPWO2022113995A1/ja
Publication of WO2022113995A1 publication Critical patent/WO2022113995A1/ja

Links

Images

Classifications

    • G06T5/77—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0625—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for multiple fixed illumination angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/04—Combinations of cameras with non-electronic flash apparatus; Non-electronic flash units
    • G03B15/0405—Non-electronic flash apparatus incorporated in photographic apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Definitions

  • This disclosure relates to a dentition imaging system and a dentition imaging method.
  • Patent Documents 1 and 2 disclose intraoral cameras (Patent Documents 1 and 2) having a function of irradiating the oral cavity with light as a means for observing the oral cavity.
  • the subject of this disclosure is to photograph the teeth clearly.
  • Multiple lighting devices that illuminate the tooth to be photographed from different directions,
  • An imaging device that captures first and second dentition images in which the teeth are captured with different lighting conditions and a predetermined exposure time of the plurality of illumination devices.
  • a high-luminance region extraction unit that extracts a high-luminance region in which the brightness exceeds a predetermined luminance threshold value for each of the first and second dentition images, and a high-luminance region extraction unit.
  • a high-luminance region comparison unit that calculates the degree of similarity indicating the degree of similarity between the high-luminance regions of the first and second dentition images.
  • the halation region specifying portion that specifies the high-luminance region of the first dentition image as the halation region, and the halation region specifying portion.
  • An image compositing processing unit that extracts a trimming region in the second dentition image corresponding to the halation region of the first dentition image and executes an image compositing process of replacing the halation region with the trimming region.
  • a dentition image capturing system including an dentition image output unit that outputs the first dentition image that has been image-synthesized is provided.
  • Multiple lighting devices irradiate the tooth to be imaged with light from different directions.
  • the lighting conditions of the plurality of lighting devices differ depending on the photographing device, and the first and second dentition images in which the teeth are captured are photographed at a predetermined exposure time.
  • a high-luminance region in which the brightness exceeds a predetermined brightness threshold value is extracted for each of the first and second dentition images.
  • the degree of similarity indicating the degree of similarity between the high-intensity regions of the first and second dentition images was calculated.
  • the high-luminance region of the first dentition image is specified as a halation region.
  • the trimming region in the second dentition image corresponding to the halation region is extracted.
  • An image composition process for replacing the halation area with the trimming area is executed.
  • the teeth can be clearly photographed.
  • FIG. 1 Perspective view of an intraoral camera in the dental imaging system according to the first embodiment of the present disclosure.
  • Cross-sectional view schematically showing the imaging optical system incorporated in the intraoral camera Schematic block diagram of the dentition imaging system according to the first embodiment of the present disclosure.
  • FIG. An example flowchart showing the flow of halation removal processing
  • the figure which shows the trimming process and the composition process Diagram showing a dentition image with halation removed A diagram showing a dentition image including a tooth having an inlay and its brightness distribution.
  • Flow chart showing the flow of calibration process A perspective view of a portion of an intraoral camera in a dental imaging system of another embodiment.
  • FIG. 1 is a perspective view of an intraoral camera in the dental imaging system according to the first embodiment of the present disclosure.
  • FIG. 2 is a cross-sectional view schematically showing a photographing optical system incorporated in an intraoral camera.
  • the intraoral camera 10 includes a toothbrush-like housing that can be handled with one hand, and the housing is arranged in the user's oral cavity during dentition imaging.
  • the head portion 10a, the handle portion 10b gripped by the user, and the neck portion 10c connecting the head portion 10a and the handle portion 10b are included.
  • the photographing optical system 12 of the intraoral camera 10 is incorporated in the head portion 10a and the neck portion 10c.
  • the photographing optical system 12 includes an image pickup element 14 and a lens 16 arranged on the optical axis LA.
  • the image pickup element 14 is an imaging device such as a C-MOS sensor or a CCD element, and an image of the tooth D is imaged by the lens 16.
  • the image pickup device 14 outputs the signal (image data) corresponding to the imaged image to the outside.
  • the lens 16 is, for example, a condensing lens, and an image of the incident tooth D is imaged on the image pickup device 14.
  • the lens 16 may be a single lens or a lens group composed of a plurality of lenses.
  • the photographing optical system 12 further includes a mirror 18 that reflects the image of the tooth D toward the lens 16, an infrared cut filter 20 and a complementary color filter 22 arranged between the mirror 18 and the lens 16.
  • a diaphragm 24 arranged between the lens 16 and the image pickup element 14 is included.
  • the mirror 18 is arranged on the optical axis LA of the photographing optical system 12 so as to reflect the image of the tooth D that has passed through the incident port 12a of the photographing optical system 12 toward the lens 16.
  • the infrared cut filter 20 is a filter that cuts infrared rays contained in the light incident on the image sensor 14.
  • the filter of each color pixel (RGB) of the image pickup device 14 such as a CCD element or a C-MOS sensor has total transparency, infrared rays are recognized as white light.
  • the infrared cut filter 20 cuts infrared rays from the light before it enters the image sensor 14.
  • the complementary color filter 22 is a filter that selectively transmits light having a predetermined wavelength.
  • the complementary color filter 22 selectively transmits light having a wavelength of, for example, 430 nm to 460 nm, and cuts light having other wavelengths.
  • the aperture 24 is a plate-shaped member having a through hole on the optical axis LA of the photographing optical system 12, and realizes a deep depth of focus. As a result, it is possible to focus on the depth direction in the oral cavity and obtain a dentition image with a clear outline.
  • the complementary color filter 22 since the complementary color filter 22 is included in the photographing optical system 12, the fluorescent line is effectively processed by the aperture 24.
  • the intraoral camera 10 is equipped with a plurality of first and second LEDs 26A to 26D as a lighting device that irradiates the tooth D to be photographed with light at the time of photographing.
  • the first to fourth LEDs 26A to 26D are, for example, white LEDs.
  • the first to fourth LEDs 26A to 26D are arranged so as to surround the incident port 12a.
  • the translucent cover 28 that covers the first to fourth LEDs 26A to 26D and the incident port 12a is provided so that the gums G and the like do not come into contact with the first to fourth LEDs 26A to 26D and the illumination light is insufficient. It is provided on the head portion 10a.
  • the intraoral camera 10 has a composition adjusting mechanism 30 and a focusing adjusting mechanism 32 as shown in FIG.
  • the composition adjustment mechanism 30 includes a housing 34 that holds the image pickup device 14 and the lens 16, and an actuator 36 that moves the housing 34 in the extending direction of the optical axis LA.
  • the angle of view is adjusted, that is, the size of the dentition imaged on the image sensor 14 is adjusted.
  • the composition adjusting mechanism 30 automatically adjusts the position of the housing 34 so that, for example, the entire tooth is captured in the captured image. Further, the composition adjusting mechanism 30 adjusts the position of the housing 34 so as to obtain the angle of view desired by the user based on the operation of the user.
  • the focus adjustment mechanism 32 is composed of a lens holder 38 that is held in the housing 34 of the composition adjustment mechanism 30 and holds the lens 16, and an actuator 40 that moves the lens holder 38 in the extending direction of the optical axis LA.
  • the actuator 40 adjusts the focus, that is, the focus.
  • the focus adjusting mechanism 32 automatically adjusts the position of the lens holder 38 so as to focus on the tooth located in the center of the captured image, for example. Further, the focus adjusting mechanism 32 adjusts the position of the lens holder 38 based on the operation of the user.
  • the components of the photographing optical system 12 excluding the mirror 18 may be provided on the handle portion 10bc of the intraoral camera 10.
  • FIG. 3 is a schematic configuration diagram of the dentition imaging system according to the first aspect of the present disclosure.
  • the dentition image capturing system 100 generally photographs a dentition using an intraoral camera 10 and executes image processing on the captured image. It is configured to do.
  • the dental imaging system 100 includes an intraoral camera 10, a mobile terminal 70, and a cloud server 80.
  • the mobile terminal 70 is, for example, a mobile phone capable of wireless communication provided with a touch screen 72 capable of displaying, for example, a dentition image as an input device and an output device.
  • the mobile terminal 70 functions as a user interface of the dental imaging system 100.
  • the cloud server 80 is a server capable of communicating with the mobile terminal 70 via the Internet or the like, and provides an application for using the intraoral camera 10 to the mobile terminal 70. For example, the user downloads the application from the cloud server 80 and installs it on the mobile terminal 70. Further, the cloud server 80 acquires the dentition image taken by the intraoral camera 10 via the mobile terminal 70.
  • the dentition imaging system 100 has a central control unit 50 as a main part for controlling the system, an image processing unit 52 for image processing the dentition image from the image pickup element 14, and LED control for controlling a plurality of LEDs 26A to 26D.
  • a unit 54, an actuator 36 of the composition adjusting mechanism 30, and a lens driver 56 for controlling the actuator 40 of the focus adjusting mechanism 32 are included.
  • the dentition imaging system 100 has a wireless communication module 58 that wirelessly communicates with the mobile terminal 70, and a power supply control unit 60 that supplies power to the central control unit 50 and the like.
  • the central control unit 50 of the dentition imaging system 100 is mounted on the handle unit 10b of the intraoral camera 10.
  • the central control unit 50 includes a controller 62 such as a CPU or MPU that executes various processes described later, and a memory 64 such as a RAM or ROM that stores a program for causing the controller 62 to execute various processes. Includes.
  • the memory 64 stores dentition images (data) taken by the image sensor 14 and various setting data.
  • the image processing unit 52 is mounted on the handle unit 10b of the intraoral camera 10, and the dentition image taken by the image pickup element 14 based on the control signal from the controller 62 of the central control unit 50.
  • Data is acquired, image processing is executed on the acquired dentition image, and the dentition image after the image processing is output to the central control unit 50.
  • the image processing unit 52 is composed of, for example, a circuit, and executes image processing such as noise removal and AWB (Auomatic White Balance) processing on the dentition image, for example.
  • the controller 62 transmits the dentition image output from the image processing unit 52 to the mobile terminal 70 via the wireless communication module 58.
  • the mobile terminal 70 displays the transmitted dentition image on the touch screen 72, thereby presenting the dentition image to the user.
  • the LED control unit 54 is mounted on the handle unit 10b of the intraoral camera 10, and the first to fourth LEDs 26A to 26D are turned on and off based on the control signal from the controller 62.
  • the LED control unit 54 is composed of, for example, a circuit.
  • the controller 62 transmits a control signal to the LED control unit 54 so as to light the first to fourth LEDs 26A to 26D based on the received signal.
  • the lens driver 56 is mounted on the handle portion 10b of the intraoral camera 10 and adjusts the focus with the actuator 36 of the composition adjusting mechanism 30 based on the control signal from the controller 62 from the central control unit 50. It controls the actuator 40 of the mechanism 32.
  • the lens driver 56 is composed of, for example, a circuit.
  • the controller 62 of the central control unit 50 transmits a control signal to the lens driver 56 so as to perform composition adjustment and focus adjustment based on the received signal.
  • the controller 62 calculates the control amount of the actuators 36 and 40 required for composition adjustment and focus adjustment based on the dentition image from the image processing unit 52, and the control signal corresponding to the calculated control amount is the lens. It is transmitted to the driver 56.
  • the wireless communication module 58 is mounted on the handle portion 10b of the intraoral camera 10 and wirelessly communicates with the mobile terminal 70 based on the control signal from the controller 62.
  • the wireless communication module 58 executes wireless communication with the mobile terminal 70 in accordance with existing communication standards such as WiFi and Bluetooth.
  • a dentition image showing the tooth D is transmitted from the intraoral camera 10 to the mobile terminal 70, or an operation signal is transmitted from the mobile terminal 70 to the intraoral camera 10 via the wireless communication module 58.
  • the power supply control unit 60 is mounted on the handle unit 10b of the intraoral camera 10, and is mounted on the central control unit 50, the image processing unit 52, the LED control unit 54, the lens driver 56, and the wireless communication module 58. , Distributes the power of the battery 66.
  • the power supply control unit 60 is composed of, for example, a circuit.
  • the battery 66 is a rechargeable secondary battery, and is wireless by an external charger 69 connected to a commercial power source via a coil 68 mounted on the intraoral camera 10. It will be charged.
  • FIG. 4 is an example of a dentition image in which halation occurs on the surface of the tooth.
  • the surface of the tooth D is saliva or wet, and the illumination light from the first to fourth LEDs 26A to 26D causes halation H on the surface of the tooth D. sell.
  • the surface portion of the tooth D where the halation H is generated is unclear and its state cannot be confirmed. Therefore, the dentition imaging system 100 according to the first embodiment is configured to be able to create a dentition image from which the halation H is removed.
  • the dentition image taking system 100 is configured to take a plurality of necessary dentition images.
  • FIG. 5 is a timing chart of the shooting operation of a plurality of dentition images necessary for creating a dentition image from which halation is removed. Further, FIG. 6 shows a plurality of dentition images obtained by the photographing operation shown in FIG.
  • each of the plurality of dentition images P1 to P4 is photographed under different lighting conditions. Further, a plurality of dentition images P1 to P4 are photographed at a predetermined exposure time TEX .
  • the user first holds the intraoral camera 10 with one hand and the mobile terminal 70 with the other hand.
  • the user adjusts the position of the head portion 10a of the intraoral camera 10 so that the tooth D to be imaged is reflected on the touch screen 72 of the mobile terminal 70 with the first to fourth LEDs 26A to 26D turned on. do.
  • the intraoral camera 10 is fixed in the oral cavity by bringing the head portion 10a of the intraoral camera 10 into contact with the gum G in the vicinity of the tooth D to be imaged.
  • the user executes an operation related to the start of shooting on the touch screen 72. Based on the operation, the imaging start signal is transmitted from the mobile terminal 70 to the central control unit 50 of the intraoral camera 10.
  • the controller 62 of the central control unit 50 controls the LED control unit 54 to light the first to fourth LEDs 26A to 26D one by one in order.
  • the first LED 26A is turned on (ON) and the remaining LEDs are turned off (OFF).
  • the central control unit 50 acquires the first dentition image P 1 (stored in the memory 64)
  • the second LED 26B is turned on in order to capture the second dentition image P 2 .
  • the third LED 26C is turned on, the remaining LEDs are turned off, and the third dentition image P 3 is photographed.
  • the controller 62 returns the first to fourth LEDs 26A to 26D to the state before the start of shooting via the LED control unit 54, and notifies the user of the end of shooting via the mobile terminal 70.
  • the composition is substantially the same, the illumination direction is different, and a plurality of images (4 images in the case of the present embodiment) taken at a predetermined exposure time TEX are dentition images P.
  • the controller 62 of the central control unit 50 executes a process of removing halation H of the dentition image P1. The process will be described with reference to FIG. 7.
  • FIG. 7 is an example flowchart showing the flow of halation removal processing.
  • the predetermined luminance threshold value is, for example, a value near the luminance of the surface portion of the tooth where specular reflection is generated, which is obtained experimentally or theoretically in advance.
  • FIG. 8 is a diagram showing a plurality of luminance distribution images showing the extracted high luminance region.
  • each of the plurality of luminance distribution images BP 1 to BP 4 shows the extracted high luminance region AB (cross-hatching).
  • the luminance distribution image BP 1 corresponds to the dental row image P 1
  • BP 2 corresponds to P 2
  • BP 3 corresponds to P 3
  • BP 4 corresponds to P 4 .
  • step S110 it is determined whether or not the high-luminance region AB exists in all of the plurality of dentition images. If the high-luminance region AB is present in at least one of the dentition images, the process proceeds to step S120. If this is not the case, that is, if the high-luminance region AB does not exist in all the dentition images, the process proceeds to step S200.
  • step S120 the parameter k is set to 1 by the controller 62.
  • step S130 the controller 62 calculates a degree of similarity, which is a numerical value indicating the degree of similarity between the high-luminance region AB of the dental image P 1 and the high-luminance region AB of the dental image P k + 1 . That is, the controller 62 functions as a high-luminance region comparison unit of the dentition imaging system 100 by operating according to the program stored in the memory 64.
  • the similarity of the high-luminance regions A and B is calculated using, for example, template matching.
  • template matching include SSD (Sum of Squared Difference), SAD (Sum of Absolute Difference), and NCC (Normalized Cross-Correlation).
  • the sum of squares of the differences between the dentition image P 1 and the luminance values of the pixels of the luminance distribution images BP 1 and BP k + 1 corresponding to P k + 1 is calculated using the following mathematical formula 1.
  • the reciprocal of the calculated value R SSD is taken as the degree of similarity between the high-luminance regions.
  • T (i, j) is the luminance distribution of the pixel of the brightness distribution image BP 1 corresponding to the dentition image P 1
  • I (i, j) is the luminance distribution corresponding to the dentition image P k + 1 . It is the luminance value of the pixel of the image BP k + 1 .
  • the sum of the absolute values of the differences between the dentition image P 1 and the luminance values of the pixels of the luminance distribution images BP 1 and BP k + 1 corresponding to P k + 1 is calculated using the following mathematical formula 2.
  • the reciprocal of the calculated value R SAD is defined as the degree of similarity between the high-luminance regions.
  • T (i, j) is the luminance distribution of the pixel of the brightness distribution image BP 1 corresponding to the dentition image P 1
  • I (i, j) is the luminance distribution corresponding to the dentition image P k + 1 . It is the luminance value of the pixel of the image BP k + 1 .
  • the normalized cross-correlation of the luminance values of the dentition image P 1 and the luminance distribution images BP 1 and BP k + 1 corresponding to P k + 1 , respectively, is evaluated using the following mathematical formula 3.
  • the evaluation value RNCC calculated using the formula 3 is a numerical value in the range of ⁇ 1.0 to +1.0, and the closer it is to +1.0, the higher the degree of similarity.
  • T (i, j) is the luminance distribution of the pixel of the brightness distribution image BP 1 corresponding to the dentition image P 1
  • I (i, j) is the luminance distribution corresponding to the dentition image P k + 1 . It is the luminance value of the pixel of the image BP k + 1 .
  • step S140 the controller 62 determines the dentition image P1. It is determined whether or not there is a high-luminance region AB whose similarity is smaller than that of a predetermined similarity threshold. If present, the process proceeds to step S150. If not, the process proceeds to step S170.
  • FIG. 9 shows a luminance distribution image showing a high luminance region in which the similarity is smaller than a predetermined similarity threshold value.
  • the controller 62 identifies the region as a region AH (halation region) in which halation occurs in the dental image P1. That is, the controller 62 functions as a halation area specifying unit of the dentition imaging system 100 by operating according to the program stored in the memory 64.
  • FIG. 10 is a diagram showing a trimming process and a compositing process.
  • FIG. 11 shows a dentition image in which halation is partially removed by a trimming process and a compositing process.
  • step S160 the controller 62 extracts the region Atri (trimming region) of the dentition image P k + 1 corresponding to the halation region A H of the dentition image P 1 .
  • step S170 an image composition process is executed in which the halation region AH of the dental row image P1 is replaced with the trimming region Atri of the dental row image P k + 1 . That is, the controller 62 functions as a composition processing unit of the dentition imaging system 100 by operating according to the program stored in the memory 64.
  • steps S160 and S170 as shown in FIG. 11, a dentition image P1 from which a part of halation H is removed is obtained (see FIG. 6).
  • step S180 the parameter k is incremented by +1 by the controller 62.
  • step S190 the controller 62 determines whether or not the parameter k is n-1.
  • the parameter n is the number of dentition images.
  • step S200 the controller 62 determines the dentition.
  • the image P1 is output (displayed) via the touch screen 72 of the mobile terminal 70. That is, the touch screen 72 of the mobile terminal 70 functions as a dental image output unit of the dental imaging system 100.
  • step S200 the process of step S200 is completed, the halation removal process is completed.
  • FIG. 11 shows a dentition image from which halation has been removed.
  • halation H is removed except for a part in the dental row image P1 (see FIG. 6).
  • the remaining halation HR is the halation that occurs even if the lighting direction is changed. It can be estimated that this halation HR is caused by multiple reflections of the inlay packed in the tooth D. Therefore, the halation removal process is not executed on the halation HR , and the inlay appears on the dentition image P1.
  • the high-luminance region AB of the dental image P1 whose similarity with each of the high -luminance regions AB of the other dental images P2 to P4 is larger than the predetermined similarity threshold value is It is presumed that the inlay is a region where it can exist, and that region is left as it is without image composition processing. As a result, in the dentition image in which the tooth D having the inlay is shown, the unnatural situation in which the inlay is not shown is suppressed.
  • the teeth can be clearly photographed.
  • the dentition imaging system according to the second embodiment is an improved form of the dentition imaging system according to the first embodiment described above, and is particularly suitable for photographing a dentition image including a tooth having an inlay. Is. Therefore, the second embodiment will be described with a focus on different points.
  • FIG. 12 shows a dentition image including a tooth having an inlay and its brightness distribution.
  • the luminance distribution shown in FIG. 12 shows the luminance distribution on the straight line XX passing through the gingiva, the tooth, the inlay, the tooth, and the gingiva in order in the tooth image P5.
  • the brightness of the gingiva is the lowest and the brightness of the inlay is the highest.
  • the exposure time of a plurality of dentition images required for the halation removing process as shown in FIG. 6 is shortened from the predetermined exposure time TEX .
  • the dentition imaging system according to the second embodiment performs the following calibration process before capturing a plurality of dentition images required for the halation removal process.
  • FIG. 13 is a flowchart showing the flow of the calibration process.
  • step S300 the controller 62 acquires two dentition images for calibration processing from the image sensor 14.
  • the two dentition images are taken under different lighting conditions and with different exposure times. Both of these exposure times may be different from the predetermined exposure time EX , or one of them may be the same.
  • One dentition image is taken, for example, with only the first LED 26A lit.
  • the other dentition image is taken, for example, with only the third LED 26C lit.
  • step S310 the controller 62 extracts a high-luminance region AB exceeding a predetermined luminance threshold value in each of the two dentition images.
  • step S320 the controller 62 determines whether or not the high-luminance region AB exists in the two dentition images. If present, the process proceeds to step S330. If this is not the case, the probability of whiteout occurring in the teeth when a plurality of dentition images required for the halation removal process are taken is low, so the calibration process is terminated.
  • step S330 the controller 62 calculates the similarity between the high-brightness regions AB of the two dentition images.
  • step S340 the controller 62 determines whether or not there is a high-luminance region AB whose similarity is larger than the predetermined similarity threshold value. If present, the process proceeds to step S350. If this is not the case, it is highly possible that the inlay does not exist, and the calibration process is terminated.
  • step S350 the controller 62 determines whether or not the brightness values of the high-luminance regions AB of the two dentition images are different. If they are different, the process proceeds to step S360. If not, the process proceeds to step S400, and the controller 62 determines that the image sensor 14 has an abnormality. That is, the controller 62 functions as an imaging device abnormality determination unit of the dental imaging imaging system. The reason why such an abnormality determination can be performed is that even though the two dentition images are taken at different exposure times, the brightness values of the high-luminance regions A and B are not different and are the same. be. In order to determine the abnormality of the image pickup device with high accuracy, it is preferable that the difference in exposure time between the two dentition images is large.
  • step S360 the controller 62 shortens the predetermined exposure time TEX when capturing a plurality of dentition images required for the halation removal process. That is, the high-luminance regions AB having high similarity and different luminance values are regions in which there is a high possibility that an inlay in which specular reflection is likely to occur exists. Therefore, in order to suppress whiteout in the inlay included in the plurality of dentition images required for the halation removal process, the predetermined exposure time TEX is shortened.
  • step S370 the controller 62 identifies the high-luminance regions AB having high similarity and different luminance values as regions in which the inlay exists.
  • step S380 the controller 62 identifies the type of inlay based on the color information (information that can be obtained from the dentition image such as color and gloss) of the high-luminance region AB specified as the region where the inlay exists. do. Therefore, the memory 64 stores color information such as colors and glosses of various types of inlays prepared in advance. By referring to the information in the memory 64, the controller 62 identifies the type of inlay in the high brightness region AB .
  • step S390 the controller 62 stores the specified inlay type information in the memory 64.
  • the information on the type of the inlay is output together with the dentition image when the inlay appears in the dentition image from which halation is removed as shown in FIG.
  • the teeth can be clearly photographed as in the first embodiment described above.
  • the intraoral camera may be configured with, for example, a 360 degree camera.
  • the head portion 10a of the intraoral camera 10 shown in FIG. 1 may be configured to be rotatable 360 degrees with respect to the neck portion 10c, and a panoramic dentition image may be acquired.
  • the first to fourth LEDs 26A to 26D which are lighting devices that irradiate the tooth to be imaged with light from different directions, are one as shown in FIG.
  • a lighting condition for capturing one dentition image there may be a lighting condition in which two or more lighting devices are lit. Further, there may be a lighting condition in which all the lighting devices irradiate light or a lighting condition in which all the lighting devices are turned off.
  • the first to fourth LEDs 26A to 26D are ON / OFF controlled, but the embodiment of the present disclosure is not limited to this.
  • the lighting device may be, for example, a lighting device in which the amount of light can be adjusted.
  • a lighting device with an adjustable amount of light it is possible to further increase the lighting conditions when photographing the teeth, and it is possible to increase a plurality of dentition images having different lighting conditions required for the halation removal process. Halation removal accuracy is improved by using a large number of dentition images.
  • the light intensity of the lighting device may be adjusted automatically or manually before taking a plurality of dentition images having different lighting conditions required for the halation removal process.
  • the brightness around the entrance of the intraoral camera may be measured using an illuminance sensor, and the amount of light of the lighting device may be adjusted based on the measurement result.
  • the distance from the intraoral camera to the tooth to be imaged may be measured using a distance measuring sensor, and the amount of light of the lighting device may be adjusted based on the measurement result.
  • the user may be able to adjust the amount of light of the lighting device through the touch screen 72 while checking the dentition image through the touch screen 72 of the mobile terminal 70.
  • all of the first to fourth LEDs 26A to 26D output white light.
  • some lighting devices may irradiate with ultraviolet light. When irradiated with ultraviolet light, plaque appears clearly in the dentition image. This makes it possible to check plaque using a dentition image.
  • the head portion 10a of the intraoral camera 10 may be sterilized by ultraviolet light.
  • a head cover that covers the entire head portion 10a is prepared.
  • the inner surface of the head cover is mirror-finished.
  • the ultraviolet light is reflected on the inner surface of the mirror-finished head cover and is irradiated on the head portion 10a.
  • the head portion 10a is sterilized by ultraviolet light.
  • the intraoral camera 10 With respect to the irradiation light of the lighting device, the intraoral camera 10, particularly a part of the head portion 10a and the neck portion 10c entering the oral cavity, is a film having high light absorption (for example, black paint) so as to suppress the reflection of light. ) Is preferred. As a result, the light reflected by the intraoral camera 10 is suppressed from being projected onto the teeth, that is, the occurrence of halation is suppressed. It was
  • the user may be able to adjust the white balance of the dentition images.
  • the user may be able to adjust the white balance through the touch screen 72 while checking the dentition image through the touch screen 72 of the mobile terminal 70.
  • the intraoral camera may be subjected to anti-fog treatment. Since the humidity in the oral cavity is high, the components of the photographing optical system 12 such as the image sensor 14 and the lens 16 may get wet due to the humidity. As a countermeasure, for example, the transmissive surface of the lens 16 and the reflective surface of the mirror 18 may be water-repellent. Further, for example, the air around the image sensor 14 and the lens 16 may be warmed so as not to get wet (so that dew condensation does not occur). A heater may be used as a heat source for warming the air.
  • the air may be heated by the exhaust heat from the electronic component supplied and driven from the battery 66.
  • the dentition image may be determined that the lens 16 or the cover 28 is wet, and the user may be notified of this.
  • the head portion 10a of the intraoral camera 10 Is in contact with the gum G.
  • the position fixing of the head portion 10a of the intraoral camera 10 in the oral cavity is not limited to this.
  • the neck portion 10c may be provided with a seating surface such as a flat surface or a concave surface on which the upper lip or the lower lip is seated.
  • a spacer is provided in the intraoral camera 10 in order to acquire a plurality of dentition images with different lighting conditions required for the halation removal process in a better condition, and in order to make it easier to photograph the back teeth or the outer surface close to the back teeth. You may.
  • FIG. 14 is a perspective view of a part of the intraoral camera in the dental imaging system of another embodiment.
  • the head portion 210a of the intraoral camera 210 is provided with spacers 210d extending in the extending direction of the optical axis LA of the photographing optical system and having round ends at both ends.
  • spacers 210d By arranging the spacer 210d between the gum near the back teeth and the inner portion of the cheek facing the back teeth, a space is formed between the cheeks and the outer surface of the back teeth. As a result, an appropriate distance for photographing is secured between the incident port 212a of the photographing optical system and the outer surface of the back teeth.
  • the spacer 210d is preferably removable from the head portion 210a in consideration of photographing teeth other than the back teeth.
  • the dentition imaging system may teach the user such as the photographing procedure.
  • an intraoral image for example, an illustration
  • the position of the target tooth to be imaged next by the user is taught using the intraoral image.
  • the head portion 10a of the intraoral camera 10 is aligned with the tooth taught by the user, the type, shooting direction, angle of view, etc. of the tooth are determined based on the dentition image, and an appropriate shooting direction, angle of view, etc. are determined. Teach the user.
  • the intraoral camera 10 photographs the teeth.
  • the head portion 10a is configured to be rotatable with respect to the neck portion 10c, and a motor for rotating the head portion 10a is mounted on the intraoral camera 10, so that the shooting direction can be adjusted without the intervention of the user. can.
  • the type of tooth can be specified by performing image recognition on the image of the tooth reflected in the dentition image. As a result, when the user aligns the head portion 10a with respect to a tooth different from the tooth to be imaged next, the mistake can be pointed out to the user.
  • the dentition imaging system 100 is composed of a toothbrush-shaped intraoral camera 10 and a mobile terminal 70, as shown in FIGS. 1 and 3. Further, the intraoral camera 10 is equipped with LEDs 26A to 26D which are lighting devices, an image sensor 14 which is an image pickup device, a controller 62 which executes halation removal processing, and the like. Then, the mobile terminal 70 outputs the dentition image.
  • the embodiments of the present disclosure are not limited to this.
  • the controller that executes the halation removal process may be in the mobile terminal. That is, the CPU, MPU, or the like mounted on the mobile terminal executes the halation removal process of the dentition image.
  • a personal computer may be used instead of the mobile terminal, and the intraoral camera may be connected to the personal computer by USB or the like.
  • the camera equipped with a lighting device and a photographing device, and at least a part of which enters the oral cavity is not limited to the toothbrush-shaped intraoral camera.
  • the form of the camera does not matter as long as the portion provided with the incident port of the lighting device or the photographing optical system can be freely moved in the oral cavity.
  • the photographing optical system including the photographing device and the lighting device may be mounted on the head portion of the electric toothbrush.
  • the dentition imaging system includes a plurality of lighting devices that irradiate the tooth to be imaged with light from different directions, and lighting conditions of the plurality of lighting devices.
  • the brightness exceeds a predetermined brightness threshold for each of the photographing device that captures the first and second dentition images in which the teeth are captured and the first and second dentition images that are different and have a predetermined exposure time.
  • the high-brightness region extraction unit that extracts the high-brightness region, and the high-brightness region comparison unit that calculates the degree of similarity indicating the degree of similarity between the high-brightness regions of the first and second dentition images, and the similarity.
  • the degree When the degree is smaller than the predetermined similarity threshold value, it corresponds to the halation area specifying portion that specifies the high-brightness region of the first dentition image as the halation region and the halation region of the first dentition image.
  • An image composition processing unit that extracts a trimming area in the second dentition image and replaces the halation area with the trimming area, and an image composition processing unit that performs image composition processing, and the first dentition image that has undergone image composition processing. It includes a dentition image output unit to be output.
  • the dentition image taking method is, in a broad sense, a dentition image taking method for taking a dentition image including a tooth to be taken, and the dentition image is taken by a plurality of lighting devices.
  • the teeth are irradiated with light from different directions, and the lighting conditions of the plurality of lighting devices differ depending on the photographing device, and the first and second dentition images in which the teeth are captured are photographed at a predetermined exposure time.
  • a high-brightness region in which the brightness exceeds a predetermined brightness threshold is extracted, and the degree of similarity between the high-brightness regions of the first and second dentition images is obtained.
  • the indicated similarity is calculated, and when the similarity is smaller than the predetermined similarity threshold, the high-brightness region of the first dentition image is specified as the halation region, and the second corresponding to the halation region.
  • the trimming region in the dentition image of 2 is extracted, an image synthesizing process of replacing the halation region with the trimming region is executed, and the first dentition image processed by the image synthesizing is output.
  • the present disclosure is applicable to devices, systems, and methods that capture the dentition and output the dentition image.

Abstract

歯列画像撮影システムは、それぞれ異なる方向から光を照射する複数の照明デバイスと、照明条件が異なり且つ所定の露光時間で第１および第２の歯列画像を撮影する撮影デバイスと、第１および第２の歯列画像それぞれについて高輝度領域を抽出する高輝度領域抽出部と、第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出する高輝度領域比較部と、類似度が所定の類似度しきい値に比べて小さい場合、第１の歯列画像の高輝度領域をハレーション領域として特定するハレーション領域特定部と、ハレーション領域に対応する第２の歯列画像におけるトリミング領域を抽出し、ハレーション領域をトリミング領域に差し換える画像合成処理を実行する画像合成処理部と、画像合成処理された第１の歯列画像を出力する歯列画像出力部と、を含む。

Description

歯列画像撮影システムおよび歯列画像撮影方法
　本開示は、歯列画像撮影システムおよび歯列画像撮影方法に関する。
　口腔内を観察する手段として、口腔内に光を照射する機能を備えた口腔内カメラ（特許文献１、特許文献２）が、特許文献１および２に開示されている。
特開２００４－２３７０８１号公報 特開２００７－２３６７０７号公報
　ところで、口腔内に光を照射し、歯牙の撮影を行うとき、歯牙が白く光沢があることに加えて、歯牙が唾液や血液で濡れていたり、治療痕に使用された金属製のインレーにより、歯牙の表面で正反射が発生してハレーション（いわゆる「ホワイトアウト」）が発生する場合がある。ハレーションが発生するとの歯牙の画像が不鮮明となり、歯牙の状態を正しく確認できない可能性がある。
　そこで、本開示は、歯牙を鮮明に撮影することを課題とする。
　上述の課題を解決するために、本開示の一態様によれば、
　撮影対象の歯牙に対してそれぞれ異なる方向から光を照射する複数の照明デバイスと、
　前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影する撮影デバイスと、
　前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出する高輝度領域抽出部と、
　前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出する高輝度領域比較部と、
　前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定するハレーション領域特定部と、
　前記第１の歯列画像のハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行する画像合成処理部と、
　画像合成処理された前記第１の歯列画像を出力する歯列画像出力部と、を含む歯列画像撮影システムが提供される。
　また、本開示の別の態様によれば、
　撮影対象の歯牙を含む歯列画像を撮影する歯列画像撮影方法であって、
　複数の照明デバイスによって撮影対象の歯牙に対してそれぞれ異なる方向から光を照射し、
　撮影デバイスによって前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影し、
　前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出し、
　前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出し、
　前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定し、
　前記ハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、
　前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行し、
　画像合成処理された前記第１の歯列画像を出力する、歯列画像撮影方法が提供される。
　本開示によれば、歯牙を鮮明に撮影することができる。
本開示の実施の形態１に係る歯列画像撮影システムにおける口腔内カメラの斜視図 口腔内カメラに組み込まれた撮影光学系を概略的に示す断面図 本開示の実施の形態１に係る歯列画像撮影システムの概略的構成図 歯牙の表面にハレーションが生じた状態の歯列画像の一例を示す図 ハレーションを取り除いた歯列画像の作成に必要な複数枚の歯列画像の撮影動作のタイミングチャート 図５に示す撮影動作によって得られた複数の歯列画像を示す図 ハレーション除去処理の流れを示す一例のフローチャート 抽出された高輝度領域を示す複数の輝度分布画像を示す図 類似度が所定の類似しきい値に比べて小さい高輝度領域を示す輝度分布画像を示す図 トリミング処理および合成処理を示す図 ハレーションが除去された歯列画像を示す図 インレーを備える歯牙を含む歯列画像とその輝度分布とを示す図 キャリブレーション処理の流れを示すフローチャート 別の実施の形態の歯列画像撮影システムにおける口腔内カメラの一部の斜視図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
　以下、本開示の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
　図１は、本開示の実施の形態１に係る歯列画像撮影システムにおける口腔内カメラの斜視図である。図２は、口腔内カメラに組み込まれた撮影光学系を概略的に示す断面図である。
　図１に示すように、本実施の形態１の場合、口腔内カメラ１０は、片手で取り扱うことが可能な歯ブラシ状の筺体を備え、その筺体は、歯列撮影時にユーザの口腔内に配置されるヘッド部１０ａと、ユーザが把持するハンドル部１０ｂと、ヘッド部１０ａとハンドル部１０ｂとを接続するネック部１０ｃとを含んでいる。
　図２に示すように、本実施の形態１の場合、口腔内カメラ１０の撮影光学系１２は、ヘッド部１０ａとネック部１０ｃとに組み込まれている。撮影光学系１２は、その光軸ＬＡ上に配置された撮像素子１４とレンズ１６とを含んでいる。
　撮像素子１４は、例えばＣ－ＭＯＳセンサまたはＣＣＤ素子などの撮影デバイスであって、レンズ１６によって歯牙Ｄの像が結像される。その結像した像に対応する信号（画像データ）を、撮像素子１４は外部に出力する。
　レンズ１６は、例えば集光レンズであって、入射した歯牙Ｄの像を撮像素子１４に結像する。なお、レンズ１６は、１つのレンズであってもよいし、複数のレンズから構成されるレンズ群であってもよい。
　本実施の形態１の場合、撮影光学系１２はさらに、歯牙Ｄの像をレンズ１６に向かって反射するミラー１８、ミラー１８とレンズ１６との間に配置された赤外線カットフィルタ２０と補色フィルタ２２、レンズ１６と撮像素子１４との間に配置された絞り２４とを含んでいる。
　ミラー１８は、撮影光学系１２の入射口１２ａを通過した歯牙Ｄの像をレンズ１６に向かって反射するように、撮影光学系１２の光軸ＬＡ上に配置されている。
　赤外線カットフィルタ２０は、撮像素子１４に入射する光に含まれる赤外線をカットするフィルタである。ＣＣＤ素子やＣ－ＭＯＳセンサなどの撮像素子１４の各色画素（ＲＧＢ）のフィルタが全透過性を備える場合、赤外線が白色光と認識される。この対処として、赤外線カットフィルタ２０が撮像素子１４に入射する前の光から赤外線をカットする。
　補色フィルタ２２は、所定の波長の光が選択的に透過するフィルタである。補色フィルタ２２は、例えば４３０ｎｍ～４６０ｎｍの波長の光を選択的に透過し、それ以外の波長の光をカットする。
　絞り２４は、撮影光学系１２の光軸ＬＡ上に貫通穴を備える板状部材であって、深い焦点深度を実現する。これにより、口腔内の奥行方向についてピントを合わせることができ、輪郭が明瞭な歯列画像を得ることができる。なお、本実施の形態１の場合、撮影光学系１２に補色フィルタ２２が含まれているので、絞り２４によって蛍光線が効果的に処理される。
　また、口腔内カメラ１０は、撮影時に撮影対象の歯牙Ｄに対して光を照射する照明デバイスとして、複数の第１～第２のＬＥＤ２６Ａ～２６Ｄを搭載している。第１～第４のＬＥＤ２６Ａ～２６Ｄは、例えば白色ＬＥＤである。また、図１に示すように、本実施の形態１の場合、第１～第４のＬＥＤ２６Ａ～２６Ｄが、入射口１２ａを囲むように配置されている。なお、歯茎Ｇなどが第１～第４のＬＥＤ２６Ａ～２６Ｄに当接して照明光が不足しないように、第１～第４のＬＥＤ２６Ａ～２６Ｄと入射口１２ａとを覆う透光性のカバー２８がヘッド部１０ａに設けられている。
　さらに、本実施の形態の場合、口腔内カメラ１０は、図２に示すように、構図調節機構３０と焦点調節機構３２とを有する。
　構図調節機構３０は、撮像素子１４とレンズ１６とを保持する筺体３４と、筺体３４を光軸ＬＡの延在方向に移動させるアクチュエータ３６とから構成される。アクチュエータ３６が筺体３４の位置を調節することにより、画角が調節される、すなわち撮像素子１４に結像する歯列の大きさが調節される。なお、構図調節機構３０は、例えば１つの歯牙全体が撮影画像に写るように筺体３４の位置を自動的に調節する。また、構図調節機構３０は、ユーザの操作に基づいて、ユーザが所望する画角になるように筺体３４の位置を調節する。
　焦点調節機構３２は、構図調節機構３０の筺体３４内に保持され、レンズ１６を保持するレンズホルダ３８と、レンズホルダ３８を光軸ＬＡの延在方向に移動させるアクチュエータ４０とから構成される。アクチュエータ４０が撮像素子１４に対するレンズホルダ３８の相対位置を調節することにより、焦点が調節される、すなわちピントが調節される。なお、焦点調節機構３２は、例えば撮影画像の中央に位置する歯牙にピントが合うようにレンズホルダ３８の位置を自動的に調節する。また、焦点調節機構３２は、ユーザの操作に基づいて、レンズホルダ３８の位置を調節する。
　なお、ミラー１８を除く撮影光学系１２の構成要素は、口腔内カメラ１０のハンドル部１０ｂｃに設けられてもよい。
　ここまでは、歯列画像撮影システムにおける口腔内カメラ１０の撮影光学系について説明してきた。ここからは、歯列画像撮影システムの構成について説明する。
　図３は、本開示の一施の形態１に係る歯列画像撮影システムの概略的構成図である。
　図３に示すように、本実施の形態１に係る歯列画像撮影システム１００は、概略的には、口腔内カメラ１０を用いて歯列を撮影し、その撮影画像に対して画像処理を実行するように構成されている。
　図３に示すように、本実施の形態１の場合、歯列画像撮影システム１００は、口腔内カメラ１０と、携帯端末７０と、クラウドサーバー８０とを含んでいる。携帯端末７０は、例えば、入力デバイスおよび出力デバイスとして、例えば歯列画像を表示可能なタッチスクリーン７２を備えている無線通信可能な携帯電話である。携帯端末７０は、歯列画像撮影システム１００のユーザインターフェースとして機能する。クラウドサーバー８０は、携帯端末７０に対してインターネットなどを介して通信可能なサーバーであって、携帯端末７０に口腔内カメラ１０を使用するためのアプリケーションを提供する。例えば、ユーザがアプリケーションをクラウドサーバー８０からダウンロードして携帯端末７０にインストールする。また、クラウドサーバー８０は、口腔内カメラ１０によって撮影された歯列画像を携帯端末７０を介して取得する。
　歯列画像撮影システム１００は、システムの制御を行う主要部分として中央制御部５０と、撮像素子１４からの歯列画像を画像処理する画像処理部５２と、複数のＬＥＤ２６Ａ～２６Ｄを制御するＬＥＤ制御部５４と、構図調節機構３０のアクチュエータ３６と焦点調節機構３２のアクチュエータ４０を制御するレンズドライバー５６と、を含んでいる。
　また、歯列画像撮影システム１００は、携帯端末７０と無線通信を行う無線通信モジュール５８と、中央制御部５０などに電力供給を行う電源制御部６０とを有する。
　歯列画像撮影システム１００の中央制御部５０は、本実施の形態１の場合、口腔内カメラ１０のハンドル部１０ｂに搭載されている。例えば、また、中央制御部５０は、後述する様々な処理を実行するＣＰＵやＭＰＵなどのコントローラ６２と、コントローラ６２に様々な処理を実行させるためのプログラムを記憶するＲＡＭやＲＯＭなどのメモリ６４とを含んでいる。なお、メモリ６４には、プログラム以外に、撮像素子１４によって撮影された歯列画像（データ）や種々の設定データなどが記憶される。
　画像処理部５２は、本実施の形態１の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、撮像素子１４が撮影した歯列画像（データ）を取得し、その取得した歯列画像に対して画像処理を実行し、その画像処理後の歯列画像を中央制御部５０に出力する。画像処理部５２は、例えば回路で構成され、例えば歯列画像に対してノイズ除去、ＡＷＢ（Ａｕｏｍａｔｉｃ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）処理などの画像処理を実行する。画像処理部５２から出力された歯列画像を、コントローラ６２は、無線通信モジュール５８を介して携帯端末７０に送信する。携帯端末７０は、その送信された歯列画像をタッチスクリーン７２に表示し、それによりユーザに歯列画像を提示する。
　ＬＥＤ制御部５４は、本実施の形態１の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、のコントローラ６２からの制御信号に基づいて、第1～第４のＬＥＤ２６Ａ～２６Ｄの点灯および消灯を実行する。ＬＥＤ制御部５４は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して口腔内カメラ１０を起動させる操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介してコントローラ６２に送信される。コントローラ６２は、受信した信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄを点灯させるようにＬＥＤ制御部５４に制御信号を送信する。
　レンズドライバー５６は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０からのコントローラ６２からの制御信号に基づいて、構図調節機構３０のアクチュエータ３６と焦点調節機構３２のアクチュエータ４０を制御する。レンズドライバー５６は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して構図調節やピント調節に関する操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介して中央制御部５０に送信される。中央制御部５０のコントローラ６２は、受信した信号に基づいて、構図調節やピント調節を実行するようにレンズドライバー５６に制御信号を送信する。また例えば、コントローラ６２が画像処理部５２からの歯列画像に基づいて構図調節やピント調節に必要なアクチュエータ３６、４０の制御量を演算し、その演算された制御量に対応する制御信号がレンズドライバー５６に送信される。
　無線通信モジュール５８は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、携帯端末７０と無線通信を行う。無線通信モジュール５８は、例えばＷｉＦｉやＢｌｕｅｔｏｏｔｈなどの既存の通信規格に準拠した無線通信を携帯端末７０との間で実行する。無線通信モジュール５８を介して、口腔内カメラ１０から歯牙Ｄが写る歯列画像が携帯端末７０に送信されたり、携帯端末７０から口腔内カメラ１０に操作信号が送信される。
　電源制御部６０は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０、画像処理部５２、ＬＥＤ制御部５４、レンズドライバー５６、および無線通信モジュール５８に、電池６６の電力を分配する。電源制御部６０は、例えば回路で構成される。なお、本実施の形態の場合、電池６６は、充電可能な二次電池であって、口腔内カメラ１０に搭載されたコイル６８を介して、商用電源に接続された外部の充電器６９によってワイヤレス充電される。
　ここまでは、歯列画像撮影システム１００の構成について説明してきた。ここからは、歯列画像撮影システム１００が実行する歯列画像撮影について説明する。
　図４は、歯牙の表面にハレーションが生じた状態の歯列画像の一例である。
　図４の一例の歯列画像に示すように、歯牙Ｄの表面が唾液や濡れているなどして、第１～第４のＬＥＤ２６Ａ～２６Ｄからの照明光によって歯牙Ｄの表面でハレーションＨが生じうる。そのハレーションＨが生じた歯牙Ｄの表面部分は不鮮明でその状態を確認することができない。そこで、本実施の形態１に係る歯列画像撮影システム１００は、そのハレーションＨを取り除いた歯列画像を作成することができるように構成されている。
　ハレーションＨを取り除いた歯列画像を作成するために、歯列画像撮影システム１００は、必要な複数枚の歯列画像を撮影するように構成されている。
　図５は、ハレーションを取り除いた歯列画像の作成に必要な複数枚の歯列画像の撮影動作のタイミングチャートである。また、図６は、図５に示す撮影動作によって得られた複数の歯列画像を示している。
　図５および図６に示すように、複数枚の歯列画像Ｐ１～Ｐ４それぞれは、異なる照明条件の下で撮影される。また、所定の露光時間ＴＥＸで、複数枚の歯列画像Ｐ１～Ｐ４は撮影される。
　例えば、ユーザが、まず一方の手で口腔内カメラ１０を持ち、他方の手で携帯端末７０を持つ。次に、ユーザが、第１～第４のＬＥＤ２６Ａ～２６Ｄを点灯した状態で、撮影対象の歯牙Ｄが携帯端末７０のタッチスクリーン７２に映るように口腔内カメラ１０のヘッド部１０ａの位置を調節する。例えば、図２に示すように、口腔内カメラ１０のヘッド部１０ａを撮影対象の歯牙Ｄ近傍の歯茎Ｇに当接させることにより、口腔内カメラ１０を口腔内で固定する。その位置調節後、ユーザが、撮影開始に関する操作をタッチスクリーン７２に対して実行する。その操作に基づいて、撮影開始信号が、携帯端末７０から口腔内カメラ１０の中央制御部５０に送信される。
　本実施の形態１の場合、中央制御部５０のコントローラ６２は、ＬＥＤ制御部５４を制御して第１～第４のＬＥＤ２６Ａ～２６Ｄを１つずつ順番に点灯させる。図５に示すように、一枚目の歯列画像Ｐ１を撮影するときは、第１のＬＥＤ２６Ａが点灯（ＯＮ）し、残りのＬＥＤが消灯（ＯＦＦ）する。一枚目の歯列画像Ｐ１を中央制御部５０が取得すると（メモリ６４に保存されると）、二枚目の歯列画像Ｐ２を撮影するために、第２のＬＥＤ２６Ｂが点灯し、残りのＬＥＤを消灯する。二枚目の歯列画像Ｐ２の取得後、第３のＬＥＤ２６Ｃが点灯し、残りのＬＥＤが消灯し、三枚目の歯列画像Ｐ３が撮影される。そして、三枚目の歯列画像Ｐ３の取得後、第４のＬＥＤ２６Ｄが点灯し、残りのＬＥＤが消灯し、四枚目の歯列画像Ｐ４が撮影される。これにより、照明条件が異なる、具体的には照明方向が異なり、所定の露光時間ＴＥＸで、構図が実質的に同一の複数の歯列画像Ｐ１～Ｐ４が撮影される（保存される）。その後、コントローラ６２は、ＬＥＤ制御部５４を介して第１～第４のＬＥＤ２６Ａ～２６Ｄを撮影開始前の状態に戻し、携帯端末７０を介してユーザに対して撮影終了の通知を実行する。
　図６に示すように、構図は実質的に同一であって、照明方向が異なり、所定の露光時間ＴＥＸで撮影された複数枚（本実施の形態の場合は４枚）の歯列画像Ｐ１～Ｐ４を取得すると、中央制御部５０のコントローラ６２は、歯列画像Ｐ１のハレーションＨを除去する処理を実行する。その処理について、図７を参照しながら説明する。
　図７は、ハレーション除去処理の流れを示す一例のフローチャートである。
　まず、ステップＳ１００において、コントローラ６２は、複数の歯列画像Ｐ１～Ｐｎ（本実施の形態１の場合、ｎ＝４）それぞれにおいて、輝度が所定の輝度しきい値を超えている高輝度領域ＡＢを抽出する。すなわち、コントローラ６２が、メモリ６４に記憶されているプログラムにしたがって動作することによって歯列画像撮影システム１００の高輝度領域抽出部として機能する。なお、所定の輝度しきい値は、例えば予め実験的にまたは理論的に求められ、正反射が生じた歯牙の表面部分の輝度近傍の値である。
　図８は、抽出された高輝度領域を示す複数の輝度分布画像を示す図である。
　図８に示すように、複数の輝度分布画像ＢＰ１～ＢＰ４それぞれは、抽出された高輝度領域ＡＢ（クロスハッチング）を示している。なお、輝度分布画像ＢＰ１は歯列画像Ｐ１に対応し、ＢＰ２はＰ２、ＢＰ３はＰ３、そしてＢＰ４はＰ４に対応する。
　なお、ステップＳ１００に続くステップＳ１１０において、複数の歯列画像全てにおいて高輝度領域ＡＢが存在するか否かが判定される。歯列画像の少なくとも１つに高輝度領域ＡＢが存在する場合、ステップＳ１２０に進む。そうでない場合、すなわち歯列画像全てにおいて高輝度領域ＡＢが存在しない場合、ステップＳ２００に進む。
　ステップＳ１２０において、コントローラ６２により、パラメータｋが１に設定される。
　ステップＳ１３０において、コントローラ６２は、歯列画像Ｐ１の高輝度領域ＡＢと歯列画像Ｐｋ＋１の高輝度領域ＡＢとの間の類似の程度を示す数字である類似度を算出する。すなわち、コントローラ６２が、メモリ６４に記憶されているプログラムにしたがって動作することによって歯列画像撮影システム１００の高輝度領域比較部として機能する。
　高輝度領域ＡＢの類似度は、例えばテンプレートマッチングを用いて算出される。テンプレートマッチングとして、例えば、ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｕｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）などがある。
　ＳＳＤを用いる場合は、下記の数式１を用いて歯列画像Ｐ１と、Ｐｋ＋１それぞれに対応する輝度分布画像ＢＰ１、ＢＰｋ＋１の画素の輝度値の差分の二乗和を算出する。その算出した値ＲＳＳＤの逆数を高輝度領域間の類似度とする。
Figure JPOXMLDOC01-appb-M000001
　数１において、Ｔ（ｉ，ｊ）は歯列画像Ｐ１に対応する輝度分布画像ＢＰ１の画素の輝度値であって、Ｉ（ｉ，ｊ）は歯列画像Ｐｋ＋１に対応する輝度分布画像ＢＰｋ＋１の画素の輝度値である。
　ＳＡＤを用いる場合は、下記の数式２を用いて歯列画像Ｐ１と、Ｐｋ＋１それぞれに対応する輝度分布画像ＢＰ１、ＢＰｋ＋１の画素の輝度値の差分の絶対値の和を算出する。その算出した値ＲＳＡＤの逆数を高輝度領域間の類似度とする。
Figure JPOXMLDOC01-appb-M000002
　数２において、Ｔ（ｉ，ｊ）は歯列画像Ｐ１に対応する輝度分布画像ＢＰ１の画素の輝度値であって、Ｉ（ｉ，ｊ）は歯列画像Ｐｋ＋１に対応する輝度分布画像ＢＰｋ＋１の画素の輝度値である。
　ＮＣＣＣを用いる場合は、下記の数式３を用いて歯列画像Ｐ１と、Ｐｋ＋１それぞれに対応する輝度分布画像ＢＰ１、ＢＰｋ＋１の画素の輝度値の正規化相互相関を評価する。数式３を用いて算出される評価値ＲＮＣＣは、－１．０～＋１．０の範囲の数値であって、＋１．０に近いほど、類似度が高いことを示す。
Figure JPOXMLDOC01-appb-M000003
　数３において、Ｔ（ｉ，ｊ）は歯列画像Ｐ１に対応する輝度分布画像ＢＰ１の画素の輝度値であって、Ｉ（ｉ，ｊ）は歯列画像Ｐｋ＋１に対応する輝度分布画像ＢＰｋ＋１の画素の輝度値である。
　ステップＳ１３０で歯列画像Ｐ１の高輝度領域ＡＢと歯列画像Ｐｋ＋１の高輝度領域ＡＢの間の類似度が算出されると、ステップＳ１４０において、コントローラ６２は、歯列画像Ｐ１に類似度が所定の類似しきい値に比べて小さい高輝度領域ＡＢが存在するか否かを判定する。存在する場合には、ステップＳ１５０に進む。そうでない場合にはステップＳ１７０に進む。
　図９は、類似度が所定の類似しきい値に比べて小さい高輝度領域を示す輝度分布画像を示している。
　図９に示すように、歯列画像Ｐ１に対応する輝度分布画像ＢＰ１において、類似度が所定の類似しきい値に比べて小さい高輝度領域（斜線ハッチング）が存在する場合、ステップＳ１５０において、コントローラ６２は、当該領域を歯列画像Ｐ１においてハレーションが生じている領域ＡＨ（ハレーション領域）として特定する。すなわち、コントローラ６２が、メモリ６４に記憶されているプログラムにしたがって動作することによって歯列画像撮影システム１００のハレーション領域特定部として機能する。
　図１０は、トリミング処理および合成処理を示す図である。また、図１１は、トリミング処理および合成処理によってハレーションが部分的に除去された歯列画像を示している。
　ステップＳ１６０において、コントローラ６２は、図１０に示すように、歯列画像Ｐ１のハレーション領域ＡＨに対応する歯列画像Ｐｋ＋１の領域Ａｔｒｉ（トリミング領域）を抽出する。そして、続くステップＳ１７０において、歯列画像Ｐ１のハレーション領域ＡＨを歯列画像Ｐｋ＋１のトリミング領域Ａｔｒｉに差し換える画像合成処理を実行する。すなわち、コントローラ６２が、メモリ６４に記憶されているプログラムにしたがって動作することによって歯列画像撮影システム１００の合成処理部として機能する。これらのステップＳ１６０およびＳ１７０の処理により、図１１に示すように、ハレーションＨの一部が除去された歯列画像Ｐ１が得られる（図６参照）。
　ステップＳ１８０において、コントローラ６２により、パラメータｋが＋１だけインクリメントされる。続くステップＳ１９０において、コントローラ６２により、パラメータｋがｎ－１であるか否かが判定される。パラメータｎは歯列画像の枚数である。パラメータｋがｎ－１である場合（本実施の形態１の場合にはｋ＝３）には、ステップＳ２００に進む。そうでないステップＳ１３０に戻る。
　ステップＳ１３０～Ｓ１９０の処理が繰り返されることにより、歯列画像Ｐ１と他の歯列画像Ｐ２～Ｐ４それぞれとの間で、高輝度領域ＡＨの類似度算出や画像合成処理（類似度算出結果によっては画像合成処理が実行されない歯列画像もありうる）が実行される。
　歯列画像Ｐ１と他の歯列画像Ｐ２～Ｐ４それぞれとの間で高輝度領域ＡＨの類似度算出や画像合成処理が実行されると、ステップＳ２００において、コントローラ６２は、歯列画像Ｐ１を、携帯端末７０のタッチスクリーン７２を介して出力する（表示する）。すなわち、携帯端末７０のタッチスクリーン７２が、歯列画像撮影システム１００の歯列画像出力部として機能する。ステップＳ２００の処理が終了すると、ハレーション除去処理が完了する。
　図１１は、ハレーションが除去された歯列画像を示している。
　図１１に示すように、歯列画像Ｐ１において、一部を除いてハレーションＨが除去されている（図６参照）。残るハレーションＨＲは、照明方向を変えても生じるハレーションである。このハレーションＨＲは、歯牙Ｄに詰められたインレーが多重反射することによって生じていると推定できる。したがって、ハレーションＨＲにはハレーション除去処理が実行されず、歯列画像Ｐ１にはインレーが写る。
　言い換えると、他の歯列画像Ｐ２～Ｐ４の高輝度領域ＡＢそれぞれとの間の類似度が所定の類似しきい値に比べて大きい歯列画像Ｐ１の高輝度領域ＡＢは、インレーが存在しうる領域として推定され、その領域は画像合成処理されることなくそのまま残される。その結果、インレーを備える歯牙Ｄが写る歯列画像において、インレーが写らないという不自然な状況が起こることが抑制されている。
　したがって、図１１に示すようにインレーを除く歯牙の部分のハレーションが除去された歯列画像を得ることができる。
　以上のような本実施の形態１によれば、歯牙を鮮明に撮影することができる。
（実施の形態２）
　本実施の形態２に係る歯列画像撮影システムは、上述の実施の形態１に係る歯列画像撮影システムの改良形態であって、特にインレーを備える歯牙を含む歯列画像の撮影に適した形態である。したがって、異なる点を中心にして、本実施の形態２について説明する。
　インレー備える歯牙を含む歯列、特に金属製のインレーを備える歯牙を含む歯列を撮影すると、インレーの一部分が鏡面反射する場合がある。鏡面反射したインレーの部分は、対応する撮像素子の画素が飽和してホワイトアウトが発生しうるので、その状態を確認することができない。
　図１２は、インレーを備える歯牙を含む歯列画像とその輝度分布とを示している。
　図１２示す輝度分布は、歯牙画像Ｐ５において、歯肉、歯牙、インレー、歯牙、歯肉と順番に通過する直線Ｘ－Ｘ上の輝度分布を示している。歯肉の輝度が最も低く、インレーの輝度が最も高い。インレー内においても他の部分に比べて輝度が高い部分が存在し、このインレーの部分は、鏡面反射が発生していると推定される。したがって、歯肉や歯牙に比べて輝度が高いインレーの輝度を低下させれば、インレーを含む歯牙においてホワイトアウトの発生を抑制でき、歯牙全体が鮮明に映る歯列画像を得ることができる。
　インレーの輝度を低下させるために、本実施の形態２の場合、図６に示すような、ハレーション除去処理に必要な複数枚の歯列画像の露光時間を所定の露光時間ＴＥＸから短縮させる。具体的には、ハレーション除去処理に必要な複数枚の歯列画像を撮影する前に、以下のキャリブレーション処理を、本実施の形態２に係る歯列画像撮影システムは実行する。
　図１３は、キャリブレーション処理の流れを示すフローチャートである。
　図１３に示すように、ステップＳ３００において、コントローラ６２は、キャリブレーション処理用の２枚の歯列画像を撮像素子１４から取得する。このとき、２枚の歯列画像は、異なる照明条件の下で、互いに異なる露光時間で撮影される。なお、これらの露光時間は、両方が所定の露光時間ＥＸと異なってもよいし、一方が同じであってもよい。一方の歯列画像は、例えば第１のＬＥＤ２６Ａのみが点灯した状態で撮影される。他方の歯列画像は、例えば第３のＬＥＤ２６Ｃのみが点灯した状態で撮影される。
　ステップＳ３１０において、コントローラ６２は、２枚の歯列画像それぞれにおいて、所定の輝度しきい値を超える高輝度領域ＡＢを抽出する。
　ステップＳ３２０において、コントローラ６２は、２枚の歯列画像に高輝度領域ＡＢが存在するか否かを判定する。存在する場合にはステップＳ３３０に進む。そうでない場合には、ハレーション除去処理に必要な複数枚の歯列画像を撮影したときに歯牙においてホワイトアウトが発生する確率が低いので、キャリブレーション処理を終了する。
　ステップＳ３３０において、コントローラ６２は、２枚の歯列画像の高輝度領域ＡＢ間の類似度を算出する。
　ステップＳ３４０において、コントローラ６２は、類似度が所定の類似しきい値に比べて大きい高輝度領域ＡＢが存在するか否かを判定する。存在する場合、ステップＳ３５０に進む。そうでない場合、インレーが存在しない可能性が高いので、キャリブレーション処理を終了する。
　ステップＳ３５０において、コントローラ６２は、２枚の歯列画像の高輝度領域ＡＢの輝度値が異なるか否かを判定する。異なる場合、ステップＳ３６０に進む。そうでない場合、ステップＳ４００に進み、コントローラ６２は、撮像素子１４に異常が発生していると判定する。すなわち、コントローラ６２が、歯列画像撮影システムの撮影デバイス異常判定部として機能する。このような異常判定が実行できる理由は、２枚の歯列画像が異なる露光時間で撮影されているにもかかわらず、それらの高輝度領域ＡＢの輝度値が異なっておらずに同一だからである。なお、この撮像素子の異常判定を高精度に行うためには、２枚の歯列画像の露光時間の差は大きい方が好ましい。
　ステップＳ３６０において、コントローラ６２は、ハレーション除去処理に必要な複数枚の歯列画像を撮影するときの所定の露光時間ＴＥＸを短縮する。すなわち、類似度が大きく且つ輝度値が異なる高輝度領域ＡＢは、鏡面反射が起こりやすいインレーが存在する可能性が高い領域である。そこで、ハレーション除去処理に必要な複数枚の歯列画像に含まれるインレーでのホワイトアウトを抑制するために、所定の露光時間ＴＥＸを短縮する。
　ステップＳ３７０において、コントローラ６２は、類似度が大きく且つ輝度値が異なる高輝度領域ＡＢをインレーが存在する領域と特定する。続くステップＳ３８０において、コントロ-ラ６２は、インレーが存在する領域として特定された高輝度領域ＡＢの色情報（色や光沢などの歯列画像から取得できる情報）に基づいてインレーの種類を特定する。そのために、メモリ６４には、予め用意された様々な種類のインレーの色や光沢などの色情報が記憶されている。メモリ６４内の情報を参照することにより、コント―ラ６２は、高輝度領域ＡＢ内のインレーの種類を特定する。
　ステップＳ３９０において、コントローラ６２は、特定したインレーの種類の情報をメモリ６４に保存する。このインレーの種類の情報は、図１１に示すようにハレーションが除去された歯列画像にインレーが写るときに、その歯列画像とともに出力される。
　このような本実施の形態２によれば、上述の実施の形態１と同様に、歯牙を鮮明に撮影することができる。特に、インレーを備える歯牙を鮮明に撮影することができる。
　以上、上述の実施の形態１および２を挙げて本開示を説明したが、本開示の実施の形態は上述の実施の形態に限らない。
　例えば、上述の実施の形態の場合、１本の歯牙に対してハレーション除去処理が実行されているが、本開示の実施の形態はこれに限らない。複数本の歯牙に対して同時にハレーション除去処理することも可能である。そのために、口腔内カメラを、例えば３６０度カメラで構成してもよい。また例えば、図１に示す口腔内カメラ１０のヘッド部１０ａをネック部１０ｃに対して３６０度回転可能に構成し、パノラマ画像状の歯列画像を取得してもよい。
　また、上述の実施の形態１の場合、撮影対象の歯牙に対してそれぞれ異なる方向から光を照射する照明デバイスである第１～第４のＬＥＤ２６Ａ～２６Ｄは、図５に示すように、１枚の歯列画像を撮影するときは１つのＬＥＤのみ点灯するが、本開示の実施の形態はこれに限らない。例えば、１枚の歯列画像を撮影するときの照明条件として、２つ以上の照明デバイスが点灯する照明条件があってもよい。また、全ての照明デバイスが光を照射する照明条件や全ての照明デバイスが消灯する照明条件があってもよい。これにより、歯牙を撮影するときの照明条件を増加させることができ、ハレーション除去処理に必要な照明条件が異なる複数の歯列画像を増加させることができる。多数の歯列画像を使用することにより、ハレーション除去処理の精度が向上する。
　照明デバイスに関して、図５に示すように第１～第４のＬＥＤ２６Ａ～２６ＤはＯＮ／ＯＦＦ制御されるが、本開示の実施の形態はこれに限らない。照明デバイスは、例えば光量が調節可能な照明デバイスであってもよい。光量が調節可能な照明デバイスを用いれば、歯牙を撮影するときの照明条件をさらに増加させることができ、ハレーション除去処理に必要な照明条件が異なる複数の歯列画像を増加させることができる。多数の歯列画像を使用することにより、ハレーション除去精度が向上する。
　照明デバイスの光量調節に関して、ハレーション除去処理に必要な照明条件が異なる複数の歯列画像を撮影する前に、照明デバイスの光量が自動的または手動で調節されてもよい。例えば、照度センサを用いて口腔内カメラの入射口周辺の明るさを測定し、その測定結果に基づいて照明デバイスの光量を調節してもよい。また例えば、測距センサを用いて口腔内カメラから撮影対象の歯牙までの距離を測定し、その測定結果に基づいて照明デバイスの光量を調節してもよい。さらに例えば、ユーザが、携帯端末７０のタッチスクリーン７２を介して歯列画像を確認しながら、そのタッチスクリーン７２を介して照明デバイスの光量を調節できるようにしてもよい。ハレーション除去処理に必要な照明条件が異なる複数の歯列画像を撮影する前に、照明デバイスの光量を適当に調節することにより、ある程度ハレーションの発生が抑制された複数枚の歯列画像を取得することができる。そのある程度ハレーションの発生が抑制された複数枚の歯列画像を使用することにより、ハレーション除去精度が向上する。
　複数の照明デバイスそれぞれの照射光に関して、上述の実施の形態１の場合、第１～第４のＬＥＤ２６Ａ～２６Ｄの全てが白色光を出力する。これに代わって、一部の照明デバイスが紫外線光を照射してもよい。紫外線光を照射すると、歯列画像において歯垢が鮮明に写る。これにより、歯列画像を用いて歯垢チェックが可能になる。
　照明デバイスが紫外線光を照射する場合、その紫外線光によって口腔内カメラ１０のヘッド部１０ａを紫外線殺菌してもよい。この場合、ヘッド部１０ａ全体を覆うヘッドカバーを用意する。そのヘッドカバーの内面は鏡面加工されている。ヘッドカバーに覆われた状態のヘッド部１０ａに設けられた照明デバイスが紫外線光を照射すると、その紫外線が鏡面加工されたヘッドカバーの内面で反射し、ヘッド部１０ａに照射される。その結果、ヘッド部１０ａが紫外線光によって殺菌される。
　照明デバイスの照射光に関して、口腔内カメラ１０、特に口腔内に入るヘッド部１０ａおよびネック部１０ｃの一部は、光の反射を抑制するように、光の吸収性が高い膜（例えば黒色の塗料）で覆われているのが好ましい。これにより、口腔内カメラ１０で反射した光が歯牙に投射されることが抑制される、すなわちハレーションの発生が抑制される。　
　ハレーション除去処理に必要な照明条件が異なる複数の歯列画像をより良好な状態で取得するために、ユーザが歯列画像のホワイトバランスを調節できるようにしてもよい。例えば、ユーザが、携帯端末７０のタッチスクリーン７２を介して歯列画像を確認しながら、そのタッチスクリーン７２を介してホワイトバランスを調節できるようにしてもよい。
　ハレーション除去処理に必要な照明条件が異なる複数の歯列画像をより良好な状態で取得するために、口腔内カメラに曇り止め処置を施してもよい。口腔内は湿度が高いため、撮像素子１４やレンズ１６などの撮影光学系１２の構成要素が湿気によって濡れる可能性がある。その対処として、例えば、レンズ１６の透過面やミラー１８の反射面を撥水加工してもよい。また例えば、撮像素子１４、レンズ１６などが濡れないように（結露が生じないように）、その周囲の空気を温めてもよい。その空気を温める熱源として、ヒータを使用してもよい。あるいは、電池６６から供給されて駆動する電子部品からの排熱によって空気を温めてもよい。代わりとして、歯列画像に部分的に不鮮明な部分が発生している場合にはレンズ１６やカバー２８が濡れていると判定し、そのことをユーザに通知してもよい。
　ハレーション除去処理に必要な照明条件が異なる複数の歯列画像をより良好な状態で取得するために、上述の実施の形態１の場合、図２に示すように、口腔内カメラ１０のヘッド部１０ａが歯茎Ｇに当接される。口腔内カメラ１０のヘッド部１０ａの口腔内での位置固定は、これに限らない。例えば、ネック部１０ｃに上唇または下唇が着座する平面や凹面などの着座面を設けてもよい。
ハレーション除去処理に必要な照明条件が異なる複数の歯列画像をより良好な状態で取得するために、特に奥歯または奥歯に近い外側面を撮影しやすくするために、口腔内カメラ１０にスペーサを設けてもよい。
　図１４は、別の実施の形態の歯列画像撮影システムにおける口腔内カメラの一部の斜視図である。
　図１４に示すように、口腔内カメラ２１０のヘッド部２１０ａには、撮影光学系の光軸ＬＡの延在方向に延在して両端が丸いスペーサ２１０ｄが設けられている。このスペーサ２１０ｄが奥歯近傍の歯茎と対向する頬の内側部分との間に配置されることにより、頬と奥歯の外側面との間にスペースが形成される。その結果、撮影光学系の入射口２１２ａと奥歯の外側面との間に、撮影に適切な距離が確保される。なお、スペーサ２１０ｄは、奥歯以外の歯を撮影するときを考慮すると、ヘッド部２１０ａに対して着脱可能であることが好ましい。
　また、複数の歯牙を撮影する場合、歯列画像撮影システムは、その撮影手順などのユーザに教示してもよい。例えば、携帯端末７０のタッチスクリーン７２に全ての歯牙を含む口腔内画像（例えばイラスト）を表示し、その口腔内画像を用いて次にユーザが撮影すべき対象の歯牙の位置を教示する。ユーザが教示された歯牙に口腔内カメラ１０のヘッド部１０ａを位置合わせすると、その歯列画像に基づいて歯牙の種類、撮影方向、画角などを判定し、適切な撮影方向や画角などをユーザに教示する。ユーザによって撮影方向や画角などが適切に調節されると、口腔内カメラ１０がその歯牙を撮影する。なお、ヘッド部１０ａをネック部１０ｃに対して回転可能に構成し、そのヘッド部１０ａを回転させるモータを口腔内カメラ１０に搭載することにより、ユーザを介することなく、撮影方向を調節することができる。歯牙の種類は、歯列画像に写る歯牙の像に対して画像認識を実行することにより、特定することができる。これにより、ユーザが次に撮影すべき歯牙と異なる歯牙に対してヘッド部１０ａを位置合わせした場合、その間違いをユーザに指摘することができる。
　最後に、上述の実施の形態１の場合、歯列画像撮影システム１００は、図１および図３に示すように、歯ブラシ状の口腔内カメラ１０と携帯端末７０とで構成されている。また、口腔内カメラ１０に、照明デバイスであるＬＥＤ２６Ａ～２６Ｄ、撮像デバイスである撮像素子１４、ハレーション除去処理を実行するコントローラ６２などが搭載されている。そして、携帯端末７０が、歯列画像を出力する。しかしながら、本開示の実施の形態はこれに限らない。
　例えば、ハレーション除去処理を実行するコント―ラは、携帯端末にあってもよい。すなわち、携帯端末に搭載されたＣＰＵやＭＰＵなどが歯列画像のハレーション除去処理を実行する。また例えば、携帯端末の代わりにパーソナルコンピュータを使用し、口腔内カメラをＵＳＢなどでそのパーソナルコンピュータに接続してもよい。
　また、照明デバイスと撮影デバイスが搭載され、少なくとも一部が口腔内に進入するカメラは、歯ブラシ状の口腔内カメラに限らない。照明デバイスや撮影光学系の入射口が設けられた部分が口腔内で自由に移動可能であれば、カメラの形態は問わない。例えば、撮影デバイスを含む撮影光学系と照明デバイスとを、電動歯ブラシのヘッド部に搭載してもよい。
　すなわち、本開示の実施の形態に係る歯列画像撮影システムは、広義には、撮影対象の歯牙に対してそれぞれ異なる方向から光を照射する複数の照明デバイスと、前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影する撮影デバイスと、前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出する高輝度領域抽出部と、前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出する高輝度領域比較部と、前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定するハレーション領域特定部と、前記第１の歯列画像のハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行する画像合成処理部と、画像合成処理された前記第１の歯列画像を出力する歯列画像出力部と、を含んでいる。
　また、本開示の実施の形態に係る歯列画像撮影方法は、広義には、撮影対象の歯牙を含む歯列画像を撮影する歯列画像撮影方法であって、複数の照明デバイスによって撮影対象の歯牙に対してそれぞれ異なる方向から光を照射し、撮影デバイスによって前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影し、前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出し、前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出し、前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定し、前記ハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行し、画像合成処理された前記第１の歯列画像を出力する。
　以上のように、本開示における技術の例示として、上述の実施の形態を説明してきた。そのために、図面および詳細な説明を提供している。したがって、図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上述の技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。
　本開示は、歯列を撮影して歯列画像を出力する装置、システム、および方法に対して適用可能である。

Claims (8)

  1. 　撮影対象の歯牙に対してそれぞれ異なる方向から光を照射する複数の照明デバイスと、
    　前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影する撮影デバイスと、
    　前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出する高輝度領域抽出部と、
    　前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出する高輝度領域比較部と、
    　前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定するハレーション領域特定部と、
    　前記第１の歯列画像のハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行する画像合成処理部と、
    　画像合成処理された前記第１の歯列画像を出力する歯列画像出力部と、を含む歯列画像撮影システム。
  2. 　前記第１および第２の歯列画像に高輝度領域が含まれない場合、前記歯列画像出力部が前記第１の歯列画像を出力する、請求項１に記載の歯列画像撮影システム。
  3. 　前記撮影デバイスが、異なる照明条件の下で且つ互いに異なる露光時間で第３および第４の歯列画像を撮影し、
    　前記高輝度領域抽出部が、前記第３および第４の歯列画像の高輝度領域を抽出し、
    　前記高輝度領域比較部が、前記第３および第４の歯列画像の高輝度領域の類似度を算出し、
    　前記第３および第４の歯列画像の高輝度領域間の類似度が前記所定の類似しきい値に比べて大きい場合、前記撮影デバイスが、前記所定の露光時間を短縮して前記第１および第２の歯列画像を撮影する、請求項１または２に記載の歯列画像撮影システム。
  4. 　前記第３および第４の歯列画像の高輝度領域の輝度値が同一である場合、前記撮影デバイスに異常が生じていると判定する撮影デバイス異常判定部を、さらに含む、請求項３に記載の歯列画像撮影システム。
  5. 　類似度が前記所定の類似しきい値に比べて大きい高輝度領域をインレーが存在する領域と特定し、前記高輝度領域の色情報と予め用意された複数の種類のインレーの色情報とに基づいて、インレーの種類を特定するインレー種類特定部を、さらに含む、請求項１から４のいずれか一項に記載の歯列画像撮影システム。
  6. 　前記照明デバイスと前記撮影デバイスが、歯ブラシ状の筺体に組み込まれている、請求項１から５のいずれか一項に記載の歯列画像撮影システム。
  7. 　前記歯列画像出力部が、歯列画像を表示可能なスクリーンを備える携帯端末である、請求項６に記載の歯列画像撮影システム。
  8. 　撮影対象の歯牙を含む歯列画像を撮影する歯列画像撮影方法であって、
    　複数の照明デバイスによって撮影対象の歯牙に対してそれぞれ異なる方向から光を照射し、
    　撮影デバイスによって前記複数の照明デバイスの照明条件が異なり且つ所定の露光時間で前記歯牙が写る第１および第２の歯列画像を撮影し、
    　前記第１および第２の歯列画像それぞれについて輝度が所定の輝度しきい値を超えている高輝度領域を抽出し、
    　前記第１および第２の歯列画像の高輝度領域間の類似の程度を示す類似度を算出し、
    　前記類似度が所定の類似度しきい値に比べて小さい場合、前記第１の歯列画像の高輝度領域をハレーション領域として特定し、
    　前記ハレーション領域に対応する前記第２の歯列画像におけるトリミング領域を抽出し、
    　前記ハレーション領域を前記トリミング領域に差し換える画像合成処理を実行し、
    　画像合成処理された前記第１の歯列画像を出力する、歯列画像撮影方法。
PCT/JP2021/042961 2020-11-27 2021-11-24 歯列画像撮影システムおよび歯列画像撮影方法 WO2022113995A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180073642.2A CN116507260A (zh) 2020-11-27 2021-11-24 齿列图像摄影系统及齿列图像摄影方法
US18/030,445 US20230377101A1 (en) 2020-11-27 2021-11-24 Dentition image capturing system and dentition image capturing method
EP21897967.2A EP4254936A1 (en) 2020-11-27 2021-11-24 Dentition image capturing system and dentition image capturing method
JP2022565368A JPWO2022113995A1 (ja) 2020-11-27 2021-11-24

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020197574 2020-11-27
JP2020-197574 2020-11-27

Publications (1)

Publication Number Publication Date
WO2022113995A1 true WO2022113995A1 (ja) 2022-06-02

Family

ID=81755582

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042961 WO2022113995A1 (ja) 2020-11-27 2021-11-24 歯列画像撮影システムおよび歯列画像撮影方法

Country Status (5)

Country Link
US (1) US20230377101A1 (ja)
EP (1) EP4254936A1 (ja)
JP (1) JPWO2022113995A1 (ja)
CN (1) CN116507260A (ja)
WO (1) WO2022113995A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117349027B (zh) * 2023-12-04 2024-02-23 环球数科集团有限公司 一种降低算力需求的多模态大模型构建系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004237081A (ja) 2003-01-14 2004-08-26 Morita Mfg Co Ltd 診断用撮影器
JP2007236707A (ja) 2006-03-09 2007-09-20 Lion Corp 携帯型口腔内観察器具
JP2008160519A (ja) * 2006-12-25 2008-07-10 Konica Minolta Opto Inc 撮像装置
JP2010124043A (ja) * 2008-11-17 2010-06-03 Denso Corp 画像撮影装置および方法
JP2018013740A (ja) * 2016-07-22 2018-01-25 株式会社キーエンス 拡大観察装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3121637B1 (de) * 2015-07-24 2021-09-01 Leica Instruments (Singapore) Pte. Ltd. Mikroskop und verfahren zum erzeugen eines kombinierten bildes aus mehreren einzelbildern eines objekts
JP6790752B2 (ja) * 2015-11-20 2020-11-25 株式会社リコー 画像読取装置、画像形成装置および画像読取方法
US9636008B1 (en) * 2016-05-26 2017-05-02 Dental Smartmirror, Inc. Using an intraoral mirror as a camera viewfinder, and applications thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004237081A (ja) 2003-01-14 2004-08-26 Morita Mfg Co Ltd 診断用撮影器
JP2007236707A (ja) 2006-03-09 2007-09-20 Lion Corp 携帯型口腔内観察器具
JP2008160519A (ja) * 2006-12-25 2008-07-10 Konica Minolta Opto Inc 撮像装置
JP2010124043A (ja) * 2008-11-17 2010-06-03 Denso Corp 画像撮影装置および方法
JP2018013740A (ja) * 2016-07-22 2018-01-25 株式会社キーエンス 拡大観察装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4254936A1

Also Published As

Publication number Publication date
CN116507260A (zh) 2023-07-28
US20230377101A1 (en) 2023-11-23
JPWO2022113995A1 (ja) 2022-06-02
EP4254936A1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
JP6935036B1 (ja) 統合されたカメラを有する歯科ミラーおよびそのアプリケーション
KR101493064B1 (ko) 고도의 정확성으로 결함이 있는 눈을 검출하는 카메라에 기반한 방법
JP4709147B2 (ja) デジタル画像から赤目現象を除去するシステム及びその方法
JP5486691B2 (ja) 撮影装置および該撮影装置によって撮影した画像の画像処理方法ならびに画像撮影システム
WO2015029537A1 (ja) 器官画像撮影装置
JP2011530911A5 (ja)
KR101499649B1 (ko) 구강촬영용 트레이, 구강촬영용 트레이를 포함하는 구강촬영장치 및 구강촬영 시스템
WO2017120217A1 (en) Infrared fundus imaging system
EP2337336A2 (en) Image processing apparatus and image processing method
JP2009000494A (ja) ポルフィリン検出方法、ポルフィリンの表示方法、およびポルフィリン検出装置
WO2022113995A1 (ja) 歯列画像撮影システムおよび歯列画像撮影方法
JP7401013B2 (ja) 情報処理装置、制御装置、情報処理方法及びプログラム
KR101979311B1 (ko) 의료용 복합촬영장치
JPH05224271A (ja) 画像処理装置
JP2009124309A (ja) 撮像装置
KR102434843B1 (ko) 인공치아 제조정보 생성방법 및 인공치아 제조 시스템
JP2008161508A (ja) 顔撮影装置
JP2012178666A (ja) 撮像装置
US20160228054A1 (en) Organ imaging device
KR102470764B1 (ko) 구강 스캐너용 광학렌즈를 이용하여 구강 스캔 및 얼굴 스캔하는 방법
JP6949383B2 (ja) 歯科用撮像画像取得装置
JP2009188528A (ja) 顔撮影装置
KR20070070470A (ko) 화이트밸런스 결정 방법 및 이를 이용한 디지털 이미지촬상 장치
WO2015068495A1 (ja) 器官画像撮影装置
JP2009081527A (ja) 顔撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21897967

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022565368

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180073642.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021897967

Country of ref document: EP

Effective date: 20230627