WO2023073844A1 - 処理装置、処理プログラム及び処理方法 - Google Patents

処理装置、処理プログラム及び処理方法 Download PDF

Info

Publication number
WO2023073844A1
WO2023073844A1 PCT/JP2021/039715 JP2021039715W WO2023073844A1 WO 2023073844 A1 WO2023073844 A1 WO 2023073844A1 JP 2021039715 W JP2021039715 W JP 2021039715W WO 2023073844 A1 WO2023073844 A1 WO 2023073844A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
determination
processing
processor
Prior art date
Application number
PCT/JP2021/039715
Other languages
English (en)
French (fr)
Inventor
渉 ▲高▼橋
将司 早出
敬 木野内
卓志 安見
賢 ▲高▼橋
Original Assignee
アイリス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイリス株式会社 filed Critical アイリス株式会社
Priority to PCT/JP2021/039715 priority Critical patent/WO2023073844A1/ja
Priority to JP2023555964A priority patent/JPWO2023073844A1/ja
Publication of WO2023073844A1 publication Critical patent/WO2023073844A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth

Definitions

  • the present disclosure relates to a processing device, processing program, and processing method for processing an image of a subject captured by a camera.
  • Non-Patent Document 1 reports that lymphatic follicles appearing in the deepest part of the pharynx located in the oral cavity have a pattern peculiar to influenza. Lymphoid follicles having this unique pattern are called influenza follicles, which are characteristic signs of influenza and are said to appear about 2 hours after onset. However, such a pharynx portion is diagnosed by a doctor's direct visual inspection, and diagnosis using an image has not been made.
  • the possibility of affliction with a predetermined disease is determined using a determination image of a subject obtained by photographing the oral cavity of the user. It is an object of the present invention to provide a processing apparatus, a processing program, and a processing method for the purpose.
  • an imaging device including at least one processor, the at least one processor including a camera for capturing an image of a subject including at least a portion of the user's oral cavity acquiring one or more determination images of the subject photographed by the camera; acquiring biometric detection information of the subject different from the one or more determination images from the photographing device; determining the possibility of affliction with the predetermined disease based on the learned determination model stored in the memory for determining the sex, the acquired one or more determination images, and the biometric detection information; and outputting information indicating the determined likelihood of morbidity.
  • an imaging device including a camera for capturing an image of a subject including at least a portion of the user's oral cavity by being executed by at least one processor, with the camera Obtaining one or more determination images of the photographed subject, obtaining living body detection information of the subject different from the one or more determination images from the photographing device, and determining the possibility of contracting a predetermined disease To determine the possibility of affliction with the predetermined disease based on the learned determination model stored in the memory, the acquired one or more determination images, and the biometric detection information, and determined a processing program that causes the at least one processor to output information indicative of the possibility of being afflicted.”
  • a processing method executed by at least one processor from an imaging device including a camera for capturing an image of a subject including at least a portion of the oral cavity of a user, Obtaining one or more determination images of the subject photographed by the camera; Obtaining, from the imaging device, biometric detection information of the subject different from the one or more determination images; Possibility of affliction with the predetermined disease based on the learned determination model stored in the memory for determining the possibility of affliction with the predetermined disease, the acquired one or more determination images, and the biometric detection information and a step of outputting information indicating the determined possibility of morbidity.
  • a processing device a processing program, and a processing method suitable for processing an image obtained by photographing the inside of the oral cavity for use in intraoral diagnosis.
  • FIG. 1 is a diagram showing a usage state of a processing system 1 according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating a usage state of the processing system 1 according to an embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram of a processing system 1 according to one embodiment of the present disclosure.
  • FIG. 4 is a block diagram showing the configuration of the processing system 1 according to one embodiment of the present disclosure.
  • FIG. 5 is a schematic diagram showing the configuration of the top surface of the imaging device 200 according to an embodiment of the present disclosure.
  • FIG. 6 is a schematic diagram showing a cross-sectional configuration of an imaging device 200 according to an embodiment of the present disclosure.
  • FIG. 7A is a diagram conceptually showing an image management table stored in the processing device 100 according to an embodiment of the present disclosure.
  • FIG. 7B is a diagram conceptually showing a living body detection information table stored in the processing device 100 according to an embodiment of the present disclosure.
  • FIG. 7C is a diagram conceptually showing a user table stored in the processing device 100 according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a processing sequence executed between the processing device 100 and the imaging device 200 according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram showing a processing flow performed by the processing device 100 according to one embodiment of the present disclosure.
  • FIG. 10 is a diagram showing a processing flow performed in the imaging device 200 according to one embodiment of the present disclosure.
  • FIG. 11 is a diagram showing a processing flow performed by the processing device 100 according to one embodiment of the present disclosure.
  • FIG. 12 is a diagram showing a processing flow performed by the processing device 100 according to one embodiment of the present disclosure.
  • FIG. 13 is a diagram illustrating a processing flow for generating a trained model according to an embodiment of the present disclosure;
  • FIG. 14 is a diagram showing a processing flow performed by the processing device 100 according to an embodiment of the present disclosure.
  • FIG. 15 is a diagram illustrating a processing flow for generating a trained model according to an embodiment of the present disclosure;
  • FIG. 16 is a diagram illustrating a processing flow for generating a trained model according to an embodiment of the present disclosure;
  • FIG. 17 is a diagram illustrating a processing flow for generating a trained model according to an embodiment of the present disclosure;
  • FIG. 15 is a diagram illustrating a processing flow for generating a trained model according to an embodiment of the present disclosure;
  • FIG. 16 is a diagram illustrating a processing flow for generating a trained model according to an embodiment of the present disclosure;
  • FIG. 17 is a diagram illustrating
  • FIG. 18 is a diagram showing an example of a screen displayed on the processing device 100 according to an embodiment of the present disclosure.
  • FIG. 19 is a diagram showing an example of a screen displayed on the processing device 100 according to an embodiment of the present disclosure.
  • FIG. 20 is a schematic diagram of a processing system 1 according to one embodiment of the present disclosure.
  • the processing system 1 according to the present disclosure is mainly used to photograph the inside of the user's oral cavity and obtain a subject image.
  • the processing system 1 is used for imaging the back of the larynx of the oral cavity, specifically the pharynx. Therefore, the case where the processing system 1 according to the present disclosure is used for radiography of the pharynx will be mainly described below.
  • the pharynx is an example of an imaged region, and naturally, the processing system 1 according to the present disclosure can be preferably used for other regions such as tonsils in the oral cavity.
  • the processing system 1 determines the possibility of affliction with a predetermined disease from the subject image obtained by photographing the subject including at least the pharynx region of the user's oral cavity and other biometric detection information. , is used to diagnose or assist in diagnosing a given disease.
  • An example of a disease determined by the processing system 1 is influenza. Influenza probabilities are usually diagnosed by examining the user's pharynx and tonsil regions and determining the presence or absence of findings such as follicles in the pharynx region.
  • the processing system 1 determine the possibility of affliction with influenza and outputting the result, it is possible to diagnose or assist the disease. Note that the determination of the possibility of contracting influenza is an example.
  • the processing system 1 can be suitably used for determination of any disease that causes a difference in findings in the oral cavity due to being affected. It should be noted that the difference in finding is not limited to the one discovered by a doctor or the like and whose existence is medically known. For example, any difference that can be recognized by a person other than a doctor or a difference that can be detected by artificial intelligence or image recognition technology can be suitably applied to the processing system 1 .
  • diseases include, in addition to influenza, infections such as streptococcal infection, adenovirus infection, EB virus infection, mycoplasma infection, hand-foot-and-mouth disease, herpangina, candidiasis, arteriosclerosis, diabetes, Diseases exhibiting vascular disorders or mucosal disorders such as hypertension, and tumors such as tongue cancer and pharyngeal cancer are included.
  • infections such as streptococcal infection, adenovirus infection, EB virus infection, mycoplasma infection, hand-foot-and-mouth disease, herpangina, candidiasis, arteriosclerosis, diabetes, Diseases exhibiting vascular disorders or mucosal disorders such as hypertension, and tumors such as tongue cancer and pharyngeal cancer are included.
  • the processing system 1 of the present disclosure may be used by the user himself/herself or by an operator other than a doctor to be judged or diagnosed by the processing device 100 included in the processing system 1. .
  • the user to be imaged by the imaging device 200 can include all humans such as patients, subjects, diagnostic users, and healthy subjects.
  • an operator who holds the imaging device 200 and performs imaging operations is not limited to medical professionals such as doctors, nurses, and laboratory technicians, and may include any person such as the user himself/herself.
  • the processing system 1 according to the present disclosure is typically assumed to be used in medical institutions. However, it is not limited to this case, and may be used at any location such as the user's home, school, or workplace.
  • the subject should include at least part of the user's oral cavity.
  • any disease can be determined as long as it causes a difference in findings in the oral cavity.
  • the subject includes the pharynx or the vicinity of the pharynx and the possibility of affliction with influenza is determined as the disease.
  • the subject image and the determination image may be one or more moving images or one or more still images.
  • a through image is captured by the camera, and the captured through image is displayed on the display 203 .
  • the operator presses the capture button one or more still images are captured by the camera, and the captured images are displayed on the display 203 .
  • shooting button shooting of a moving image is started, and the image being shot by the camera is displayed on the display 203 during that time. Then, when the shooting button is pressed again, shooting of the moving image ends.
  • various images such as through images, still images, and moving images are captured by the camera and displayed on the display.
  • the subject image or determination image may be a processed image in which various image processes have been performed for the display or processing according to the present disclosure.
  • the subject image and the determination image do not mean only a specific image among them, but may include all of these images captured by the camera.
  • the biometric detection information is information about the user's biometrics, which is different from the determination image captured by the camera of the imaging device and used for the learned determination model.
  • living body detection information include temperature sensor, breath sensor, heartbeat sensor, infrared sensor, near-infrared sensor, ultraviolet sensor, acoustic sensor, and data detected by information detecting sensors such as a combination thereof provided in the imaging device. , information such as body temperature, exhalation, breathing sound, heart rate, blood vessel condition, oxygen saturation, etc. of the user obtained based on each detected data and the subject image taken by the camera, and combinations thereof.
  • the living body detection information may be detection data itself detected by the information detection sensor, or may be information processed from the detected data. Further, when information processed from detection data is used as living body detection information, the processing may be performed in the imaging device, or the processing may be performed in the processing device.
  • FIG. 1 is a diagram showing a usage state of a processing system 1 according to an embodiment of the present disclosure.
  • a processing system 1 according to the present disclosure includes a processing device 100 and an imaging device 200 .
  • the operator attaches the auxiliary tool 300 to the tip of the imaging device 200 so as to cover it, and inserts the imaging device 200 together with the auxiliary tool 300 into the oral cavity 710 of the user.
  • the operator attaches the auxiliary tool 300 to the tip of the photographing device 200 so as to cover it.
  • the operator inserts the imaging device 200 with the auxiliary tool 300 attached into the oral cavity 710 .
  • the tip of the assisting device 300 is inserted through the incisor 711 to the vicinity of the soft palate 713 . That is, the imaging device 200 is similarly inserted up to the vicinity of the soft palate 713 .
  • the auxiliary tool 300 (which functions as a tongue depressor) pushes the tongue 714 downward and restricts the movement of the tongue 714 .
  • the tip of the assisting device 300 pushes the soft palate 713 upward.
  • the operator can secure a good field of view of the imaging device 200 and can take a good image of the pharynx 715 located in front of the imaging device 200 .
  • a desired information detection sensor is installed at the tip of the imaging device 200 as necessary, and the information detection sensor detects the biological body detection information of the user. That is, when the imaging device 200 is inserted to the vicinity of the soft palate 713, the information detection sensor is also inserted together. Therefore, it is possible to obtain biometric detection information of the same region as the region in the oral cavity 710 photographed by the camera of the imaging device 200, which is the region of interest, or a region around it. That is, it is possible to obtain biometric information of the attention area or its peripheral area. In addition, since the movement of the tongue 714 is restricted as described above, it is possible to eliminate the adverse effect of the tongue 714 or the like on the detection of the biometric detection information by the information detection sensor.
  • a captured subject image (typically, an image including the pharynx 715) and living body detection information are transmitted from the imaging device 200 to the processing device 100 communicably connected via a wired or wireless network.
  • the processor of the processing device 100 that has received the subject image processes the program stored in the memory, thereby selecting a determination image to be used for determination from the subject image, and using the determination image and the living body detection information. The likelihood of being afflicted with a given disease is determined. Then, the result is output to a display or the like.
  • FIG. 2 is a diagram showing a usage state of the processing system 1 according to one embodiment of the present disclosure. Specifically, FIG. 2 is a diagram showing a state in which the operator 600 holds the imaging device 200 of the processing system 1 .
  • the imaging device 200 is composed of a main body 201, a grip 202 and a display 203 from the side inserted into the oral cavity.
  • the main body 201 and the grip 202 are formed in a substantially columnar shape with a predetermined length along the insertion direction H into the oral cavity.
  • the display 203 is arranged on the side of the grip 202 opposite to the main body 201 side.
  • the photographing device 200 is formed in a substantially columnar shape as a whole, and is gripped by the operator 600 by holding it like a pencil.
  • the photographing device 200 can be easily handled while confirming the subject image photographed by the photographing device 200 and the detected living body detection information in real time. Is possible.
  • the shooting button 220 is arranged on the upper surface side of the grip. Therefore, when the operator 600 holds it, the operator 600 can easily press the shooting button 220 with his index finger or the like.
  • FIG. 3 is a schematic diagram of the processing system 1 according to one embodiment of the present disclosure.
  • the processing system 1 includes a processing device 100 and an imaging device 200 communicably connected to the processing device 100 via a wired or wireless network.
  • the processing device 100 receives an operation input by an operator and controls photography by the photography device 200 .
  • the processing device 100 also processes the subject image captured by the imaging device 200 and the biometric detection information to determine the possibility of the user contracting influenza. Furthermore, the processing device 100 outputs the determined result and notifies the user, operator, doctor, or the like of the result.
  • the imaging device 200 has its tip inserted into the user's oral cavity and images the oral cavity, especially the pharynx.
  • the photographing device 200 detects the living body detection information of the subject based on the information detection sensor provided at the tip. The specific processing will be described later.
  • a captured subject image and living body detection information are transmitted to the processing device 100 via a wired or wireless network.
  • the processing system 1 can further include a mounting table 400 as necessary.
  • the mounting table 400 can stably mount the imaging device 200 .
  • by connecting the mounting table 400 to a power supply via a wired cable it is possible to supply power to the image capturing apparatus 200 from the power supply terminal of the mounting table 400 through the power supply port of the image capturing apparatus 200 .
  • FIG. 4 is a block diagram showing the configuration of the processing system 1 according to one embodiment of the present disclosure.
  • the processing system 1 includes a processing device 100 including a processor 111, a memory 112, an input interface 113, an output interface 114 and a communication interface 115, a camera 211, a light source 212, a processor 213, a memory 214, a display panel 215, and an imaging device 200 including an input interface 210 and a communication interface 216 .
  • Each of these components are electrically connected to each other via control lines and data lines.
  • the processing system 1 does not need to include all of the components shown in FIG. 4, and may be configured by omitting some or adding other components.
  • processing system 1 may include a battery or the like for driving each component.
  • the processor 111 of the processing device 100 functions as a control unit that controls other components of the processing system 1 based on programs stored in the memory 112 .
  • the processor 111 controls the driving of the camera 211 and the driving of the light source 212 based on a program stored in the memory 112, and stores the subject image and the living body detection information received from the photographing device 200 in the memory 112. Then, the subject image and biometric detection information are processed.
  • the processor 111 performs a process of acquiring a subject image of the subject from the camera 211, a process of acquiring living body detection information of the subject different from the determination image from the imaging device, and a subject image acquired by the determination image selection model.
  • the memory 112 stores processing for determining the possibility of affliction with influenza, processing for diagnosing affliction with a predetermined disease or outputting information indicating the determined possibility of affliction for assisting the diagnosis, and the like. Executes based on the specified program.
  • the processor 111 is mainly composed of one or more CPUs, but may be combined with a GPU, FPGA, or the like as appropriate.
  • the memory 112 is composed of RAM, ROM, nonvolatile memory, HDD, etc., and functions as a storage unit.
  • the memory 112 stores instruction commands for various controls of the processing system 1 according to this embodiment as programs. Specifically, the memory 112 performs a process of acquiring a subject image of the subject from the camera 211, a process of acquiring living body detection information of the subject different from the determination image from the imaging device, and a subject image acquired by the determination image selection model. at least one of: a process of acquiring judgment image candidates by inputting the Based on at least one of the learned determination model stored in the memory 112, the acquired one or more determination images, and the user's interview information and attribute information including the biometric detection information.
  • the memory 112 stores subject images captured by the camera 211 of the image capturing apparatus 200, an image management table for managing the images, user attribute information, interview information, determination results, and the like. Stores a user table and the like.
  • the memory 112 stores each learned model such as a learned determination image selection model used for selecting a determination image from a subject image and a learned determination model for determining the possibility of affliction with a disease from a determination image. do.
  • the input interface 113 functions as an input unit that receives an operator's instruction input to the processing device 100 and the imaging device 200 .
  • Examples of the input interface 113 include a "shooting button” for instructing the start/end of recording by the imaging device 200 and detection of biometric detection information, a “confirmation button” for making various selections, a return to the previous screen, and an input A “return/cancel button” for canceling the confirmed operation, a cross key button for moving a pointer or the like output to the output interface 114, an on/off key for turning on/off the power of the processing device 100, various physical key buttons such as character input key buttons for inputting characters.
  • the input interface 113 it is also possible to use a touch panel which is superimposed on the display functioning as the output interface 114 and has an input coordinate system corresponding to the display coordinate system of the display.
  • icons corresponding to the physical keys are displayed on the display, and the operator inputs instructions via the touch panel to select each icon. Any method such as a capacitive method, a resistive film method, or the like may be used to detect a user's instruction input through the touch panel.
  • the input interface 113 does not always need to be physically provided in the processing device 100, and may be connected as necessary via a wired or wireless network.
  • the output interface 114 functions as an output unit for outputting the subject image captured by the imaging device 200 and the detected living body detection information, and for outputting the result determined by the processor 111 .
  • An example of the output interface 114 is a display composed of a liquid crystal panel, an organic EL display, a plasma display, or the like.
  • the processing device 100 itself does not necessarily have to have a display.
  • an interface for connecting to a display or the like that can be connected to the processing device 100 via a wired or wireless network can function as the output interface 114 that outputs display data to the display or the like.
  • the communication interface 115 is used to transmit and receive various commands related to the start of imaging, image data captured by the imaging device 200, and detected living body detection information to and from the imaging device 200 connected via a wired or wireless network. functions as a communication part of Examples of the communication interface 115 include connectors for wired communication such as USB and SCSI, transmitting/receiving devices for wireless communication such as wireless LAN, Bluetooth (registered trademark) and infrared rays, and various connection terminals for printed mounting boards and flexible mounting boards. and so on.
  • the camera 211 of the imaging device 200 functions as an imaging unit that detects reflected light reflected by the oral cavity, which is a subject, and generates a subject image.
  • the camera 211 includes, for example, a CMOS image sensor to detect the light, and a lens system and a drive system for realizing desired functions.
  • the image sensor is not limited to a CMOS image sensor, and other sensors such as a CCD image sensor can also be used. Further, it is possible to additionally use an imaging device according to the band of the reflected light to be detected.
  • CMOS image sensor that detects wavelengths in the near-infrared ray band from the wavelengths in the visible ray band
  • a sensor that is an infrared light photographic device that detects wavelengths in the infrared ray band.
  • the camera 211 may have an autofocus function.
  • the camera 211 can have a zoom function, and is preferably set to photograph at an appropriate magnification according to the size of the pharynx or influenza follicles.
  • the lymphoid follicles that appear in the deepest part of the pharynx located in the oral cavity have a pattern unique to influenza. Lymphoid follicles having this unique pattern are called influenza follicles, which are characteristic signs of influenza and are said to appear about 2 hours after onset.
  • influenza follicles which are characteristic signs of influenza and are said to appear about 2 hours after onset.
  • the processing system 1 of the present embodiment is used, for example, to image the pharynx of the oral cavity and detect the follicles, thereby determining the possibility of the user being infected with influenza. Therefore, when the photographing device 200 is inserted into the oral cavity, the distance between the camera 211 and the subject becomes relatively short.
  • the camera 211 preferably has an angle of view (2 ⁇ ) such that the value calculated by [(distance from the tip of the camera 211 to the posterior wall of the pharynx)*tan ⁇ ] is 20 mm or more vertically and 40 mm or more horizontally.
  • 2 ⁇ the value calculated by [(distance from the tip of the camera 211 to the posterior wall of the pharynx)*tan ⁇ ] is 20 mm or more vertically and 40 mm or more horizontally.
  • the main subject photographed by the camera 211 is the pharynx or influenza follicles formed in the pharynx.
  • the pharynx is recessed in the depth direction, so if the depth of field is shallow, the focus shifts between the anterior pharynx and the posterior pharynx. becomes difficult.
  • camera 211 has a depth of field of at least 20 mm or more, preferably 30 mm or more. By using a camera having such a depth of field, it is possible to obtain a subject image in which any part from the anterior pharynx to the posterior pharynx is in focus.
  • the camera 211 can also function as an information detection sensor for detecting biometric detection information. For example, it is possible to obtain heartbeat information by detecting vibration due to the pulse on the surface of oral tissue from the subject image captured by the camera 211 .
  • blood vessel state information can be obtained by detecting a blood vessel pattern on the surface of the oral cavity from the subject image captured by the camera 211 . That is, it is possible to make the camera 211 function as an information detection sensor, and to obtain a photographed subject image or various information detected from the subject image as living body detection information.
  • the light source 212 is driven by an instruction from the processing device 100 or the imaging device 200, and functions as a light source unit for irradiating light into the oral cavity.
  • Light source 212 includes one or more light sources.
  • the light source 212 is composed of one or a plurality of LEDs, and each LED emits light having a predetermined frequency band toward the oral cavity.
  • the light source 212 uses light in a desired band from among an ultraviolet light band, a visible light band, and an infrared light band, or a combination thereof.
  • a plurality of LEDs set in advance so as to irradiate light of each band are switched for display.
  • near-infrared rays are highly permeable to the living body and are suitable for observing the condition of blood vessels in the living body. is possible.
  • Ultraviolet rays have little tissue penetration and are suitable for detecting minute structural changes on the surface of living organisms. Structural information on the surface of living organisms can be obtained by irradiating ultraviolet rays and detecting the reflected light. is.
  • ultraviolet rays are used as excitation light for fluorescent substances that bind to specific cells (for example, tumor cells). Tumor information is available.
  • the information detection sensor 232 functions as a detection unit that is inserted into the user's oral cavity and acquires biological detection information that is information related to the user's biological body.
  • Examples of such information detection sensors 232 include temperature sensors, breath sensors, heart rate sensors, pulse oximeter sensors, infrared sensors, near-infrared sensors, ultraviolet sensors, acoustic sensors, or combinations thereof.
  • the camera 211 may function as the information detection sensor 232 in some cases.
  • the living body detection information acquired by the information detection sensor 232 includes detection data detected by each sensor (including the case where the camera 211 functions as the information detection sensor 232), and detection data based on the detected detection data. Obtained user temperature, breath, heart rate, vascular information and combinations thereof.
  • thermocouple sensor When using a temperature sensor as the information detection sensor 232, it is possible to use a thermistor sensor, thermocouple sensor, resistor sensor, digital temperature sensor, infrared sensor, or a combination thereof. Among these, a digital temperature sensor and an infrared sensor suitable for non-contact measurement are more preferable.
  • the body temperature of the user In diagnosis by doctors, etc., the body temperature of the user is usually input as interview information based on a report by the user or measurement in the hospital.
  • the measurement position and measurement method may vary depending on the person who performs the measurement. For example, there are thermometers that can measure the temperature of the skin surface of the forehead and wrists without contact.
  • the temperature information detected by the temperature sensor is used as living body detection information.
  • infrared image data is obtained based on infrared energy obtained by the sensor or temperature information obtained by converting therefrom.
  • segmentation image data obtained by segmenting a separately captured subject image for each part by segmentation such as semantic segmentation is acquired.
  • segmentation can also be performed on infrared image data, and by using the infrared image data after this segmentation, it is possible to accurately detect the temperature of the measurement region and the attention region.
  • an infrared sensor as the information detection sensor 232 in this way, a particularly accurate temperature of the attention area can be used as living body detection information.
  • an ultraviolet sensor When an ultraviolet sensor is used as the information detection sensor 232, it is possible to detect, for example, the fine structure of the living body surface.
  • Ultraviolet light generally has low tissue penetration and can be largely reflected from the surface of living tissue. Therefore, compared with wavelengths in other bands such as visible light, it is suitable for detecting minute structural changes on the surface of a living body.
  • infectious diseases such as influenza cause characteristic structural changes such as follicles in the pharynx as described above. Therefore, by detecting such a structural change, it is possible to determine the presence or absence of a disease.
  • the ultraviolet detection data detected by the ultraviolet sensor or structural information of the living body surface obtained therefrom is used as living body detection information.
  • an exhalation sensor When an exhalation sensor is used as the information detection sensor 232, it is possible to use a sensor device capable of detecting specific gas components such as ammonia and acetone contained in exhalation.
  • specific gas components such as ammonia and acetone that cause halitosis contained in breath and human diseases.
  • sweet odors are associated with infections, acetone with diabetes, ammonia and protein gangrene with certain tumors and liver diseases, isoprene with hypoglycemia and sleep disorders, methyl mercaptan with oral bacteria and liver diseases, and carbon monoxide with stress.
  • ethanol is associated with alcohol consumption
  • trimethylamine is associated with kidney disease
  • nitric oxide is associated with asthma. Therefore, it is possible to estimate the disease by detecting gas components that cause these odors in exhaled breath. That is, gas component data measured by the breath sensor and disease information estimated therefrom are used as biological detection information.
  • a heart rate sensor When a heart rate sensor is used as the information detection sensor 232, a sensor that can measure by contacting the living body is also known. Or a combination of these can be used. For example, it is possible to estimate the user's heart rate by detecting temporal changes in the surface position of the subject due to pulsation based on the subject image detected by the image sensor. In addition, the brightness of the G (green) component is obtained in each frame constituting the obtained subject image 8), the brightness waveform of the G component in the video is generated, and the heart rate is estimated from the peak value. is possible. This method utilizes the fact that hemoglobin in blood absorbs green light. That is, the heart rate measured by the heart rate sensor is used as biometric detection information.
  • a near-infrared sensor When a near-infrared sensor is used as the information detection sensor 232, it is possible to detect, for example, the state of blood vessels passing through the surface of the subject or deep.
  • diabetes and hypertension impede blood flow and give structural damage to the blood vessels themselves.
  • vascular disorders caused by these cause blood flow disorders, making the patient susceptible to infections and the like. Therefore, detecting the condition of blood vessels is useful in diagnosing diseases such as diabetes, hypertension, and infectious diseases. That is, image data of a near-infrared image measured by a near-infrared sensor and blood vessel state information estimated therefrom are used as living body detection information.
  • the surface of the living body is irradiated with wavelengths in the near-infrared light band and infrared light band, and the amounts of oxygenated hemoglobin and deoxygenated hemoglobin are determined from the reflection thereof.
  • the oxygen saturation of the blood it is possible to estimate the oxygen saturation of the blood. That is, the oxygen saturation of blood measured by a pulse oximeter sensor is used as biometric detection information.
  • the information detection sensor 232 When using an acoustic sensor as the information detection sensor 232, it is typically possible to use a microphone.
  • breath sounds can be an important indicator for diagnosing the possibility of morbidity, especially in respiratory diseases.
  • intraoral acoustic data such as bursting blister sounds are important information as oral auscultation data. Therefore, the acoustic sensor is arranged at the tip of the imaging device 200 to obtain detection data of the user's breathing sound and intraoral sound. That is, detection data of the user's breathing sound and intraoral sound detected by the acoustic sensor is used as the biological detection information.
  • the processor 213 functions as a control unit that controls other components of the imaging device 200 based on programs stored in the memory 214 .
  • the processor 213 controls the driving of the camera 211 and the information detection sensor 232 and the driving of the light source 212 based on the program stored in the memory 214, and stores the subject image photographed by the camera 211 in the memory 214 and outputs the information. It controls storage of living body detection information detected by detection sensor 232 in memory 214 .
  • the processor 213 also controls the output of the subject image, the biometric detection information, and the user information stored in the memory 214 to the display 203 and the transmission to the processing device 100 .
  • the processor 213 is mainly composed of one or more CPUs, but may be appropriately combined with other processors.
  • the memory 214 is composed of RAM, ROM, nonvolatile memory, HDD, etc., and functions as a storage unit.
  • the memory 214 stores instruction commands for various controls of the imaging device 200 as programs.
  • the memory 214 stores a subject image captured by the camera 211, living body detection information detected by the information detection sensor 232, various types of user information, and the like.
  • the display panel 215 is provided on the display 203 and functions as a display unit for displaying the subject image captured by the imaging device 200 and the biometric detection information detected by the information detection sensor 232 .
  • the display panel 215 is configured by a liquid crystal panel, it is not limited to the liquid crystal panel, and may be configured by an organic EL display, a plasma display, or the like.
  • the input interface 210 functions as an input unit that receives user's instruction input to the processing device 100 and the imaging device 200 .
  • Examples of the input interface 210 include a “shooting button” for instructing start/end of recording by the imaging device 200 and detection of biometric detection information, a “power button” for turning on/off the power of the imaging device 200, various A “confirm button” for making a selection, a “return/cancel button” for returning to the previous screen or canceling the input confirmation operation, a cross key button for moving icons displayed on the display panel 215, etc. physical key buttons.
  • buttons and keys may be physically prepared, or may be displayed as icons on the display panel 215, and a touch panel or the like superimposed on the display panel 215 and arranged as the input interface 210 may be used. It may be made selectable by using Any method such as a capacitive method, a resistive film method, or the like may be used to detect a user's instruction input through the touch panel.
  • the communication interface 216 functions as a communication unit for transmitting and receiving information with the imaging device 200 and/or other devices.
  • Examples of the communication interface 216 include connectors for wired communication such as USB and SCSI, transmitting/receiving devices for wireless communication such as wireless LAN, Bluetooth (registered trademark) and infrared rays, and various connection terminals for printed mounting boards and flexible mounting boards. and so on.
  • FIG. 5 is a top view showing the configuration of the imaging device 200 according to one embodiment of the present disclosure.
  • FIG. 5 is a diagram showing a state in which the photographing device 200 including the main body 201, the grip 202, and the display 203 is viewed from above from the side that is inserted into the oral cavity.
  • the body 201 has a proximal end 225 and a distal end 222, and has a predetermined length in a direction in which light is emitted from the light source 212, i.e., in a direction substantially parallel to the direction H of insertion into the oral cavity. It is composed of pillars. At least the tip 222 of the main body 201 is then inserted into the oral cavity.
  • the main body 201 is formed in the shape of a hollow cylindrical column whose cross section is a perfect circle.
  • the wall portion 224 may be made of any material as long as it can guide light into the interior thereof, and for example, it can be obtained using a thermoplastic resin.
  • Thermoplastic resins include linear polyolefin resins (polypropylene resins, etc.), polyolefin resins such as cyclic polyolefin resins (norbornene resins, etc.), cellulose ester resins such as triacetyl cellulose and diacetyl cellulose, and polyesters. resins, polycarbonate resins, (meth)acrylic resins, polystyrene resins, or mixtures or copolymers thereof. That is, the wall portion 224 of the main body 201 functions as a light guide for guiding the light emitted from the light source into the oral cavity or toward the diffusion plate.
  • the main body 201 Since the main body 201 is formed hollow, a housing space 223 is formed on the inner surface by the wall portion 224 .
  • the camera 211 is accommodated in this accommodation space 223 .
  • the main body 201 only needs to be formed in a columnar shape having the accommodation space 223 . Therefore, the accommodation space 223 does not need to have a cylindrical shape with a perfectly circular cross section, and may have an elliptical or polygonal cross section. Further, the main body 201 does not necessarily have to be hollow inside.
  • the tip of the grip 202 is connected to the proximal end 225 of the main body 201 .
  • a user grips the grip 202 and performs an operation such as inserting/removing the photographing apparatus 200 .
  • the grip 202 is composed of a columnar body having a predetermined length in a direction substantially parallel to the direction H in which it is inserted into the oral cavity, that is, along the longitudinal direction of the main body 201, and is coaxial with the main body 201 in the direction H. placed on a line.
  • the cross section in the vertical direction is formed to have a substantially elliptical shape, but it is not necessary to have an elliptical shape, and may be a perfect circle, an ellipse, or a polygon.
  • the grip 202 has a connecting portion 230 formed at a position closest to the proximal end 225 of the main body 201 and is connected to the main body 201 via the connecting portion 230 .
  • the outer periphery of the connecting portion 230 has engaging projections 217 (217-1 to 217-4) for positioning the auxiliary tool 300 and positioning projections 218. As shown in FIG.
  • the engaging projections 217 are engaged with the engaging projections 318 (318-1 to 318-4) provided on the auxiliary tool 300 with each other.
  • the positioning protrusion 218 is inserted into an insertion hole 321 provided in the auxiliary tool 300 to position the photographing device 200 and the auxiliary tool 300 relative to each other.
  • the engaging projections 217 of the main body 201 include a total of four engaging projections (engaging projections 217-1 to 217-4) that are located on the surface of the grip 202 and on the base of the main body 201. They are evenly spaced at positions near the edge 225 .
  • One positioning projection 218 is arranged between the engaging projections 217 on the surface of the grip 202 and near the base end 225 of the main body 201 .
  • the arrangement is not limited to this, and only one of the engaging projection 217 and the positioning projection 218 may be arranged.
  • the number of the engaging protrusions 217 and the positioning protrusions 218 may be any number as long as the number is one or more.
  • the grip 202 includes an imaging button 220 at a position close to the proximal end 225 of the main body 201 on its upper surface, that is, near the distal end of the grip 202 in the insertion direction H into the oral cavity.
  • the power button 221 is arranged on the upper surface of the grip 202 at a position close to the display 203 , that is, at a position on the opposite side of the grip 202 from the shooting button 220 . As a result, it is possible to prevent the operator 600 from accidentally pressing the power button 221 while the operator 600 is holding and shooting.
  • the display 203 has a substantially rectangular parallelepiped shape as a whole and is arranged on the same straight line in the direction H as the main body 201 .
  • the display 203 also includes a display panel 215 on the surface opposite to the direction H of insertion into the oral cavity (that is, the direction toward the user). Therefore, the display 203 is formed such that the surface including the display panel is substantially perpendicular to the longitudinal direction of the main body 201 and the grip 202 which are formed substantially parallel to the direction H of insertion into the oral cavity. be. Then, it is connected to the grip 202 on the side opposite to the oral cavity of the grip 202 on the surface opposite to the surface including the display panel.
  • the shape of the display is not limited to a substantially rectangular parallelepiped shape, and may be any shape such as a columnar shape.
  • the diffuser plate 219 is arranged at the tip 222 of the main body 201 and diffuses the light emitted from the light source 212 and passed through the main body 201 toward the intraoral cavity.
  • the diffuser plate 219 has a shape corresponding to the cross-sectional shape of the portion of the main body 201 configured to be able to guide light.
  • the main body 201 is formed in a hollow cylindrical shape. Therefore, the cross section of diffusion plate 219 is also formed hollow corresponding to the shape.
  • the camera 211 is used to generate a subject image by detecting reflected light that has been diffused from the diffusion plate 219, irradiated into the oral cavity, and reflected on the subject.
  • the camera 211 is arranged on the same straight line in the direction H as the main body 201 on the inner surface of the wall portion 224 of the main body 201 , that is, in the housing space 223 formed inside the main body 201 .
  • the imaging device 200 may include a plurality of cameras. By generating a subject image using a plurality of cameras, the subject image includes information about the three-dimensional shape.
  • the camera 211 is arranged in the accommodation space 223 of the main body 201, but the camera 211 can may be placed in
  • the camera 211 can also function as the information detection sensor 232. For example, it is possible to detect the reflected light of the visible light emitted from the light source 212 and obtain the subject image as the living body detection information. In addition, the camera 211 can detect reflected near-infrared light and obtain a near-infrared image as living body detection information. In addition, the camera 211 can detect infrared rays emitted from a living body and obtain an infrared image as living body detection information. In addition, the camera 211 can obtain an ultraviolet image as living body detection information by detecting reflected ultraviolet light.
  • the information detection sensor 232 is a sensor for acquiring information about the user's living body. Camera 211 may serve as such a sensor, or it may be located separately from camera 211 .
  • an information detection sensor 232 is arranged near the tip 222 of the main body 201 .
  • the information detection sensor 232 is arranged on the outer surface of the main body 201 so as to face upward during use. By placing it in that position, it is possible to reduce the adverse effects of the tongue. However, depending on the type of sensor used as the information detection sensor 232, it can be appropriately arranged at an optimum position.
  • FIG. 6 is a schematic diagram showing a cross-sectional configuration of the imaging device 200 according to one embodiment of the present disclosure.
  • a total of four light sources 212 - 1 to 212 - 4 are arranged on a substrate 231 arranged on the tip side of the grip 202 .
  • the light sources 212 each include an LED, and light having a predetermined frequency band is emitted from each LED toward the oral cavity.
  • the light emitted from the light source 212 enters the base end 225 of the main body 201 and is guided toward the diffusion plate 219 by the wall portion 224 of the main body 201 .
  • the light reaching the diffuser plate 219 is diffused by the diffuser plate 219 into the oral cavity.
  • the light diffused by the diffusion plate 219 is reflected by the object such as the pharynx 715 .
  • this reflected light reaches the camera 211, a subject image is generated.
  • the light sources 212-1 to 212-4 may be configured to be controlled independently. For example, by illuminating some of the light sources 212-1 to 212-4, the shadow of a subject having a three-dimensional shape (such as influenza follicles) can be included in the subject image. As a result, the subject image includes information about the three-dimensional shape of the subject, making it possible to more clearly identify the subject and more accurately determine the possibility of influenza infection by the determination algorithm. Further, light may be emitted from the light sources 212-1 to 212-4 by dividing into each band such as a visible light band, a near-infrared light band, an infrared light band, and an ultraviolet light band.
  • each band such as a visible light band, a near-infrared light band, an infrared light band, and an ultraviolet light band.
  • the light sources 212-1 to 212-4 are arranged on the base end 225 side of the main body 201, but the tip 222 of the main body 201 or the main body 201 may be located on the perimeter of the
  • the diffusion plate 219 is used to prevent the light emitted from the light source 212 from illuminating only a part of the oral cavity and to generate uniform light. Therefore, as an example, a lens-shaped diffusion plate is used in which a fine lens array is formed on the surface of the diffusion plate 219 and has an arbitrary diffusion angle. Alternatively, a diffuser plate that can diffuse light by other methods, such as a diffuser plate that achieves a light diffusion function with fine irregularities randomly arranged on the surface, may be used. Furthermore, the diffuser plate 219 may be configured integrally with the main body 201 . For example, it can be realized by a method such as forming fine unevenness on the tip portion of the main body 201 .
  • the diffusion plate 219 is arranged on the tip 222 side of the main body 201 .
  • the present invention is not limited to this, as long as it is between the light source 212 and the oral cavity to be irradiated with it. ) may be placed.
  • FIG. 7A is a diagram conceptually showing an image management table stored in the processing device 100 according to an embodiment of the present disclosure. The information stored in the image management table is updated and stored as needed according to the progress of the processing of the processor 111 of the processing device 100 .
  • the image management table stores subject image information, candidate information, determination image information, etc. in association with user ID information.
  • User ID information is information unique to each user and for specifying each user. User ID information is generated each time a new user is registered by the operator.
  • Subject image information is information specifying a subject image captured by the operator for each user.
  • a subject image is one or a plurality of images including a subject captured by the camera of the imaging device 200 , and is stored in the memory 112 by being received from the imaging device 200 .
  • the “candidate information” is information specifying an image that is a candidate for selecting a determination image from one or more subject images.
  • Determination image information is information for specifying a determination image used to determine the possibility of influenza infection.
  • Such a determination image is selected based on the degree of similarity from the candidate images specified by the candidate information.
  • information for specifying each image is stored as subject image information, candidate information, and determination image information.
  • the information for specifying each image is typically identification information for identifying each image, but it may be information indicating the storage location of each image or the image data of each image itself. good too.
  • FIG. 7B is a diagram conceptually showing a living body detection information table stored in the processing device 100 according to an embodiment of the present disclosure.
  • the information stored in the living body detection information table is updated and stored as needed according to the progress of the processing of the processor 111 of the processing device 100 .
  • temperature information is information detected by the temperature sensor when the temperature sensor is used as the information detection sensor 232 .
  • the temperature information is stored in the memory 112 by receiving detection data detected by the temperature sensor from the imaging device 200 or temperature information calculated based on the detection data.
  • the “breath information” is information detected by the breath sensor when the breath sensor is used as the information detection sensor 232 .
  • the breath information is stored in the memory 112 by receiving detection data detected by the breath sensor or disease information estimated based on the detection data from the imaging device 200 .
  • “Breathing sound information” is information detected by an acoustic sensor when an acoustic sensor is used as the information detection sensor 232 .
  • acoustic data of breath sounds and intraoral sounds detected by the acoustic sensor is used as the information.
  • “Heart rate information” is information detected by the heartbeat sensor when the heartbeat sensor is used as the information detection sensor 232 .
  • Heart rate information is stored in memory 112 by receiving the heart rate measured by the heart rate sensor from imaging device 200 .
  • Near-infrared image information is information specifying a near-infrared image detected by the sensor when a near-infrared sensor is used as the information detection sensor 232 .
  • the information may be image data of a near-infrared image, information indicating a storage destination of the image data, or the like.
  • the near-infrared image information is stored in the memory 112 by receiving it from the imaging device 200 .
  • “Ultraviolet image information” is information specifying an ultraviolet image detected by the sensor when an ultraviolet sensor is used as the information detection sensor 232 .
  • the information may be image data of an ultraviolet image, information indicating a storage location of the image data, or the like.
  • the ultraviolet image information is stored in the memory 112 by receiving it from the imaging device 200 .
  • “Oxygen saturation information” is information indicating the oxygen saturation of blood measured by the sensor when a pulse oximeter sensor is used as the information detection sensor 232 .
  • Heart rate information is stored in memory 112 by receiving blood oxygen saturation measured by a pulse oximeter sensor from imaging device 200 .
  • Each piece of information stored in the living body detection information table can be used as medical inquiry information for each user ID information.
  • FIG. 7C is a diagram conceptually showing a user table stored in the processing device 100 according to an embodiment of the present disclosure.
  • the information stored in the user table is updated and stored as needed according to the progress of the processing of the processor 111 of the processing device 100 .
  • attribute information, inquiry information, two-dimensional code information, determination result information, etc. are stored in the user table in association with user ID information.
  • User ID information is information unique to each user and for specifying each user. User ID information is generated each time a new user is registered by the operator.
  • attribute information is information input by an operator or a user, for example, and is information related to an individual user such as the user's name, sex, age, and address.
  • Inquiry information is, for example, information input by an operator or a user, and is information such as the user's medical history and symptoms that is used as a reference for diagnosis by a doctor or the like.
  • interview information examples include weight, allergy, patient background such as underlying disease, temperature (body temperature), peak body temperature from onset, elapsed time from onset, heart rate, pulse rate, oxygen saturation, exhalation , blood pressure, drug intake, contact with other influenza patients, arthralgia, muscle pain, headache, malaise, loss of appetite, chills, sweating, cough, sore throat, nasal discharge/congestion, tonsillitis, digestive system Symptoms, subjective symptoms and physical findings such as rash on the hands and feet, redness and white moss in the pharynx, swollen tonsils, history of tonsillectomy, strawberry tongue, swollen anterior cervical lymph nodes with tenderness, history of influenza vaccination, Vaccination time etc. are mentioned.
  • patient background such as underlying disease, temperature (body temperature), peak body temperature from onset, elapsed time from onset, heart rate, pulse rate, oxygen saturation, exhalation , blood pressure, drug intake, contact with other influenza patients, arthralgia, muscle pain, headache, malaise
  • “Two-dimensional code information” is information for specifying a recording medium on which at least one of user ID information, information for specifying it, attribute information, interview information, and a combination thereof is recorded. be. Such a recording medium need not be a two-dimensional code. In place of the two-dimensional code, various items such as one-dimensional bar code, other multi-dimensional code, text information such as specific numbers and characters, and image information can be used.
  • “Determination result information” is information indicating the determination result of the possibility of contracting influenza based on the determination image. An example of such determination result information is the positive rate for influenza.
  • the determination result does not need to be a specific numerical value, and may be in any form, such as classification according to the positive rate, classification indicating whether it is positive or negative, and the like.
  • the attribute information and inquiry information need not be input each time by the user or operator, and may be received from an electronic medical record device or other terminal device connected via a wired or wireless network, for example. . Alternatively, it may be obtained by analyzing a subject image captured by the imaging device 200 . Furthermore, although not particularly illustrated in FIGS. 7A to 7C, information on the current epidemic of infectious diseases to be diagnosed or assisted in diagnosis such as influenza, judgment results and disease status of other users regarding these infectious diseases It is also possible to further store external factor information such as
  • FIG. 8 is a diagram showing a processing sequence executed between the processing device 100 and the photographing device 200 according to an embodiment of the present disclosure. Specifically, FIG. 8 is executed after the processing device 100 selects the shooting mode, the shooting device 200 shoots the subject image, and the processing device 100 outputs the determination result. A processing sequence is shown.
  • the processing device 100 outputs a mode selection screen via the output interface 114, and receives mode selection by the operator via the input interface 113 (S11). Then, when the selection of the shooting mode is accepted, the processing device 100 outputs an attribute information input screen via the output interface 114 .
  • the processing device 100 receives input from the operator or user via the input interface 113, acquires the attribute information, and stores it in the user table in association with the user ID information (S12). Further, when the attribute information is acquired, the processing device 100 outputs an input screen for inquiry information via the output interface 114 .
  • the processing device 100 receives an input from an operator or a user via the input interface 113, acquires inquiry information, and stores it in the user table in association with the user ID information (S13).
  • attribute information and inquiry information need not be performed at this timing, and can be performed at other timing such as before the determination process.
  • information may be acquired not only by receiving input via the input interface 113 but also by receiving from an electronic medical chart device or other terminal device connected via a wired or wireless network.
  • these information are recorded in a recording medium such as a two-dimensional code after being input by an electronic medical record device or other terminal device, and the recording medium is photographed by a camera or a photographing device 200 connected to the processing device 100.
  • a recording medium such as a two-dimensional code after being input by an electronic medical record device or other terminal device, and the recording medium is photographed by a camera or a photographing device 200 connected to the processing device 100.
  • a paper medium such as a medical questionnaire by users, operators, patients, medical personnel, etc.
  • the paper medium is captured by a scanner or imaging device 200 connected to the processing device 100.
  • optically recognizing characters may be obtained by optically recognizing characters.
  • the processing device 100 Under the control of the processor 111, the processing device 100 generates a two-dimensional code in which user ID information generated in advance is recorded, and stores it in the memory 112 (S14). Then, the processing device 100 outputs the generated two-dimensional code via the output interface 114 (S15).
  • the photographing device 200 activates the camera 211 and the like in response to an input from the operator to the input interface 210 (for example, a power button) (S21). Then, by photographing the two-dimensional code output via the output interface 114 with the activated camera 211, the photographing device 200 reads the user ID information recorded in the two-dimensional code (S22).
  • the operator covers the tip of the imaging device 200 with the auxiliary tool 300 and inserts the imaging device 200 into the user's oral cavity to a predetermined position.
  • the imaging device 200 Upon receiving an operator's input to the input interface 210 (for example, an image capture button), the imaging device 200 starts capturing a subject image of the subject including at least part of the oral cavity (S23).
  • the photographing device 200 processes the photographed subject image, and is triggered by the fact that the camera 211 captures the subject (especially the pharynx) in the angle of view, and the information detecting sensor 232 starts detecting the living body detection information (S24). ).
  • the photographing device 200 associates the photographed subject image and the back pair detection information with the user ID information read from the two-dimensional code, and stores it in the memory 214. , and the photographed subject image is output to the display panel 215 of the display (S25). Then, when the photographing apparatus 200 accepts the operator's input to end photographing via the input interface 210, the photographing apparatus 200 associates the stored object image and living body detection information (T21) with the user ID information via the communication interface 216. attached and transmitted to the processing device 100 .
  • the processing device 100 receives the subject image and the living body detection information via the communication interface 115, the processing device 100 stores them in the memory 112 and registers them in the image management table based on the user ID information.
  • the processing device 100 selects a judgment image to be used for judging the possibility of contracting influenza from the stored subject images (S31).
  • the received living body detection information is processed, processed into living body detection information that can be used for determination processing, and stored.
  • the processing device 100 uses the selected determination image and the stored living body detection information to execute the processing for determining the possibility of affliction with influenza (S32).
  • the processing device 100 stores the obtained determination result in association with the user ID information in the user table and outputs it via the output interface 114 (S33). After that, the processing sequence ends.
  • FIG. 9 is a diagram showing a processing flow performed by the processing device 100 according to one embodiment of the present disclosure. Specifically, FIG. 9 is a diagram showing a processing flow that is executed at predetermined intervals for the processing related to S11 to S15 of FIG. The processing flow is mainly performed by the processor 111 of the processing device 100 reading and executing a program stored in the memory 112 .
  • FIG. 18 is a diagram showing an example of a screen displayed on the processing device 100 according to an embodiment of the present disclosure. Specifically, FIG. 18 shows an example of the mode selection screen output in S111 and S112 of FIG. According to FIG. 18, approximately at the center of the display functioning as the output interface 114, there is a photographing mode icon 11 for shifting to a photographing mode for photographing a subject image, and the result of having already determined the possibility of contracting influenza is displayed on the display. A determination result confirmation mode icon 12 for shifting to the output determination result confirmation mode is displayed. The user can operate the input interface 113 to select which mode to shift to.
  • the processor 111 determines whether or not the mode selection by the operator has been accepted via the input interface 113 (S112). At this time, if the processor 111 determines that neither the shooting mode icon 11 nor the determination result confirmation mode icon 12 shown in FIG. 18 has been input and no mode selection has been received, the processing flow ends.
  • the processor 111 determines whether or not the shooting mode has been selected. (S113).
  • the processor 111 determines that the determination result confirmation mode icon 12 shown in FIG. 18 has been selected, the desired determination result is displayed via the output interface 114 (S118).
  • the processor 111 determines that the shooting mode icon 11 shown in FIG. 18 has been selected, it displays a screen for accepting input of the user's attribute information on the output interface 114 (not shown).
  • the screen includes items such as the user's name, gender, age, address, etc., which must be input as attribute information, and input boxes for inputting answers to each item.
  • the processor 111 acquires the information input to each input box via the input interface 113 as attribute information (S114).
  • the processor 111 generates new user ID information corresponding to the user newly stored in the user table, and stores the attribute information in the user table in association with the user ID information.
  • the user ID information is selected in advance before inputting the attribute information, it is possible to omit generating new user ID information.
  • the processor 111 displays on the output interface 114 a screen for accepting the user's inquiry information input (not shown).
  • the screen includes items such as the user's body temperature, heart rate, medication status, presence or absence of subjective symptoms, etc., which need to be input as interview information, and an input box for inputting answers to each item.
  • the processor 111 acquires the information input to each input box via the input interface 113 as interview information, and stores it in the user table in association with the user ID information (S115).
  • attribute information and inquiry information are input by the processing device 100 .
  • the information is not limited to this, and may be acquired by receiving information input to an electronic medical chart device or other terminal device connected via a wired or wireless network.
  • the processor 111 refers to the user table, reads the user ID information corresponding to the user whose information has been input, and generates a two-dimensional code recording this (S116).
  • the processor 111 associates the generated two-dimensional code with the user ID information, stores it in the user table, and outputs it via the output interface 114 (S117). With the above, the processing flow ends.
  • FIG. 19 is a diagram showing an example of a screen displayed on the processing device 100 according to an embodiment of the present disclosure.
  • FIG. 19 is a diagram showing an example of the display screen of the two-dimensional code output in S117 of FIG.
  • the user ID information of the user whose attribute information and the like are input is displayed above the display functioning as the output interface 114 .
  • the two-dimensional code generated in S116 of FIG. 19 is displayed approximately in the center of the display.
  • FIG. 10 is a diagram showing a processing flow performed by the processing device 100 according to one embodiment of the present disclosure. Specifically, FIG. 10 is a diagram showing a processing flow that is executed at predetermined intervals for the processing related to S21 to S25 of FIG. The processing flow is mainly performed by the processor 213 of the imaging device 200 reading and executing a program stored in the memory 214 .
  • the processor 213 determines whether or not an operator's input is accepted via the input interface 210 (eg, power button) (S211). At this time, if the processor 213 determines that the operator's input has not been received, the processing flow ends.
  • the processor 213 determines that the operator's input has been accepted, it outputs a standby screen to the display panel 215 (S212).
  • the standby screen (not shown) includes a through image captured via the camera 211 .
  • the operator moves the photographing device 200 so that the angle of view of the camera 211 includes the two-dimensional code output to the output interface 114 of the processing device 100, and the processor 213 photographs the two-dimensional code with the camera 211. (S213).
  • processor 213 reads the user ID information recorded in the two-dimensional code, and stores the read user ID information in memory 214 (S214).
  • the processor 213 then outputs the standby screen to the display panel 215 again (S215).
  • the operator covers the tip of the imaging device 200 with the auxiliary tool 300, and inserts the imaging device 200 into the oral cavity of the user to a predetermined position.
  • the processor 213 receives a shooting start operation from the operator via the input interface 210 (for example, a shooting button)
  • the processor 213 controls the camera 211 to start shooting a subject image of the subject (S216).
  • the photographing of the subject images is performed by continuously photographing a predetermined number of images (for example, 30 images) at a predetermined interval by pressing the photographing button.
  • processor 213 stores the photographed subject image in memory 214 in association with the read user ID information.
  • the photographing device 200 processes a subject image photographed as a through image, for example, and determines whether or not the camera 211 captures the subject (especially the pharynx) at the angle of view.
  • a photographed subject image is input to the learned determination image selection model, and the processor 213 determines whether or not a candidate image has been obtained.
  • the information detection sensor 232 is turned on to start detection of living body detection information (S217). As a result, detection can be started at the timing when the imaging device 200 captures the subject, that is, when the information detection sensor 232 is in an appropriate orientation and position.
  • the processor 213 detects desired living body detection information when each sensor arranged as the information detection sensor 232 is started to be driven. When the detection of the living body detection information ends, the processor 213 stores the detected living body detection information in the memory 214 in association with the user ID information.
  • the use of the learned judgment image selection model is an example.
  • the subject image may be segmented by semantic segmentation or the like to determine whether the pharynx or the like is included in the center of the image.
  • the determination using the learned determination image selection model and the determination by segmentation may be performed by the processor 213 of the photographing device 200, or may be performed by the processor 112 of the processing device 100 that has received the subject image, and the determination result is You may make it transmit to the imaging device 200.
  • FIG. Further, the detection itself by the information detection sensor 232 may be started at the timing when the photographing button is pressed, or detected all the time, and only biometric detection information synchronized with the timing at which the candidate image is obtained may be extracted.
  • the processor 213 outputs the subject image and the living body detection information stored in the display panel 215 (S218).
  • the operator takes out the imaging device 200 together with the assisting tool 300 from the oral cavity, checks the subject image and the biometric detection information output to the display panel 215, and confirms that the desired image or biometric detection information is not obtained.
  • the processor 213 determines whether or not the input of the re-imaging instruction by the operator has been received via the input interface 210 (S219).
  • the processor 213 displays the standby screen of S215 again, enabling the imaging of the subject image and the detection of the biometric detection information.
  • the processor 213 transfers the image to the memory via the communication interface 216 .
  • the subject image, the living body detection information, and the user ID information associated with the subject image are transmitted to the processing device 100 (S220). After that, the processing flow ends.
  • FIG. 11 is a diagram showing a processing flow performed by the processing device 100 according to one embodiment of the present disclosure. Specifically, FIG. 11 is a diagram showing a processing flow executed for the processing related to S31 to S33 of FIG. The processing flow is mainly performed by the processor 111 of the processing device 100 reading and executing a program stored in the memory 112 .
  • the processor 111 when the processor 111 receives the subject image and the associated user ID information from the photographing device 200, it stores it in the memory 112 and registers it in the image management table (S311). Then, the processor 111 outputs the received user ID information or attribute information (for example, name) corresponding to the received user ID information through the output interface 114, and selects a user whose possibility of affliction with influenza is to be determined. is accepted (S312). At this time, when a plurality of pieces of user ID information and associated subject images are received from the photographing device 200, a plurality of pieces of user ID information or attribute information corresponding thereto are output, and any It is possible to select the user.
  • the processor 111 receives the subject image and the associated user ID information from the photographing device 200, it stores it in the memory 112 and registers it in the image management table (S311). Then, the processor 111 outputs the received user ID information or attribute information (for example, name) corresponding to the received user ID information through the output interface 114,
  • the processor 111 When the processor 111 receives the selection of the user to be judged via the input interface 113, it reads the attribute information associated with the user ID information of the user from the user table in the memory 112 (S313). Similarly, the processor 111 reads medical inquiry information associated with the user ID information of the user to be determined from the user table in the memory 112 (S314). It should be noted that information stored in the living body detection information table can be read out as the medical inquiry information.
  • temperature body temperature
  • exhalation breath sounds
  • heart rate oxygen saturation
  • near-infrared image or blood vessel state estimated from the image
  • ultraviolet image or structural information of the biological surface obtained from the image
  • the processor 111 reads out the subject image associated with the user ID information of the selected user from the memory 112, and selects the determination image used to determine the possibility of affliction with influenza. (S315: The details of this selection process will be described later.). Then, the processor 111 executes a process of determining the possibility of being infected with influenza based on the selected determination image and the living body detection information used as the interview information (S316: details of this determination process will be described later). . When the determination result is obtained by the determination process, the processor 111 stores it in the user table in association with the user ID information, and outputs the determination result via the output interface 114 (S317). After that, the processing flow ends.
  • FIG. 12 is a diagram showing a processing flow executed by the processing device 100 according to one embodiment of the present disclosure. Specifically, FIG. 12 is a diagram showing the details of the determination image selection process executed in S315 of FIG. The processing flow is mainly performed by the processor 111 of the processing device 100 reading and executing a program stored in the memory 112 .
  • the processor 111 reads the subject image associated with the user ID information of the selected user from the memory 112 (S411).
  • the processor 412 selects an image that is a candidate for the determination image from the read subject images (S412). This selection is performed, for example, using a learned judgment image selection model.
  • FIG. 13 is a diagram showing a processing flow for generating a trained model according to an embodiment of the present disclosure. Specifically, FIG. 13 is a diagram showing a processing flow relating to generation of a learned judgment image selection model used in S412 of FIG.
  • the processing flow may be executed by the processor 111 of the processing device 100 or by a processor of another processing device.
  • the processor executes a step of acquiring a subject image of a subject including at least part of the pharynx as a learning subject image (S511).
  • the processor executes a processing step of adding label information indicating whether or not the acquired learning subject image is an image that can be used as a determination image (S512).
  • the processor executes a step of storing the assigned label information in association with the learning object image (S513). Note that in the labeling process and the label information storage process, a human judges in advance whether or not the object image for learning is a judgment image, and the processor stores it in association with the object image for learning.
  • the processor may analyze whether or not the image is a determination image by a known image analysis process, and store the result in association with the learning object image. Also, the label information is given based on the viewpoints of whether or not at least a partial region of the oral cavity, which is the subject, is captured, and whether or not the image quality is good such as camera shake, defocus, and cloudiness.
  • the processor executes a step of performing machine learning of the selection pattern of the determination image using them (S514).
  • machine learning for example, a set of an object image for learning and label information is given to a neural network configured by combining neurons, and the parameters of each neuron are adjusted so that the output of the neural network is the same as the label information. This is done by repeating learning while making adjustments.
  • a step of acquiring a trained judgment image selection model for example, neural network and parameters
  • the acquired learned determination image selection model may be stored in the memory 112 of the processing device 100 or another processing device connected to the processing device 100 via a wired or wireless network.
  • the processor 111 inputs the subject image read out in S411 to the learned judgment image selection model, thereby obtaining candidate images as judgment image candidates as output.
  • This makes it possible to favorably select an image showing at least a partial region of the oral cavity, which is a subject, or an image with good image quality such as camera shake, defocus, motion blur of the subject, exposure, and cloudiness.
  • the processor 111 registers the acquired candidate images, which are candidates for the determination image, in the image management table.
  • the processor 111 executes selection processing of a judgment image based on the degree of similarity from the selected candidate images (S413). Specifically, the processor 111 compares the obtained candidate images and calculates the degree of similarity between the candidate images. Then, the processor 111 selects a candidate image judged to have a low degree of similarity to other candidate images as a judgment image.
  • the degree of similarity between such candidate images can be determined by a method using local feature amounts in each candidate image (Bag-of-Keypoints method), a method using EMD (Earth Mover's Distance), SVM ( It is calculated by a method using support vector machine), a method using Hamming distance, a method using cosine similarity, or the like.
  • the processor 111 registers the candidate image selected based on the degree of similarity as the determination image in the image management table (S414).
  • each of the subject image, the candidate image, and the determination image may be one or a plurality of images.
  • by using a plurality of determination image groups for the determination processing described later it is possible to further improve the determination accuracy as compared with the case where only one determination image is used.
  • each time a subject image is captured the captured subject image is transmitted to the processing device 100 and then the candidate image and the determination image are selected, or the candidate image is selected by the image capturing device 200 .
  • Image selection and determination image selection may be performed, and photographing may be terminated when a predetermined number of determination images (for example, about five) are obtained. By doing so, it is possible to minimize the time required for photographing the subject image while maintaining the improvement in determination accuracy as described above. In other words, discomfort to the user such as vomiting reflex can be reduced.
  • a predetermined number of determination images for example, about five
  • FIG. 14 is a diagram showing a processing flow performed by the processing device 100 according to one embodiment of the present disclosure. Specifically, FIG. 14 is a diagram showing details of the processing for determining the possibility of contracting influenza, which is executed in S316 of FIG. The processing flow is mainly performed by the processor 111 of the processing device 100 reading and executing a program stored in the memory 112 .
  • the processor 111 obtains the determination result by ensemble processing the first positive rate, the second positive rate, and the third positive rate obtained by different methods.
  • the processor 111 reads from the memory 112 the determination image associated with the user ID information of the user to be determined (S611). Then, the processor 111 performs predetermined preprocessing on the read judgment image.
  • preprocessing includes filter processing such as bandpass filters including high-pass filters and low-pass filters, averaging filters, Gaussian filters, Gabor filters, Canny filters, Sobel filters, Laplacian filters, median filters, bilateral filters, etc.
  • Blood vessel extraction processing using Hessian matrix etc. segmentation processing of specific regions (e.g., follicles) using machine learning, trimming processing for segmented regions, defogging processing, super-resolution processing, and combinations of these, high-definition It is selected according to the purpose such as image reduction, area extraction, noise removal, edge enhancement, image correction, and image conversion.
  • preprocessing it is possible to improve the determination accuracy by extracting and emphasizing in advance a region of interest that is important in diagnosing a disease, such as follicles in influenza.
  • defogging processing as an example, a set of a learning subject image and a learning degraded image to which cloudiness is added by applying a cloudiness addition filter or the like from the learning subject image is given to the learning device, and machine learning is performed.
  • the processor 111 inputs the read judgment image as an input into the learned defogging image model stored in the memory 112, and acquires the judgment image with the defogging removed as an output.
  • a set of high-resolution images of the subject and low-resolution images obtained by degrading the high-resolution images, such as scale reduction and blurring, are used as training images for the learning device. and use a trained super-resolution image model obtained by machine learning.
  • the processor 111 receives the defogged determination image as an input, inputs it to the trained super-resolution image model stored in the memory 112, and acquires the super-resolution-processed determination image as an output.
  • the segmentation process includes a learning object image and position information of the label obtained by labeling a region of interest (for example, a follicle) based on an operation input by a doctor or the like to the learning object image.
  • the processor 111 receives the super-resolution-processed judgment image as an input, inputs the learned segmentation image model stored in the memory 112, and obtains a judgment image in which a region of interest (eg, follicle) is segmented. Then, the processor 111 stores the judgment image thus preprocessed in the memory 112 .
  • the defogging process, the super-resolution process, and the segmentation process are processed in this order, but the order may be any order, and at least any one process may be performed.
  • other processes such as defogging filter, scale enlargement process, and sharpening process may be used.
  • the processor 111 gives the preprocessed determination image as an input to the feature amount extractor (S613), and acquires the image feature amount of the determination image as an output (S614). Further, the processor 111 provides the feature amount of the obtained determination image as input to the classifier (S615), and obtains as output the first positive rate indicating the first possibility of contracting influenza (S616).
  • the feature amount extractor can obtain a predetermined number of feature amounts, such as the presence or absence of follicles and the presence or absence of redness in the determination image, as vectors. As an example, 1024-dimensional feature quantity vectors are extracted from the judgment image and stored as the feature quantity of the judgment image.
  • FIG. 15 is a diagram showing a processing flow for generating a trained model according to an embodiment of the present disclosure. Specifically, FIG. 15 is a diagram showing a processing flow relating to generation of a trained positive rate determination selection model including the feature amount extractor of S613 and the classifier of S615 of FIG.
  • the processing flow may be executed by the processor 111 of the processing device 100 or by a processor of another processing device.
  • the processor executes a step of obtaining, as a learning determination image, an image of a subject including at least part of the pharynx that has undergone preprocessing similar to S612 of FIG. 14 (S711).
  • the processor assigns a correct label based on the results of a rapid influenza test by immunochromatography, a PCR test, a virus isolation culture test, etc., to the user who is the subject of the acquired determination image for learning. (S712).
  • the processor executes a step of storing the assigned correct label information as determination result information in association with the learning determination image (S713).
  • the processor uses them to carry out machine learning of positive rate determination patterns (S714).
  • machine learning for example, a combination of a learning judgment image and correct label information is given to a feature quantity extractor composed of a convolutional neural network and a classifier composed of a neural network, and an output from the classifier is the same as the correct label information, learning is repeated while adjusting the parameters of each neuron.
  • a step of acquiring a learned positive rate determination model is executed (S715).
  • the acquired learned positive rate determination model may be stored in the memory 112 of the processing device 100 or another processing device connected to the processing device 100 via a wired or wireless network.
  • the processor 111 inputs the judgment image preprocessed in S612 to the learned positive rate judgment model, thereby obtaining the feature quantity (S614) of the judgment image and the first influenza morbidity.
  • a first positive rate (S616) indicating the possibility is obtained as an output and stored in the memory 112 in association with the user ID information.
  • the processor 111 reads from the memory 112 the interview information including the biometric detection information associated with the user ID information of the user to be determined, and attribute information as necessary (S617). Further, the processor 111 reads from the memory 112 the feature amount of the determination image calculated in S614 and stored in the memory 112 in association with the user ID information (S614). Then, the processor 111 inputs the interview information including the read-out living body detection information and the feature amount of the determination image to the trained positive rate determination model (S618), and determines the second possibility of affliction with influenza. The indicated second positive rate is obtained as an output (S619).
  • FIG. 16 is a diagram showing a processing flow for generating a trained model according to an embodiment of the present disclosure. Specifically, FIG. 16 is a diagram showing a processing flow relating to generation of the learned positive rate determination selection model in S618 of FIG.
  • the processing flow may be executed by the processor 111 of the processing device 100 or by a processor of another processing device.
  • the processor executes a step of acquiring a learning feature amount from a determination image obtained by performing preprocessing similar to S612 of FIG. 14 on an image of a subject including at least part of the pharynx (S721 ). Also, the processor executes a step of acquiring interview information and attribute information including biometric detection information pre-stored in association with the user ID information of the user who is the subject of the determination image (S721). Next, the processor carries out a processing step of assigning a correct label to the user who is the subject of the judgment image, which is assigned in advance based on the results of the rapid influenza test by immunochromatography, the PCR test, the virus isolation and culture test, and the like. Execute (S722). Then, the processor executes a step of storing the assigned correct label information as determination result information in association with the learning feature amount of the determination image, and the inquiry information and attribute information including the biometric detection information (S723).
  • the processor uses them to perform machine learning of positive rate judgment patterns.
  • the step is executed (S724).
  • the machine learning provides a set of information to a neural network that combines neurons, and learns while adjusting the parameters of each neuron so that the output from the neural network is the same as the correct label information. is performed by repeating Then, a step of obtaining a learned positive rate determination model is executed (S725).
  • the acquired learned positive rate determination model may be stored in the memory 112 of the processing device 100 or another processing device connected to the processing device 100 via a wired or wireless network.
  • the processor 111 inputs the feature amount of the determination image read out in S614 and the interview information including the living body detection information read out in S617 to the learned positive rate determination model. obtains as an output a second positive rate (S619) indicating a second possibility of contracting influenza, and stores it in memory 112 in association with the user ID information.
  • a second positive rate S619
  • the processor 111 reads from the memory 112 the interview information including the biometric detection information associated with the user ID information of the user to be determined, and attribute information as necessary (S617).
  • the processor 111 also reads from the memory 112 the first positive rate calculated in S616 and stored in the memory 112 in association with the user ID information.
  • the processor 111 provides the learned positive rate determination model with the medical interview information including the read-out living body detection information and the first positive rate as inputs (S620), and indicates the third possibility of affliction with influenza.
  • a third positive rate is obtained as an output (S621).
  • FIG. 17 is a diagram showing a processing flow for generating a trained model according to an embodiment of the present disclosure. Specifically, FIG. 17 is a diagram showing a processing flow relating to generation of the learned positive rate determination selection model in S620 of FIG.
  • the processing flow may be executed by the processor 111 of the processing device 100 or by a processor of another processing device.
  • the processor performs the same preprocessing as in S612 of FIG. 14 on the image of the subject including at least part of the pharynx, and converts the determination image into a feature amount extractor (S613 in FIG. 14) and a classifier. (S615 of FIG. 14) is executed to acquire the first positive rate information obtained by inputting to the learned positive rate determination selection model (S731). Also, the processor executes a step of acquiring interview information and attribute information including biometric detection information pre-stored in association with the user ID information of the user who is the subject of the determination image (S731).
  • the processor carries out a processing step of assigning a correct label to the user who is the subject of the judgment image, which is assigned in advance based on the results of the rapid influenza test by immunochromatography, the PCR test, the virus isolation and culture test, and the like. Execute (S732). Then, the processor executes a step of storing the assigned correct label information as determination result information in association with the first positive rate information, interview information including biometric detection information, and attribute information (S733).
  • the processor When the first positive rate information, the interview information including the living body detection information, the attribute information, and the correct label information associated therewith are obtained, the processor performs machine learning of the positive rate determination pattern using them. Execute (S734). As an example, the machine learning provides a set of information to a neural network that combines neurons, and learns while adjusting the parameters of each neuron so that the output from the neural network is the same as the correct label information. is performed by repeating Then, a step of acquiring a learned positive rate determination model is executed (S735).
  • the acquired learned positive rate determination model may be stored in the memory 112 of the processing device 100 or another processing device connected to the processing device 100 via a wired or wireless network.
  • the processor 111 inputs the first positive rate information read out in S616 to the learned positive rate determination model and the interview information including the living body detection information read out in S617. obtains the third positive rate (S621) indicating the third possibility of contracting influenza as an output, and stores it in memory 112 in association with the user ID information.
  • the processor 111 reads each positive rate from the memory 112 and performs ensemble processing (S622).
  • the obtained first positive rate, second positive rate, and third positive rate are given as inputs to the ridge regression model, and each positive rate is ensembled as a determination result of the possibility of affliction with influenza.
  • the result obtained is acquired (S623).
  • the ridge regression model used in S622 is generated by machine learning by the processor 111 of the processing device 100 or a processor of another processing device. Specifically, the processor acquires the first positive rate, the second positive rate, and the third positive rate from the learning determination image. In addition, the processor preliminarily assigns a correct label based on the results of a rapid influenza test by immunochromatography, a PCR test, a virus isolation culture test, etc., to the user who is the subject of the learning determination image.
  • the processor gives each positive rate and a set of correct labels associated with it to a ridge regression model, and the parameters given to each positive rate so that the output is the same as the correct label information of the ridge regression model Repeat learning while adjusting
  • a ridge regression model used for ensemble processing is obtained and stored in the memory 112 of the processing device 100 or another processing device connected to the processing device 100 via a wired or wireless network.
  • the processor 111 associates the determination result thus obtained with the user ID information and stores it in the user table of the memory 112 (S624). This ends the processing flow.
  • each positive rate may be directly used as the final determination result, or an ensemble process using any two positive rates may be performed as the final determination result.
  • ensemble processing may be performed by adding other positive rates obtained by other methods, and the final determination result may be obtained.
  • the obtained determination results are output via the output interface 114, but only the final determination results may be output, or each positive rate may also be output together.
  • a processing device, a processing program, a processing method, and a processing system suitable for processing an image obtained by photographing the intraoral cavity for use in intraoral diagnosis are provided. becomes possible.
  • the information detection sensor 232 arranged in the imaging device 200 is used to detect the biometric detection information of the living body of the user, and the disease is detected based on the information. determined the possibility. Therefore, living body detection information acquired at the same timing at a position closer to the region imaged by the imaging device 200, that is, the region of interest, can be used for determination, and more accurate determination is possible.
  • detection of living body detection information is started at the timing when it is detected that a subject (especially the pharynx) is caught in the angle of view of the camera 211 in S216 (S217).
  • the present invention is not limited to this, and may be started at the same time as the photographing button is pressed to start photographing the subject image.
  • the detection of living body detection information that is, the start of detection by the information detection sensor 232 may be triggered by pressing the photographing button or the like again.
  • the detection may be started at the same time as the power is turned on, and the detection may be performed at all times.
  • FIG. 14 a case has been described in which information indicating the possibility of contracting influenza is output using at least one of the medical interview information and the attribute information including the living body detection information.
  • external factor information related to influenza may be used to output information indicating the possibility of contracting influenza. Examples of such external factor information include judgment results made to other users, diagnosis results by doctors, and influenza epidemic information in the area where the user belongs.
  • the processor 111 acquires such external factor information from another processing device or the like via the communication interface 115, and provides the external factor information as an input to the learned positive rate determination model, thereby determining the positive factor information in consideration of the external factor information. rate can be obtained.
  • a learned information estimation model is obtained by applying attribute information and interview information associated with the learning object image as a correct label to the learning object image and subjecting these sets to machine learning using a neural network. Then, the processor 111 can obtain desired medical inquiry information and attribute information by giving the subject image as an input to the learned information estimation model. Examples of such interview information and attribute information include sex, age, degree of pharyngeal redness, degree of tonsil swelling, presence or absence of white moss, and the like. This saves the operator the trouble of inputting medical inquiry information and attribute information.
  • follicles appearing in the pharyngeal region are characteristic signs of influenza, and are confirmed by visual inspection even in the diagnosis by a doctor. Therefore, a region of interest such as a follicle is subjected to labeling processing by a doctor or the like on the object image for learning. Then, the position information (shape information) of the label in the learning object image is acquired as the learning position information, and the set of the learning object image and the learning position information labeled with the learning object image is machine-learned by the neural network. , to obtain a trained region extraction model.
  • the processor 111 outputs the position information (shape information) of the attention area (that is, the follicle) by giving the subject image as an input to the learned area extraction model. After that, the processor 111 stores the obtained positional information (shape information) of the follicles as interview information.
  • the processor 111 may read the determination image from the memory 112 and provide the read determination image without preprocessing as an input to the feature amount extractor. Moreover, even when preprocessing is performed, the processor 111 may provide both a preprocessed determination image and a non-preprocessed determination image as inputs to the feature amount extractor.
  • the judgment image subjected to the same preprocessing as in S612 of FIG. 14 was used as learning data.
  • the judgment image without preprocessing is may be used as training data.
  • Each trained model described in FIGS. 13, 15 to 17, etc. was generated using a neural network or a convolutional neural network. However, not limited to these, it is also possible to generate using machine learning such as the nearest neighbor method, decision tree, regression tree, random forest, or the like.
  • FIG. 20 is a schematic diagram of a processing system 1 according to one embodiment of the present disclosure. Specifically, FIG. 20 is a diagram showing a connection example of various devices that may constitute the processing system 1 . According to FIG. 20, the processing system 1 includes a processing device 100, an imaging device 200, a terminal device 810 such as a smartphone, a tablet, a laptop PC, an electronic medical record device 820, and a server device 830. Connected via a wired or wireless network. Note that each device shown in FIG. 20 does not necessarily have to be provided, and may be provided as appropriate according to the distribution example of processing illustrated below.
  • the photographing apparatus 200 executes all processes such as photographing of a subject image, acquisition of attribute information and interview information, selection of a judgment image, judgment processing, and output of judgment results.
  • the photographing device 200 captures the subject image and outputs the determination result, and the server device 830 (cloud server device) performs processing using machine learning, such as determination image selection and determination processing.
  • the terminal device 810 inputs medical inquiry information and attribute information, the processing device 100 selects a judgment image, the judgment processing, and outputs the judgment result, and the photographing device 200 shoots a subject image.
  • the photographing device 200 executes the input of inquiry information and attribute information and the photographing of the subject image, and the processing device 100 executes the selection of the determination image, the determination processing, and the output of the determination result.
  • the terminal device 810 executes the input of medical inquiry information and attribute information and the output of judgment results, the processing device 100 executes judgment image selection and judgment processing, and the photographing device 200 executes imaging of a subject image.
  • the electronic medical chart device 820 executes input of medical inquiry information and attribute information, the processing device 100 executes judgment image selection and judgment processing, the photographing device 200 executes photographing of the subject image, and the judgment result output. is executed on the terminal device 810 .
  • the electronic medical record device 820 executes the input of medical inquiry information and attribute information and the output of the judgment result, the processing device 100 executes the selection of the judgment image and the judgment processing, and the photographing device 200 executes the photographing of the subject image. .
  • Input of inquiry information and attribute information and output of determination results are performed by the terminal device 810 , determination image selection and determination processing are performed by the server device 830 , and subject images are captured by the imaging device 200 .
  • the terminal device 810 and the electronic medical record device 820 execute the input of medical interview information and attribute information and the output of the judgment result, the server device 830 executes the selection of the judgment image and the judgment processing, and the photographing of the subject image is performed by the imaging device. 200 to run.
  • the electronic medical chart device 820 executes the input of medical inquiry information and attribute information and the output of the judgment result
  • the server device 830 executes the selection of the judgment image and the judgment processing
  • the photographing device 200 executes the photographing of the subject image.
  • a terminal device 810 such as a smart phone held by a patient or the like, a tablet used in a medical institution or the like, or a laptop PC used by a doctor or the like executes the processing related to S11 to S15 shown in FIG. After that, when the processing related to S21 to S24 is executed in the imaging device 200, the subject image is transmitted to the server device 830 via the terminal device 810 or directly. In the server device 830 that has received the subject image, the processing related to S31 to S32 is executed, and the determination result is output from the server device 830 to the terminal device 810. FIG. In the terminal device 810 that receives the output of the determination result, the determination result is stored in the memory and displayed on the display.
  • the processing device 100 is called a processing device.
  • the processing device 100 is simply referred to as a processing device because it simply executes various processes related to determination processing and the like. For example, when various processes are executed by the imaging device 200, the terminal device 810, the electronic medical record device 820, the server device 830, etc., these also function as processing devices and are sometimes called processing devices.
  • the image of the subject is captured using the substantially cylindrical imaging device 200 as the imaging device 200 .
  • the terminal device 810 as a photographing device and photograph a subject image using a camera provided in the terminal device 810, for example.
  • the camera is not inserted to the vicinity of the pharynx in the oral cavity, but is placed outside the incisors (outside the body) to photograph the oral cavity.
  • processes and procedures described in this specification can be implemented not only by those explicitly described in the embodiments, but also by software, hardware, or a combination thereof. Specifically, the processes and procedures described herein are implemented by implementing logic corresponding to the processes in media such as integrated circuits, volatile memories, non-volatile memories, magnetic disks, and optical storage. be done. Further, the processes and procedures described in this specification can be implemented as computer programs and executed by various computers including processing devices and server devices.
  • Processing System 100 Processing Device 200 Imaging Device 300 Auxiliary Tool 400 Mounting Table 600 Operator 700 User 810 Mobile Terminal Device 820 Electronic Medical Record Device 830 Server Device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】　口腔内の診断に用いるために口腔内を撮影して得られた画像を処理するのに適した処理装置等を提供する。 【解決手段】　少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサが、使用者の口腔の少なくとも一部が含まれた被写体の画像を撮影するためのカメラを含む撮影装置から前記カメラで撮影された前記被写体の一又は複数の判定画像を取得し、前記一又は複数の判定画像とは異なる前記被写体の生体検出情報を前記撮影装置から取得し、所定の疾患に対する罹患の可能性を判定するためにメモリに記憶された学習済み判定モデルと、取得された前記一又は複数の判定画像と、前記生体検出情報とに基づいて、前記所定の疾患に対する罹患の可能性を判定し、判定された前記罹患の可能性を示す情報を出力する、ための処理をするように構成される、処理装置が提供される。

Description

処理装置、処理プログラム及び処理方法
　本開示は、カメラによって撮影された被写体の画像を処理するための処理装置、処理プログラム及び処理方法に関する。
　従来より、医者によって、使用者の口腔の状態の変化を観察して、例えばウイルス性の風邪などの診断をすることが知られていた。非特許文献１は、口腔内に位置する咽頭の最深部に出現するリンパ濾胞にはインフルエンザに特有のパターンがあることを報告している。この特有のパターンを有するリンパ濾胞はインフルエンザ濾胞と呼ばれ、インフルエンザに特徴的なサインであって、発症後２時間程度で出現するとされる。しかし、このような咽頭部分は医師が直接視診することによって診断されており、画像を用いた診断がなされてこなかった。
宮本・渡辺著「咽頭の診察所見（インフルエンザ濾胞）の意味と価値の考察」日大医誌７２（１）：１１～１８（２０１３）
　そこで、上記のような技術を踏まえ、本開示では、様々な実施形態により、使用者の口腔を撮影して得られた被写体の判定画像を用いて、所定の疾患に対する罹患の可能性を判定するための処理装置、処理プログラム及び処理方法を提供することを目的とする。
　本開示の一態様によれば、「少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサが、使用者の口腔の少なくとも一部が含まれた被写体の画像を撮影するためのカメラを含む撮影装置から前記カメラで撮影された前記被写体の一又は複数の判定画像を取得し、前記一又は複数の判定画像とは異なる前記被写体の生体検出情報を前記撮影装置から取得し、所定の疾患に対する罹患の可能性を判定するためにメモリに記憶された学習済み判定モデルと、取得された前記一又は複数の判定画像と、前記生体検出情報とに基づいて、前記所定の疾患に対する罹患の可能性を判定し、判定された前記罹患の可能性を示す情報を出力する、ための処理をするように構成される、処理装置」が提供される。
　本開示の一態様によれば、「少なくとも一つのプロセッサにより実行されることにより、使用者の口腔の少なくとも一部が含まれた被写体の画像を撮影するためのカメラを含む撮影装置から前記カメラで撮影された前記被写体の一又は複数の判定画像を取得し、前記一又は複数の判定画像とは異なる前記被写体の生体検出情報を前記撮影装置から取得し、所定の疾患に対する罹患の可能性を判定するためにメモリに記憶された学習済み判定モデルと、取得された前記一又は複数の判定画像と、前記生体検出情報とに基づいて、前記所定の疾患に対する罹患の可能性を判定し、判定された前記罹患の可能性を示す情報を出力する、ように前記少なくとも一つのプロセッサを機能させる処理プログラム。」が提供される。
　本開示の一態様によれば、「少なくとも１つのプロセッサにより実行される処理方法であって、使用者の口腔の少なくとも一部が含まれた被写体の画像を撮影するためのカメラを含む撮影装置から前記カメラで撮影された前記被写体の一又は複数の判定画像を取得する段階と、前記一又は複数の判定画像とは異なる前記被写体の生体検出情報を前記撮影装置から取得する段階と、所定の疾患に対する罹患の可能性を判定するためにメモリに記憶された学習済み判定モデルと、取得された前記一又は複数の判定画像と、前記生体検出情報とに基づいて、前記所定の疾患に対する罹患の可能性を判定する段階と、判定された前記罹患の可能性を示す情報を出力する段階と、を含む処理方法」が提供される。
　本開示によれば、口腔内の診断に用いるために口腔内を撮影して得られた画像を処理するのに適した処理装置、処理プログラム及び処理方法を提供することができる。
　なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、又は上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。
図１は、本開示の一実施形態に係る処理システム１の使用状態を示す図である。 図２は、本開示の一実施形態に係る処理システム１の使用状態を示す図である。 図３は、本開示の一実施形態に係る処理システム１の概略図である。 図４は、本開示の一実施形態に係る処理システム１の構成を示すブロック図である。 図５は、本開示の一実施形態に係る撮影装置２００の上面の構成を示す概略図である。 図６は、本開示の一実施形態に係る撮影装置２００の断面の構成を示す概略図である。 図７Ａは、本開示の一実施形態に係る処理装置１００に記憶される画像管理テーブルを概念的に示す図である。 図７Ｂは、本開示の一実施形態に係る処理装置１００に記憶される生体検出情報テーブルを概念的に示す図である。 図７Ｃは、本開示の一実施形態に係る処理装置１００に記憶される使用者テーブルを概念的に示す図である。 図８は、本開示の一実施形態に係る処理装置１００と撮影装置２００との間で実行される処理シーケンスを示す図である。 図９は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。 図１０は、本開示の一実施形態に係る撮影装置２００において実行される処理フローを示す図である。 図１１は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。 図１２は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。 図１３は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図１４は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。 図１５は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図１６は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図１７は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図１８は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図１９は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図２０は、本開示の一実施形態に係る処理システム１の概略図である。
　添付図面を参照して本開示の様々な実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。
＜第１実施形態＞
１．処理システム１の概要
　本開示に係る処理システム１は、主に使用者の口腔の内部を撮影し被写体画像を得るために用いられる。特に、当該処理システム１は、口腔の喉奥周辺、具体的には咽頭を撮影するために用いられる。したがって、以下においては、本開示に係る処理システム１を咽頭の撮影に用いた場合について主に説明する。ただし、咽頭は撮影部位の一例であって、当然に、口腔内であれば扁桃などの他の部位であっても、本開示に係る処理システム１を好適に用いることができる。
　本開示に係る処理システム１は、使用者の口腔の少なくとも咽頭領域が含まれた被写体を撮影して得られた被写体画像とその他の生体検出情報から、所定の疾患に対する罹患の可能性を判定し、所定の疾患に対する診断又はその補助をするために用いられる。処理システム１によって判定される疾患の一例としては、インフルエンザが挙げられる。通常、インフルエンザの罹患の可能性は、使用者の咽頭や扁桃領域を診察したり、咽頭領域に濾胞などの所見の有無を判断することによって診断される。しかし、処理システム１を用いてインフルエンザに対する罹患の可能性を判定しその結果を出力することで、その診断又は補助をすることが可能となる。なお、インフルエンザの罹患の可能性の判定は一例である。処理システム１は、罹患することによって口腔内の所見に差が現れる疾患の判定であれば、いずれであっても好適に用いることができる。なお、所見の差とは、医師等により発見されかつ医学的にその存在が既知となっているものに限らない。例えば、医師以外の者によって認識され得る差や、人工知能や画像認識技術によってその検出が可能な差であれば、処理システム１に対して好適に適用することが可能である。そのような疾患の一例としては、インフルエンザのほかに、溶連菌感染症、アデノウイルス感染症、ＥＢウイルス感染症、マイコプラズマ感染症、手足口病、ヘルパンギーナ、カンジダ症などの感染症、動脈硬化、糖尿病、高血圧症などの血管障害または粘膜障害を呈する疾病、舌癌、咽頭癌などの腫瘍などが挙げられる。
　なお、本開示において、疾患に対する「判定」や「診断」等の用語を用いるが、これらは医師による確定的な判定又は診断を必ずしも意味するものではない。例えば、本開示の処理システム１を使用者自らが使用したり、医師以外の操作者が使用したりして、処理システム１に含まれる処理装置１００によって判定又は診断されることも当然に含みうる。
　また、本開示において、撮影装置２００による撮影の対象となる使用者は、患者、被検者、診断使用者、健常者など、あらゆるヒトを含みうる。また、本開示において撮影装置２００を保持して撮影の操作を行う操作者は、医師、看護師、検査技師などの医療従事者に限らず、使用者自身などあらゆるヒトを含みうる。本開示に係る処理システム１は、典型的には医療機関で使用されることが想定される。しかし、この場合に限らず、例えば使用者の自宅や学校、職場など、その使用場所はいずれでもよい。
　また、本開示においては、上記のとおり、被写体としては使用者の口腔の少なくとも一部が含まれていればよい。また、判定される疾患も口腔内の所見に差が現れる疾患であればいずれでもよい。しかし、以下においては、被写体として咽頭又は咽頭周辺を含み、疾患としてインフルエンザに対する罹患の可能性を判定する場合について説明する。
　また、本開示においては、被写体画像や判定画像は、一又は複数の動画であってもよいし一又は複数の静止画であってもよい。動作の一例としては、電源ボタンが押下されると、カメラによるスルー画像の取り込みを行い、取り込まれたスルー画像がディスプレイ２０３に表示される。その後、操作者によって撮影ボタンが押下されると、一又は複数の静止画像がカメラによって撮影され、撮影された画像をディスプレイ２０３に表示する。又は、使用者によって撮影ボタンが押下されると、動画の撮影が開始され、その間カメラで撮影されている画像がディスプレイ２０３に表示される。そして、再度撮影ボタンが押下されると動画の撮影が終了される。このように、一連の動作において、スルー画像や静止画、動画など様々な画像がカメラによって撮影され、ディスプレイに表示される。さらに当該表示または本開示に係る処理のために被写体画像又は判定画像に対して様々な画像処理が施された処理済みの画像となることがある。しかし、被写体画像及び判定画像はこれらのうちの特定の画像のみを意味するのではなく、カメラで撮影されたこれら画像の全てを含みうる。
　また、本開示においては、生体検出情報は、使用者の生体に関する情報のうち撮影装置のカメラで撮影され、学習済み判定モデルに使用される判定画像とは異なる情報である。生体検出情報の一例としては、撮影装置に設けられた温度センサ、呼気センサ、心拍センサ、赤外線センサ、近赤外線センサ、紫外線センサ、音響センサ、それらの組み合わせ等の情報検出センサによって検出された検出データ、検出された各検出データやカメラによって撮影された被写体画像に基づいて得られた使用者の体温、呼気、呼吸音、心拍、血管状態、酸素飽和度等の情報及びそれらの組み合わせなどが挙げられる。すなわち、この生体検出情報は、情報検出センサによって検出された検出データそのものであってもよいし、検出されたデータから処理がなされた情報であってもよい。また、検出データから処理がなされた情報を生体検出情報として利用する場合は、撮影装置において当該処理がなされてもよいし、処理装置で当該処理がなされてもよい。
　図１は、本開示の一実施形態に係る処理システム１の使用状態を示す図である。図１によれば、本開示に係る処理システム１は、処理装置１００と撮影装置２００とを含む。操作者は、撮影装置２００の先端に補助具３００を被覆するように装着し、補助具３００とともに撮影装置２００を使用者の口腔７１０に挿入する。具体的には、まず、操作者（使用者７００自らの場合もあれば使用者７００とは異なるものの場合もある）が撮影装置２００の先端に、補助具３００を被覆するように装着する。そして、操作者は、補助具３００が装着された撮影装置２００を、口腔７１０内に挿入する。このとき補助具３００の先端は、門歯７１１を通過して軟口蓋７１３近辺まで挿入される。つまり、撮影装置２００も同様に軟口蓋７１３近辺まで挿入される。このとき、補助具３００（舌圧子として機能する。）によって、舌７１４が下方へ押しやられ舌７１４の動きが制限される。また、補助具３００の先端によって軟口蓋７１３が上方へ押しやられる。これによって、操作者は、撮影装置２００の良好な視野を確保して、撮影装置２００の前方に位置する咽頭７１５の良好な撮影が可能となる。
　また、撮影装置２００の先端には、必要に応じて所望の情報検出センサが設置され、当該情報検出センサにおいて使用者の生体検出情報が検出される。すなわち、当該撮影装置２００が軟口蓋７１３近辺まで挿入されるとき、当該情報検出センサも一緒に挿入されることとなる。そのため、注目領域である撮影装置２００のカメラで撮影される口腔７１０内の領域と同じ領域、又はその周辺の領域の生体検出情報を得ることができる。つまり、注目領域又はその周辺領域の生体情報を得ることが可能となる。また、上記のとおり舌７１４の動きが制限されるため、当該情報検出センサにおける生体検出情報の検出において舌７１４などによる悪影響を排除することができる。
　撮影された被写体画像（典型的には、咽頭７１５を含む画像）及び生体検出情報は、撮影装置２００から有線又は無線ネットワークで通信可能に接続された処理装置１００に送信される。被写体画像を受信した処理装置１００のプロセッサがメモリに記憶されたプログラムを処理することによって、被写体画像から判定に用いられる判定画像の選択が行われるとともに、当該判定画像と生体検出情報とを用いて所定の疾患に対する罹患の可能性が判定される。そして、結果がディスプレイなどに出力される。
　図２は、本開示の一実施形態に係る処理システム１の使用状態を示す図である。具体的には、図２は、処理システム１のうち撮影装置２００について、操作者６００が把持した状態を示す図である。図２によれば、撮影装置２００は、口腔内に挿入される側から、本体２０１、グリップ２０２及びディスプレイ２０３により構成される。本体２０１及びグリップ２０２は、口腔への挿入方向Ｈに沿って所定長の略柱状に形成される。また、ディスプレイ２０３は、グリップ２０２の本体２０１側とは反対側に配置される。そのため、撮影装置２００は、全体として略柱状に形成されており、鉛筆を把持するような持ち方をすることによって、操作者６００に把持される。つまり、使用状態においてディスプレイ２０３の表示パネルが操作者６００自身の方向を向くため、撮影装置２００によって撮影された被写体画像や検出された生体検出情報をリアルタイムで確認しながら撮影装置２００を容易に取り扱うことが可能である。
　また、ディスプレイ２０３に被写体画像が通常の向きに表示される向きで操作者６００がグリップ２０２を把持するとき、撮影ボタン２２０がグリップの上面側に配置されるように構成されている。そのため、操作者６００が把持したときに、操作者６００が撮影ボタン２２０を人差し指等で容易に押下可能になっている。
２．処理システム１の構成
　図３は、本開示の一実施形態に係る処理システム１の概略図である。図３によれば、処理システム１は、処理装置１００と、当該処理装置１００に有線又は無線ネットワークを介して通信可能に接続された撮影装置２００とを含む。処理装置１００は、操作者による操作入力を受け付けて、撮影装置２００による撮影を制御する。また、処理装置１００は、撮影装置２００によって撮影された被写体画像及び生体検出情報を処理して、使用者のインフルエンザへの罹患の可能性を判定する。さらに、処理装置１００は、判定された結果を出力して、使用者、操作者又は医師等に、その結果を通知する。
　撮影装置２００は、その先端が使用者の口腔内に挿入されて、口腔内、特に咽頭を撮影する。また、撮影装置２００は、先端に備えられた情報検出センサに基づいて被写体の生体検出情報を検出する。その具体的な処理については、後述する。撮影された被写体画像及び生体検出情報は、有線又は無線ネットワークを介して処理装置１００へ送信される。
　なお、処理システム１は、必要に応じてさらに載置台４００を含むことが可能である。載置台４００は、撮影装置２００を安定的に載置することが可能である。また、載置台４００は、有線ケーブルを介して電源に接続することで、載置台４００の給電端子から撮影装置２００の給電ポートを通じて撮影装置２００に給電することが可能である。
　図４は、本開示の一実施形態に係る処理システム１の構成を示すブロック図である。図４によると、処理システム１は、プロセッサ１１１、メモリ１１２、入力インターフェイス１１３、出力インターフェイス１１４及び通信インターフェイス１１５を含む処理装置１００と、カメラ２１１、光源２１２、プロセッサ２１３、メモリ２１４、表示パネル２１５、入力インターフェイス２１０及び通信インターフェイス２１６を含む撮影装置２００とを含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。なお、処理システム１は、図４に示す構成要素のすべてを備える必要はなく、一部を省略して構成することも可能であるし、他の構成要素を加えることも可能である。例えば、処理システム１は、各構成要素を駆動するためのバッテリ等を含むことが可能である。
　まず、処理装置１００のうち、プロセッサ１１１は、メモリ１１２に記憶されたプログラムに基づいて処理システム１の他の構成要素の制御を行う制御部として機能する。プロセッサ１１１は、メモリ１１２に記憶されたプログラムに基づいて、カメラ２１１の駆動、光源２１２の駆動を制御するとともに、撮影装置２００から受信した被写体画像及び生体検出情報をメモリ１１２に記憶し、記憶された被写体画像及び生体検出情報を処理する。具体的には、プロセッサ１１１は、カメラ２１１から被写体の被写体画像を取得する処理、上記判定画像とは異なる被写体の生体検出情報を撮影装置から取得する処理、判定画像選択モデルに取得された被写体画像を入力して判定画像の候補を取得する処理、取得された判定画像の候補から各画像間の類似度に基づいて判定画像を取得する処理、使用者の問診情報及び属性情報の少なくともいずれか一つを取得する処理、メモリ１１２に記憶された学習済み判定モデルと、取得された一又は複数の判定画像と、上記生体検出情報を含む使用者の問診情報及び属性情報の少なくともいずれかとに基づいてインフルエンザに対する罹患の可能性を判定する処理、所定の疾患に対する罹患を診断するため又はその診断を補助するために判定された罹患の可能性を示す情報を出力する処理などを、メモリ１１２に記憶されたプログラムに基づいて実行する。プロセッサ１１１は、主に一又は複数のＣＰＵにより構成されるが、適宜ＧＰＵやＦＰＧＡなどを組み合わせてもよい。
　メモリ１１２は、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。メモリ１１２は、本実施形態に係る処理システム１の様々な制御のための指示命令をプログラムとして記憶する。具体的には、メモリ１１２は、カメラ２１１から被写体の被写体画像を取得する処理、上記判定画像とは異なる被写体の生体検出情報を撮影装置から取得する処理、判定画像選択モデルに取得された被写体画像を入力して判定画像の候補を取得する処理、取得された判定画像の候補から各画像間の類似度に基づいて判定画像を取得する処理、使用者の問診情報及び属性情報の少なくともいずれか一つを取得する処理、メモリ１１２に記憶された学習済み判定モデルと、取得された一又は複数の判定画像と、上記生体検出情報を含む使用者の問診情報及び属性情報の少なくともいずれかとに基づいてインフルエンザに対する罹患の可能性を判定する処理、所定の疾患に対する罹患を診断するため又はその診断を補助するために判定された罹患の可能性を示す情報を出力する処理などプロセッサ１１１が実行するためのプログラムを記憶する。また、メモリ１１２は、当該プログラムのほかに、撮影装置２００のカメラ２１１で撮影された被写体画像や当該画像等を管理する画像管理テーブル、使用者の属性情報や問診情報、判定結果等を記憶する使用者テーブルなどを記憶する。また、メモリ１１２は、被写体画像から判定画像の選択に用いられる学習済み判定画像選択モデルや、判定画像から疾患に対する罹患の可能性を判定するための学習済み判定モデル等の各学習済みモデルを記憶する。
　入力インターフェイス１１３は、処理装置１００及び撮影装置２００に対する操作者の指示入力を受け付ける入力部として機能する。入力インターフェイス１１３の一例としては、撮影装置２００による録画や生体検出情報の検出の開始・終了を指示するための「撮影ボタン」、各種選択を行うための「確定ボタン」、前画面に戻ったり入力した確定操作をキャンセルするための「戻る／キャンセルボタン」、出力インターフェイス１１４に出力されたポインタ等の移動をするための十字キーボタン、処理装置１００の電源のオンオフをするためのオン・オフキー、様々な文字を入力するための文字入力キーボタン等の物理キーボタンが挙げられる。なお、入力インターフェイス１１３には、出力インターフェイス１１４として機能するディスプレイに重畳して設けられ、ディスプレイの表示座標系に対応する入力座標系を有するタッチパネルを用いることも可能である。この場合、ディスプレイに上記物理キーに対応するアイコンが表示され、タッチパネルを介して操作者が指示入力を行うことで、各アイコンに対する選択が行われる。タッチパネルによる使用者の指示入力の検出方式は、静電容量式、抵抗膜式などいかなる方式であってもよい。入力インターフェイス１１３は、常に処理装置１００に物理的に備えられる必要はなく、有線や無線ネットワークを介して必要に応じて接続されてもよい。
　出力インターフェイス１１４は、撮影装置２００によって撮影された被写体画像及び検出された生体検出情報を出力したり、プロセッサ１１１で判定された結果を出力するための出力部として機能する。出力インターフェイス１１４の一例としては、液晶パネル、有機ＥＬディスプレイ又はプラズマディスプレイ等から構成されるディスプレイが挙げられる。しかし、必ずしも処理装置１００そのものにディスプレイが備えられている必要はない。例えば、有線又は無線ネットワークを介して処理装置１００と接続可能なディスプレイ等と接続するためのインターフェイスが、当該ディスプレイ等に表示データを出力する出力インターフェイス１１４として機能することも可能である。
　通信インターフェイス１１５は、有線又は無線ネットワークを介して接続された撮影装置２００に対して撮影開始などに関連する各種コマンドや撮影装置２００で撮影された画像データや検出された生体検出情報を送受信するための通信部として機能する。通信インターフェイス１１５の一例としては、ＵＳＢ、ＳＣＳＩなどの有線通信用コネクタや、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。
　次に、撮影装置２００のうち、カメラ２１１は、被写体である口腔に反射した反射光を検出して被写体画像を生成する撮影部として機能する。カメラ２１１は、その光を検出するために、一例としてＣＭＯＳイメージセンサと、所望の機能を実現するためのレンズ系と駆動系を備える。イメージセンサは、ＣＭＯＳイメージセンサに限らず、ＣＣＤイメージセンサ等の他のセンサを用いることも可能である。また、検出する反射光の帯域に応じて撮影素子を追加で用いることも可能である。例えば、イメージセンサ基板上に、可視光線帯域の波長から近赤外光線帯域の波長を検出する撮影素子であるＣＭＯＳイメージセンサと、赤外光線帯域の波長を検出する赤外光撮影素子であるセンサとを、隣接して配置してもよいカメラ２１１は、特に図示はしないが、オートフォーカス機能を有することができ、例えばレンズの正面に焦点が特定部位に合うように設定されていることが好ましい。また、カメラ２１１は、ズーム機能を有することができ、咽頭又はインフルエンザ濾胞のサイズに応じて適切な倍率で撮影するように設定されていることが好ましい。
　ここで、口腔内に位置する咽頭の最深部に出現するリンパ濾胞にはインフルエンザに特有のパターンがあることが知られている。この特有のパターンを有するリンパ濾胞はインフルエンザ濾胞と呼ばれ、インフルエンザに特徴的なサインであって、発症後２時間程度で出現されるとされる。上記のとおり、本実施形態の処理システム１は、例えば口腔の咽頭を撮影して、上記濾胞を検出することにより、使用者のインフルエンザへの罹患の可能性を判定するために用いられる。そのため、撮影装置２００が口腔へ挿入されると、カメラ２１１と被写体との距離が比較的近くなる。したがって、カメラ２１１は、［（カメラ２１１の先端部から咽頭後壁までの距離）＊ｔａｎθ］によって算出される値が垂直２０ｍｍ以上及び水平４０ｍｍ以上となる画角（２θ）を有するのが好ましい。このような画角を有するカメラを用いることによって、カメラ２１１と被写体とが近接していたとしても、より広範な範囲の撮影が可能となる。すなわち、カメラ２１１は、通常のカメラを用いることも可能であるが、いわゆる広角カメラや超広角カメラと呼ばれるカメラを用いることも可能である。
　また、本実施形態において、カメラ２１１によって撮影される主な被写体は咽頭や咽頭部分に形成されたインフルエンザ濾胞である。一般に咽頭は奥行き方向に奥まって形成されるため、被写界深度が浅いと咽頭前部と咽頭後部の間で焦点がずれ、処理装置１００での判定に用いるのに適切な被写体画像を得ることが困難になる。したがって、カメラ２１１は少なくとも２０ｍｍ以上、好ましくは３０ｍｍ以上の被写界深度を有する。このような被写界深度を有するカメラを用いることによって、咽頭前部から咽頭後部にかけていずれの部位でも焦点があった被写体画像を得ることが可能となる。
　また、カメラ２１１は生体検出情報を検出するための情報検出センサとして機能することも可能である。例えば、カメラ２１１で撮影された被写体画像から口腔組織表面の脈拍による振動を検出して心拍情報を得ることができる。また、カメラ２１１で撮影された被写体画像から口腔表面の血管パターンを検出して血管状態情報を得ることができる。すなわち、カメラ２１１を情報検出センサとして機能させ、撮影された被写体画像又は当該被写体画像から検出された各種情報を生体検出情報として取得することが可能である。
　光源２１２は、処理装置１００又は撮影装置２００からの指示によって駆動され、口腔内に光を照射するための光源部として機能する。光源２１２は、一又は複数の光源を含む。本実施形態においては、光源２１２は、一又は複数のＬＥＤから構成され、各ＬＥＤから所定の周波数帯域を有する光が口腔方向に照射される。光源２１２には、紫外光帯域、可視光帯域、赤外光帯域の中から所望の帯域を有する光、又はそれらの組み合わせが用いられる。複数の帯域を照射する場合には、各帯域の光を照射するようにあらかじめ設定された複数のＬＥＤを切り換えて表示する。
　特に、近赤外線は生体の透過性が高く生体内の血管状態等を観察するのに適しているが、近赤外線を照射しその反射光を検出することで照射領域の血管状態情報を入手することが可能である。また、紫外線は組織透過度が少なく生体表面の微細な構造変化を検出するのに適しているが、紫外線を照射してその反射光を検出することで生体表面の構造情報を入手することが可能である。さらに、紫外線は、特定の細胞（例えば腫瘍細胞）に結合する蛍光物質の励起光として利用されるが、紫外光帯域の光を照射して蛍光物質からの励起光を検出することで照射領域の腫瘍情報を入手することが可能である。
　情報検出センサ２３２は、使用者の口腔に挿入されて使用者の生体に関連する情報である生体検出情報を取得するための検出部として機能する。このような情報検出センサ２３２としては、一例として、温度センサ、呼気センサ、心拍センサ、パルスオキシメーターセンサ、赤外線センサ、近赤外線センサ、紫外線センサ、音響センサ、又はそれらの組み合わせ当該挙げられる。なお、場合によっては、カメラ２１１が情報検出センサ２３２として機能することもある。このような情報検出センサ２３２で取得される生体検出情報としては、各センサ（カメラ２１１が情報検出センサ２３２として機能する場合も含む）によって検出された検出データや、検出された検出データに基づいて得られた使用者の体温、呼気、心拍、血管状の情報及びそれらの組み合わせが挙げられる。
　情報検出センサ２３２として温度センサを用いる場合は、サーミスタセンサ、熱電対センサ、抵抗体センサ、デジタル温度センサ、赤外線センサ又はこれらの組み合わせを利用することが可能である。これらの中でも、非接触での測定に適したデジタル温度センサや赤外線センサがより好ましい。医師らによる診断等において、通常使用者の体温は問診情報として使用者による申告や院内での測定に基づいて入力される。しかし、この場合測定する者によってその測定位置や測定方法にばらつきが生じることがある。例えば、額や手首などの皮膚表面の温度を非接触で測定可能な体温計があるが、インフルエンザ等の感染症が流行しやすい冬季においては、特に外気温の影響を受けやすく測定誤差が大きくなる。しかし、口腔内であれば外気温の影響を受けづらく、口腔内に挿入された撮影装置２００に配置された温度センサを利用することによって、問診情報としてより正確な情報を入力することが可能である。すなわち、温度センサによって検出された温度情報が生体検出情報として利用される。
　特に、赤外線センサを用いる場合、当該センサによって得られた赤外線エネルギー又はそこから変換して得られた温度情報に基づいて、赤外線画像データを得る。また、別途撮像された被写体画像について、セマンティックセグメンテーション等のセグメンテーションによって部位ごとにセグメンテーションされたセグメンテーション画像データを取得する。そして、赤外線画像データとセグメンテーション画像データとを重ね合わせることによって、測定領域や注目領域の温度を正確に検出することが可能である。なお、セグメンテーションは赤外線画像データに対しても行うことが可能であり、このセグメンテーション後の赤外線画像データを利用することによっても測定領域や注目領域の温度を正確に検出することが可能である。このように、情報検出センサ２３２として赤外線センサを用いることによって、注目領域の特に正確な温度を生体検出情報として利用可能である。
　情報検出センサ２３２として紫外線センサを用いる場合には、例えば生体表面の微細な構造を検出することが可能である。紫外線は一般的に組織透過度が少なく、大部分は生体組織の表面で反射され得る。そのため、可視光線等の他の帯域の波長と比較して、生体表面の微細な構造変化を検出するのに適している。例えば、インフルエンザ等の感染症では、上記のとおり咽頭に濾胞等の特徴的な構造変化を生じる。そのため、このような構造変化を検出することで、疾患の有無を判断することが可能となる。また、紫外線センサによって得られた紫外線画像データと被写体画像のセグメンテーション画像データとを重ね合わせることによって、測定領域や注目領域のより正確な構造変化を検出することが可能となる。すなわち、紫外線センサによって検出された紫外線検出データ又はそこから得られた生体表面の構造情報が生体検出情報として利用される。
　情報検出センサ２３２として呼気センサを用いる場合は、呼気中に含まれるアンモニア、アセトン等の特定のガス成分を検出することが可能なセンサデバイスを利用することが可能である。ここで、口臭の原因となるアンモニアやアセトン等の特定のガス成分が呼気中に含まれる量とヒトの疾患との間には関連性がある。例えば、甘い匂いは感染症、アセトンは糖尿病、アンモニアやタンパク質の壊疽臭は特定の腫瘍や肝疾患、イソプレンは低血糖や睡眠障害、メチルメルカブタンは口腔内細菌や肝臓疾患、一酸化炭素はストレス、エタノールは飲酒、トリメチルアミンは腎疾患、一酸化窒素は喘息等と関連する。そのため、これらにおいの原因となるガス成分を呼気中から検出することで、その疾患を推定することが可能である。すなわち、呼気センサによって測定されたガス成分データやそれから推定された疾患情報が生体検出情報として利用される。
　情報検出センサ２３２として心拍センサを用いる場合は、生体に接触することによって測定可能なセンサも知られているが、非接触で検出が可能なカメラ２１１のイメージセンサ、マイクロ波やミリ波の検出センサ又はこれらの組み合わせを利用することが可能である。例えば、イメージセンサで検出された被写体画像に基づいて脈動による被写体表面位置の経時的変化を検出し、その使用者の心拍数を推定することが可能である。他には、得られた被写体画像８動画）を構成する各フレームにおいてＧ（緑）成分の輝度を得て、動画におけるＧ成分の輝度波形を生成し、そのピーク値から心拍数を推定することが可能である。この方法は、血液中のヘモグロビンが緑色の光を吸収することを利用した方法である。すなわち、心拍センサによって測定された心拍数が生体検出情報として利用される。
　情報検出センサ２３２として近赤外線センサを用いる場合は、例えば被写体表面又は深部を通過する血管状態を検出することが可能である。ここで、糖尿病や高血圧は血流を阻害したり血管そのものに対して構造的な障害を与える。さらに、これらによる血管障害によって血流障害が起こり感染症などへ罹患しやすくなる。そのため、血管の状態を検出することは糖尿病、高血圧症、感染症などの罹患を診断において有益である。すなわち、近赤外線センサによって測定された近赤外線画像の画像データやそれから推定された血管状態情報が生体検出情報として利用される。
　情報検出センサ２３２としてパルスオキシメーターセンサを用いる場合には、例えば生体表面に近赤外光帯域の波長と赤外光帯域の波長を照射しその反射から酸素化ヘモグロビンと脱酸素化ヘモグロビンの量を推定することで血液の酸素飽和度を推定することが可能である。すなわち、パルスオキシメーターセンサによって測定された血液の酸素飽和度が生体検出情報として利用される。
　情報検出センサ２３２として音響センサを用いる場合は、典型的にはマイクロホンを利用することが可能である。ここで、呼吸音は特に呼吸器系の疾患などにおいて、罹患の可能性を診断するうえで重要な指標となりうる。また、気管支拡張症などの特定の疾患では、水泡がはじけるような音がするなど、口腔内の音響データは口腔聴診データとして重要な情報である。そのため、撮像装置２００の先端に当該音響センサを配置し、使用者の呼吸音や口腔内の音の検出データを得る。すなわち、音響センサによって検出された使用者の呼吸音や口腔内の音の検出データが生体検出情報として利用される。
　プロセッサ２１３は、メモリ２１４に記憶されたプログラムに基づいて撮影装置２００の他の構成要素の制御を行う制御部として機能する。プロセッサ２１３は、メモリ２１４に記憶されたプログラムに基づいて、カメラ２１１及び情報検出センサ２３２の駆動、光源２１２の駆動を制御するとともに、カメラ２１１によって撮影された被写体画像のメモリ２１４への記憶、情報検出センサ２３２によって検出された生体検出情報のメモリ２１４への記憶を制御する。また、プロセッサ２１３は、メモリ２１４に記憶された被写体画像、生体検出情報、使用者の情報のディスプレイ２０３への出力や、処理装置１００への送信を制御する。プロセッサ２１３は、主に一又は複数のＣＰＵにより構成されるが、他のプロセッサと適宜組み合わせてもよい。
　メモリ２１４は、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。メモリ２１４は、撮影装置２００の様々な制御のための指示命令をプログラムとして記憶する。また、メモリ２１４は、当該プログラムのほかに、カメラ２１１で撮影された被写体画像、情報検出センサ２３２で検出された生体検出情報、使用者の各種情報などを記憶する。
　表示パネル２１５は、ディスプレイ２０３に設けられ撮影装置２００によって撮影された被写体画像や情報検出センサ２３２で検出された生体検出情報を表示するための表示部として機能する。表示パネル２１５は、液晶パネルによって構成されるが、液晶パネルに限らず、有機ＥＬディスプレイやプラズマディスプレイ等から構成されていてもよい。
　入力インターフェイス２１０は、処理装置１００及び撮影装置２００に対する使用者の指示入力を受け付ける入力部として機能する。入力インターフェイス２１０の一例としては、撮影装置２００による録画や生体検出情報の検出の開始・終了を指示するための「撮影ボタン」、撮影装置２００の電源のオンオフをするための「電源ボタン」、各種選択を行うための「確定ボタン」、前画面に戻ったり入力した確定操作をキャンセルするための「戻る／キャンセルボタン」、表示パネル２１５に表示されたアイコン等の移動をするための十字キーボタン等の物理キーボタンが挙げられる。なお、これらの各種ボタン・キーは、物理的に用意されたものであってもよいし、表示パネル２１５にアイコンとして表示され、表示パネル２１５に重畳して入力インターフェイス２１０として配置されたタッチパネル等を用いて選択可能にしたものであってもよい。タッチパネルによる使用者の指示入力の検出方式は、静電容量式、抵抗膜式などいかなる方式であってもよい。
　通信インターフェイス２１６は、撮影装置２００及び／又は他の装置と情報の送受信を行うための通信部として機能する。通信インターフェイス２１６の一例としては、ＵＳＢ、ＳＣＳＩなどの有線通信用コネクタや、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。
　図５は、本開示の一実施形態に係る撮影装置２００の構成を示す上面図である。具体的には、図５は、口腔に挿入される方から本体２０１、グリップ２０２及びディスプレイ２０３を含む撮影装置２００を上方からみた状態を示す図である。図５によると、本体２０１は、基端２２５及び先端２２２を備え、光源２１２から光が照射される方向、すなわち口腔内に挿入される方向Ｈに略平行な方向に所定長の長さを有する柱状体によって構成されている。そして、本体２０１の少なくとも先端２２２が、口腔に挿入される。
　本体２０１は、その断面が真円となる中空の円筒形をした柱状に形成される。その壁部２２４は、その内部に光を導光可能な材料であればいずれでもよく、一例としては熱可塑性樹脂を用いて得ることができる。熱可塑性樹脂には、鎖状ポリオレフィン系樹脂（ポリプロピレン系樹脂等）、環状ポリオレフィン系樹脂（ノルボルネン系樹脂等）のようなポリオレフィン系樹脂、トリアセチルセルロース、ジアセチルセルロースのようなセルロースエステル系樹脂、ポリエステル系樹脂、ポリカーボネート系樹脂、（メタ）アクリル系樹脂、ポリスチレン系樹脂、又はこれらの混合物、共重合物などが用いられる。すなわち、本体２０１の壁部２２４は、光源から照射された光を口腔内又は拡散板方向に導光するための導光体として機能する。
　本体２０１は、中空に形成されるため、壁部２２４によってその内面に収容空間２２３が形成される。この収容空間２２３には、カメラ２１１が収容される。なお、本体２０１は、収容空間２２３を有する柱状に形成されさえすればよい。したがって、収容空間２２３は、断面が真円の円筒形を有する必要はく、断面が楕円であったり多角形であってもよい。また、本体２０１は、必ずしも内部が中空に形成される必要もない。
　グリップ２０２は、その先端が本体２０１の基端２２５に接続される。使用者は当該グリップ２０２を把持して撮影装置２００の抜き差しなどの操作を行う。グリップ２０２は、口腔内に挿入される方向Ｈに略平行な方向に、すなわち本体２０１の長手方向に沿って、所定長の長さを有する柱状体によって構成され、本体２０１と方向Ｈにおいて同一直線上に配置されている。なお、本実施形態では、垂直方向の断面が略長円形になるように形成されているが、長円形である必要はなく、真円や楕円、多角形であってもよい。
　グリップ２０２は、本体２０１の基端２２５に最も近い位置に連結部２３０が形成され、当該連結部２３０を介して本体２０１に連結される。連結部２３０の外周には、補助具３００を位置決めするための係合突起２１７（２１７－１～２１７－４）と、位置決め突起２１８とを有する。係合突起２１７は、補助具３００に設けられた係合突起３１８（３１８－１～３１８－４）と互いに係合する。また、位置決め突起２１８は、補助具３００に設けられた挿入穴３２１に挿入されて、撮影装置２００と補助具３００とを互いに位置決めする。なお、本実施形態においては、本体２０１の係合突起２１７は、合計４個の係合突起（係合突起２１７－１～２１７－４）が、グリップ２０２の表面であって、本体２０１の基端２２５近傍の位置に、等間隔に配置される。また、位置決め突起２１８は、グリップ２０２の表面の係合突起２１７の間であって、本体２０１の基端２２５近傍の位置に、一つ配置される。しかし、これに限らず、係合突起２１７と位置決め突起２１８のいずれか一方を配置するだけであってもよい。また、その個数も、係合突起２１７及び位置決め突起２１８のいずれも、一又は複数の個数であれば、何個であってもよい。
　また、グリップ２０２は、その上面で本体２０１の基端２２５に近い位置、すなわちグリップ２０２の口腔内の挿入方向Ｈにおける先端付近に撮影ボタン２２０を含む。これにより、操作者６００が把持したときに、操作者６００が撮影ボタン２２０を人差し指等で容易に押下可能になっている。また、グリップ２０２は、その上面でディスプレイ２０３に近い位置、すなわちグリップ２０２の撮影ボタン２２０と反対側の位置に電源ボタン２２１が配置されている。これにより、操作者６００が把持して撮影しているときに、誤って電源ボタン２２１を押下してしまうのを防止することが可能となる。
　ディスプレイ２０３は、全体として略直方体形状  をし、本体２０１と方向Ｈにおいて同一直線上に配置されている。また、ディスプレイ２０３は、口腔内に挿入される方向Ｈの反対方向（つまりは、使用者側の方向）の面に表示パネル２１５を含む。したがって、ディスプレイ２０３は、口腔内に挿入される方向Ｈに略平行になるように形成された本体２０１及びグリップ２０２の長手方向に対して、表示パネルを含む面が略垂直になるように形成される。そして、表示パネルを含む面に相対する面において、グリップ２０２の口腔とは反対側でグリップ２０２と連結される。なお、ディスプレイの形状は、略直方体形状に限らず、円柱状などいかなる形状であってもよい。
　拡散板２１９は、本体２０１の先端２２２に配置され、光源２１２から照射され、本体２０１を通過した光を口腔内に向けて拡散する。拡散板２１９は、本体２０１の導光可能に構成された部分の断面形状に対応した形状を有する。本実施形態においては、本体２０１は、中空の円筒形に形成されている。したがって、拡散板２１９の断面も、その形状に対応して中空状に形成される。
　カメラ２１１は、拡散板２１９から拡散され口腔内に照射され、被写体に反射してきた反射光を検出して、被写体画像を生成するために用いられる。カメラ２１１は、本体２０１の壁部２２４の内面、すなわち本体２０１の内部に形成された収容空間２２３に、本体２０１と方向Ｈにおいて同一直線上になるように配置される。なお、本実施形態では、カメラ２１１は一個のみ記載しているが、撮影装置２００は複数のカメラを含んでもよい。複数のカメラを用いて被写体画像を生成することにより、立体形状に関する情報を被写体画像が含むことになる。また、本実施形態では、カメラ２１１は、本体２０１の収容空間２２３に配置されているが、本体２０１の先端２２２又は本体２０１（本体２０１の内部であっても本体２０１の外周上であってもよい）に配置されてもよい。
　ここで、カメラ２１１は、情報検出センサ２３２として機能することも可能である。例えば、光源２１２から照射された可視光線の反射光を検出して被写体画像を生体検出情報として得ることが可能である。また、カメラ２１１は、近赤外線の反射光を検出して近赤外線画像を生体検出情報として得ることが可能である。また、カメラ２１１は、生体から発せられる赤外線を検出して赤外線画像を生体検出情報として得ることが可能である。また、カメラ２１１は、紫外線の反射光を検出して紫外線画像を生体検出情報として得ることが可能である。
　情報検出センサ２３２は、使用者である生体に関する情報を取得するためのセンサである。このようなセンサとしては、カメラ２１１が機能する場合もあるし、カメラ２１１とは別個に配置されえることもある。図５の例では、本体２０１の先端２２２付近に情報検出センサ２３２が配置されている。具体的には、情報検出センサ２３２は、本体２０１の外表面であって使用時に上方となるように配置されている。当該位置に配置することにより、舌による悪影響を減少することが可能である。ただし、情報検出センサ２３２として用いるセンサの種類に応じて最適な位置に適宜配置することができる。
　図６は、本開示の一実施形態に係る撮影装置２００の断面の構成を示す概略図である。図６によると、光源２１２は、グリップ２０２の先端側に配置された基板２３１上に、合計４個の光源２１２－１～２１２－４が配置される。光源２１２は、一例としては、それぞれＬＥＤで構成され、各ＬＥＤから所定の周波数帯域を有する光が口腔の方向に向かって照射される。具体的には、光源２１２から照射された光は、本体２０１の基端２２５に入光し、本体２０１の壁部２２４によって、拡散板２１９方向に導光される。拡散板２１９に達した光は、拡散板２１９によって口腔内に拡散される。そして、拡散板２１９によって拡散された光は、被写体である咽頭７１５等に反射する。この反射光がカメラ２１１に到達することで、被写体画像が生成される。
　なお、光源２１２－１～２１２－４は、独立に制御されるように構成されてもよい。例えば、光源２１２－１～２１２－４のうち一部を光らせることにより、立体形状を有する被写体（インフルエンザ濾胞等）の陰を被写体画像に含むことができる。これにより、被写体の立体形状に関する情報を被写体画像が含むことになり、被写体の判別をより明確にし、判定アルゴリズムによりインフルエンザへの罹患の可能性をより正確に判定することが可能になる。また、可視光帯域、近赤外光帯域、赤外光帯域、紫外光帯域等の各帯域ごとに分けて、光源２１２－１～２１２－４から光を照射するようにしてもよい。
　また、本実施形態において、光源２１２－１～２１２－４は、本体２０１の基端２２５側に配置されているが、本体２０１の先端２２２又は本体２０１（本体２０１の内部であっても本体２０１の外周上であってもよい）に配置されてもよい。
　本実施形態においては、拡散板２１９は、光源２１２から照射された光が口腔内の一部のみを照らすのを防止し、一様な光を生成するために用いられる。したがって、一例としては、拡散板２１９の表面に微細なレンズアレイを形成し、任意の拡散角度を有するレンズ状の拡散板が用いられる。また、これに変えて、表面にランダムに配置された微細な凹凸によって光拡散機能を実現する拡散板など、他の方法により光を拡散することが可能な拡散板を用いてもよい。さらに、拡散板２１９は本体２０１と一体として構成されていてもよい。例えば、本体２０１の先端部分に微細な凹凸を形成するなどの方法によって実現することが可能である。
　また、本実施形態において、拡散板２１９、本体２０１の先端２２２側に配置されている。しかし、これに限らず、光源２１２とその照射対象となる口腔内の間であればいずれでもよく、例えば、本体２０１の先端２２２又は本体２０１（本体２０１の内部であっても本体２０１の外周上であってもよい）に配置されてもよい。
３．処理装置１００のメモリ１１２に記憶される情報
　図７Ａは、本開示の一実施形態に係る処理装置１００に記憶される画像管理テーブルを概念的に示す図である。画像管理テーブルに記憶される情報は、処理装置１００のプロセッサ１１１の処理の進行に応じて随時更新して記憶される。
　図７Ａによれば、画像管理テーブルには、使用者ＩＤ情報に対応付けて、被写体画像情報、候補情報及び判定画像情報等が記憶される。「使用者ＩＤ情報」は、各使用者に固有の情報で各使用者を特定するための情報である。使用者ＩＤ情報は、操作者によって新たな使用者が登録されるごとに生成される。「被写体画像情報」は、各使用者に対して操作者が撮影した被写体画像を特定する情報である。被写体画像は、撮影装置２００のカメラで撮影された被写体を含む一又は複数の画像であり、撮影装置２００から受信することでメモリ１１２に記憶される。「候補情報」は、一又は複数の被写体画像のなかから判定画像を選択する候補となる画像を特定する情報である。「判定画像情報」は、インフルエンザの罹患の可能性の判定に用いられる判定画像を特定するための情報である。このような判定画像は、候補情報によって特定される候補画像の中から類似度に基づいて選択される。なお、上記のとおり、被写体画像情報、候補情報及び判定画像情報として、各画像を特定するための情報が記憶される。このように、各画像を特定するための情報は、典型的には各画像を識別するための識別情報であるが、各画像の格納場所を示す情報や、各画像の画像データそのものであってもよい。
　図７Ｂは、本開示の一実施形態に係る処理装置１００に記憶される生体検出情報テーブルを概念的に示す図である。生体検出情報テーブルに記憶される情報は、処理装置１００のプロセッサ１１１の処理の進行に応じて随時更新して記憶される。
　図７Ｂによれば、生体検出情報テーブルには、使用者ＩＤ情報に対応付けて、温度情報、呼気情報、呼吸音情報、心拍数情報、近赤外線画像情報、紫外線画像情報、酸素飽和度情報等が記憶される。「温度情報」は、情報検出センサ２３２として温度センサを用いた場合に、当該温度センサによって検出された情報である。温度情報は、撮影装置２００から温度センサによって検出された検出データ又は当該検出データに基づいて算出された温度情報を受信することによりメモリ１１２に記憶される。「呼気情報」は、情報検出センサ２３２として呼気センサを用いた場合に、当該呼気センサによって検出された情報である。呼気情報は、撮影装置２００から呼気センサによって検出された検出データ又は当該検出データに基づいて推定された疾患情報を受信することによりメモリ１１２に記憶される。「呼吸音情報」は、情報検出センサ２３２として音響センサを用いた場合に、当該音響センサによって検出された情報である。例えば、当該音響センサによって検出された呼吸音や口腔内の音の音響データが当該情報として利用される。「心拍数情報」は、情報検出センサ２３２として心拍センサを用いた場合に、当該心拍センサによって検出された情報である。心拍数情報は、撮影装置２００から心拍センサによって測定された心拍数を受信することによりメモリ１１２に記憶される。「近赤外線画像情報」は、情報検出センサ２３２として近赤外線センサを用いた場合に、当該センサで検出された近赤外線画像を特定する情報である。当該情報としては、近赤外線画像の画像データや当該画像データの格納先を示す情報等、いずれでもよい。近赤外線画像情報は撮影装置２００から受信することでメモリ１１２に記憶される。「紫外線画像情報」は、情報検出センサ２３２として紫外線センサを用いた場合に、当該センサで検出された紫外線画像を特定する情報である。当該情報としては、紫外線画像の画像データや当該画像データの格納先を示す情報等、いずれでもよい。紫外線画像情報は撮影装置２００から受信することでメモリ１１２に記憶される。「酸素飽和度情報」は、情報検出センサ２３２としてパルスオキシメーターセンサを用いた場合に、当該センサで測定された血液の酸素飽和度を示す情報である。心拍数情報は、撮影装置２００からパルスオキシメーターセンサによって測定された血液の酸素飽和度を受信することによりメモリ１１２に記憶される。
　なお、生体検出情報テーブルに記憶された各情報は、各使用者ＩＤ情報の使用者の問診情報として利用することが可能である。
　図７Ｃは、本開示の一実施形態に係る処理装置１００に記憶される使用者テーブルを概念的に示す図である。使用者テーブルに記憶される情報は、処理装置１００のプロセッサ１１１の処理の進行に応じて随時更新して記憶される。
　図７Ｃによれば、使用者テーブルには、使用者ＩＤ情報に対応付けて、属性情報、問診情報、二次元コード情報及び判定結果情報等が記憶される。「使用者ＩＤ情報」は、各使用者に固有の情報で各使用者を特定するための情報である。使用者ＩＤ情報は、操作者によって新たな使用者が登録されるごとに生成される。「属性情報」は、例えば操作者又は使用者等によって入力された情報で、使用者の名前、性別、年齢、住所などの使用者個人に関連する情報である。「問診情報」は、例えば操作者又は使用者等によって入力された情報で、使用者の病歴や症状などの医師等による診断の参考にされる情報である。このような問診情報の例としては、体重、アレルギー、基礎疾患などの患者背景、温度（体温）、発症からのピーク時体温、発症からの経過時間、心拍数、脈拍数、酸素飽和度、呼気、血圧、薬の服用状況、他のインフルエンザ患者との接触状況、関節痛、筋肉痛、頭痛、倦怠感、食欲不振、悪寒、発汗、咳嗽、咽頭痛、鼻汁・鼻閉、扁桃炎、消化器症状、手足の発疹、咽頭の発赤や白苔、扁桃の腫脹、扁桃の切除歴、いちご舌、圧痛を伴う前頸部リンパ節の腫脹などの自覚症状や身体所見の有無、インフルエンザワクチン接種歴、ワクチン接種時期等が挙げられる。これら問診情報は、必要に応じて図７Ｂに示す生体情報検出テーブルに記憶された情報から取得される。「二次元コード情報」は、使用者ＩＤ情報、それを特定するための情報、属性情報、問診情報、及びそれらの組み合わせのうちの少なくともいずれかが記録された記録媒体を特定するための情報である。このような記録媒体としては、二次元コードである必要はない。二次元コードに代えて、一次元バーコード、多次元の他のコード、特定の数字や文字等のテキスト情報、画像情報等、様々なものを利用することができる。「判定結果情報」は、判定画像に基づいてインフルエンザの罹患の可能性の判定結果を示す情報である。このような判定結果情報の一例としては、インフルエンザに対する陽性率が挙げられる。しかし、陽性率に限らず、陽性か陰性かを特定する情報など可能性が示されたものであればいずれでもよい。また、判定結果は、具体的な数値である必要はなく、陽性率の高さに応じた分類、陽性か陰性かを示す分類など、その形式はいずれでもよい。
　なお、属性情報や問診情報は、使用者又は操作者によってその都度入力される必要はなく、例えば有線又は無線ネットワークを介して接続された電子カルテ装置や他の端末装置等から受信してもよい。また、撮影装置２００によって撮影された被写体画像の解析によって取得されてもよい。さらに、図７Ａ～図７Ｃにおいて特に図示はしないが、インフルエンザ等の診断又は診断を補助する対象となる感染症の現在の流行情報や、これら感染症についての他の使用者の判定結果や罹患状況などの外部要因情報をさらにメモリ１１２に記憶することも可能である
４．処理装置１００及び撮影装置２００で実行される処理シーケンス
　図８は、本開示の一実施形態に係る処理装置１００と撮影装置２００との間で実行される処理シーケンスを示す図である。具体的には、図８は、処理装置１００において撮影モードの選択が行われてから、撮影装置２００で被写体画像の撮影が行われ、処理装置１００から判定結果が出力されるまでに実行される処理シーケンスを示す。
　図８によると、処理装置１００は、出力インターフェイス１１４を介してモード選択画面を出力し、入力インターフェイス１１３を介して操作者によるモードの選択を受け付ける（Ｓ１１）。そして、撮影モードの選択が受け付けられると、処理装置１００は、出力インターフェイス１１４を介して属性情報の入力画面を出力する。処理装置１００は、入力インターフェイス１１３を介して操作者又は使用者による入力を受け付け、属性情報を取得し、使用者ＩＤ情報に対応付けて使用者テーブルに記憶する（Ｓ１２）。また、属性情報が取得されると、処理装置１００は、出力インターフェイス１１４を介して問診情報の入力画面を出力する。処理装置１００は、入力インターフェイス１１３を介して操作者又は使用者による入力を受け付け、問診情報を取得し、使用者ＩＤ情報に対応付けて使用者テーブルに記憶する（Ｓ１３）。なお、属性情報及び問診情報の取得はこのタイミングで行う必要はなく、判定処理の前など他のタイミングで行うことも可能である。また、これらの情報は、入力インターフェイス１１３を介した入力の受け付けのみではなく、有線又は無線ネットワークを介して接続された電子カルテ装置や他の端末装置等から受信することで取得してもよい。また、これらの情報は、電子カルテ装置や他の端末装置で入力されたのち二次元コード等の記録媒体に記録し、当該記録媒体を処理装置１００に接続されたカメラ又は撮影装置２００で撮影することによって取得してもよい。また、これらの情報は、使用者や操作者、患者、医療関係者等に対して問診票等の紙媒体に記入させ、当該紙媒体を処理装置１００に接続されたスキャナや撮影装置２００で取り込んで光学的に文字認識をすることによって取得してもよい。
　処理装置１００は、プロセッサ１１１の制御によって、あらかじめ生成された使用者ＩＤ情報を記録した二次元コードを生成し、メモリ１１２に記憶する（Ｓ１４）。そして、処理装置１００は、出力インターフェイス１１４を介して生成された二次元コードを出力する（Ｓ１５）。
　次に、撮影装置２００は、操作者による入力インターフェイス２１０（例えば電源ボタン）への入力が受け付けられることによって、カメラ２１１等の起動を行う（Ｓ２１）。そして、出力インターフェイス１１４を介して出力された二次元コードを起動されたカメラ２１１によって撮影することで、撮影装置２００は二次元コードに記録された使用者ＩＤ情報を読み取る（Ｓ２２）。
　次に、操作者は、撮影装置２００の先端を補助具３００で被覆し、使用者の口腔に撮影装置２００を所定の位置まで挿入する。撮影装置２００は、操作者による入力インターフェイス２１０（例えば、撮影ボタン）への入力を受け付けると、口腔の少なくとも一部が含まれた被写体の被写体画像の撮影を開始する（Ｓ２３）。また、撮影装置２００は、撮影された被写体画像を処理してカメラ２１１が被写体（特に咽頭）を画角に捉えたことをトリガーとして、情報検出センサ２３２による生体検出情報の検出を開始する（Ｓ２４）。被写体画像の撮影及び生体検出情報の検出が終了すると、撮影装置２００は、撮影された被写体画像及び背に対検出情報を、二次元コードから読みとられた使用者ＩＤ情報に対応付けてメモリ２１４に記憶するとともに、ディスプレイの表示パネル２１５に撮影された被写体画像を出力する（Ｓ２５）。そして、撮影装置２００は、入力インターフェイス２１０を介して操作者による撮影の終了の入力を受け付けると、通信インターフェイス２１６を介して記憶された被写体画像及び生体検出情報（Ｔ２１）を使用者ＩＤ情報に対応付けて処理装置１００に送信する。
　次に、処理装置１００は、通信インターフェイス１１５を介して被写体画像及び生体検出情報を受信するとメモリ１１２に記憶するとともに、使用者ＩＤ情報に基づいて画像管理テーブルに登録する。処理装置１００は、記憶された被写体画像からインフルエンザに対する罹患の可能性の判定に使用される判定画像の選択を行う（Ｓ３１）。また、特に図示はしないが、受信した生体検出情報を処理して判定処理に用いることが可能な生体検出情報に加工して記憶する。処理装置１００は、判定画像が選択されると、選択された判定画像及び記憶された生体検出情報を用いてインフルエンザに対する罹患の可能性の判定処理を実行する（Ｓ３２）。処理装置１００は、判定結果が得られると、使用者ＩＤ情報に対応付けて得られた判定結果を使用者テーブルに記憶するとともに、出力インターフェイス１１４を介して出力する（Ｓ３３）。以上によって、当該処理シーケンスを終了する。
５．処理装置１００で実行される処理フロー（モード選択処理等）
　図９は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図９は、図８のＳ１１～Ｓ１５に係る処理のために、所定周期で実行される処理フローを示す図である。当該処理フローは、主に処理装置１００のプロセッサ１１１がメモリ１１２に記憶されたプログラムを読み出して実行することにより行われる。
　図９によると、プロセッサ１１１は、出力インターフェイス１１４を介して、モード選択画面を出力する（Ｓ１１１）。ここで、図１８は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図１８は図９のＳ１１１及びＳ１１２で出力されるモード選択画面の例を示す。図１８によると、出力インターフェイス１１４として機能するディスプレイの略中心に、被写体画像を撮影する撮影モードに移行するための撮影モードアイコン１１と、既にインフルエンザに対する罹患の可能性が判定された結果をディスプレイに出力する判定結果確認モードに移行するための判定結果確認モードアイコン１２とが表示されている。使用者は、入力インターフェイス１１３を操作していずれのモードに移行するか選択することが可能である。
　再び図９に戻り、プロセッサ１１１は、入力インターフェイス１１３を介して、操作者によるモードの選択を受け付けたか否かを判定する（Ｓ１１２）。このとき、プロセッサ１１１が図１８に示す撮影モードアイコン１１又は判定結果確認モードアイコン１２のいずれに対する入力もなされておらずモードの選択を受け付けていないと判定すると、当該処理フローは終了する。
　他方、プロセッサ１１１が図１８に示す撮影モードアイコン１１又は判定結果確認モードアイコン１２のいずれに対する入力を受け付けてモードの選択が行われたと判定すると、プロセッサ１１１は撮影モードが選択されたか否かを判定する（Ｓ１１３）。そして、プロセッサ１１１は、図１８に示す判定結果確認モードアイコン１２が選択されたと判定すると、出力インターフェイス１１４を介して所望の判定結果を表示する（Ｓ１１８）。
　他方、プロセッサ１１１は、図１８に示す撮影モードアイコン１１が選択されたと判定すると、出力インターフェイス１１４に使用者の属性情報の入力を受け付ける画面を表示する（図示しない。）。当該画面には、属性情報として入力が必要な使用者の名前、性別、年齢、住所等の各項目と、各項目に対する回答を入力するための入力ボックスが含まれる。そして、プロセッサ１１１は、入力インターフェイス１１３を介して各入力ボックスに入力された情報を属性情報として取得する（Ｓ１１４）。そして、プロセッサ１１１は使用者テーブルに新たに記憶される当該使用者に対応して、新たに使用者ＩＤ情報を生成し、し、当該使用者ＩＤ情報と対応付けて属性情報を使用者テーブルに記憶する。なお、属性情報の入力前にあらかじめ使用者ＩＤ情報が選択された場合には、新たに使用者ＩＤ情報を生成することは省略することができる。
　次に、プロセッサ１１１は、出力インターフェイス１１４に使用者の問診情報の入力を受け付ける画面を表示する（図示しない。）。当該画面には、問診情報として入力が必要な使用者の体温、心拍数、薬の服用状況、自覚症状の有無等の各項目と、各項目に対する回答を入力するための入力ボックスが含まれる。そして、プロセッサ１１１は、入力インターフェイス１１３を介して各入力ボックスに入力された情報を問診情報として取得し、使用者ＩＤ情報と対応付けて使用者テーブルに記憶する（Ｓ１１５）。
　なお、これら属性情報や問診情報は処理装置１００によって入力される場合について説明した。しかし、これに限らず、有線又は無線ネットワークを介して接続された電子カルテ装置や他の端末装置に入力された情報を受信することで取得してもよい。
　次に、プロセッサ１１１は、使用者テーブルを参照して、これらの情報が入力された使用者に対応する使用者ＩＤ情報を読み出して、これを記録した二次元コードを生成する（Ｓ１１６）。プロセッサ１１１は、生成された二次元コードを使用者ＩＤ情報に対応付けて使用者テーブルに記憶するとともに、出力インターフェイス１１４を介して出力する（Ｓ１１７）。以上により、当該処理フローは終了する。
　ここで、図１９は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図１９は、図９のＳ１１７において出力された二次元コードの表示画面の例を示す図である。図１９によると、出力インターフェイス１１４として機能するディスプレイの上方に、属性情報等が入力された使用者の使用者ＩＤ情報が表示されている。また、これに加えて、ディスプレイの略中央に、図１９のＳ１１６で生成された二次元コードが表示されている。当該二次元コードを撮影装置２００で撮影することによって、当該二次元コードに記録された使用者ＩＤ情報を読み取ることが可能である。
６．撮影装置２００で実行される処理フロー（撮影処理等）
　図１０は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図１０は、図８のＳ２１～Ｓ２５に係る処理のために、所定周期で実行される処理フローを示す図である。当該処理フローは、主に撮影装置２００のプロセッサ２１３がメモリ２１４に記憶されたプログラムを読み出して実行することにより行われる。
　図１０によると、プロセッサ２１３は、入力インターフェイス２１０（例えば、電源ボタン）を介して操作者による入力が受け付けられたか否かを判定する（Ｓ２１１）。なお、このとき、プロセッサ２１３が操作者による入力が受け付けられていないと判定すると、当該処理フローは終了する。
　他方、プロセッサ２１３は操作者による入力が受け付けられたと判定すると、表示パネル２１５にスタンバイ画面を出力する（Ｓ２１２）。当該スタンバイ画面（図示しない）には、カメラ２１１を介して撮影されたスルー画像が含まれる。そして、操作者が処理装置１００の出力インターフェイス１１４に出力された二次元コードをカメラ２１１の画角に含むように撮影装置２００を移動することによって、プロセッサ２１３はカメラ２１１によって二次元コードを撮影する（Ｓ２１３）。二次元コードが撮影されると、プロセッサ２１３は当該二次元コードに記録された使用者ＩＤ情報を読み取り、読み取った使用者ＩＤ情報をメモリ２１４に記憶する（Ｓ２１４）。そして、プロセッサ２１３は、再度スタンバイ画面を表示パネル２１５に出力する（Ｓ２１５）
　次に、操作者が、撮影装置２００の先端を補助具３００で被覆し、使用者の口腔に撮影装置２００を所定の位置まで挿入する。そして、プロセッサ２１３は、入力インターフェイス２１０（例えば、撮影ボタン）を介して操作者による撮影開始操作が受け付けられると、プロセッサ２１３はカメラ２１１を制御して被写体の被写体画像の撮影を開始する（Ｓ２１６）。この被写体画像の撮影は、撮影ボタンが押下されることによって一定枚数（例えば、３０枚）をまとめて一定間隔で連写して撮影されることにより実施される。プロセッサ２１３は、被写体画像の撮影が終了すると、撮影された被写体画像をメモリ２１４に読み取られた使用者ＩＤ情報と対応付けて記憶する。
　また、撮影装置２００は、例えばスルー画像として撮影される被写体画像を処理してカメラ２１１が被写体（特に咽頭）を画角に捉えたか否かを判断する。一例としては、学習済み判定画像選択モデルに対して撮影された被写体画像を入力し、プロセッサ２１３は候補画像が得られたか否かを判断する。そして、候補画像が得られたと判断されたタイミングで情報検出センサ２３２をオンにし、生体検出情報の検出を開始する（Ｓ２１７）。これにより、撮影装置２００が被写体を捉えたタイミング、すなわち情報検出センサ２３２が適切な向き及び位置にある状態で検出を開始することが可能である。プロセッサ２１３は、情報検出センサ２３２として配置された各センサの駆動が開始されると、所望の生体検出情報を検出する。プロセッサ２１３は、生体検出情報の検出が終了すると、検出された生体検出情報を使用者ＩＤ情報に対応付けてメモリ２１４に記憶する。なお、学習済み判定画像選択モデルの使用は一例である。例えば、他に被写体画像に対してセマンティックセグメンテーションなどによりセグメンテーションを行い咽頭等が画像中央に含まれるか否かを判定するようにしてもよい。また、学習済み判定画像選択モデルを用いた判定やセグメンテーションによる判定は、撮影装置２００のプロセッサ２１３が行ってもよいし、被写体画像を受信した処理装置１００のプロセッサ１１２が行って、その判定結果を撮影装置２００に送信するようにしてもよい。また、情報検出センサ２３２による検出自体は、撮影ボタンが押下されたタイミングで開始したり、常時検出したりし、候補画像が得られたタイミングと同期する生体検出情報のみを切り出してもよい。
　そして、プロセッサ２１３は、表示パネル２１５に記憶された被写体画像及び生体検出情報を出力する（Ｓ２１８）。
　ここで、操作者は、撮影装置２００を補助具３００とともに口腔内から取り出して表示パネル２１５に出力された被写体画像及び生体検出情報を確認し、所望の画像又は所望の生体検出情報が得られなかった場合には再撮影の指示入力を行うことが可能である。そのため、プロセッサ２１３は、入力インターフェイス２１０を介して操作者による再撮影指示の入力を受け付けたか否かを判定する（Ｓ２１９）。再撮影指示の入力を受け付けた場合には、プロセッサ２１３は再度Ｓ２１５のスタンバイ画面を表示し、被写体画像の撮影及び生体検出情報の検出を可能にする。
　他方、再撮影指示の入力を受け付けておらず、操作者によって載置台４００に撮影装置２００が戻されて処理装置１００から撮影終了の指示を受信すると、プロセッサ２１３は、通信インターフェイス２１６を介してメモリ２１４に記憶された被写体画像、生体検出情報、及び当該被写体画像に対応付けられた使用者ＩＤ情報を処理装置１００に送信する（Ｓ２２０）。以上によって、当該処理フローを終了する。
７．処理装置１００で実行される処理フロー（判定処理等）
　図１１は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図１１は、図８のＳ３１～Ｓ３３に係る処理のために実行される処理フローを示す図である。当該処理フローは、主に処理装置１００のプロセッサ１１１がメモリ１１２に記憶されたプログラムを読み出して実行することにより行われる。
　図１１によると、プロセッサ１１１は、撮影装置２００から被写体画像とそれに対応付けられた使用者ＩＤ情報を受信すると、メモリ１１２に記憶するとともに、画像管理テーブルに登録する（Ｓ３１１）。そして、プロセッサ１１１は、出力インターフェイス１１４を介して、受信された使用者ＩＤ情報又はそれに対応する属性情報（例えば、氏名）を出力し、インフルエンザに対する罹患の可能性の判定対象となる使用者の選択を受け付ける（Ｓ３１２）。なお、このとき、撮影装置２００から複数の使用者ＩＤ情報とそれに対応付けられた被写体画像を受信した場合には、複数の使用者ＩＤ情報又はそれに対応する属性情報を出力して、いずれかの使用者を選択することが可能である。
　プロセッサ１１１は、入力インターフェイス１１３を介して判定対象の使用者の選択を受け付けると、その使用者の使用者ＩＤ情報に対応付けられた属性情報をメモリ１１２の使用者テーブルから読み出す（Ｓ３１３）。また、同様に、プロセッサ１１１は、判定対象の使用者の使用者ＩＤ情報に対応付けられた問診情報をメモリ１１２の使用者テーブルから読み出す（Ｓ３１４）。なお、この問診情報としては、生体検出情報テーブルに記憶された情報を問診情報として読み出すことも可能である。すなわち、温度（体温）、呼気、呼吸音、心拍数、酸素飽和度、近赤外線画像（又は当該画像から推定された血管状態）、紫外線画像（又は当該画像から得られた生体表面の構造情報）等については、使用者等により入力を求めることなく、生体検出情報テーブルから問診情報として取得することが可能である。
　次に、プロセッサ１１１は、メモリ１１２から選択された使用者の使用者ＩＤ情報に対応付けられた被写体画像を読み出して、インフルエンザに対する罹患の可能性の判定に用いられる判定画像の選択処理を実行する（Ｓ３１５：この選択処理の詳細については後述する。）。そして、プロセッサ１１１は、選択された判定画像及び問診情報として利用される生体検出情報に基づいてインフルエンザに対する罹患の可能性の判定処理を実行する（Ｓ３１６：この判定処理の詳細については後述する。）。プロセッサ１１１は、判定処理によって判定結果が得られえると、使用者ＩＤ情報に対応付けて使用者テーブルに記憶するとともに、出力インターフェイス１１４を介して、判定結果を出力する（Ｓ３１７）。以上により、当該処理フローを終了する。
　図１２は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図１２は、図１１のＳ３１５で実行される判定画像の選択処理の詳細を示す図である。当該処理フローは、主に処理装置１００のプロセッサ１１１がメモリ１１２に記憶されたプログラムを読み出して実行することにより行われる。
　図１２によると、プロセッサ１１１は、メモリ１１２から選択された使用者の使用者ＩＤ情報に対応付けられた被写体画像を読み出す（Ｓ４１１）。次に、プロセッサ４１２は、読み出された被写体画像の中から判定画像の候補となる画像の選択を行う（Ｓ４１２）。この選択は、一例としては、学習済み判定画像選択モデルを利用して行われる。
　ここで、図１３は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図１３は、図１２のＳ４１２で利用される学習済み判定画像選択モデルの生成に係る処理フローを示す図である。当該処理フローは、処理装置１００のプロセッサ１１１によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。
　図１３によると、プロセッサは、咽頭の少なくとも一部が含まれる被写体の被写体画像を学習用被写体画像として取得するステップを実行する（Ｓ５１１）。次に、プロセッサは、取得された学習用被写体画像に対して、判定画像として使用可能な画像であるか否かのラベル情報を付与する処理ステップを実行する（Ｓ５１２）。そして、プロセッサは付与されたラベル情報を学習用被写体画像に対応付けて記憶するステップを実行する（Ｓ５１３）。なお、当該ラベル付与処理やラベル情報の記憶処理は、あらかじめ学習用被写体画像に対してヒトによって判定画像であるか否かの判断を行って、プロセッサがそれを学習用被写体画像に対応付けて記憶するようにしてもいし、プロセッサが公知の画像解析処理によって判定画像であるか否かの解析を行いその結果を学習用被写体画像に対応付けて記憶するようにしてもよい。また、ラベル情報は、被写体となる口腔の少なくとも一部の領域が写っているか否か、手ぶれ、焦点ずれ、曇りなどの画質が良好であるか否か等の観点に基づいて付与される。
　学習用被写体画像とそれに対応付けられたラベル情報がそれぞれ得られると、プロセッサは、それらを用いて判定画像の選択パターンの機械学習を行うステップを実行する（Ｓ５１４）。当該機械学習は、一例として、学習用被写体画像とラベル情報の組を、ニューロンを組み合わせて構成されたニューラルネットワークに与え、ニューラルネットワークの出力がラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済みの判定画像選択モデル（例えば、ニューラルネットワークとパラメータ）を取得するステップが実行される（Ｓ５１５）。取得された学習済み判定画像選択モデルは、処理装置１００のメモリ１１２や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置内に記憶されていてもよい。
　再び図１２に戻り、プロセッサ１１１は、学習済み判定画像選択モデルに対してＳ４１１で読み出された被写体画像を入力することによって、判定画像の候補となる候補画像を出力として取得する。これによって、被写体となる口腔の少なくとも一部の領域が写っている画像や、手ぶれ、焦点ずれ、被写体の動きぼけ、露出、曇りなどの画質が良好である画像を良好に選択することができる。また、操作者の撮影手技の巧拙によらず、画質が良好である画像を安定的に選択することができる。そして、プロセッサ１１１は、取得された判定画像の候補となる候補画像を画像管理テーブルに登録する。
　次に、プロセッサ１１１は、選択された候補画像から類似度に基づく判定画像の選択処理を実行する（Ｓ４１３）。具体的には、プロセッサ１１１は、得られた候補画像同士を比較して、各候補画像間の類似度を算出する。そして、プロセッサ１１１は、他の候補画像に対して類似度が低いと判断された候補画像を判定画像として選択する。このような各候補画像間の類似度は、各候補画像中の局所的な特徴量を用いた方法（Ｂａｇ－ｏｆ－Ｋｅｙｐｏｉｎｔｓ法）、ＥＭＤ（Ｅａｒｔｈ　Ｍｏｖｅｒ’ｓ　Ｄｉｓｔａｎｃｅ）を用いた方法、ＳＶＭ（サポートベクタマシン）を用いた方法、ハミング距離を用いた方法、コサイン類似度を用いた方法などによって算出される。
　このように、得られた候補画像間で類似度を算出し、他の候補画像に対して類似度が低いと判断された候補画像を選択することで、互いに視野の異なる被写体画像が判定画像として選択されることとなる。これにより、同じ視野で得られた被写体画像を判定画像として用いる場合に比べてより多様な情報に基づいて判定処理を行うことが可能となるため、判定精度をより向上させることが可能となる。具体的には、ある判定画像で咽頭の一部領域が口蓋垂によって隠されていても、視野の異なる別の判定画像では隠されていた咽頭の一部領域が見えているため、インフルエンザ濾胞等の重要な特徴を見逃すことを防止できる。
　次に、プロセッサ１１１は、類似度に基づいて選択された候補画像を判定画像として画像管理テーブルに登録する（Ｓ４１４）。
　ここで、被写体画像、候補画像及び判定画像は、いずれも１枚であってもよいし複数枚であってもよい。しかし、一例としては、例えば５～３０枚程度の被写体画像群から候補画像群を選択し、最終的に５枚程度の判定画像群を得るのが好ましい。これは、多数の被写体画像の中から判定画像を選択することによって、より良好な判定画像が得られる可能性が高くなるためである。また、複数の判定画像群を後述の判定処理に利用することによって、１枚の判定画像のみを用いる場合に比べて判定精度をより向上させることができるためである。また、他の例としては、被写体画像の撮影が行われるたびに、撮影された被写体画像を処理装置１００に送信したうえで候補画像の選択と判定画像の選択を行うか、撮影装置２００において候補画像の選択と判定画像の選択を行い、判定画像が所定の枚数（例えば５枚程度）だけ取得できた段階で撮影を終了させるようにしてもよい。このようにすることで、上記のとおり判定精度の向上を維持しつつも、被写体画像の撮影に係る時間を最小限にすることができる。つまり、嘔吐反射等の使用者に対する不快感を低減することができる。
　図１４は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図１４は、図１１のＳ３１６で実行されるインフルエンザに対する罹患の可能性の判定処理の詳細を示す図である。当該処理フローは、主に処理装置１００のプロセッサ１１１がメモリ１１２に記憶されたプログラムを読み出して実行することにより行われる。
　図１４によると、プロセッサ１１１は、それぞれ異なる手法で取得した第１陽性率、第２陽性率及び第３陽性率をアンサンブル処理することによって判定結果を取得する。
　まず、第１陽性率を取得する処理について説明する。プロセッサ１１１は、判定対象となる使用者の使用者ＩＤ情報に対応付けられた判定画像をメモリ１１２から読み出す（Ｓ６１１）。そして、プロセッサ１１１は、読み出された判定画像に対して所定の前処理を行う。このような前処理としては、ハイパスフィルタやローパスフィルタを含むバンドパスフィルタ、平均化フィルタ、ガウシアンフィルタ、ガボールフィルタ、キャニーフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、メディアンフィルタ、バイラテラルフィルタなどのフィルタ処理、ヘッセ行列等を用いた血管抽出処理、機械学習を用いた特定領域（例えば、濾胞）のセグメンテーション処理、セグメンテーションされた領域に対するトリミング処理、曇り除去処理、超解像処理及びこれらの組み合わせから、高精細化、領域抽出、ノイズ除去、エッジ強調、画像補正、画像変換などの目的に応じて選択される。このように、前処理を実行することによって、インフルエンザにおける濾胞などの、疾患に対する診断において重要な注目領域をあらかじめ抽出したり強調したりすることで、判定精度を向上させることが可能となる。
　ここでは、このような前処理として、曇り除去処理、超解像処理及びセグメンテーション処理を行う場合について、一例として以下に具体的に説明する。まず曇り除去処理は、一例としては学習用被写体画像と学習用被写体画像から曇り付加フィルタ等の適用によって曇りを付加した学習用劣化画像の組を学習器に与え、機械学習することによって得られた学習済み曇り除去画像モデルを使用する。プロセッサ１１１は、読み出された判定画像を入力として、メモリ１１２に記憶された学習済み曇り除去画像モデルに入力し、曇りが除去された判定画像を出力として取得する。また、超解像処理は、被写体の高解像度画像と、高解像度画像に対してスケール縮小処理やぼかし処理などの劣化処理を行って得られた低解像度画像の組をそれぞれ学習用画像として学習器に与え、機械学習することによって得られた学習済み超解像画像モデル使用する。プロセッサ１１１は、曇り除去処理がされた判定画像を入力として、メモリ１１２に記憶された学習済み超解像画像モデルに入力し、超解像処理がなされた判定画像を出力として取得する。また、セグメンテーション処理は、学習用被写体画像と、当該学習用被写体画像に対して医師らによる操作入力に基づいて注目領域（例えば、濾胞）にラベルを付与することで得られた当該ラベルの位置情報の組を学習器に与え、機械学習することによって得られた学習済みセグメンテーション画像モデルを使用する。プロセッサ１１１は、超解像処理がなされた判定画像を入力として、メモリ１１２に記憶された学習済みセグメンテーション画像モデル入力し、注目領域（例えば、濾胞）がセグメンテーションされた判定画像を取得する。そして、プロセッサ１１１は、このように前処理された判定画像をメモリ１１２に記憶する。なお、ここでは、曇り除去処理、超解像処理及びセグメンテーション処理の順で処理したが、いずれの順番であってもよいし、少なくともいずれか一つの処理だけであってもよい。また、いずれの処理も学習済みモデルを使用した処理を例示したが、曇り除去フィルタ、スケール拡大処理、鮮鋭化処理等の処理を用いてもよい。
　そして、プロセッサ１１１は、前処理後の判定画像を入力として特徴量抽出器に与え（Ｓ６１３）、出力として判定画像の画像特徴量を出力として取得する（Ｓ６１４）。さらに、プロセッサ１１１は、取得された判定画像の特徴量を入力として分類器に与え（Ｓ６１５）、インフルエンザに対する罹患の第１の可能性を示す第１陽性率を出力として取得する（Ｓ６１６）。なお、特徴量抽出器では、判定画像中の濾胞の有無や発赤の有無などの所定数の特徴量をベクトルとして得ることができる。一例としては、判定画像から１０２４次元の特徴量ベクトルがそれぞれ抽出され、これらが当該判定画像の特徴量として記憶される。
　ここで、図１５は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図１５は、図１４のＳ６１３の特徴量抽出器及びＳ６１５の分類器が含まれる学習済み陽性率判定選択モデルの生成に係る処理フローを示す図である。当該処理フローは、処理装置１００のプロセッサ１１１によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。
　図１５によると、プロセッサは、咽頭の少なくとも一部が含まれる被写体の画像に、図１４のＳ６１２と同様の前処理を行った画像を学習用判定画像として取得するステップを実行する（Ｓ７１１）。次に、プロセッサは、取得された学習用判定画像の被写体となった使用者に対して、あらかじめイムノクロマトによるインフルエンザ迅速検査、ＰＣＲ検査、ウイルス分離培養検査の結果等に基づいて付与され正解ラベルを付与する処理ステップを実行する（Ｓ７１２）。そして、プロセッサは付与された正解ラベル情報を判定結果情報として学習用判定画像に対応付けて記憶するステップを実行する（Ｓ７１３）。
　学習用判定画像とそれに対応付けられた正解ラベル情報がそれぞれ得られると、プロセッサは、それらを用いて陽性率判定パターンの機械学習を行うステップを実行する（Ｓ７１４）。当該機械学習は、一例として、畳み込みニューラルネットワークから構成された特徴量抽出器とニューラルネットワークから構成された分類器に対して、学習用判定画像と正解ラベル情報の組を与え、分類器からの出力が正解ラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済みの陽性率判定モデルを取得するステップが実行される（Ｓ７１５）。取得された学習済み陽性率判定モデルは、処理装置１００のメモリ１１２や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置内に記憶されていてもよい。
　再び図１４に戻り、プロセッサ１１１は、学習済み陽性率判定モデルに対してＳ６１２で前処理された判定画像を入力することによって、判定画像の特徴量（Ｓ６１４）と、インフルエンザに対する罹患の第１の可能性を示す第１陽性率（Ｓ６１６）を出力として取得し、使用者ＩＤ情報に対応付けてメモリ１１２に記憶する。
　次に、第２陽性率を取得する処理について説明する。プロセッサ１１１は、判定対象となる使用者の使用者ＩＤ情報に対応付けられた生体検出情報を含む問診情報と、必要に応じて属性情報をメモリ１１２から読み出す（Ｓ６１７）。また、プロセッサ１１１は、Ｓ６１４で算出されメモリ１１２に使用者ＩＤ情報に対応付けて記憶された判定画像の特徴量をメモリ１１２から読み出す（Ｓ６１４）。そして、プロセッサ１１１は、読み出された生体検出情報を含む問診情報等と、判定画像の特徴量を入力として学習済み陽性率判定モデルに与え（Ｓ６１８）、インフルエンザに対する罹患の第２の可能性を示す第２陽性率を出力として取得する（Ｓ６１９）。
　ここで、図１６は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図１６は、図１４のＳ６１８の学習済み陽性率判定選択モデルの生成に係る処理フローを示す図である。当該処理フローは、処理装置１００のプロセッサ１１１によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。
　図１６によると、プロセッサは、咽頭の少なくとも一部が含まれる被写体の画像に対して図１４のＳ６１２と同様の前処理を行った判定画像から学習用特徴量を取得するステップを実行する（Ｓ７２１）。また、プロセッサは、当該判定画像の被写体となった使用者の使用者ＩＤ情報にあらかじめ対応付けて記憶された生体検出情報を含む問診情報及び属性情報を取得するステップを実行する（Ｓ７２１）。次に、プロセッサは、当該判定画像の被写体となった使用者に対して、あらかじめイムノクロマトによるインフルエンザ迅速検査、ＰＣＲ検査、ウイルス分離培養検査の結果等に基づいて付与され正解ラベルを付与する処理ステップを実行する（Ｓ７２２）。そして、プロセッサは付与された正解ラベル情報を判定結果情報として判定画像の学習用特徴量、並びに生体検出情報を含む問診情報及び属性情報に対応付けて記憶するステップを実行する（Ｓ７２３）。
　判定画像の学習用特徴量、並びに生体検出情報を含む問診情報及び属性情報とそれに対応付けられた正解ラベル情報がそれぞれ得られると、プロセッサは、それらを用いて陽性率判定パターンの機械学習を行うステップを実行する（Ｓ７２４）。当該機械学習は、一例として、ニューロンを組み合わせたニューラルネットワークに対して、これら情報の組を与え、ニューラルネットワークからの出力が正解ラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済みの陽性率判定モデルを取得するステップが実行される（Ｓ７２５）。取得された学習済み陽性率判定モデルは、処理装置１００のメモリ１１２や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置内に記憶されていてもよい。
　再び図１４に戻り、プロセッサ１１１は、学習済み陽性率判定モデルに対してＳ６１４で読み出された判定画像の特徴量と、Ｓ６１７で読み出された生体検出情報を含む問診情報等を入力することによって、インフルエンザに対する罹患の第２の可能性を示す第２陽性率（Ｓ６１９）を出力として取得し、使用者ＩＤ情報に対応付けてメモリ１１２に記憶する。
　次に、第３陽性率を取得する処理について説明する。プロセッサ１１１は、判定対象となる使用者の使用者ＩＤ情報に対応付けられた生体検出情報を含む問診情報と、必要に応じて属性情報をメモリ１１２から読み出す（Ｓ６１７）。また、プロセッサ１１１は、Ｓ６１６で算出されメモリ１１２に使用者ＩＤ情報に対応付けて記憶された第１陽性率をメモリ１１２から読み出す。そして、プロセッサ１１１は、読み出された生体検出情報を含む問診情報等と、第１陽性率を入力として学習済み陽性率判定モデルに与え（Ｓ６２０）、インフルエンザに対する罹患の第３の可能性を示す第３陽性率を出力として取得する（Ｓ６２１）。
　ここで、図１７は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図１７は、図１４のＳ６２０の学習済み陽性率判定選択モデルの生成に係る処理フローを示す図である。当該処理フローは、処理装置１００のプロセッサ１１１によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。
　図１７によると、プロセッサは、咽頭の少なくとも一部が含まれる被写体の画像に対して図１４のＳ６１２と同様の前処理を行った判定画像を特徴量抽出器（図１４のＳ６１３）及び分類器（図１４のＳ６１５）が含まれる学習済み陽性率判定選択モデルに入力して得られた第１陽性率情報を取得するステップを実行する（Ｓ７３１）。また、プロセッサは、当該判定画像の被写体となった使用者の使用者ＩＤ情報にあらかじめ対応付けて記憶された生体検出情報を含む問診情報及び属性情報を取得するステップを実行する（Ｓ７３１）。次に、プロセッサは、当該判定画像の被写体となった使用者に対して、あらかじめイムノクロマトによるインフルエンザ迅速検査、ＰＣＲ検査、ウイルス分離培養検査の結果等に基づいて付与され正解ラベルを付与する処理ステップを実行する（Ｓ７３２）。そして、プロセッサは付与された正解ラベル情報を判定結果情報として第１陽性率情報、並びに生体検出情報を含む問診情報及び属性情報に対応付けて記憶するステップを実行する（Ｓ７３３）。
　第１陽性率情報、並びに生体検出情報を含む問診情報及び属性情報とそれに対応付けられた正解ラベル情報がそれぞれ得られると、プロセッサは、それらを用いて陽性率判定パターンの機械学習を行うステップを実行する（Ｓ７３４）。当該機械学習は、一例として、ニューロンを組み合わせたニューラルネットワークに対して、これら情報の組を与え、ニューラルネットワークからの出力が正解ラベル情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返すことにより行われる。そして、学習済みの陽性率判定モデルを取得するステップが実行される（Ｓ７３５）。取得された学習済み陽性率判定モデルは、処理装置１００のメモリ１１２や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置内に記憶されていてもよい。
　再び図１４に戻り、プロセッサ１１１は、学習済み陽性率判定モデルに対してＳ６１６で読み出された第１陽性率情報と、Ｓ６１７で読み出された生体検出情報を含む問診情報等を入力することによって、インフルエンザに対する罹患の第３の可能性を示す第３陽性率（Ｓ６２１）を出力として取得し、使用者ＩＤ情報に対応付けてメモリ１１２に記憶する。
　このようにして、第１陽性率、第２陽性率及び第３陽性率がそれぞれ算出されると、プロセッサ１１１は各陽性率をメモリ１１２から読み出してアンサンブル処理を実施する（Ｓ６２２）。当該アンサンブル処理の一例としては、得られた第１陽性率、第２陽性率及び第３陽性率をリッジ回帰モデルに入力として与え、インフルエンザに対する罹患の可能性の判定結果として各陽性率がアンサンブルされた結果が取得される（Ｓ６２３）。
　なお、Ｓ６２２で用いられるリッジ回帰モデルは、処理装置１００のプロセッサ１１１又は他の処理装置のプロセッサによって機械学習されることによって生成される。具体的には、プロセッサは、学習用判定画像から第１陽性率、第２陽性率及び第３陽性率をそれぞれ取得する。また、プロセッサは、学習用判定画像の被写体となった使用者に対して、あらかじめイムノクロマトによるインフルエンザ迅速検査、ＰＣＲ検査、ウイルス分離培養検査の結果等に基づいて付与され正解ラベルを付与する。そして、プロセッサは、各陽性率及びそれに対応付けられた正解ラベルの組をリッジ回帰モデル与え、出力が当該リッジ回帰モデルの正解ラベル情報と同じになるように、各陽性率に対して与えられるパラメータを調整しながら学習を繰り返す。これにより、アンサンブル処理に用いられるリッジ回帰モデルが得られ、処理装置１００のメモリ１１２や処理装置１００と有線又は無線ネットワークを介して接続された他の処理装置内に記憶される。
　また、アンサンブル処理の一例としてリッジ回帰モデルを使用する場合について説明したが、各陽性率の平均値を取得する処理、最大値を取得する処理、最小値を取得する処理、重み付け加算する処理、バギング、ブースティング、スタッキング、ラッソ回帰、線形回帰等の他の機械学習手法を用いる処理など、いずれの手法を使用してもよい。
　プロセッサ１１１は、このようにして得られた判定結果を使用者ＩＤ情報に対応付けてメモリ１１２の使用者テーブルに記憶する（Ｓ６２４）。これにより当該処理フローを終了する。
　なお、図１４においては、第１陽性率、第２陽性率及び第３陽性率に対してアンサンブル処理を行って、最終的に判定結果を得るようにした。しかし、これに限らず、各陽性率のそれぞれを最終的な判定結果としてそのまま用いてもよいし、いずれか二つの陽性率によるアンサンブル処理を行って最終的な判定結果としてもよい。さらに、他の手法によって得られた他の陽性率をさらに加えてアンサンブル処理を行い、最終的な判定結果としてもよい。
　また、図１１に示すように、得られた判定結果は出力インターフェイス１１４を介して出力されるが、最終的な判定結果のみを出力してもよいし、各陽性率も一緒に出力するようにしてもよい。
　このように、本実施形態においては、口腔内の診断に用いるために口腔内を撮影して得られた画像を処理するのに適した処理装置、処理プログラム、処理方法及び処理システムを提供することが可能となる。特に、本実施形態においては、口腔内の撮影に併せて撮影装置２００に配置された情報検出センサ２３２を利用して使用者である生体の生体検出情報を検出し、当該情報に基づいて疾患の可能性を判定した。したがって、撮影装置２００で撮影される領域、つまりは注目領域により近い位置で、かつ同じタイミングで取得された生体検出情報を判定に用いることができ、より正確な判定を可能である。
８．変形例
　図１０の例では、Ｓ２１６でカメラ２１１の画角に被写体（特に咽頭）を捉えたことが検出されたタイミングで、生体検出情報の検出を開始するようにした（Ｓ２１７）。しかし、これに限らず、被写体画像の撮影の開始のための撮影ボタンの押下と同時に開始するようにしてもよい。また、生体検出情報の検出、つまり情報検出センサ２３２による検出の開始は、再度の撮影ボタン等の押下をトリガーとしてもよい。また、当該検出を電源オンと共に開始して常時検出するようにしてもよい。
　図１４の例では、生体検出情報を含む問診情報及び属性情報の少なくともいずれかを用いてインフルエンザに対する罹患の可能性を示す情報を出力する場合について説明した。しかし、これらの情報に代えて、又はこれらの情報に加えて、インフルエンザに関連する外部要因情報を用いて、インフルエンザに対する罹患の可能性を示す情報を出力するようにしてもよい。このような外部要因情報には、他の使用者に対してなされて判定結果や、医師による診断結果、また使用者が属する地域等におけるインフルエンザの流行情報などが挙げられる。プロセッサ１１１は、このような外部要因情報を通信インターフェイス１１５を介して他の処理装置等から取得し、学習済み陽性率判定モデルに外部要因情報を入力として与えることで、外部要因情報を考慮した陽性率を得ることが可能となる。
　図１４の例では、問診情報及び属性情報は、あらかじめ操作者又は使用者によって入力されるか、有線又は無線ネットワークに接続された電子カルテ装置等から受信する場合について説明した。しかし、これらに代えて、又はこれらに加えて撮影された被写体画像からこれらの情報を入手してもよい。学習用被写体画像に対して、当該学習用被写体画像に対応付けられた属性情報や問診情報を正解ラベルとして与え、これらの組をニューラルネットワークで機械学習することによって学習済み情報推定モデルを得る。そして、プロセッサ１１１が、当該学習済み情報推定モデルに対して被写体画像を入力として与えることで、所望の問診情報及び属性情報を得ることができる。このような問診情報及び属性情報の一例としては、性別、年齢、咽頭発赤度合い、扁桃腫脹度合い、白苔の有無等が挙げられる。これにより、操作者が問診情報及び属性情報を入力する手間を省くことができる。
　以下に、問診情報の具体例として、咽頭の濾胞の特徴量を得る場合について説明する。上記のとおり、咽頭部分に現れる濾胞は、インフルエンザに特徴的なサインであり、医師による診断においても視診によって確認される。そこで、学習用被写体画像に対して医師らによる操作入力によって濾胞などの注目領域に対するラベル付与処理を行う。そして、学習用被写体画像中におけるラベルの位置情報（形状情報）を学習用位置情報として取得し、学習用被写体画像とそれにラベル付けられた学習用位置情報の組をニューラルネットワークで機械学習することによって、学習済み領域抽出モデルを得る。そして、プロセッサ１１１が、当該学習済み領域抽出モデルに対して被写体画像を入力として与えることで、注目領域（つまり濾胞）の位置情報（形状情報）を出力する。その後、プロセッサ１１１は、得られた濾胞の位置情報（形状情報）を問診情報として記憶する。
　図１４の例では、メモリ１１２から読み出された判定画像に対してＳ６１２において前処理を行ったうえで、特徴量抽出器に入力として与える場合について説明した。しかし、必ずしも前処理は必要ではない。例えば、プロセッサ１１１は、メモリ１１２から判定画像を読み出し、前処理をすることなく読み出された判定画像を特徴量抽出器に入力として与えてもよい。また、前処理を行う場合であっても、プロセッサ１１１は、前処理がされた判定画像と前処理がされていない判定画像の両方を、特徴量抽出器に入力として与えてもよい。
　また、図１５～図１７において示した各学習済みモデルの生成においても、学習用データとして図１４のＳ６１２と同様の前処理を行った判定画像を用いた。しかし、上記のように図１４において前処理を行わない場合や、前処理後の判定画像と前処理前の判定画像の両方を判定画像として用いる場合を考慮して、前処理を行わない判定画像を学習用データとして用いてもよい。
　図１３、図１５～図１７等で説明した各学習済みモデルは、ニューラルネットワークや畳み込みニューラルネットワークを用いて生成した。しかし、これらに限らず、ニアレストネイバー法、決定木、回帰木、ランダムフォレスト等の機械学習を用いて生成することも可能である。
　図８の例では、処理装置１００において属性情報や問診情報の取得、判定画像の選択、判定処理、判定結果の出力が行われ、撮影装置２００において被写体画像の撮影が行われる場合について説明した。しかし、これらの各種処理は、処理装置１００や撮影装置２００などで適宜分散して処理することが可能である。図２０は、本開示の一実施形態に係る処理システム１の概略図である。具体的には、図２０は、処理システム１を構成する可能性のある各種装置の接続例を示す図である。図２０によれば、処理システム１には、処理装置１００、撮影装置２００、例えばスマートフォンやタブレット、ラップトップＰＣ等の端末装置８１０、電子カルテ装置８２０、及びサーバ装置８３０が含まれ、これらが互いに有線又は無線ネットワークを介して接続される。なお、図２０にあげる各装置は必ず備えられる必要はなく、以下に例示する処理の分散例にしたがって適宜備えられれば良い。
　図８の例に代えて、図２０に例示する処理システム１において、以下のとおり各種処理を分散することができる。
（１）被写体画像の撮影、属性情報や問診情報の取得、判定画像の選択、判定処理、判定結果の出力などのすべての処理を撮影装置２００で実行する。
（２）被写体画像の撮影及び判定結果の出力を撮影装置２００で実行し、判定画像の選択や判定処理など、機械学習を利用する処理をサーバ装置８３０（クラウドサーバ装置）で実行する。
（３）問診情報や属性情報の入力を端末装置８１０で実行し、判定画像の選択、判定処理、判定結果の出力を処理装置１００で実行し、被写体画像の撮影を撮影装置２００で実行する。
（４）問診情報や属性情報の入力、被写体画像の撮影を撮影装置２００で実行し、判定画像の選択、判定処理、判定結果の出力を処理装置１００で実行する。
（５）問診情報や属性情報の入力、判定結果の出力を端末装置８１０で実行し、判定画像の選択、判定処理を処理装置１００で実行し、被写体画像の撮影を撮影装置２００で実行する。
（６）問診情報や属性情報の入力を電子カルテ装置８２０で実行し、判定画像の選択、判定処理を処理装置１００で実行し、被写体画像の撮影を撮影装置２００で実行し、判定結果の出力を端末装置８１０で実行する。
（７）問診情報や属性情報の入力、判定結果の出力を電子カルテ装置８２０で実行し、判定画像の選択、判定処理を処理装置１００で実行し、被写体画像の撮影を撮影装置２００で実行する。
（８）問診情報や属性情報の入力、判定結果の出力を端末装置８１０で実行し、判定画像の選択、判定処理をサーバ装置８３０で実行し、被写体画像の撮影を撮影装置２００で実行する。
（９）問診情報や属性情報の入力、判定結果の出力を端末装置８１０及び電子カルテ装置８２０で実行し、判定画像の選択、判定処理をサーバ装置８３０で実行し、被写体画像の撮影を撮影装置２００で実行する。
（１０）問診情報や属性情報の入力、判定結果の出力を電子カルテ装置８２０で実行し、判定画像の選択、判定処理をサーバ装置８３０で実行し、被写体画像の撮影を撮影装置２００で実行する。
　上記の処理の分散例のうち一例について具体的に説明する。患者等が保持するスマートフォン、医療機関等で用いられるタブレット、医師等が使用するラップトップＰＣなど端末装置８１０において、図８に示すＳ１１～Ｓ１５に係る処理が実行される。その後、撮影装置２００においてＳ２１～Ｓ２４に係る処理が実行されると、端末装置８１０を介して、又は直接、サーバ装置８３０に被写体画像が送信される。被写体画像を受信したサーバ装置８３０において、Ｓ３１～Ｓ３２に係る処理が実行され、サーバ装置８３０から判定結果が端末装置８１０に出力される。判定結果の出力を受けた端末装置８１０において、その判定結果がメモリに記憶されるとともに、ディスプレイに表示される。
　なお、上記はあくまで処理の分散の一例であるにすぎない。また、本開示において処理装置１００のことを処理装置と呼称している。しかし、これは単に判定処理等に係る様々な処理を実行ことから、処理装置１００を処理装置と呼称しているにすぎない。例えば、各種処理を撮影装置２００、端末装置８１０、電子カルテ装置８２０、サーバ装置８３０等が実行する場合には、これらも処理装置として機能し、処理装置と呼称されることがある。
　図３の例では、撮影装置２００として略円柱状の撮影装置２００を用いて被写体画像を撮影した。しかし、これに限らず、例えば端末装置８１０を撮影装置として利用し、端末装置８１０に備えられたカメラを使って被写体画像を撮影することも可能である。このような場合、カメラは口腔内の咽頭近辺まで挿入されることなく、門歯の外側（体外側）に配置され口腔内の撮影を行うこととなる。
　なお、これら変形例は、上記で具体的に説明する点を除いて、図１～図１９で説明した一実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。また、各変形例や各実施形態で説明した各要素を適宜組み合わせるか、それらを置き換えてシステムを構成することも可能である。
　本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、処理装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。
　本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。
　１　　　　処理システム
　１００　　処理装置
　２００　　撮影装置
　３００　　補助具
　４００　　載置台
　６００　　操作者
　７００　　使用者
　８１０　　携帯端末装置
　８２０　　電子カルテ装置
　８３０　　サーバ装置
 

Claims (9)

  1. 　少なくとも一つのプロセッサを含み、
    　前記少なくとも一つのプロセッサが、
    　使用者の口腔の少なくとも一部が含まれた被写体の画像を撮影するためのカメラを含む撮影装置から前記カメラで撮影された前記被写体の一又は複数の判定画像を取得し、
    　前記一又は複数の判定画像とは異なる前記被写体の生体検出情報を前記撮影装置から取得し、
    　所定の疾患に対する罹患の可能性を判定するためにメモリに記憶された学習済み判定モデルと、取得された前記一又は複数の判定画像と、前記生体検出情報とに基づいて、前記所定の疾患に対する罹患の可能性を判定し、
    　判定された前記罹患の可能性を示す情報を出力する、
    　ための処理をするように構成される、処理装置。
  2. 　前記被写体には咽頭が少なくとも含まれる、請求項１に記載の処理装置。
  3. 　前記被写体には扁桃が少なくとも含まれる、請求項１に記載の処理装置。
  4. 　前記生体検出情報は、前記カメラとは別に設けられた情報検出センサに基づく情報である、請求項１～３のいずれか一項に記載の処理装置。
  5. 　前記生体検出情報は、温度センサ、呼気センサ、心拍センサ、赤外線センサ、近赤外線センサ、紫外線センサ、音響センサ及びそれらの組み合わせの少なくともいずれかから取得された情報である、請求項１～３のいずれか一項に記載の処理装置。
  6. 　前記生体検出情報は、前記カメラを利用して検出された情報である、請求項１～３のいずれか一項に記載の処理装置。
  7. 　前記プロセッサは、
    　前記使用者の問診情報及び属性情報の少なくともいずれかを取得し、
    　前記学習済み判定モデル、前記一又は複数の判定画像及び前記生体検出情報に加えて、前記問診情報及び前記属性情報の少なくともいずれかに基づいて、前記所定の疾患に対する罹患の可能性を判定する、
    　請求項１～６のいずれか一項に記載の処理装置。
  8. 　少なくとも一つのプロセッサにより実行されることにより、
    　使用者の口腔の少なくとも一部が含まれた被写体の画像を撮影するためのカメラを含む撮影装置から前記カメラで撮影された前記被写体の一又は複数の判定画像を取得し、
    　前記一又は複数の判定画像とは異なる前記被写体の生体検出情報を前記撮影装置から取得し、
    　所定の疾患に対する罹患の可能性を判定するためにメモリに記憶された学習済み判定モデルと、取得された前記一又は複数の判定画像と、前記生体検出情報とに基づいて、前記所定の疾患に対する罹患の可能性を判定し、
    　判定された前記罹患の可能性を示す情報を出力する、
    　ように前記少なくとも一つのプロセッサを機能させる処理プログラム。
  9. 　少なくとも１つのプロセッサにより実行される処理方法であって、
    　使用者の口腔の少なくとも一部が含まれた被写体の画像を撮影するためのカメラを含む撮影装置から前記カメラで撮影された前記被写体の一又は複数の判定画像を取得する段階と、
    　前記一又は複数の判定画像とは異なる前記被写体の生体検出情報を前記撮影装置から取得する段階と、
    　所定の疾患に対する罹患の可能性を判定するためにメモリに記憶された学習済み判定モデルと、取得された前記一又は複数の判定画像と、前記生体検出情報とに基づいて、前記所定の疾患に対する罹患の可能性を判定する段階と、
    　判定された前記罹患の可能性を示す情報を出力する段階と、
    　を含む処理方法。

     
PCT/JP2021/039715 2021-10-27 2021-10-27 処理装置、処理プログラム及び処理方法 WO2023073844A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/039715 WO2023073844A1 (ja) 2021-10-27 2021-10-27 処理装置、処理プログラム及び処理方法
JP2023555964A JPWO2023073844A1 (ja) 2021-10-27 2021-10-27

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/039715 WO2023073844A1 (ja) 2021-10-27 2021-10-27 処理装置、処理プログラム及び処理方法

Publications (1)

Publication Number Publication Date
WO2023073844A1 true WO2023073844A1 (ja) 2023-05-04

Family

ID=86159257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/039715 WO2023073844A1 (ja) 2021-10-27 2021-10-27 処理装置、処理プログラム及び処理方法

Country Status (2)

Country Link
JP (1) JPWO2023073844A1 (ja)
WO (1) WO2023073844A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019131327A1 (ja) * 2017-12-28 2019-07-04 アイリス株式会社 口内撮影装置、医療装置及びプログラム
US20200268252A1 (en) * 2019-02-27 2020-08-27 Deep Smart Light Limited Noninvasive, multispectral-fluorescence characterization of biological tissues with machine/deep learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019131327A1 (ja) * 2017-12-28 2019-07-04 アイリス株式会社 口内撮影装置、医療装置及びプログラム
US20200268252A1 (en) * 2019-02-27 2020-08-27 Deep Smart Light Limited Noninvasive, multispectral-fluorescence characterization of biological tissues with machine/deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIYAMOTOWATANABE: "Consideration of Meanings and Values of Examination Findings of Pharynx (Influenza Follicles", JOURNAL OF THE JAPAN MEDICAL JOURNAL, vol. 72, no. 1, 2013, pages 11 - 18

Also Published As

Publication number Publication date
JPWO2023073844A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
JP7498521B2 (ja) 口内撮影装置、医療装置及びプログラム
US11839444B2 (en) Ceiling AI health monitoring apparatus and remote medical-diagnosis method using the same
US9445713B2 (en) Apparatuses and methods for mobile imaging and analysis
US20190261914A1 (en) Physiologic audio methods and arrangements
JP5148227B2 (ja) 内視鏡システム
Kumar et al. Health monitoring framework for in time recognition of pulmonary embolism using internet of things
US20140313303A1 (en) Longitudinal dermoscopic study employing smartphone-based image registration
CN111202537B (zh) 在成像过程期间实时捕获患者生命体征的方法和装置
JP2016189812A (ja) 内視鏡撮影部位特定装置、方法、プログラム
JP6830082B2 (ja) 歯科分析システムおよび歯科分析ｘ線システム
CN103892802B (zh) 一种新型的舌像智能辅助装置
JP4649965B2 (ja) 健康度判定装置、及びプログラム
US20220222817A1 (en) Transfer learning for medical applications using limited data
CN110811551A (zh) 一种基于近红外光谱的口腔分析系统和分析方法
WO2021085443A1 (ja) 撮像装置及び撮像システム
WO2023073844A1 (ja) 処理装置、処理プログラム及び処理方法
JPWO2019088178A1 (ja) 生検支援装置、内視鏡装置、生検支援方法、及び生検支援プログラム
WO2023286199A1 (ja) 処理装置、処理プログラム、処理方法及び処理システム
WO2022009285A1 (ja) 処理装置、処理プログラム、処理方法及び処理システム
JP7335157B2 (ja) 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
JP7276513B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及びプログラム
WO2023181417A1 (ja) 撮影装置、プログラム及び方法
WO2019131328A1 (ja) 口内撮影補助具、及びその口内撮影補助具を含む医療装置
CN117893953B (zh) 一种软式消化道内镜操作规范动作评估方法及系统
CN114549524A (zh) 牙齿图像数据处理方法、电子设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21962392

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023555964

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021962392

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021962392

Country of ref document: EP

Effective date: 20240527