WO2022254702A1 - 検査ガイド装置および検査ガイド方法 - Google Patents

検査ガイド装置および検査ガイド方法 Download PDF

Info

Publication number
WO2022254702A1
WO2022254702A1 PCT/JP2021/021399 JP2021021399W WO2022254702A1 WO 2022254702 A1 WO2022254702 A1 WO 2022254702A1 JP 2021021399 W JP2021021399 W JP 2021021399W WO 2022254702 A1 WO2022254702 A1 WO 2022254702A1
Authority
WO
WIPO (PCT)
Prior art keywords
examination
time
endoscopy
cleansing
excretion
Prior art date
Application number
PCT/JP2021/021399
Other languages
English (en)
French (fr)
Inventor
学 市川
真人 石掛
政佳 阿部
修 野中
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2023525320A priority Critical patent/JPWO2022254702A1/ja
Priority to PCT/JP2021/021399 priority patent/WO2022254702A1/ja
Publication of WO2022254702A1 publication Critical patent/WO2022254702A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Definitions

  • the present invention is applicable to subjects who undergo examinations involving medical procedures such as endoscopy or clinical examinations (distinguished from subjects who indicate those who participate in research, etc., and are referred to as subjects as those who undergo the examination).
  • the present invention relates to an inspection guide apparatus and an inspection guide method capable of providing appropriate guidance before an actual inspection is performed.
  • the endoscopy work support system of Patent Document 1 described above describes a technique for appropriately scheduling endoscopy work within a medical facility.
  • support such as advice for receiving appropriate examinations.
  • a subject must do when undergoing an endoscopy, such as taking a laxative and washing the gastrointestinal tract before the subject undergoes the endoscopy.
  • the required treatment, the administration time of a therapeutic agent such as a laxative, the examination time, etc. differ depending on the health condition of the subject and individual differences.
  • the present invention has been made in view of such circumstances.
  • the object is to provide an inspection guide method.
  • an examination guiding method provides a step of preparing for an endoscopy of the patient for endoscopy based on temporal changes in state information of the patient for endoscopy. is estimated, and based on the estimated progress degree, information regarding the end timing of the process related to preparation is generated.
  • An examination guiding method is the examination guiding method according to the first invention, wherein the degree of progress of the step related to the preparation is the degree of progress of the bowel cleansing state of the endoscopy examinee, and the bowel cleansing state is constant.
  • the timing at which the degree is predicted to be reached is the end timing of the preparation process.
  • a third aspect of the present invention provides an examination guide method according to the first aspect, wherein the temporal change of the state information is a temporal change of an excretion image, and based on the temporal change of the excretion image, A temporal change in the cleansing degree of the intestinal tract in the future after the time when the image was captured is estimated, and the timing at which the estimated temporal change in the cleansing degree reaches a certain level is defined as the end timing of the cleansing state of the intestinal tract.
  • An examination guiding method is, in the second aspect of the invention, further taking into consideration the time from the start of intestinal cleansing of the endoscopy examinee, and estimating the temporal change in cleansing degree.
  • a fifth aspect of the present invention provides an examination guiding method according to the second aspect of the present invention, in which the intestinal cleansing agent drank by the endoscopy examinee is estimated, the estimated amount is further taken into account, and the temporal change in the degree of cleansing is calculated. presume.
  • An examination guide apparatus in the second aspect of the invention, further displays a guide on how to take drugs for intestinal cleansing of the endoscopy examinee.
  • An examination guiding method according to a seventh aspect of the present invention is the second aspect of the invention, further comprising changing the guide display according to the drug taken by the endoscopy examinee for intestinal cleansing.
  • An examination guide method according to an eighth aspect of the present invention is the examination guide method according to the second aspect, wherein the guide relating to how to take the drug relates to the time to take the drug, the amount of the drug to be taken, or the amount other than the drug to be taken together with the drug.
  • a ninth aspect of the present invention provides an examination guide method according to the second aspect of the present invention, wherein the excretion image obtained by photographing the excretion state of the endoscopy examinee and the plurality of excretion images are combined into an excretion progress model and a feature amount. are compared to estimate the temporal change in the degree of cleansing, and to estimate the end timing of the intestinal cleansing state.
  • An examination guiding method according to a tenth aspect of the present invention is characterized in that, in the above second aspect, the AI model learned using excretion images in which the excretion state is photographed and the excretion state of the endoscopy examinee are combined. The end timing of the intestinal cleansing state is estimated using a plurality of captured excretion images.
  • An examination guide method is the second aspect of the invention, in which learning is performed using at least one of the time until cleaning is completed and the amount of cleaning agent in addition to the excretion image in which the state of excretion is captured.
  • An AI model is input with an excretion image in which the subject's excretion state is photographed, and the end timing of the intestinal cleansing state is estimated.
  • a test guide method is the AI model learned using a plurality of learning data sets in which the excretion image in which the excretion state is photographed is annotated with the degree of cleanliness in the second invention.
  • the degree of cleansing is estimated by inputting an excretion image in which the patient excretes excreted, and the end timing of the intestinal cleansing state is estimated.
  • An inspection guide method is the method according to the second aspect, wherein the plurality of excretion images in which the state of excretion is photographed is annotated with the cleaning time or the amount of cleaning agent taken until an inspection is possible.
  • An examination guiding method according to a fourteenth invention is the examination guiding method according to the first invention, which is determined by the end timing of the steps related to the preparation and the examination time lag of the person who undergoes the endoscopy before the person undergoing the endoscopy examination. 2.
  • An examination guiding method according to a fifteenth aspect of the present invention is the method according to the first aspect of the invention, further comprising the step of generating information regarding the end timing of the process related to preparation for endoscopic examination according to the meal history information of the examinee.
  • An examination guide apparatus comprises a state acquisition unit that acquires state information of an endoscopy examinee; A progress estimating unit for estimating a situation, and an advice generating unit for displaying advice related to the examination preparation based on the progress.
  • the preparation for examination is preparation for cleaning the gastrointestinal tract
  • the state obtaining unit obtains information about excretion of the patient undergoing endoscopy.
  • the progress estimating unit estimates progress related to the gastrointestinal cleansing of the endoscopy examinee as the progress.
  • An examination guide apparatus according to an eighteenth invention is the examination guide apparatus according to the fifteenth invention, wherein the progress estimating unit measures the progress of gastrointestinal tract cleansing and the time required to reach a certain cleansing degree or the number and amount of cleansing agent ingestion. is estimated, and the advice generating unit generates information based on the estimation result of the progress estimating unit.
  • an examination guide apparatus and an examination guide method that enable a person to receive advice necessary for appropriately undergoing examinations and clinical examinations involving medical procedures such as endoscopic examinations.
  • FIG. 1 is a block diagram showing the configuration of an endoscopy support system according to a first embodiment of the present invention
  • FIG. 4 is a flow chart showing main operations in the service server of the endoscopy support system according to the first embodiment of the present invention
  • 4 is a flowchart showing operation of displaying an examination time guide in the service server of the endoscopy support system according to the first embodiment of the present invention
  • FIG. 7 is a flow chart showing a modification of the operation of displaying an examination time guide in the service server of the endoscopy support system according to the first embodiment of the present invention
  • FIG. 5 is a graph showing changes in cleanliness in the endoscopy support system according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing a sequence of reference images of defecation in the endoscopy support system according to the first embodiment of the present invention
  • FIG. 4 is a diagram for explaining a method of calculating the degree of cleanliness by AI in the endoscopy support system according to the first embodiment of the present invention
  • FIG. 5 is a graph showing a cleanliness curve when predicting the cleanliness by an algorithm in the endoscopy support system according to the first embodiment of the present invention
  • FIG. FIG. 4 is a diagram showing an algorithm for predicting the degree of cleanliness by AI in the endoscopy support system according to the first embodiment of the present invention
  • FIG. 10 is a diagram showing an alarm display screen when a subject starts drinking a cleansing agent in the endoscopy support system according to the first embodiment of the present invention
  • FIG. 10 is a diagram showing an advice screen when the subject drinks the cleansing agent in the endoscopy support system according to the first embodiment of the present invention
  • FIG. 10 is a diagram showing an advice screen from when the subject leaves his/her home until the end of the examination at the medical facility in the endoscopic examination support system according to the first embodiment of the present invention
  • FIG. 5 is a block diagram showing the configuration of an endoscopy support system according to a second embodiment of the present invention
  • FIG. 9 is a flow chart showing main operations in the service server of the endoscopy support system according to the second embodiment of the present invention
  • FIG. FIG. 10 is a diagram showing an advice screen from when the subject arrives at the medical facility until the end of the examination in the endoscopy support system according to the second embodiment of the present invention;
  • FIG. 1 is a block diagram showing the overall configuration of an endoscopy support system according to the first embodiment.
  • This endoscopy support system comprises a service server 10 , a user terminal 20 , and hospital systems 30 and 34 .
  • the service server 10 includes a user terminal 20 used by a user or the like through a communication network such as the Internet, and in-hospital systems 30 and 34 used by medical personnel or the like in a medical facility and used for obtaining information in the medical facility. It is connectable and can provide various services to users and the like.
  • the service server 10 has a processing device such as a CPU (Central Processing Unit), a memory storing programs, and other peripheral circuits, and includes a control unit 11, a communication unit 12, a schedule management unit 13, a cleanliness determination unit 14, a time It has a prediction unit 15 , an instruction transmission 16 , and a test result recording unit 17 .
  • a processing device such as a CPU (Central Processing Unit), a memory storing programs, and other peripheral circuits, and includes a control unit 11, a communication unit 12, a schedule management unit 13, a cleanliness determination unit 14, a time It has a prediction unit 15 , an instruction transmission 16 , and a test result recording unit 17 .
  • CPU Central Processing Unit
  • schedule management unit 13, the cleanliness determination unit 14, the time prediction unit 15, the instruction transmission unit 16, and the inspection result recording unit 17 may be implemented by hardware circuits or the like, and the control unit 11 may be stored in a memory. It may be realized by executing the program. In this case, one or a plurality of processors forming control unit 11 serve as schedule management unit 13 , cleanliness determination unit 14 , time prediction unit 15 , and instruction transmission unit 16 .
  • the control unit 11 controls the service server 10 as a whole.
  • the control unit 11 is composed of one or a plurality of processors having a processing device such as a CPU and a memory storing a program, etc., and can control each unit in the service server 10 by executing the program.
  • the control unit 11 acquires the usage status in the medical institution where the examinee undergoes endoscopy from the waiting room information acquisition unit 37, the examination room information acquisition unit 38, and the recovery room information acquisition unit 39 of the hospital system 34. It also functions as a unit (see S15, S17, etc. in FIG. 2).
  • the usage status is the usage status (congestion status) in the space where at least one of waiting, pretreatment, examination, recovery, and accounting is performed in the medical institution.
  • the communication unit 12 has a communication circuit provided within the peripheral circuit of the service server 10 and can communicate with each communication unit within the user terminal 20 and the hospital systems 30 and 34 .
  • advice is transmitted to the user terminal 20 when the instruction transmission unit 16 creates advice.
  • the request of the subject can be input through the communication unit 12 .
  • the service server 10 functions as an examination guide device
  • the communication unit 12 functions as a patient request input unit for inputting the request of the patient undergoing endoscopy.
  • the schedule management unit 13 performs various time management when the user (examinee) undergoes an endoscopy. For example, management of timing to start taking intestinal cleansing agent when the user undergoes an examination (see S3 in FIG. 2)), and departure time when the user leaves for a medical facility such as a hospital to undergo an examination. time management (see S11 and S13 in FIG. 2) and the estimated time of all inspection steps (S19 in FIG. 2). In addition, the schedule management unit 13 performs schedule management in consideration of the examination time predicted by the time prediction unit 15 (see S15, S17, and S19 in FIG. 2).
  • the cleanliness determination unit 14 determines the degree of cleanliness of the subject's intestinal tract based on the image of the subject's defecation.
  • the subject drinks the cleanser multiple times, and the intestinal tract is gradually cleansed each time the subject defecates.
  • the cleanliness determination unit 14 determines the degree of cleanliness. Determination of the degree of cleanliness based on the image of defecation will be described later with reference to FIGS. 4 to 8.
  • FIG. When the service server 10 functions as an examination guide device, the cleanliness determination unit 14 functions as a state acquisition unit that acquires state information of the endoscopy examinee (for example, S5 in FIG. 2, FIG. 3A and 3B, S14a of FIG. 11, etc.).
  • the state acquisition unit acquires information related to excretion of the examinee.
  • the time prediction unit 15 predicts the time when the subject will undergo the examination. For example, when a subject takes a cleansing agent at home to cleanse the inside of the intestinal tract, cleansing is completed based on a temporal change in the result of determining the degree of cleansing based on the image of the subject's defecation. Predict the time (see, for example, FIGS. 4 and 8). In addition, when the time prediction unit 15 performs time prediction, based on the temporal change in the determination result of the degree of intestinal cleansing performed by the cleansing determination unit 14 (for example, the temporal change in the excretion image, see the reference image sequence in FIG. 5). conduct.
  • the timing at which the intestinal cleansing degree is predicted to reach a certain level is set as the end timing (see, for example, S49 in FIGS. 3A and 3B and the testable level Lev in FIG. 4). Based on this prediction result, the amount of cleansing agent to be drunk by the subject, the number of times, etc. are also predicted until the end of cleansing.
  • the time prediction unit 15 may also predict the time when the preparation for the inspection is completed, the time when the inspection is started, the time when the inspection is completed, and the like. For example, by calculating backward from the time required for the examination, the time to start drinking and the time to depart are predicted (see, for example, S3 and S11 in FIG. 2). It is also possible to predict the time and the like in the entire inspection process in consideration of the time required to hear the results, the time to wait for accounting, and the like (for example, see S19 in FIG. 2).
  • the time prediction unit 15 functions as a progress estimation unit for estimating the progress of the examinee's preparation for examination based on temporal changes in the state information (for example, FIG. 3A and S49 of FIG. 3B).
  • Examination preparation is preparation related to gastrointestinal washing. In this embodiment, it corresponds to the subject drinking the cleansing agent and cleaning the intestinal tract.
  • the progress estimating unit estimates the progress of the gastrointestinal cleansing of the examinee as the progress.
  • the progress estimating unit estimates the progress of gastrointestinal cleansing, the time required to reach a certain degree of cleansing, or the number and amount of cleansing agent intakes (for example, see S49 in FIGS. 3A and 3B).
  • the time prediction unit 15 functions as a time estimation unit that estimates the time related to the endoscopy based on the state information and the usage status (see S19 in FIG. 2, for example).
  • the time estimating unit predicts the start or end time of each action related to at least one of waiting, pretreatment, examination, recovery, and accounting at the medical institution.
  • the instruction transmission unit 16 creates advice for the subject and transmits it from the service server 10 to the user terminal 20 or the like through the communication unit 12 .
  • the advice includes, for example, when cleaning will be completed, the remaining amount of cleansing agent, the number of times, etc. based on the defecation of the subject (see, for example, S49 in FIGS. 3A and 3B). In addition to this, there are departure time, advice on washing, etc. (see FIGS. 9A to 9C).
  • the instruction transmission unit 16 functions as an advice display unit that displays advice related to examination preparation based on the progress (S49 in FIGS. 3A and 3B, FIG. 9A or see FIG. 9C, etc.).
  • the advice display section displays information (degree of cleanliness, frequency and amount of cleaning agent intake, estimated time of completion of cleaning, etc.) based on the estimation result of the progress estimation section.
  • the advice display unit displays advice in consideration of the request of the endoscopy examinee.
  • the instruction transmission unit 16 functions as an advice display unit that displays advice related to endoscopic examination based on estimation.
  • the advice display section displays advice regarding the start of movement to the medical institution, the start or end of each action, and the completion of all actions at the medical institution.
  • the instruction transmission unit 16 functions as an advice generation unit (see, for example, S49 in FIGS. 3A and 3B) that displays advice related to examination preparation based on the progress.
  • the advice generator generates information based on the estimation results of the progress estimator.
  • the test result recording unit 17 records the test results in the recording unit when the subject completes an examination such as an endoscopy at the hospital.
  • the in-hospital system 30 and the in-hospital system 34 are provided in the same hospital in this embodiment, and a plurality of in-hospital systems are similarly provided in other hospitals.
  • One of the in-hospital systems 30, 34 provided in the same hospital is connected to mobile terminals and PCs (personal computers) used by doctors, nurses, administrative departments, pharmacy departments, etc. , is a system for exchanging various information, and the other is a device for acquiring information in a patient waiting room, an examination room, a recovery room, etc., for example, a monitoring device having an imaging unit, etc. It is also a system for exchanging various information by connecting to mobile terminals and PCs used by medical facility workers. If there are three or more systems in the same hospital, of course, three or more in-hospital systems may be provided, or they may be integrated into one system.
  • the controllers 31 and 35 in the hospital systems 30 and 34 control the whole in each hospital system 30 and 34.
  • the control units 31 and 35 have processors such as CPUs, memories storing programs, etc., and can execute programs to control each unit in each hospital system. Further, the control units 31 and 35 may operate in cooperation with the hospital systems 30 and 34 in the same hospital.
  • the communication units 32 and 36 have communication circuits and can communicate with each communication unit in the service server 10 and other hospital systems 30 and 34 .
  • the schedule management unit 33 manages the schedules of mobile terminal and PC users (doctors, nurses, pharmacists, laboratory technicians, clerks, etc.) in the hospital system 30 . This schedule management is performed in cooperation with the schedule management unit 13 in the service server 10 in conjunction with the subject's examination schedule (including before examination, at the time of examination, and after examination).
  • the waiting room is a room where the subject waits until they undergo an endoscopy.
  • the waiting room information acquiring unit 37 has a photographing unit such as a camera and a voice collecting unit such as a microphone, etc., which are placed in the waiting room, and acquires various information in the waiting room. Information about the waiting room is acquired based on the information collected by the imaging unit and the voice collecting unit. Also, if the waiting room information acquiring unit 37 can directly communicate with the user terminal 20, it can detect that the subject having the user terminal 20 is in the waiting room. Furthermore, it is possible to acquire various kinds of information such as what examination the subject has undergone, what kind of schedule the subject has, and the profile of the subject. Also, a nurse or the like may directly input text or images of information to the hospital system 34 from an in-hospital terminal.
  • the examination room is the room where the subject receives an endoscopy.
  • the examination room information acquisition unit 38 has an imaging unit such as a camera and a sound acquisition unit such as a microphone installed in the examination room, and acquires various information related to the endoscopy performed by the examinee in the examination room. do. Information in the examination room is acquired based on the information collected by the imaging unit and the sound collection unit. Also, if the examination room information acquiring unit 38 can directly communicate with the user terminal 20, it can detect that the subject having the user terminal 20 is present in the examination room. Furthermore, it is also possible to acquire information such as the progress of the examination of the subject and the examination results. Also, a nurse or the like may directly input information to the hospital system 34, text input, or image input from an in-hospital terminal. In many cases, a plurality of examination rooms are installed. Therefore, it is preferable that the laboratory information acquisition unit 38 acquires the information for each laboratory.
  • the recovery room is a room where the subject rests until the effects of the sedative and other drugs wear off after the subject's endoscopic examination is completed and the subject returns to normal.
  • the recovery room information acquisition unit 39 has a photographing unit such as a camera, a voice acquisition unit such as a microphone, and the like placed in the recovery room, and acquires various information regarding the condition of the subject in the recovery room. Information about the recovery room is acquired based on the information collected by the imaging unit and the sound collecting unit. Also, if the recovery room information acquiring unit 39 can directly communicate with the user terminal 20, it can detect that the subject having the user terminal 20 is present in the recovery room. Furthermore, information regarding the subject's resting state can be obtained. Also, a nurse or the like may directly input text or image information to the hospital system 34 from an in-hospital terminal.
  • the user terminal 20 may be a PC used by the subject, but in the present embodiment, it will be described assuming a mobile terminal such as a smart phone. Since the portable terminal is carried by the subject, it is easy to collect information on lifestyle habits, and it is also easy to photograph the state of defecation of the subject.
  • the user terminal 20 has a processing device such as a CPU (Central Processing Unit), a memory storing programs, and other peripheral circuits. (User Interface) section 24 is provided.
  • CPU Central Processing Unit
  • memory storing programs
  • other peripheral circuits such as a PC (GPU) section 24 is provided.
  • Each unit in the user terminal 20 may be implemented by a hardware circuit or the like, and some functions may be implemented by the control unit 21 executing a program stored in memory.
  • the control unit 21 controls the user terminal 20 as a whole.
  • the control unit 21 is composed of one or a plurality of processors having a processing device such as a CPU, a memory storing programs, etc., and can execute programs and control each unit in the user terminal 20 .
  • the schedule management in the service server 10 is used for schedule management when receiving an endoscopy, determination of the cleanliness of defecation, time prediction, and transmission of advice to the subject. 13, the cleanliness determination unit 14, the time prediction unit 15, and the instruction transmission unit 16.
  • the controller 21 may perform these functions within the service server 10 .
  • an inference engine may be provided in the control unit 21 to make an inference about the degree of cleanliness and the like.
  • the user terminal 20 functions as an examination guide device
  • the control unit 21 functions as a progress estimating unit that estimates the examinee's examination preparation progress based on the temporal change of the state information.
  • the progress estimating unit estimates the progress of gastrointestinal cleansing, the time required to reach a certain degree of cleansing, or the number and amount of cleansing agent intakes (for example, see S49 in FIGS. 3A and 3B).
  • control unit 21 When the user terminal 20 functions as an examination guide device, the control unit 21 functions as a usage status acquisition unit that acquires the usage status at the medical institution where the examinee undergoes endoscopic examination. Further, when the user terminal 20 functions as an examination guide device, the control section 21 functions as a time estimation section that estimates the time related to the endoscopy based on the state information and the usage status.
  • the communication unit 22 has a communication circuit provided within the peripheral circuit of the user terminal 20 and can communicate with the communication unit 12 within the service server 10 . Through the communication unit 22 , it is possible to exchange various information with the service server 10 , such as schedule management, cleanliness determination, time prediction, and advice to the subject.
  • the imaging unit 23 has an imaging element, an imaging lens, an imaging element, an imaging circuit, etc., and converts an object into image data and outputs it.
  • the imaging unit 23 is used to acquire an image of the subject's defecation.
  • the imaging unit 23 functions as a state acquisition unit that acquires state information of the patient undergoing endoscopy (see S39 in FIGS. 3A and 3B, for example).
  • the state acquisition unit acquires information related to excretion of the subject.
  • the UI unit 24 is a user interface for inputting information to the user terminal 20 and outputting information.
  • the UI unit 24 includes a visual (including auditory, etc.) display unit for transmitting information to the subject, and an input unit (for example, a text input unit) for the subject to input information to the user terminal 20. (including voice input section, etc.).
  • an input unit for example, a text input unit
  • voice input section etc.
  • the request of the subject who undergoes the endoscopic examination for example, whether or not he/she desires an examination using a sedative can be input.
  • the subject may be allowed to input a request regarding means of transportation, etc. when moving from home to the medical facility.
  • the UI section 24 functions as an advice display section that displays advice related to examination preparation based on the progress.
  • the advice display section displays information (degree of cleanliness, frequency and amount of cleaning agent intake, estimated time of completion of cleaning, etc.) based on the estimation result of the progress estimation section.
  • the UI section 24 functions as a patient request input section for inputting a request of the patient undergoing endoscopy.
  • the advice display unit displays advice in consideration of the request of the endoscopy examinee.
  • the UI section 24 functions as an advice display section that displays advice related to endoscopy based on estimation.
  • the user can undergo an endoscopic examination with peace of mind.
  • an endoscopy after starting to take a cleansing agent, it is necessary to take more medications, when to go to the hospital, when to start the examination, and when to end the examination.
  • There are various unclear points for the subject such as whether or not.
  • the subject should use the "relief application" installed in the user terminal 20 (an application executed in the user terminal 20 in parallel with the main flow shown in FIG. 2, which will be described later). You can safely take the test. That is, by using this safety app, you can also receive the necessary advice for taking the test.
  • the main operation of this application is performed by the control unit 11 in the service server 10 cooperating with the control unit 21 in the user terminal 20, controlling each unit in the service server 10, and cooperating with the hospital systems 20 and 35. come true.
  • the flow shown in FIG. 2 is based on the premise that the service server 10 takes the lead in providing advice for the subject to the user terminal 20 when a safety application for examination assistance is installed in the user terminal 20.
  • the service server 10 functions as an examination guide device.
  • the user terminal 20 it is of course possible for the user terminal 20 to play a central role and receive support from the service server 10 to provide advice to the subject.
  • the user terminal 20 functions as an examination guide device.
  • the expected examination start time is acquired (S1).
  • the control unit 11 inquires of the schedule management unit 13, the subject acquires information on the scheduled date and time of the endoscopic examination at the medical facility, and based on this scheduled date and time, the expected start time of the examination is known. If the medical facility does not have an appointment, the appointment is made and the expected examination start time is also acquired.
  • This acquisition of the estimated examination start time is performed when the subject activates the safety application on the user terminal 20 and the service server 10 is notified that the examination will be performed.
  • the application software shown in FIG. 2 is executed independently in the user terminal 20, in this step, the user terminal 20 inquires of the schedule management unit 13 in the service server 10 about the expected examination start time. , to obtain the estimated examination start time.
  • start drinking and give an alarm (S3).
  • the control unit 11 determines whether or not it is time to start drinking the cleansing agent based on the estimated examination start time acquired in step S1. 20 to display an alarm on the UI unit 24 for the subject to start taking the cleansing agent.
  • the cleanser is drunk multiple times and the start time is determined taking into account the standard time to reach an inspectable cleanness. However, since the time it takes to reach a degree of cleanliness that can be inspected differs depending on the subject, it is permissible to allow a little more leeway than the standard time. (See FIGS. 4, 8, etc.). A display example of the start-of-drinking alarm will be described later with reference to FIG. 9A. Note that when the application software of FIG. Notify the examiner of the start of drinking and an alarm.
  • the control unit 11 instructs the user terminal 20 through the instruction transmission unit 16 to acquire an image of the subject's defecation by the imaging unit 23 .
  • the image is transmitted to the service server 10 through the communication unit 22 .
  • the cleanliness determination unit 14 in the service server 10 determines the cleanliness based on the image of the subject's defecation and the like, and determines whether or not a sufficient cleaning level has been reached. By judging the degree of cleanliness, it is possible to predict when the subject will complete the cleaning (see FIGS. 4, 8, etc.). The cleanness check operation will be described later with reference to FIG. 3A or 3B.
  • the UI unit 24 of the user terminal 20 displays advice as shown in FIG. 9B, for example. This display will be described later.
  • the application software shown in FIG. 2 is executed independently in the user terminal 20, in this step, an image of the subject's defecation is transmitted to the service server 10, and a request is made to determine the cleanliness level.
  • the current location is acquired (S7).
  • This embodiment is based on the premise that the subject takes a cleansing agent and cleans the intestine at home or the like (a place other than a medical facility). Therefore, after the intestinal cleaning is completed, the patient is moved to a medical facility such as a hospital.
  • the control unit 21 in calculating the time required to move to the medical facility, the control unit 21 first instructs the user terminal 20 to transmit the current position.
  • Information about the current position is acquired by a position detection unit such as GPS in the user terminal 20 . Therefore, the user terminal 20 has a position detection unit such as GPS. Note that when the application software of FIG. 2 is executed independently in the user terminal 20, information on the current position is acquired by the position detection unit in the user terminal 20 in this step.
  • step S1 the expected examination start time is also acquired, but in consideration of the subsequent change in the situation, the control unit 11 again sends the expected examination start time to the schedule management unit 33 in the hospital system 30. Inquire. That is, there are cases where the examination does not proceed as planned or proceeds earlier than planned at the medical facility.
  • the control unit 21 again acquires the expected examination start time through the service server 10 and the hospital system 30. .
  • the control unit 21 may collect necessary information from the service server 10 and predict the examination start time.
  • the control unit 11 calculates the movement start time to the medical facility based on the estimated examination start time acquired in step S9 and the current location information acquired in step S7, and the calculated movement start time (departure time).
  • the travel start time consider the travel time from the current location to the medical facility. If there is a means of transportation designated by the subject, the travel time by this means of transportation may be calculated and a plurality of means of transportation may be selected. Furthermore, the travel time may be calculated taking into consideration the traffic congestion situation (for example, road congestion situation, railroad operation situation) on the day. It should be noted that the calculation of the travel time may be linked with another service that guides the travel route or means of transportation.
  • step S11 determines whether it is not the departure time. If the result of determination in step S11 is that it is not the departure time, the process returns to step S7, and the above operations are repeated.
  • the progress of examinations at medical facilities, the status of transportation, etc. may change, and the departure time is predicted in consideration of these changes.
  • the control unit 21 inquires of the schedule management unit 13 in the service server 10 about the departure time. It is determined whether or not the departure time has come.
  • the control unit 21 may collect necessary information from the service server 10 and the hospital systems 30 and 34 and determine whether it is the departure time.
  • step S13 If the result of determination in step S11 is that it is the departure time, a departure alarm is announced (S13).
  • the instruction transmission unit 16 in the service server 10 instructs the user terminal 20 to display a departure alarm on the UI unit 24 .
  • the instruction transmission unit 16 may notify the user terminal 20 of the departure time in advance, and when the user terminal 20 detects that the departure time has come, a departure alarm may be issued.
  • the departure alarm may be visual or audible.
  • a recommended means of transportation or a route of movement may be displayed in accordance with the departure alarm. For example, in the case of using a train to move immediately after completing intestinal cleansing, guidance may be provided on a route that has many stations that are close to the toilet from the platform.
  • the expected examination end time is obtained (S15).
  • the endoscopy is started as soon as it is ready. Examinations may not start as scheduled, for example, the subject may arrive at the medical facility earlier than expected, or the examination in front of the subject may take time. If it is difficult to insert the implant, the test may take longer than planned, and if a polyp is found during the test, the test may take longer to remove the polyp. be. Therefore, in this step, the time prediction unit 15 predicts the end time of the examination in consideration of various situational changes. The time prediction unit 15 predicts the end time of the endoscopy of the subject in cooperation with the hospital systems 30 and 34 .
  • the time prediction unit 15 may infer the possibility of the presence of polyps based on the subject's profile, lifestyle habits, previous examination results, and the like. In addition, inference may be made including the possibility of lesions requiring treatment such as excision and biopsy other than polyps. That is, here, the possibility of treatment related to the risk of fluctuation in examination time in endoscopy is predicted, and the expected examination end time is estimated based on the result.
  • the control unit 21 inquires of the time prediction unit 15 in the service server 10 about the predicted examination end time. to obtain.
  • the control unit 21 may collect necessary information from the service server 10 and predict the examination end time.
  • the expected recovery completion time is acquired (S17). If a sedative was used during the examination, after the examination is completed, the subject rests in the recovery room until the sedative wears off. Information such as the congestion state of the recovery room can be acquired by the recovery room information acquisition unit 39 .
  • the control unit 11 inquires of the recovery room information acquisition unit 39 to acquire information such as the state of congestion in the recovery room, and the time prediction unit 15 recovers based on this information and the physical condition of the subject. Predict the completion time and acquire the expected recovery completion time. 2 is executed on the user terminal 20, the control unit 21 acquires the expected recovery completion time from the time prediction unit 15 in the service server 10 in this step.
  • the control unit 21 may collect necessary information from the service server 10 and predict the recovery completion time.
  • the control unit 11 causes the time prediction unit 15 to predict the time when all the inspection steps will be completed based on the predicted times obtained in steps S15 and S17, and obtains the predicted times. Waiting time, examination time, recovery time, examination result explanation time, medicine reception time, accounting processing time, etc. are required until the examination is completed. , consider these times to predict the completion time of the entire inspection process. It is also possible to estimate the completion time of all the examination processes by taking into consideration the condition information of the subject of the endoscopic examination, the congestion state of the hospital where the endoscopic examination is performed, and the operation status of the staff.
  • the control unit 21 causes the time prediction unit 15 in the service server 10 to predict the completion time.
  • the estimated time is acquired and displayed on the UI section 24 .
  • the control unit 21 may collect necessary information from the service server 10 and predict the completion time.
  • step S21 After displaying the expected completion time of the entire examination process, it is next determined whether or not the subject has left the hospital (S21).
  • the user terminal 20 uses a positioning system such as GPS to determine whether the subject has left the medical facility.
  • the process returns to step S15, the above-described operation is performed, and the display of the expected time for the entire examination process is updated. That is, since the examination end time, the expected recovery completion time, etc. at the medical facility change according to the situation, in this step, the examination completion time is predicted and displayed in consideration of the change in the situation.
  • the result of determination in step S21 is that the patient has left the hospital, the flow of this main operation ends.
  • step S21 in addition to leaving the hospital, it may be determined whether the subject has gone to a parking lot, got into a car, started using public transportation, or has returned home. It is sufficient if the end of the support by the safety app can be determined.
  • the process returns to step S15 in FIG. 2, the process may return to step S17 if the inspection has already been completed, or the process may return to step S19 if the recovery has already been completed. can be
  • step S21 the control unit 11 in the service server 10 controls the current Ask the service server 10 to send the location.
  • the expected start time of an examination such as an endoscopy is obtained, and based on this start time, advice is given to the examinee about when to start taking the cleansing agent. (See S1 and S3).
  • the system obtains the expected start time of the examination according to the subsequent change in the situation, calculates the departure time by taking into consideration the time required to move from the current location to the medical facility, and at this departure time, alarms the departure is announced (see S7 to S13).
  • waiting time, examination time, recovery time, examination result explanation time, accounting processing time, etc. take time until the examination is completed.
  • the completion time of the process is predicted and displayed (see S15-S19). Therefore, the examinee can predict how long the examination will take, and can receive the examination with peace of mind.
  • the examination end time and the recovery completion time are predicted based on the information from the examination room information acquisition unit 37 and the recovery room information acquisition unit 39 (see S15 and S17).
  • Information on rooms (not only rooms but also places (spaces)) in medical facilities such as waiting rooms, pretreatment rooms, rooms for notifying test results (examination rooms, etc.), accounting rooms, etc., and conducting tests
  • Other information such as the schedule of the endoscopist in charge may be used to predict the start and end times of each action and display advice.
  • step S5 the cleanliness check operation in step S5 (see FIG. 2) will be described.
  • the subject takes the cleansing agent at home or the like (excluding medical facilities) to clean the intestine.
  • the examinee is provided with advice necessary for taking the cleansing agent, and furthermore, based on the image of defecation, it is determined whether or not the cleansing has been performed sufficiently.
  • step S21 it is first determined whether cleansing is necessary and it is time to drink (S21).
  • step S3 the start-of-drinking alarm is displayed in step S3 (FIG. 2)
  • the subject must take the cleansing agent at predetermined time intervals.
  • the control unit 11 determines whether or not the cleansing agent must be drunk and a predetermined time has passed since the previous drinking.
  • the control unit 11 acquires information about the taking status of the cleansing agent of the subject from the user terminal 20 and makes a determination.
  • the control unit 21 checks whether the subject drank the cleansing agent. 24 based on input information and the like.
  • the ease of washing is inferred based on the subject's profile and lifestyle (S23).
  • a subject drinks a detergent to cleanse the intestinal tract
  • the easiness of cleansing differs from person to person, and an appropriate guide should be displayed when the subject drinks the cleanser according to the ease of cleansing. Therefore, this step infers the subject's ease of cleaning.
  • a user's profile is recorded in the recording unit in the user terminal 20 or in the inspection result recording unit 17 of the service server 10 .
  • the behavior of the user for example, what time he gets up, what time he has breakfast, lunch, and dinner, and what time he goes to bed, etc.
  • the examination result recording unit 17 also records the results of various medical examinations of the subject. Using these pieces of information, an inference engine provided in the service server 10 is used to infer ease of cleaning by inputting the above information.
  • the amount of detergent is displayed (S25). Since the subject may not know how much of the cleansing agent to drink, in this step, the control unit 11 supplies the previously stored cleansing agent according to the cleansing agent used by the subject for cleaning. The amount is transmitted to the user terminal 20 through the instruction transmission unit 16 and displayed on the UI unit 24 . At this time, the amount of cleansing agent to be taken for a certain period of time may be adjusted according to the ease of cleansing. This display will be described later with reference to FIG. 9B. It should be noted that when the application software of FIG. 2 is mainly executed in the service server 10, the control unit 21 causes the UI unit 24 to display the detergent amount transmitted from the instruction transmission unit 16. FIG. Alternatively, the control unit 21 may store in advance the amount of cleansing agent to be taken every time, and display the amount of cleansing agent to be taken on the UI unit 24 based on the stored amount of cleansing agent.
  • the control unit 11 collects the above-described information in steps S23 and S25, and based on the information, determines the amount of cleaning agent. You may infer the ease of doing so. In addition, inferences may be made about the possibility of polyps (possibility of treatment related to the risk of fluctuations in examination time). Also, if an inference engine is provided in the user terminal 20, this inference engine may be used in step S23. In this embodiment, the inference engine is used to infer the ease of cleaning (whether the presence or absence of polyps). good) may be predicted (determined).
  • the control unit 11 confirms the subject's declaration of intention made on the user terminal 20 .
  • the control unit 11 may confirm the subject's expression of intention on the UI unit 24.
  • FIG. The user terminal 20 may be provided with a give-up button or the like in addition to the give-up icon so that the subject can operate the give-up button or the like.
  • step S27 if it is difficult to drink, the image is checked at the hospital via the server, and whether or not it is necessary to drink more detergent is input (S29). In order to perform an endoscopy, it is necessary to ensure that there is no stool remaining in the intestinal tract. Therefore, in this step, since the defecation of the subject is photographed by the imaging unit 23 of the user terminal 20, this image is transmitted to the hospital system 30 or 34 via the service server 10 (see screen D4 in FIG. 9B). . The doctor in charge or the like looks at the transmitted image and determines whether or not the patient is sufficiently washed, and determines whether or not it is necessary to take more detergent. In addition, at this time, the subject and the hospital may be allowed to communicate with each other through voice or the like.
  • step S31 it is determined whether or not the hospital has been sufficiently cleaned (S31). In this step, determination is made based on the judgment of the doctor in charge of the endoscopy. The result of this determination is transmitted to the control section 21, and when it is determined that the cleaning is sufficient, the process proceeds to step S47 to display the completion of cleaning. On the other hand, if it is judged that the washing is not sufficient, the judgment result of the hospital is displayed (S33).
  • the control unit 11 transmits the determination result from the hospital system 30 or 34 to the user terminal 20, and the UI unit 24 of the user terminal 20 displays the hospital's determination result, that is, it is necessary to drink detergent. display.
  • the control unit 11 obtains the judgment result of the doctor in charge of the hospital through the service server 10, and sends the judgment result to the UI unit. 24.
  • step S35 wait until the drink is finished (S35).
  • the subject waits until the amount of cleansing displayed in step S23 is completely consumed.
  • the user terminal 20 may be configured to input to that effect.
  • the subject had a bowel movement during the waiting period until the drink was finished.
  • the process advances to step S39 to execute the processes after S39.
  • the cleaning agent is finished, the process returns to step S21 to determine whether or not it is time to drink the next cleaning agent.
  • step S23 and subsequent steps are executed.
  • step S21 determines whether or not there has been a bowel movement (S37). Drinking the cleanser may cause the subject to defecate. If there is a bowel movement, the fact is input to the UI unit 24 of the user terminal 20 (see screen D4 in FIG. 9B). When there is no defecation, it is in a standby state and returns to step S21.
  • the control unit 11 determines based on information from the user terminal 20 .
  • control unit 11 instructs the subject to capture an image of defecation using the imaging unit 23 of the user terminal 20 .
  • the control unit 21 displays advice on the UI unit 24 so that the subject takes an image (see screen D4 in FIG. 9B). Note that when the application software of FIG. 2 is independently executed in the user terminal 20, the control unit 11 instructs the subject to take an image of defecation.
  • the image capturing in step S39 is not limited to capturing an image. If a sensor such as a camera is connected to the toilet bowl, the image and information related to defecation may be obtained from the sensor. In step S39, various information other than optical physical quantities, such as the liquid properties of the water in the flush toilet, the electrical resistance, and the reflectance of ultrasonic waves, are acquired, and the degree of cleansing of the intestinal tract is determined using the changes over time. You may do so.
  • the control unit 11 instructs the user terminal 20 to transmit the photographed image to the service server 10 .
  • the control unit 11 transmits the image. If the user terminal can check the degree of cleanliness, the user terminal 20 may perform the determination without transmitting to the service server 10 .
  • the cleaning level is acquired (S43).
  • the cleanness determination unit 14 determines the cleanness of the intestinal tract of the subject. As the intestinal cleansing progresses, the defecation image becomes clearer, so the level of cleansing can be obtained by analyzing the image. How to determine the cleaning level will be described later with reference to FIGS. 4 to 8. FIG. It should be noted that when the application software of FIG.
  • the control unit 11 acquires the latest cleaning level determination result from the cleanliness determination unit 14 and makes a determination based on this.
  • the control unit 21 may make a determination based on the determination result of the latest cleaning level from the cleanliness determination unit 14, or The determination level in the cleanliness determination unit 14 may be acquired.
  • step S45 If the result of determination in step S45 is that the washing level has not reached a sufficient level, the expected washing end time and the remaining amount (number of times) to drink are displayed (S49).
  • the time prediction unit 15 predicts the amount (number of times) of the cleaning agent required to reach the level at which cleaning is completed and the end time.
  • the schedule management unit 13 or the cleanliness prediction unit 14 in the service server 10 is inquired to acquire the prediction result.
  • the UI unit 24 displays the amount of cleaning agent that the subject takes each time (see, for example, screens D2a to D2c in FIG. 9B). , the timing at which the subject's washing level reaches the testable level Lev can be estimated (see, for example, FIG. 4).
  • This end timing prediction may be a classical logical method (see, for example, FIG. 4, FIG. 7, etc.), or may be an inference method using artificial intelligence AI (for example, 6, 8, etc.).
  • the instruction transmission unit 16 After acquiring the expected result of the amount (number of times) of cleaning agent and the end time, the instruction transmission unit 16 transmits the expected result to the user terminal 20 and causes the UI unit 24 to display it. At the time of this display, an encouraging display such as "Do your best” may be displayed to the subject. After displaying the amount (number of times) of the cleaning agent and the estimated end time on the UI unit 24, the process returns to step S21.
  • step S49 when the application software of FIG. The amount (number of times) of the agent and the end time are predicted, and the result of prediction is displayed on the UI section 24 .
  • a cleaning completion display is performed (S47).
  • the instruction transmitting unit 16 causes the UI unit 24 of the user terminal 20 to display that the washing is completed (see screen D6 in FIG. 9B). Since the washing is completed, the subject can move to the hospital and undergo an endoscopic examination at the hospital (see S11 and S13 in FIG. 2).
  • the washing completion display is performed, the flow for checking the degree of cleanliness is terminated, and the original flow is returned to.
  • step S21 if it is time to drink the detergent, a series of steps from step S23 are executed, and if it is not time to drink, it is determined whether or not there is defecation. .
  • step S21 if it is time to drink the detergent, after displaying the amount of detergent, the process returns to step S21. If not, the difference is that a series of steps from step S27 are executed. That is, the flow is the same as the flow of FIG.
  • step S21 the destination to proceed when the determination result in step S21 is No, the step to proceed after executing step S23, and the step to proceed after executing step S33 are different. be. Since the operation in each step is the same as the flow in FIG. 3A, detailed description is omitted.
  • a defecation image is acquired when the subject drinks the cleansing agent and cleans the intestine (see S39 and S41). (see S43), and advice is given to the subject based on the change in the cleaning level over time (see S47 and S49). Therefore, it is possible to give advice according to the condition of each subject.
  • AI may be used to determine the degree of cleaning of the image, but in the present embodiment, the person in charge at the medical institution makes the determination, so it is possible to provide the subject with peace of mind. In this case, if the intestinal tract appears to be clean as a result of cleansing, "Cleaning completed” is displayed (S47). do it.
  • FIG. 4 is a graph showing changes in cleansing degree, in which the horizontal axis indicates the passage of time from the start of taking the cleansing agent, and the vertical axis indicates cleansing degree.
  • the degree of cleanliness on the vertical axis is lower on the upper side and higher on the lower side, and inspection is possible if the degree of cleanliness is below the level Lev.
  • a solid line is a standard detergency curve Lst showing a change in standard detergency after starting to take the detergency. It is thought that there is an approximate tendency for changes in the degree of cleansing due to bowel movements.
  • This standard detergency curve Lst may be created using AI, or may be created by a classical method (logical method, etc.). In addition, it may be changed based on previous results, gender, age, race, region, and the like. Moreover, it may be changed according to the cleaning agent to be used. The creation of this standard cleaning degree change curve will be described later with reference to FIGS. 5 to 8. FIG.
  • Ra1 to Ra5 are the measured values of the cleanliness of the subject a at each time
  • the dashed-dotted line is the measured values Ra1 to Ra5 of the subject a with respect to the standard cleaning curve Lst.
  • Fig. 10 is a change prediction curve Lesa of the degree of cleanliness of the subject a created in consideration of the above. The change prediction curve Lesa can be used to predict the washing degree of the subject a at each time, and Ra6 and Ra7 are the predicted values. In this example, the amount of cleanser cannot be reduced, but a sense of security can be provided by indicating how long it will take to drink the specified amount of cleanser.
  • the broken line is an alert line La for determining whether or not the degree of cleansing is insufficient when the subject drinks the cleansing agent to cleanse the intestinal tract.
  • the subject's measured value is on the right side of the alert line La, that is, when the degree of cleanliness is in the insufficient direction, the subject is warned.
  • the measured value Ra5 is on the right side of the alert line La, and the cleanliness beyond the alert line La is insufficient, so the service server 10 alerts the hospital.
  • Rb1 and Rb2 are the measured values of the cleanliness of the subject b at each time.
  • the change prediction curve Lesb of the cleanliness can be created with respect to the standard cleanliness curve Lst in consideration of the measured values Rb1 and Rb2 of the subject b.
  • Rb3, Rb4, and Rb5 are the predicted values.
  • the cleaning progresses more than the standard cleaning degree curve Lst, so it is predicted that the cleaning will be completed even if the amount is less than the specified amount. That is, it is possible to roughly estimate from the actual detergency curve and display how much should be drunk.
  • the time required to reach the testable level Lev or below varies among subjects, and in the example shown in FIG. 4, there is a difference in the time difference Tdif.
  • the amount of the cleansing agent to be taken can be reduced approximately in proportion to the time difference Tdif.
  • the degree of cleanliness is measured, and the amount of time required to reach an inspection level or less is estimated in consideration of individual differences, and is presented to the subject. That is, from the standard cleaning degree curve Lst and the actual measured value, it is possible to predict how long it will take and how many times to take the cleaning agent. Also, based on this prediction, the UI unit 24 of the user terminal 20 may display a message such as "How are you?"
  • an image feature quantity F is extracted from the defecation image.
  • the image feature amount F may be a vector value in the RGB color space, or may be an average value of RBG. Also, the feature amount may be calculated using another color space. Further, solid feces may be extracted, and the occupancy rate of the solids in the image may be used as the feature amount.
  • FIG. 5 shows an example of a reference image sequence.
  • the image P1 of the subject's initial bowel movements shows a solid state
  • the subsequent image P2 shows a muddy state
  • the subsequent image P3 shows a state with debris.
  • the image P4 in an inspectable state is a transparent liquid.
  • F_ok be the image feature quantity in the image P4 in the inspection ready state in the reference image sequence.
  • the distance in the feature amount space from the feature amounts F_j and F_ok of each defecation image is defined as D_j, which is defined as the degree of cleanliness. In other words, the smaller the value of D, the closer to the testable state.
  • a standard cleaning curve is then created.
  • the image data of N subjects are plotted in the cleanliness-time space.
  • Clearly different patterns of decreasing tendencies are recorded as different standard patterns (see, for example, the standard detergency curve Lst in FIG. 4).
  • subject basic information that defines a group of patterns of the standard cleaning curve is specified.
  • a standard washing curve Lst is created. Note that different standard washing curves Lst may be created based on the age, sex, etc. of the population.
  • the above-mentioned cleansing curve initially fluctuates greatly depending on the excreted mass, and then changes to a mode in which items stuck to the surface of the intestine are washed away with cleansing agents, so it is determined by the cross-sectional area of the intestinal tract. It may be determined by a first mode of attenuation and a second mode of attenuation determined by the surface area of the intestinal lining. The bowel shape and size may be classified and determined based on the subject's profile.
  • the information regarding the end timing of the process related to the preparation for the endoscopy may be generated according to the meal history information of the examinee and the subject. Further, according to the meal history information, the threshold level of inspection OK may be corrected, or the estimated time and the amount of the intestinal cleansing agent may be corrected, and a guide for completion of cleansing may be presented.
  • the above-mentioned history information may be self-reported by smartphone or terminal input, or may be input verbally into the system by medical staff, or may be determined from menu images taken with a smartphone. .
  • the above washing curve depends on the mass and color of the liquid in the bowel movement, and after the solid waste is discharged, it becomes only liquid, and finally only the scum is visible. Even though it is a liquid, it is not a solution, so after a visible solid appears, it becomes muddy. Thus, in the cleaning curve, it is possible to classify the solid (first class), muddy (second class), and liquid + residue (third class). A curve based on the correlation between the duration of the second class and the temporal change of the third class may be substituted for the cleaning curve, or the end of cleaning may be predicted.
  • Fig. 6(a) shows a method of collecting image data of defecation and generating an inference model.
  • a large amount of defecation image data is collected in association with the subject's basic information and the time since he started taking the cleansing agent.
  • an annotator a person who annotates the collected image data refers to the reference image sequence (see FIGS. 5 and 6B) to determine which class the collected image data belongs to. is given as an annotation to create teacher data.
  • the annotator looks at the defecation image P11, this image refers to the reference image sequence (images P1 to P4) shown in FIG. determine if it is close.
  • the cleaning degrees of images P1 to P4 are 100, 66, 33, and 0, respectively.
  • the defecation image P11 is annotated with "No. 2" A11 from the time when the image P2 is close to "2. muddy state" to create teacher data T11.
  • Teacher data is created by annotating all of the collected image data.
  • this teacher data is used to create an inference model that predicts defecation images and classes. This may be replaced with the distance D in the feature space of the classical method.
  • a standard cleanliness curve Lst can be obtained from the defecation images of many subjects. That is, it is possible to obtain a standard cleansing curve Lst (see FIG. 4) showing how cleansing changes over time when a standard subject drinks cleansing agent.
  • a standard cleansing curve Lst may be created for each subject profile, such as the gender and age of the subject that is the parent set of the teacher data.
  • FIG. 7(a) shows an example of a standard cleaning curve Lstc suitable for user c.
  • the vertical axis indicates the degree of cleansing
  • the horizontal axis indicates the elapsed time after starting to take the cleansing agent.
  • N patterns (N ⁇ M) of standard cleanliness curves Lst close to the subject's basic information are selected from M-pattern standard cleanliness curves Lst created based on basic information such as typical age and sex. , interpolation or the like may be performed to create the standard cleanliness curve Lstc of the subject.
  • the subject drinks the cleansing agent and sends a defecation image to the service server 10 each time he defecates (see S37 to S41 in FIGS. 3A and 3B). ).
  • the degree of cleanliness determination unit 14 calculates the degree of cleanliness from the image of defecation. This calculation may be performed by the cleanliness determination unit 14 by comparing the reference image sequence and the defecation image shown in FIG. 5, or by using an inference model for inference. Also, the degree of cleanliness D may be calculated using the image feature amount.
  • the degree of cleanliness determination unit 14 calculates the degree of cleanliness, it plots the degree of cleanliness on a graph. After plotting multiple cleaning degrees, calculate and display a prediction curve as time-series data. In the example shown in FIG. 7(b), cleanliness Rc1, Rc2, and Rc3 are calculated for each defecation image of subject c. Next, a predicted curve Lc of the degree of cleanliness of the subject c is obtained based on the degrees of cleanliness Rc1, Rc2, and Rc3.
  • An AR model or a Kalman filter may be used as an algorithm for obtaining a predictive curve for the subject's cleanliness.
  • a predictive curve may also be calculated by fitting a standard cleanliness curve to the plotted data of the subject. When the predictive curve is obtained, it is possible to calculate how many more times the cleansing agent must be taken before the examination can be performed, and the subject can be notified of the number of times the cleansing agent is taken (see S49 in FIGS. 3A and 3B).
  • FIG. 8(a) shows a deep learning algorithm.
  • images of defecation of N persons who drank the cleansing agent are acquired (#1).
  • the service server 10 acquires images of the subject's defecation through many user terminals. With the subject's consent, the image acquired in S41 of FIGS. 3A and 3B may be used.
  • FIG. 8(c) shows an example of an image of subject A's defecation. Images PA1, PA2, . In the image PAN of , it has been sufficiently cleaned for endoscopic examination. Similarly, images PB1, PB2, PB3, and PBN are images of defecation of subject B, and the final image PBN is in a state of being sufficiently washed.
  • step #3 since the inspection of subject A is OK at the stage of image PAN, and the inspection of subject B is OK at the stage of image PBN, by this stage, subject A,
  • the amount, number of times, time, etc. of the cleansing agent that B drank are taken as information until the examination becomes possible.
  • the subject A can obtain information until the examination is possible, such as whether he or she drank 1500 ml more, drank 10 more times, or took 2 hours before the examination was passed. .
  • each defecation image is annotated with information until inspection becomes possible to create training data. Since the defecation images for N persons are collected, N pieces of teacher data can be created. Once the teacher data is created, the defecation image is input to the inference engine, and in order to output information until it can be inspected, the weighting of the connections of each input of the neural network of the inference engine is changed to generate an inference model. . Once the inference model is generated, the learning in FIG. 8(a) ends.
  • step S41 of FIGS. 3A and 3B when the service server 10 receives the data of the defecation image, the cleanliness determination unit 14 inputs the received defecation image data to the inference engine.
  • the inference model described with reference to FIG. 8A is set in the inference engine. Inputting image data of bowel movements into the inference engine can estimate the amount, number and/or time of cleansing before inspection is possible.
  • the inference result is output, it is possible to display on the display unit such as the UI unit 24 the estimated time when the cleaning will end and the amount (number of times) of the cleansing agent to be drunk until then (for example, screen D5 in FIG. 9B). reference).
  • “Deep learning” is a multilayer structure of the process of "machine learning” using neural networks.
  • a typical example is a "forward propagation neural network” that sends information from front to back and makes decisions.
  • the simplest forward propagation neural network consists of an input layer composed of N1 neurons, an intermediate layer composed of N2 neurons given by parameters, and N3 neurons corresponding to the number of classes to be discriminated. It suffices if there are three output layers composed of neurons.
  • the neurons of the input layer and the intermediate layer, and the intermediate layer and the output layer are connected by connection weights, respectively, and the intermediate layer and the output layer are added with bias values, so that logic gates can be easily formed.
  • the neural network may have three layers for simple discrimination, but by increasing the number of intermediate layers, it is also possible to learn how to combine multiple feature values in the process of machine learning. In recent years, 9 to 152 layers have become practical from the viewpoint of the time required for learning, judgment accuracy, and energy consumption.
  • a process called “convolution” that compresses the feature amount of an image may be performed, and a “convolution neural network” that operates with minimal processing and is strong in pattern recognition may be used.
  • a "recurrent neural network” fully-connected recurrent neural network
  • which can handle more complicated information and can handle information analysis whose meaning changes depending on the order and order, may be used in which information flows in both directions.
  • NPU neural network processing unit
  • machine learning such as support vector machines and support vector regression.
  • the learning involves calculation of classifier weights, filter coefficients, and offsets, and there is also a method using logistic regression processing. If you want a machine to judge something, you have to teach the machine how to judge.
  • a method of deriving image determination by machine learning is used.
  • a rule-based method that applies rules acquired by humans through empirical rules and heuristics may be used.
  • FIG. 9A is an example of a drinking start alarm performed in step S3 of FIG.
  • the flow shown in FIG. 2 is the operation in the case where the subject drinks a cleansing agent and cleanses the intestinal tract in order to undergo an endoscopic examination at home or the like, and then goes to the hospital for the examination. indicates
  • advice to start drinking is presented to the subject (see S3 in FIG. 2).
  • a screen D1 in FIG. 9A shows an advice image at this time, and in this example, the UI unit 24 displays “Please start drinking.
  • the required time may be changed and displayed using past cleaning time results. For example, if the degree of cleanliness was sufficient for the inspection in the past one and a half hours, it may be displayed that approximately one hour and forty-five minutes are required.
  • FIG. 9B shows advice display on the UI section 24 of the user terminal 20 from when the user starts drinking the cleaning agent until the cleaning is completed.
  • Screens D2a, D2b, and D2c are display screens for the amount of detergent. Since there are several types of detergents, the display should correspond to the detergent given to the subject.
  • the screen D2a shows how to take MoviPrep (registered trademark) as the detergent
  • the screen D2b shows how to take Mouben (registered trademark) as the detergent
  • the screen D2c displays Visiclear as the detergent. (registered trademark) is displayed.
  • an icon Iph is displayed for making a voice call with the hospital where the subject is examined.
  • the subject feels that it is difficult to drink the cleaning agent, the subject can call the hospital and talk with the person in charge by touching the icon Iph.
  • a screen D3 shown in FIG. 9B is a screen when calling a hospital.
  • the person in charge interacts with the person in charge and sees the image of the defecation, thereby determining whether to continue taking the cleansing agent, stop taking the cleansing agent, stop taking the cleansing agent and go to the hospital, etc. (See S29 in FIGS. 3A and 3B).
  • a toilet icon Ito is displayed for receiving advice when the subject goes to the toilet to defecate.
  • a screen D4 is displayed to prompt the subject to photograph the defecation (see S39 in FIGS. 3A and 3B).
  • the cleanliness determination unit 14 determines the cleanliness based on the received image.
  • the cleansing degree determination unit 14 also predicts the amount (number of times) of the cleansing agent to be taken until the intestinal tract is sufficiently cleansed to receive the endoscopy and the end time.
  • the instruction transmission unit 16 in the service server 10 transmits the prediction result to the user terminal 20 and causes the UI unit 24 to display it as shown in screen D5. In this example, it is predicted that 33% of the required amount will be consumed, eight bowls of cleanser will be consumed, and cleansing will be completed at approximately 10:55.
  • the service server 10 may notify the hospital system 31 or 34 of the intestinal cleansing degree of the subject.
  • the instruction transmission unit 16 indicates that cleaning is completed.
  • the user terminal 20 displays what has been done. In the example shown in FIG. 9B, completion is displayed on the UI section 24 as shown in a screen D6. Also, at this time, the service server 10 may notify the in-hospital system 31 or 34 of the hospital that the intestinal tract cleansing of the subject has been completed.
  • FIG. 9C shows an advice display on the UI section 24 of the user terminal 20 when the subject leaves home or the like and moves to a hospital after completing intestinal cleansing with cleansing agent.
  • the screen D6 in FIG. 9B is displayed.
  • a departure alarm is displayed on the user terminal 20 (see S11 and S13 in FIG. 2).
  • a screen D7 in FIG. 9C shows a display example of a departure alarm. The departure alarm not only informs the subject that it is time to depart, but may also obtain and display reference information for movement, such as traffic conditions from home to the hospital.
  • the UI section 24 displays an examination schedule as shown in screen D8 (see S19 in FIG. 2).
  • the schedule management unit 13 and the time prediction unit 15 predict all the steps of the examination of the subject, and the instruction transmission unit 16 causes the UI unit 24 to display the examination schedule.
  • the time based on the actual results for the process that has already been completed is displayed by changing the character size, color, and typeface (in a display that makes it possible to distinguish between the expected time and the actual time). good too. For example, if the scheduled start time of the examination is 13:00 and the scheduled end time of the examination is 13:30 at the time of arrival at the hospital, the screen D8 is displayed.
  • the time prediction unit 15 predicts the scheduled examination start time to be 13:05 based on the congestion status of the examination room, etc.
  • the predicted time is displayed. Also, if the examination actually started at 13:04 and ended at 13:20, those times are displayed on the screen D8.
  • the time prediction unit 15 predicts the time ahead of schedule in consideration of this time, so the time predicted ahead of time by the time prediction unit 15 is displayed. do.
  • the subject takes a cleansing agent and cleanses the intestinal tract at home or the like other than the medical facility, moves to the medical facility, and undergoes endoscopy. I am going to have a mirror examination.
  • the state of where the subject of endoscopy is (S5 in FIG. 2, and how the washing state is (see S7 in FIG. 2, S43 and S45 in FIGS. 3A and 3B), etc.) obtain information, estimate the progress of the inspection based on these status information (see, for example, S9, S15, S17, S19 in FIG. 2, S49 in FIGS. 3A and 3B, etc.), and based on this progress Advice is provided (see S13 in Fig. 2, S49 in Figs. 3A and 3B, etc.) Therefore, the examinee can receive the advice necessary to properly undergo an endoscopy. can be safely inspected.
  • FIG. 10 the subject drinks the cleansing agent at home or the like, not at the hospital, and after completing the intestinal tract cleansing, moves to the hospital and undergoes the endoscopy.
  • the subject moves to the hospital, drinks the cleansing agent there, and performs an endoscopic examination after cleaning the intestinal tract. Therefore, the difference between the first embodiment and the second embodiment is where the subject performs intestinal cleansing.
  • FIG. 10 is a block diagram showing the overall configuration of the endoscopy support system according to the second embodiment.
  • This endoscopy support system comprises a service server 10, a user terminal 20, and in-hospital systems 30 and 34, as in the first embodiment.
  • the internal configurations of the service server 10, the user terminal 20, and the hospital system 30 are the same as those of the first embodiment shown in FIG.
  • the in-hospital system 34 has a control unit 35, a communication unit 36, a waiting room information acquisition unit 37, an examination room information acquisition unit 38, and a recovery room information acquisition unit 39, each of which corresponds to the first embodiment shown in FIG. Since the configuration is the same as that of , detailed description thereof is omitted.
  • the in-hospital system 34 has a pretreatment room information acquisition unit 40 in addition to the units described above. In the second embodiment, the subject moves to the hospital and then performs pretreatment such as drinking a cleansing agent.
  • the pretreatment room is a room where the examinee performs pretreatment, such as taking detergent, before performing an endoscopy.
  • the pretreatment room information acquisition unit 40 acquires information on pretreatment performed by the subject.
  • the pretreatment room information acquisition unit 40 has an imaging unit such as a camera and a sound acquisition unit such as a microphone, etc., placed in the pretreatment room, and obtains various information regarding pretreatment performed by the subject in the pretreatment room. get.
  • Information in the pretreatment room is acquired based on the information collected by the imaging unit and the sound collection unit.
  • the pretreatment information acquisition unit 40 can directly communicate with the user terminal 20, it can detect that the subject having the user terminal 20 is present in the pretreatment room.
  • the hospital may lend a dedicated information terminal to the subject to collect information on the subject.
  • the control unit 11 in the service server 10 cooperates with the control unit 21 in the user terminal 20 to control each unit in the service server 10, and furthermore, the hospital system 20 and 35.
  • the flow shown in FIG. 11 is described on the premise that the service server 10 takes the lead in providing advice for the subject to the user terminal 20 when a safety application for examination assistance is installed in the user terminal 20. is doing.
  • the service server 10 functions as an examination guide device.
  • the user terminal 20 it is of course possible for the user terminal 20 to play a central role and receive support from the service server 10 to provide advice to the subject.
  • the user terminal 20 functions as an examination guide device.
  • the second embodiment is greatly different in that the subject drinks the cleaning agent at the hospital. Therefore, when compared with the flow of the main operation shown in FIG. 2 according to the first embodiment, steps S1 to S5 and S9 performed by the subject at home are omitted, and step S10 is added instead. Further, steps S14a to S14c are added as the processing after the subject arrives at the hospital (S14c in FIG. 11 is the same as S5 in FIG. 2), steps S15 and S17 are omitted, and step S23 is omitted. Added. Therefore, the flowchart of FIG. 11 will be described, focusing on the differences from the first embodiment.
  • the current location is first acquired (S7).
  • this embodiment assumes that the subject moves to a medical facility such as a hospital, takes a cleansing agent there, and cleans the intestines.
  • the control unit 11 instructs the service server 10 to transmit information about the current position of the subject acquired by the position detection unit such as GPS in the user terminal 20, and acquires the current position of the subject. do. 11 is executed on the user terminal 20, the control unit 21 acquires the current location information by the location detection unit in the user terminal 20 in this step.
  • the estimated pretreatment start time is acquired next (S10).
  • the time at which the pretreatment such as taking a cleaning agent at the hospital or the like is started is acquired.
  • This pretreatment start time can be obtained by the control unit 11 inquiring of the schedule management unit 33 of the hospital or the like where the endoscopy is performed.
  • the control unit 11 inquires of the schedule management unit 33 about the scheduled examination start time, and the time prediction unit 15 predicts the predicted pretreatment start time by calculating backward from the scheduled examination start time.
  • the pretreatment start expected time may be obtained based on the reference time and the time predicted by the time prediction unit 15 based on the required time of the process performed in the hospital.
  • 11 is executed on the user terminal 20, in this step, the control unit 21 inquires of the schedule management unit 33 via the service server 10 to determine the estimated pretreatment start time. to get
  • the control unit 21 calculates the movement start time to the medical facility based on the current location information acquired in step S7 and the information on the pretreatment start expected time acquired in step S10.
  • the departure time may be calculated by setting the subject's request for the means of transportation from the home or the like to the hospital or the like.
  • the traffic conditions in front of the medical facility may be taken into account in the calculation.
  • the control unit 21 calculates the departure time and determines whether or not the current time is the departure time.
  • step S11 If the result of determination in step S11 is that it is the departure time, a departure alarm is notified to the subject (S13). Since the departure time has come, the control unit 11 causes the UI unit 24 of the user terminal 20 to display a departure alarm.
  • a departure alarm may be provided by a sounding member. When the departure alarm is announced, the examiner starts moving from his home or the like to the medical facility.
  • the control section 21 may cause the UI section 24 to announce a departure alarm.
  • the control unit 11 acquires information on the current location from the user terminal 20 . As a result of this determination, if the vehicle has not arrived at the hospital or the like, the vehicle enters a standby state. Note that when the application software of FIG. 11 is independently executed in the user terminal 20, in this step, the control section 21 determines based on the detection result of the position detection section in the user terminal 20.
  • step S14b acquisition of the in-hospital task estimated time is started (S14b).
  • in-hospital tasks such as pretreatment (washing), examination, rest (recovery), explanation of examination results, and accounting (settlement).
  • the control unit 11 acquires information about the expected times of these tasks from the schedule management unit 33 within the hospital system 30 .
  • 11 is executed on the user terminal 20, the control unit 21 acquires the information from the schedule management unit 33 in the hospital system 30 through the service server 10 in this step.
  • the cleanliness is checked (S14c).
  • This cleanliness check is performed in the same manner as in step S5 of FIG.
  • the subject drinks a cleansing agent to sufficiently cleanse the intestinal tract.
  • the control unit 11 acquires an image of the subject's defecation by the photographing unit 23 through the user terminal 20 and transmits the image to the service server 10 through the communication unit 22 .
  • the cleanliness determination unit 14 in the service server 10 determines the cleanliness based on the image of the subject's defecation and the like, and determines whether or not a sufficient cleaning level has been reached.
  • the operation of this cleanliness check is the same as the flow of FIG. 3A or FIG. 3B described above, so detailed description will be omitted.
  • the UI unit 24 of the user terminal 20 displays, for example, advice as shown in FIG. 9B described above. Note that when the application software of FIG. 11 is independently executed in the user terminal 20, in this step, the control unit 21 cooperates with the cleanliness determination unit 14 in the service server 10 to judge.
  • the control unit 11 estimates the expected time of all the steps of the inspection while checking the progress of the inspection and the schedule in the schedule management unit 33 , and displays the estimated time on the UI unit 24 of the user terminal 20 . This display will be described later with reference to FIG. Note that when the application software of FIG. 11 is executed independently in the user terminal 20, in this step, the control unit 21 cooperates with the service server 10, the schedule management unit 33, etc., and executes the entire examination process. The estimated time is estimated, and this estimated time is displayed on the UI section 24 .
  • the control unit 11 instructs the service server 10 to transmit information about the current position of the subject acquired by a position detection unit such as GPS in the user terminal 20, and acquires the current position of the subject. and judge.
  • a position detection unit such as GPS in the user terminal 20
  • the waiting room information acquisition unit 37, the examination room information acquisition unit 38, and the recovery room information acquisition unit 39 in the hospital system 34 If location information can be obtained, this information may be used.
  • step S21 If the result of determination in step S21 is that the user has not left the hospital or the like, the process returns to step S19, and the above operations are repeated. Instead of returning to step S19, the process may return to step S14c to check the cleanliness. In this case, step S14c may be skipped if cleaning has already been completed. Note that when the application software of FIG. Get information from and judge.
  • step S21 If the result of determination in step S21 is that the patient has left the hospital, acquisition of the in-hospital task estimated time ends (S23).
  • the estimated time of the in-hospital task was started to be acquired in step S14b and displayed on the UI section 24 of the user terminal 20 (see FIG. 12).
  • the subject has finished all the tasks for the examination, so the acquisition of the expected time ends, and the flow of the main operation ends.
  • the time prediction unit 15 predicts the start time of the in-hospital task (see S14b and S23 in FIG. 11).
  • the in-hospital schedule can be displayed on the UI unit 24 of the user terminal 20 based on the start time of the in-hospital task.
  • FIG. 12 is an example of displaying an in-hospital task schedule, similar to the screen D8 in FIG. 9C, where CT indicates the current time. Note that, unlike the screen D8 in FIG. 9C, washing is performed at the medical facility in the second embodiment. Since the schedule of in-hospital tasks is displayed on the UI unit 24 of the user terminal 20 in this manner, the subject can easily know what to do next, when the task will end, and the like.
  • the subject takes a cleansing agent to wash the intestinal tract and undergoes an endoscopy.
  • state information such as the washing state of the subject for endoscopic examination (see S14c in FIG. 11, S43 and S45 in FIGS. 3A and 3B, etc.) is acquired, and this state information is acquired.
  • S11 and S14a in FIG. 11, and S49 in FIGS. 3A and 3B See, for example, S11 and S14a in FIG. 11, and S49 in FIGS. 3A and 3B), and advice is provided based on this progress (S13 in FIG. 11). , S49 in FIGS. 3A and 3B). Therefore, the subject can receive advice necessary for appropriately undergoing the endoscopic examination, and the subject can undergo the examination with peace of mind.
  • the washing state of the subject undergoing the endoscopy (S5 in FIG. 2, FIG. 3A and FIG. 3B) is determined.
  • S43, S45, S14c of FIG. 11, etc.) is obtained, and the progress of the examination is estimated based on these state information (for example, S5 of FIG. 2, S14a of FIG. 11, FIG. 3A and See S49 and the like in FIG. 3B), and advice is provided based on this progress (see S49 and the like in FIGS. 3A and 3B). Therefore, the subject can receive advice necessary for appropriately undergoing the endoscopic examination, and the subject can undergo the examination with peace of mind.
  • each embodiment of the present invention provides an examination guide method for estimating the progress of the endoscopy-related process of the examinee based on the state information of the examinee and displaying information on the progress. is doing.
  • the same thing is repeatedly obtained, and the same thing becomes a specific transparency based on the temporal change in the transparency (cleaning degree) of the obtained thing.
  • the cleaning end time can be determined by performing a plurality of measurements (analysis of image capturing results, etc.) over a specific period of time in the first half of cleaning.
  • the cleaning end time may refer to a specific cleaning transition model, or may be determined by a plurality of patterns, such as the first model if the change is fast and the second model if the change is slow in a plurality of measurements.
  • the washing state of the subject undergoing the endoscopy (S5 in FIG. 2, S43 in FIGS. 3A and 3B, S45, see S14c in FIG. 11, etc.), etc.), and use status at the medical facility where the subject undergoes endoscopic examination (at least one of waiting, pretreatment, examination, recovery, and accounting (for example, S15 and S17 in FIG. 2), estimates the time related to the endoscopy based on the cleaning state information and the information on the usage status, and this estimation Based on this, advice on clinical examinations is displayed (see S19 in FIG. 2, for example). For this reason, the subject can predict each time in the endoscopic examination consisting of each action, so that the subject can easily make a plan and can receive a medical examination with peace of mind.
  • the examination guide method estimates the degree of progress of the process related to the preparation for the endoscopy examination of the examinee based on the temporal change of the status information of the examinee (for example, , S37 to S43 in FIGS. 3A and 3B), and based on the estimated degree of progress, information regarding the end timing of the preparation process is generated (see S49 in FIGS. 3A and 3B, for example). Therefore, according to the examination guide method of the present embodiment, it is possible to receive advice necessary for appropriately undergoing examinations involving medical procedures such as endoscopic examinations and clinical examinations.
  • the degree of progress of the preparation process for undergoing the examination (for example, the degree of progress in the degree of cleansing when intestinal tract cleansing is performed) is determined, and based on this determination result, Advice on the timing of the end of the preparation process can be received.
  • the degree of progress of the preparation process is the degree of progress of the intestinal cleaning state of the endoscopy examinee (for example, FIG. 4), and the intestinal cleaning state is constant. is set as the end timing of the process related to preparation (for example, S43 and S49 in FIGS. 3A and 3B, testable level Lev in FIG. 4, and FIGS. 7 and 8). That is, in each embodiment, the end timing of preparation is predicted based on the degree of progress of intestinal cleansing, and the examinee can receive appropriate advice on the timing of end of preparation.
  • the temporal change of the state information is the temporal change of the excretion image (see, for example, FIGS. 5 and 6B).
  • the future temporal change in the intestinal cleansing degree is estimated from the time when the excretion image was taken (for example, FIG. 4, FIG. 7(b)), and the estimated temporal change in the cleansing degree is
  • the timing when a certain level is reached is the end timing of the intestinal cleansing state (see, for example, S49 in FIGS. 3A and 3B, the testable level Lev in FIG. 4, and FIGS. 7 and 8). That is, in each embodiment, the cleansing state of intestinal cleansing is repeatedly obtained (see, for example, S37 to S41 in FIGS.
  • the time from the start of intestinal washing of the endoscopy examinee is further taken into account to estimate the temporal change in the degree of washing (for example, in FIG. 2).
  • S3, S5, screen D8 in FIG. 9C, S19 in FIG. 11, see FIG. 12, etc. For this reason, after the examinee starts drinking the cleansing agent, it is possible to receive advice on an appropriate end timing.
  • the intestinal cleansing agent drank by the endoscopy examinee is estimated, and this estimated amount (approximately proportional to the time from the start of cleansing) is further added, It estimates the temporal change of the degree.
  • the amount of cleanser is displayed in step S25 (eg, screens D2a-D2c in FIG. 9B), and the patient can use the amount of cleanser and the number of times it has been taken in the future. It is possible to estimate the temporal change of the cleaning degree of
  • a guide on how to take drugs for intestinal cleansing of the endoscopy examinee is displayed (for example, S49 in FIGS. 3A and 3B, and S49 in FIG. 9B). See screens D2a to D2c, etc.). In many cases, patients do not know how to take medicines for intestinal cleansing, and the indication of how to take medicines enables them to take examinations appropriately.
  • the guide display is changed according to the medicine that the endoscopy examinee takes for intestinal cleansing (for example, screens D2a to D2c in FIG. 9B, etc.). reference). Since the guide display is switched according to the drug, it is possible to prevent the wrong way of taking the drug.
  • the time to take the drug, the amount of the drug to be taken, or the amount other than the drug to be taken with the drug is displayed as a guide on how to take the drug (for example, the screen of FIG. 9B). D2a to D2c, etc.). Specifically, since the time to drink, the amount to drink, etc. are displayed, it is possible to prevent the examinee from taking the wrong way of drinking.
  • an excretion image obtained by photographing the state of excretion of the subject undergoing endoscopy and a plurality of excretion images are compared with the excretion progress model and the feature amount, and the washing is performed. It estimates the time change of the degree and estimates the end timing of the intestinal cleansing state (see, for example, S39 to S43 in FIGS. 3A and 3B, FIG. 5, etc.). That is, the excretion image of the examinee is compared with the excretion process model (see, for example, the reference image sequence in FIG. 5), and the feature amount of the excretion image of the examinee and the feature amount of the excretion process model are used to determine the degree of cleanliness.
  • the excretion image is used to estimate the end timing of the intestinal cleansing state (see, for example, S45 and S49 in FIGS. 3A and 3B, and FIGS. 6 and 8).
  • the AI model learned using at least one of the time until the completion of washing and the amount of detergent is input to estimate the end timing of the intestinal cleansing state (see FIGS. 6 and 8, for example). It is possible to generate an AI model using big data or the like, and use this AI model to estimate the end timing of the intestinal cleansing state.
  • an AI model trained using a plurality of learning data sets in which excretion images in which the state of being excreted is annotated with the degree of cleanliness is used for endoscopic examination.
  • the degree of cleansing is estimated by inputting an excretion image in which the state of a person excreting is captured, and the end timing of the intestinal cleansing state is estimated (for example, see FIGS. 6, 8, etc.).
  • a plurality of learning images annotating the cleaning time or the amount of cleaning agent taken until the inspection is possible is performed on the plurality of excretion images in which the excretion state is photographed.
  • a plurality of excretion images in which the subject's excretion state is photographed are input to an AI model learned using a data set to estimate the timing of rinsing completion (see, for example, FIG. 8). Therefore, if there is big data, it is possible to easily estimate the cleaning end timing.
  • the end timing of the process related to preparation and the examination start prediction determined by the examination time lag situation of the examinee (including washing) before the examinee of the endoscopy examination.
  • Guide time see, for example, S15 to S19 in FIG. 2, FIG. 9C, S19 in FIG. 11, and FIG. 12).
  • Endoscopy has various stages such as cleaning, examination, recovery (rest), explanation of results, and accounting. If there is a discrepancy, the examination start time of the consultation receiving examination assistance will change. Even in this case, according to the present embodiment, it is notified that the examination start time has changed according to the shift of the previous examinee, which is convenient.
  • information regarding the end timing of the process related to the preparation for the endoscopy is generated according to the meal history information of the examinee. Since the degree of difficulty in leaving residue varies depending on the patient's meal history, it is possible to accurately generate information regarding the end timing of the preparation process by using this history information.
  • the second timing determined according to the treatment after the first timing is estimated.
  • endoscopic examination has many stages of treatment, and the time required for each treatment affects the start timing of the next treatment, so the next timing should be estimated according to each individual timing.
  • the cleaning end timing may be estimated by appropriately combining the time from the start of cleaning, the amount of cleaning agent consumed, the degree of progress of the cleaning state, the classical method or AI, the classical method and AI, or the like.
  • the examination guide method according to the status information of the patient undergoing the endoscopic examination, the congestion situation of the hospital where the endoscopic examination is performed, or the operation status of the staff, The progress of the process is estimated, and a guide corresponding to the estimated progress is displayed (for example, see S15 to S19 in FIG. 2, S19 in FIG. 11, etc.). That is, in each embodiment, the end time is estimated and displayed in consideration of the in-hospital conditions of the hospital where the endoscopy is to be performed.
  • the status information of the endoscopic examination examinee is the progress of the process related to the endoscopic examination (actual value, how far the examinee has progressed) and/or the treatment performed by the examinee. It is a risk that indicates the possibility of receiving an endoscopy, and the start time of the endoscopy or the end time of the endoscopy is estimated according to the operation status of the endoscopy room and/or the endoscopy staff.
  • the endoscopy examination room and/or the endoscopy staff performing the endoscopy performed by the examinee perform the second endoscopy for other examinees.
  • the congestion state of the hospital where the endoscopy is performed means the congestion state of any one of waiting, pretreatment, examination, recovery, test result notification, and accounting, or It is a situation that deviates from the standard time (standard time at the facility) when carrying out the process by space.
  • the examination guide apparatus in each embodiment of the present invention includes a state acquisition unit that acquires state information of the endoscopy examinee, and a state information of the endoscopy examinee based on the temporal change of the acquired state information. and an advice generation unit for displaying advice on examination preparation based on the estimated progress.
  • the service server 10 mainly performs estimation of the examination preparation progress of the examinee and generation of advice based on this estimation.
  • these processes may be performed not only in the service server 10 but also in the user terminal 20 or in the hospital systems 30 and 34 . Therefore, some of the functions in the service server 10 may be executed by the user terminal 20 or the hospital systems 30 and 34 .
  • the above-described preparation for examination is preparation for cleaning the digestive tract, and the state acquisition unit acquires information concerning the excretion of the endoscopy examinee (see, for example, S39 and 41 in FIGS. 3A and 3B). ), the progress estimating unit estimates the progress of gastrointestinal cleansing of the endoscopy examinee as the progress (for example, see S43 in FIGS. 3A and 3B). In addition, the progress estimating unit estimates the progress of gastrointestinal cleansing, the time required to reach a certain degree of cleansing, or the number and amount of cleansing agent intakes (for example, S49 in FIGS. 3A and 3B; 8, etc.), and the advice generating unit generates information based on the estimation result of the progress estimating unit (for example, refer to the instruction transmitting unit 16 in FIG. 1, S49 in FIGS. 3A and 3B, etc.).
  • the examination guide apparatus has a recipient request input unit for inputting a request of the endoscopy examinee, and the advice display unit considers the request of the endoscopy examinee. to display advice.
  • the examination guide method acquires the status information of the examinee of the clinical examination, estimates the progress of the examination preparation of the examinee based on the temporal change of the status information, and prepares for the clinical examination based on the progress. Display relevant advice.
  • the examination guide method in each embodiment of the present invention has a first timing (for example, start timing) (including cleaning) and a second timing (for example, end timing) that is determined according to the treatment after the first timing (for example, the end timing) depending on the hospital congestion situation. timing) is predicted (estimated). That is, in a hospital or the like where examinations are performed, there are a plurality of examinees, and the state of congestion in the hospital is not constant. Therefore, in carrying out examination guidance, in each embodiment, prediction (estimation) is made in consideration of the congestion situation in the hospital.
  • the examination guide apparatus includes a state acquisition unit that acquires state information of a patient undergoing endoscopy (see, for example, S5 in FIG. 2, FIGS. 3A and 3B, S14a in FIG. 11, etc.). ), a usage status acquisition unit (see, for example, S15, S17, etc. in FIG. 2) that acquires the usage status at the medical institution where the examinee undergoes the endoscopic examination, and an endoscopic examination based on the status information and the usage status has a time estimating unit (see, for example, S19 in FIGS. 2 and 11, screen D8 in FIG. 9C, FIG. 12, etc.) for estimating the time related to .
  • a time estimating unit see, for example, S19 in FIGS. 2 and 11, screen D8 in FIG. 9C, FIG. 12, etc.
  • this examination guide apparatus may have an advice display section that displays advice related to endoscopy based on estimation. That is, this examination guide apparatus estimates the time related to the examination, such as the start time and end time of the endoscopic examination, depending on the usage status of the endoscope used for the endoscopic examination and the examination room.
  • the above-mentioned usage status is the usage status in a space where each action related to at least one of waiting, pretreatment, examination, treatment, recovery, and accounting is performed in a medical institution. Predicting the start or end time, the advice display section displays advice regarding the start of movement to the medical institution, the start or end of each action, and the completion of all actions at the medical institution.
  • the examination guiding method includes a progress estimating unit that acquires state information of a patient undergoing a clinical examination and estimates the progress of preparation for examination of the patient based on temporal changes in this state information. (see, for example, S49 in FIGS. 3A and 3B) and an advice generation unit (see, for example, S49 in FIGS. 3A and 3B) for displaying advice related to examination preparation based on the progress.
  • an endoscopy support method acquires status information of a patient undergoing a clinical examination, acquires usage status at a medical institution where the patient undergoes the clinical examination, obtains the status information, Based on the usage status, the time related to the clinical test is estimated, and advice related to the clinical test is displayed based on the estimation.
  • endoscopic examination has been mainly described, but the present invention is not limited to endoscopic examination, and can be applied to clinical examination in which various preparations, pretreatments, etc., are performed before examination.
  • the service server 10 has been described as providing advice to the subject when undergoing an endoscopy, but the service server is configured to provide services by a plurality of servers. Alternatively, it may be provided only within the user terminal 20 . In this case, the user terminal 20 may be provided with the functions of the schedule management unit 13, the cleanliness determination unit 14, the time prediction unit 15, and the like, so that it can cooperate with the hospital systems 30 and .
  • the explanation was mainly about undergoing endoscopic examination, various preparations and pretreatments are required not only for endoscopic examination but also for clinical examination. Embodiments can be applied.
  • logic-based determination was mainly explained, and determination was made by inference using machine learning in part. Either logic-based determination or inference-based determination may be appropriately selected and used in this embodiment. In addition, in the process of judgment, a hybrid judgment may be made by partially utilizing the merits of each.
  • control units 11, 21, 31, and 35 have been described as devices configured from CPUs, memories, and the like.
  • part or all of each part may be configured as a hardware circuit, and is described in Verilog, VHDL (Verilog Hardware Description Language), etc.
  • a hardware configuration such as a gate circuit generated based on a program language may be used, or a hardware configuration using software such as a DSP (Digital Signal Processor) may be used. Of course, these may be combined as appropriate.
  • control units 11, 21, 31, and 35 are not limited to CPUs, and may be elements that function as controllers, and the processing of each unit described above is performed by one or more processors configured as hardware.
  • each unit may be a processor configured as an electronic circuit, or may be each circuit unit in a processor configured with an integrated circuit such as an FPGA (Field Programmable Gate Array).
  • FPGA Field Programmable Gate Array
  • a processor composed of one or more CPUs may read and execute a computer program recorded on a recording medium, thereby executing the function of each unit.
  • the service server 10 includes a control unit 11, a communication unit 12, a schedule management unit 13, a cleanliness determination unit 14, a time prediction unit 15, an instruction transmission unit 16, an inspection result recording unit 17.
  • a communication network such as the Internet.
  • the user terminal 20 has been described as having the control unit 21 , the communication unit 22 , the imaging unit 23 and the UI unit 24 . However, they do not need to be provided in an integrated device, and the above-described units may be distributed as long as they are connected by a communication network such as the Internet. The same applies to the hospital systems 30, 34 and the like.
  • control described mainly in the flowcharts can often be set by a program, and may be stored in a recording medium or recording unit.
  • the method of recording in the recording medium and the recording unit may be recorded at the time of product shipment, using a distributed recording medium, or downloading via the Internet.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the spirit of the present invention at the implementation stage.
  • various inventions can be formed by appropriate combinations of the plurality of constituent elements disclosed in the above embodiments. For example, some components of all components shown in the embodiments may be deleted. Furthermore, components across different embodiments may be combined as appropriate.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

内視鏡検査等、医行為を伴う検査や臨床検査を適切に受けるために必要なアドバイスを受けることが可能な検査ガイド装置および検査ガイド方法を提供する。検査ガイド方法は、内視鏡検査受診者の状態情報の時間的変化に基づき、受診者の内視鏡検査の準備に係る工程の進捗度合いを推定し(S39~S43)、推定した進捗度合いに基づき、準備に係る工程の終了タイミングに関する情報を生成する(S49)。ここで、準備に係る工程の進捗度合いは、内視鏡検査受診者の腸管洗浄状態の進捗度合いであり、腸管洗浄状態が一定の度合いに達すると予測したタイミングを準備に係る工程の終了タイミングとする。

Description

検査ガイド装置および検査ガイド方法
 本発明は、内視鏡検査等、医行為を伴う検査や臨床検査を受ける被検者(研究等に参加する方を示す被験者とは区別し、検査を受ける方として被検者と表す)に対して、実際に検査を受けるまでの間に、適切なガイドを与えることのできる検査ガイド装置および検査ガイド方法に関する。
 医療施設には複数の内視鏡等の検査装置が用意されており、患者や被検者の検査項目に応じて適切な内視鏡が準備され、この内視鏡が検査に使用される。この場合、内視鏡等の洗浄状態や、また消耗状態や老朽化状態等も考慮して、良好な状態で内視鏡を使用するためのスケジュールを設定しなければならない。そこで、特許文献1においては、内視鏡検査業務において適切にスケジューリングを行う内視鏡検査業務支援システムが提案されている。
特開2017-113082号公報
 前述の特許文献1の内視鏡検査業務支援システムは、医療施設内において内視鏡検査業務のスケジューリングを適切に行う技術について記載されているが、医療施設において、検査を受ける被検者が適切な検査を受けるためのアドバイス等の支援については記載されていない。実際の医療現場では、被検者が内視鏡検査を受けるまでに下剤を服用して消化管洗浄を行う等、被検者が内視鏡検査を受診する際にしなければならないことが種々あり、また、被検者の健康状態や個人差によって必要な処置や下剤等の処置役の服用時間、検査時間等が異なる。そのため、検査前の下剤を含めた処置薬の服用や、また検査時の体調管理、被検者の健康状態や個人差等、被検者の状態も含めて適切なアドバイスをしなければ、被検者が十分安心して検査を受けることが難しい。
 本発明は、このような事情を鑑みてなされたものであり、内視鏡検査等、医行為を伴う検査や臨床検査を適切に受けるために必要なアドバイスを受けることが可能な検査ガイド装置および検査ガイド方法を提供することを目的とする。
 上記目的を達成するため第1の発明に係る検査ガイド方法は、内視鏡検査受診者の状態情報の時間的変化に基づき、上記内視鏡検査受診者の内視鏡検査の準備に係る工程の進捗度合いを推定し、上記推定した進捗度合いに基づき、準備に係る工程の終了タイミングに関する情報を生成する。
 第2の発明に係る検査ガイド方法は、上記第1の発明において、上記準備に係る工程の進捗度合いは、内視鏡検査受診者の腸管洗浄状態の進捗度合いであり、腸管洗浄状態が一定の度合いに達すると予測したタイミングを、準備に係る工程の終了タイミングとする。
 第3の発明に係る検査ガイド方法は、上記第1の発明において、上記状態情報の時間的変化とは、排泄画像の時間的変化であり、上記排泄画像の時間的変化に基づいて、上記排泄画像が撮影された時よりも未来の腸管の洗浄度の時間的変化を推定し、推定した洗浄度の時間的変化が一定のレベルに達するタイミングを、腸管洗浄状態の終了タイミングとする。
 第4発明に係る検査ガイド方法は、上記第2の発明において、上記内視鏡検査受診者の腸管洗浄の開始からの時間を更に加味し、洗浄度の時間的変化を推定する。
 第5の発明に係る検査ガイド方法は、上記第2の発明において、上記内視鏡検査受診者が飲んだ腸管洗浄剤を推定し、この推定量を更に加味し、洗浄度の時間的変化を推定する。
 第6の発明に係る検査ガイド装置は、上記第2の発明において、更に、上記内視鏡検査受診者の腸管洗浄に係る薬剤の飲み方に関するガイドを表示する。
 第7の発明に係る検査ガイド方法は、上記第2の発明において、更に、上記内視鏡検査受診者が腸管洗浄のために飲む薬剤に応じて、ガイド表示を変更する。
 第8の発明に係る検査ガイド方法は、上記第2の発明において、上記薬剤の飲み方に関するガイドとは、薬剤を飲む時間または薬剤を飲む量または薬剤と共に飲むべき薬剤以外の量に関する。
 第9の発明に係る検査ガイド方法は、上記第2の発明において、上記内視鏡検査受診者が排泄した状態が撮影された排泄画像と、複数の上記排泄画像を、排泄経過モデルと特徴量を比較して、洗浄度の時間的変化を推定し、腸管洗浄状態の終了タイミングを推定する。
 第10の発明に係る検査ガイド方法は、上記第2の発明において、排泄された状態が撮影された排泄画像を用いて学習されたAIモデルと、上記内視鏡検査受診者が排泄した状態が撮影された複数の排泄画像を用いて、腸管洗浄状態の終了タイミングを推定する。
 第11の発明に係る検査ガイド方法は、上記第2の発明において、排泄された状態が撮影された排泄画像に加え、洗浄完了までの時間と洗浄剤の量の少なくとも一方を用いて学習されたAIモデルに、被検者が排泄した状態が撮影された排泄画像を入力して、腸管洗浄状態の終了タイミングを推定する。
 第12の発明に係る検査ガイド方法は、上記第2の発明において、排泄された状態が撮影された排泄画像に洗浄度をアノテーションした複数の学習データセットを用いて学習されたAIモデルに、上記内視鏡検査受診者が排泄した状態が撮影された排泄画像を入力して洗浄度を推定し、腸管洗浄状態の終了タイミングを推定する。
 第13の発明に係る検査ガイド方法は、上記第2の発明において、排泄された状態が撮影された複数の排泄画像に検査可能な状態に達するまでの洗浄時間または洗浄剤を飲んだ量をアノテーションした複数の学習データセットを用いて学習されたAIモデルに、被検者が排泄した状態が撮影された複数の排泄画像を入力して洗浄終了タイミングを推定する。
 第14の発明に係る検査ガイド方法は、上記第1の発明において、上記準備に係る工程の終了タイミングと、上記内視鏡検査受診者よりも先に受診する者の検査時間ずれ状況によって決まる検査開始予測時間をガイドすることを特徴とする請求項1に記載の検査ガイド方法。
 第15の発明に係る検査ガイド方法は、上記第1の発明において、さらに上記受診者の食事の履歴情報に従って、内視鏡検査の準備に係る工程の終了タイミングに関する情報を生成する。
 第16の発明に係る検査ガイド装置は、内視鏡検査受診者の状態情報を取得する状態取得部と、上記状態情報の時間的変化に基づき、上記内視鏡検査受診者の検査準備の進捗状況を推定する進捗推定部と、上記進捗状況に基づき、上記検査準備に係るアドバイスを表示させるためのアドバイス生成部と、を具備する。
 第17の発明に係る検査ガイド装置、上記第15の発明において、上記検査準備は、消化管洗浄に係る準備であり、上記状態取得部は、上記内視鏡検査受診者の排泄に係る情報を取得し、上記進捗推定部は、上記進捗状況として、上記内視鏡検査受診者の上記消化管洗浄に係る進捗を推定する。
 第18の発明に係る検査ガイド装置は、上記第15の発明において、上記進捗推定部は、消化管洗浄の進捗及び一定の洗浄度合いに到達するまでの所要時間または洗浄剤摂取に係る回数・量を推定し、上記アドバイス生成部は、上記進捗推定部の推定結果に基づく情報を生成する。
 本発明によれば、内視鏡検査等、医行為を伴う検査や臨床検査を適切に受けるために必要なアドバイスを受けることが可能な検査ガイド装置および検査ガイド方法を提供することができる。
本発明の第1実施形態に係る内視鏡検査支援システムの構成を示すブロック図である。 本発明の第1実施形態に係る内視鏡検査支援システムのサービスサーバにおけるメイン動作を示すフローチャートである。 本発明の第1実施形態に係る内視鏡検査支援システムのサービスサーバにおける検査時期ガイド表示の動作を示すフローチャートである。 本発明の第1実施形態に係る内視鏡検査支援システムのサービスサーバにおける検査時期ガイド表示の動作の変形例を示すフローチャートである。 本発明の第1実施形態に係る内視鏡検査支援システムにおいて、洗浄度の変化を示すグラフである。 本発明の第1実施形態に係る内視鏡検査支援システムにおいて、排便の基準画像列を示す図である。 本発明の第1実施形態に係る内視鏡検査支援システムにおいて、洗浄度をAIによって算出する方法を説明する図である。 本発明の第1実施形態に係る内視鏡検査支援システムにおいて、洗浄度をアルゴリズムによって予測する場合の洗浄度曲線を示すグラフである。 本発明の第1実施形態に係る内視鏡検査支援システムにおいて、洗浄度をAIによって予測する場合のアルゴリズムを示す図である。 本発明の第1実施形態に係る内視鏡検査支援システムにおいて、被検者が洗浄剤を飲み始める際のアラーム表示画面を示す図である。 本発明の第1実施形態に係る内視鏡検査支援システムにおいて、被検者が洗浄剤を飲む際のアドバイス画面を示す図である。 本発明の第1実施形態に係る内視鏡検査支援システムにおいて、被検者が自宅を出発し、医療施設において検査が終了するまでのアドバイス画面を示す図である。 本発明の第2実施形態に係る内視鏡検査支援システムの構成を示すブロック図である。 本発明の第2実施形態に係る内視鏡検査支援システムのサービスサーバにおけるメイン動作を示すフローチャートである。 本発明の第2実施形態に係る内視鏡検査支援システムにおいて、被検者が医療施設に到着してから検査が終了するまでのアドバイス画面を示す図である。
 以下、本発明の実施形態として、本発明を内視鏡検査支援システムに適用した例について説明する。大腸内視鏡検査では、大腸を検査するために、腸管の洗浄剤を飲み、大腸まで洗浄してから検査を受けるので、本実施形態では腸管洗浄を行う場合を主として説明する。もちろん、本発明は内視鏡検査に限らず、その他の臨床検査や医行為を伴う検査に応用することも可能である。まず、第1実施形態に係る内視鏡検査支援システムについて、図1ないし図9Cを用いて説明する。図1は、第1実施形態に係る内視鏡検査支援システムの全体構成を示すブロック図である。この内視鏡検査支援システムは、サービスサーバ10、ユーザ端末20、および院内システム30、34とから構成されている。
 サービスサーバ10は、インターネット等の通信網を通じてユーザ等が使用するユーザ端末20、および医療施設内において医療従事者等が使用し、また医療施設内における情報取得用とし使用する院内システム30、34と接続可能であり、ユーザ等に種々のサービスを提供することができる。サービスサーバ10は、CPU(Central Processing Unit)等の処理装置、プログラムを記憶したメモリ、その他の周辺回路を有し、制御部11、通信部12、スケジュール管理部13、洗浄度判定部14、時間予測部15、指示発信16、および検査結果記録部17を有する。なお、スケジュール管理部13、洗浄度判定部14、時間予測部15、指示発信部16、検査結果記録部17は、ハードウエア回路等によって実現してもよく、また制御部11がメモリに記憶されたプログラムを実行することによって、実現しても良い。この場合には、制御部11を構成する1または複数のプロセッサが、スケジュール管理部13、洗浄度判定部14、時間予測部15、および指示発信部16の機能を果たす。
 制御部11は、サービスサーバ10の全体を制御する。制御部11は、CPU等の処理装置、プログラムを記憶したメモリ等を有する1つ又は複数のプロセッサから構成され、プログラムを実行することによって、サービスサーバ10内の各部を制御することができる。制御部11は、院内システム34の待合室情報取得部37、検査室情報取得部38、リカバリルーム情報取得部39から受診者が内視鏡検査を受診する医療機関における使用状況を取得する使用状況取得部としても機能する(図2のS15、S17等参照)。使用状況は、医療機関における待合・前処置・検査・リカバリ・会計のいずれか少なくとも1つに係る各行為を行う空間における使用状況(混雑状況)である。
 通信部12は、サービスサーバ10の周辺回路の内に設けられた通信回路を有し、ユーザ端末20、院内システム30、34内の各通信部と通信を行うことができる。通信としては、例えば、指示発信部16がアドバイスを作成した際に、ユーザ端末20にアドバイスを送信する。また、通信部12を通じて、被検者の要望を入力することができる。例えば、被検者が、鎮痛剤を用いての検査を希望する場合や、鎮静剤を用いて検査を希望する場合には、その旨がユーザ端末20に入力され、通信部12を通じて、サービスサーバ10に伝達される。また、被検者が自宅から医療施設に移動する際の交通手段等についての要望を入力することもできる。サービスサーバ10が検査ガイド装置として機能する場合には、通信部12が、内視鏡検査受診者の要望を入力する受診者要望入力部として機能する。
 スケジュール管理部13は、ユーザ(被検者)が内視鏡検査を受ける際に、種々の時間管理を行う。例えば、ユーザが検査を受ける際に腸管洗浄用の洗浄剤を飲み始めるタイミングがどうかの管理や(図2のS3参照))、ユーザが検査の受診するために病院等の医療施設に出かける出発時刻や(図2のS11、S13参照)、検査の全工程の予測時刻(図2のS19)等の時間管理を行う。また、スケジュール管理部13は、時間予測部15によって予測された検査時間等を考慮してスケジュール管理を行う(図2のS15、S17、S19参照)。
 洗浄度判定部14は、被検者の排便の画像等に基づいて、被検者の腸管の洗浄度合いを判定する。被検者が複数回洗浄剤を飲み、排便するたびに次第に腸管が洗浄される。洗浄度判定部14は、この洗浄度の度合いを判定する。排便画像に基づいて行う洗浄度の判定については、図4ないし図8を用いて後述する。洗浄度判定部14は、サービスサーバ10が検査ガイド装置として機能する場合には、内視鏡検査受診者の状態情報を取得する状態取得部として機能する(例えば、図2のS5、図3Aおよび図3B、図11のS14a等参照)。状態取得部は、受診者の排泄に係る情報を取得する。
 時間予測部15は、被検者が検査を受ける際の時間を予測する。例えば、被検者が自宅で洗浄剤を服用して腸管内を洗浄する場合に、被検者の排便の画像に基づいて洗浄度を判定した結果の時間的変化に基づいて、洗浄が終了する時刻を予測する(例えば、図4、図8参照)。また、時間予測部15が時間予測を行うにあたって、洗浄判定部14が行う腸管洗浄度の判定結果の時間的変化(例えば、排泄画像の時間的変化、図5の基準画像列参照)に基づいて行う。また、腸管洗浄度が一定のレベルに達すると予測するタイミングを終了タイミングとする(例えば、図3Aおよび図3BのS49、図4の検査可能レベルLev参照)。この予測結果を基に、洗浄が終了するまでに、被検者が飲む洗浄剤量や回数等についても予測する。
 また、時間予測部15は、洗浄以外にも、検査の準備が終了する時刻や、検査が開始される時刻、検査が完了する時刻等についても予測してもよい。例えば、検査にかかる時間から逆算して飲み始めの時刻や出発時刻を予測し(例えば、図2のS3、S11参照)、また医療施設において、検査やリカバリ等に係る時間や検査終了後の検査結果を聞くための時間、会計待ちの時間等を考慮して検査の全工程における時刻等を予測してもよい(例えば、図2のS19参照)。
 時間予測部15は、サービスサーバ10が検査ガイド装置として機能する場合には、状態情報の時間的変化に基づき、受診者の検査準備の進捗状況を推定する進捗推定部として機能する(例えば、図3Aおよび図3BのS49等参照)。検査準備は、消化管洗浄に係る準備である。本実施形態においては、被検者が洗浄剤を飲み、腸管を洗浄することが相当する。進捗推定部は、進捗状況として、受診者の消化管洗浄に係る進捗を推定する。進捗推定部は、消化管洗浄の進捗及び一定の洗浄度合いに到達するまでの所要時間または洗浄剤摂取に係る回数・量を推定する(例えば、図3Aおよび図3BのS49等参照)。
 時間予測部15は、状態情報と、使用状況に基づき、内視鏡検査に関わる時刻を推定する時刻推定部として機能する(例えば、図2のS19参照)。時刻推定部は、医療機関における待合・前処置・検査・リカバリ・会計の何れか少なくとも1つに係る各行為の開始または終了の時刻を予想する。
 指示発信部16は、被検者に対するアドバイスを作成し、サービスサーバ10からユーザ端末20等に、通信部12を通じて発信する。アドバイスとしては、例えば、被検者の排便に基づいて、洗浄が終了するのが何時頃で、残りの洗浄剤の量や回数等がある(例えば、図3Aおよび図3BのS49等参照)。また、これ以外にも、出発時刻や洗浄時のアドバイス等がある(図9Aないし図9C参照)。指示発信部16は、サービスサーバ10が検査ガイド装置として機能する場合には、進捗状況に基づき、検査準備に係るアドバイスを表示させるアドバイス表示部として機能する(図3Aおよび図3BのS49、図9Aないし図9C等参照)。アドバイス表示部は、進捗推定部の推定結果に基づく情報(洗浄度、洗浄剤摂取回数・量、洗浄完了予想時刻等)を表示する。アドバイス表示部は、内視鏡検査受診者の要望を考慮して、アドバイスを表示する。
 指示発信部16は、サービスサーバ10が検査ガイド装置として機能する場合には、推定に基づき、内視鏡検査に係るアドバイスを表示するアドバイス表示部として機能する。アドバイス表示部は、医療機関への移動の開始・各行為の開始または終了・医療機関での全行為の完了に係るアドバイスを表示する。指示発信部16は、進捗状況に基づき、検査準備に係るアドバイスを表示させるアドバイス生成部(例えば、図3Aおよび図3BのS49等参照)として機能する。アドバイス生成部は、進捗推定部の推定結果に基づく情報を生成する。
 検査結果記録部17は、被検者が病院において内視鏡検査等の検査が終了した場合に、その検査結果を記録部に記録する。
 院内システム30および院内システム34は、本実施形態においては、同一病院内に設けられており、他の病院内においても同様に複数の院内システムが設けられている。同一病院内に設けられている院内システム30、34の内の1つは、医師・看護師等や事務管理部門、調剤部門等の従事者が使用する携帯端末やPC(パーソナルコンピュータ)と接続され、種々の情報のやり取りを行うためのシステムであり、他の1つは、患者の待合室や、検査室や、リカバリルーム等における情報を取得するための機器、例えば、撮像部等を有する監視装置、また医療施設の従事者が使用する携帯端末やPCと接続され、種々の情報のやり取りを行うためのシステムである。同一病院内に3以上の系統があれば、3以上の院内システムを設けても勿論かまわないし、また1つにまとめてあっても構わない。
 院内システム30、34内の制御部31、35は、各院内システム30、34内において、全体を制御する。制御部31、35は、CPU等の処理装置、プログラムを記憶したメモリ等を有し、プログラムを実行し、各院内システム内の各部を制御することができる。また、制御部31、35は、同一病院内の院内システム30、34が連携して動作するようにしてもよい。
 通信部32、36は、通信回路を有し、サービスサーバ10、他の院内システム30、34内の各通信部と通信を行うことができる。
 スケジュール管理部33は、院内システム30における携帯端末やPCの使用者(医師、看護師、薬剤師、検査技師、事務員等)のスケジュール管理を行う。このスケジュール管理にあたっては、サービスサーバ10内のスケジュール管理部13と連携し、被検者の検査スケジュール(検査前~検査当時~検査後を含む)と連動させて行う。
 待合室は、被検者が内視鏡検査を受けるまで、待機する部屋である。待合室情報取得部37は、待合室に配置されたカメラ等の撮影部、マイクロフォン等の音声収取部等を有し、待合室における種々の情報を取得する。撮影部や音声収集部によって収集した情報に基づいて、待合室における情報を取得する。また、待合室情報取得部37が、ユーザ端末20とも直接通信が可能であれば、ユーザ端末20を有する被検者が待合室に在室していることを検出できる。さらに、被検者がどのような検査を受けに来たか、どのような予定になっているか、さらに被検者のプロフィール等、種々の情報を取得することができる。また、看護師等が、院内端末から直接、情報を院内システム34にテキスト入力や画像入力するするようにしても構わない。
 検査室は、被検者が内視鏡検査を受ける部屋である。検査室情報取得部38は、検査室に配置されたカメラ等の撮影部、マイクロフォン等の音声収取部等を有し、検査室において被検者が受ける内視鏡検査に関する種々の情報を取得する。撮影部や音声収集部によって収集した情報に基づいて、検査室における情報を取得する。また、検査室情報取得部38が、ユーザ端末20とも直接通信が可能であれば、ユーザ端末20を有する被検者が検査室に在室していることを検出できる。さらに、被検者の検査の進行状況や、検査結果等の情報を取得することもできる。また、看護師等が、院内端末から直接、情報を院内システム34やテキスト入力や画像入力するようにしても構わない。なお、検査室は複数設置されている場合が多い。そのため、検査室情報取得部38は、検査室ごとにその情報を取得することが好ましい。
 リカバリルームは、被検者の内視鏡検査が終了した後に鎮静剤等による薬剤の効果が覚め、被検者が正常な状態に戻るまで休憩する部屋である。リカバリルーム情報取得部39は、リカバリルームに配置されたカメラ等の撮影部、マイクロフォン等の音声収取部等を有し、リカバリルームにおいて被検者の状態に関する種々の情報を取得する。撮影部や音声収集部によって収集した情報に基づいて、リカバリルームにおける情報を取得する。また、リカバリルーム情報取得部39が、ユーザ端末20とも直接通信が可能であれば、ユーザ端末20を有する被検者がリカバリルームに在室していることを検出できる。さらに、被検者の休憩状態に関する情報を取得することができる。また、看護師等が、院内端末から直接、情報を院内システム34にテキスト入力や画像入力するようにしても構わない。
 ユーザ端末20は、被検者が使用するPCであってもよいが、本実施形態においてはスマートフォン等の携帯端末を想定して説明する。携帯端末であれば、被検者が携帯していることから、生活習慣に関する情報を収集するのが容易となり、また被検者の排便の状態を撮影するのも容易である。ユーザ端末20は、CPU(Central Processing Unit)等の処理装置、プログラムを記憶したメモリ、その他の周辺回路を有し、ユーザ端末20内には、制御部21、通信部22、撮影部23、UI(User Interface)部24が設けられている。なお、ユーザ端末20内の各部は、ハードウエア回路等によって実現してもよく、また一部の機能を制御部21がメモリに記憶されたプログラムを実行することによって、実現しても良い。
 制御部21は、ユーザ端末20の全体を制御する。制御部21は、CPU等の処理装置、プログラムを記憶したメモリ等を有する1つ又は複数のプロセッサから構成され、プログラムを実行し、ユーザ端末20内の各部を制御することができる。また、内視鏡検査を受ける際のスケジュール管理や、排便の洗浄度の判定や、時間予測や、被検者へのアドバイスの発信は、本実施形態においては、サービスサーバ10内のスケジュール管理部13、洗浄度判定部14、時間予測部15、指示発信部16において行う。
 しかし、制御部21において、サービスサーバ10内において行う、これらの機能を実行してもよい。その場合には、制御部21内には、推論エンジンを設けておき、洗浄度等について推論を行うようにしてもよい。この場合には、ユーザ端末20が検査ガイド装置として機能し、制御部21は、状態情報の時間的変化に基づき、受診者の検査準備の進捗状況を推定する進捗推定部として機能する。進捗推定部は、消化管洗浄の進捗及び一定の洗浄度合いに到達するまでの所要時間または洗浄剤摂取に係る回数・量を推定する(例えば、図3Aおよび図3BのS49等参照)。
 制御部21は、ユーザ端末20が検査ガイド装置として機能する場合には、受診者が内視鏡検査を受診する医療機関における使用状況を取得する使用状況取得部として機能する。また、制御部21は、ユーザ端末20が検査ガイド装置として機能する場合には、状態情報と、使用状況に基づき、内視鏡検査に関わる時刻を推定する時刻推定部として機能する。
 通信部22は、ユーザ端末20の周辺回路の内に設けられた通信回路を有し、サービスサーバ10内の通信部12と通信を行うことができる。通信部22を通じて、サービスサーバ10と、スケジュール管理や、洗浄度判定や、時間予測や、被検者へのアドバイス等の種々の情報のやり取りを行うことができる。
 撮影部23は、撮像素子、撮影レンズ、撮像素子、撮像回路等を有し、対象物を画像データに変換して出力する。本実施形態においては、撮影部23は、被検者の排便の画像を取得するために使用する。撮影部23は、携帯端末20が検査ガイド装置として機能する場合には、内視鏡検査受診者の状態情報を取得する状態取得部として機能する(例えば、図3Aおよび図3BのS39参照)。状態取得部は、被検者の排泄に係る情報を取得する。
 UI部24は、ユーザ端末20に情報を入力し、情報を出力するためのユーザインターフェースである。UI部24は、被検者に情報を伝達するための視覚的(聴覚的等も含む)表示部と、被検者がユーザ端末20に情報を入力するための入力部(例えば、テキスト入力部や、音声入力部等を含む)を有する。この入力部には、内視鏡検査を受診する被検者の要望、例えば、鎮静剤を用いた検査を希望の有無等も入力できる。また、被検者が自宅から医療施設に移動する際の交通手段等についての要望を入力できるようにしてもよい。
 UI部24は、ユーザ端末20が検査ガイド装置として機能する場合には、進捗状況に基づき、検査準備に係るアドバイスを表示させるアドバイス表示部として機能する。アドバイス表示部は、進捗推定部の推定結果に基づく情報(洗浄度、洗浄剤摂取回数・量、洗浄完了予想時刻等)を表示する。UI部24は、ユーザ端末20が検査ガイド装置として機能する場合には、内視鏡検査受診者の要望を入力する受診者要望入力部として機能する。アドバイス表示部は、内視鏡検査受診者の要望を考慮して、アドバイスを表示する。UI部24は、ユーザ端末20が検査ガイド装置として機能する場合には、推定に基づき、内視鏡検査に係るアドバイスを表示するアドバイス表示部として機能する。
 このような内視鏡検査支援システムを構築することによって、ユーザ(被検者)は、内視鏡等の検査を安心して受けることができる。例えば、内視鏡検査の際に、洗浄剤の服用を始めた後、さらに服用が必要かどうか、また何時に病院に行けばよいか、また何時に検査が始まるのか、また何時に検査が終わるのか等、被検者が色々と不明点が生じてしまう。実際、洗浄剤を服用した際に、早く洗浄が終わる人もいれば、洗浄に時間が掛かる人もいる。このような場合には、被検者は、ユーザ端末20にインストールされている「安心アプリ」(後述する図2に示すメインフローと並行してユーザ端末20内において実行されるアプリケーション)を使用すれば、安心して検査を受けることができる。すなわち、この安心アプリを使用することによって、また検査を受けるための必要なアドバイスを受けることができる。
 次に、図2に示すフローチャートを用いて、ユーザ端末20とサービスサーバ10が協働して被検者(ユーザ)に内視鏡検査の支援を行うためのアプリケーションソフトのメイン動作を説明する。このアプリケーションによるメイン動作は、サービスサーバ10内の制御部11が、ユーザ端末20内の制御部21と連携し、サービスサーバ10内の各部を制御し、さらに院内システム20、35と連携することによって実現する。図2に示すフローは、ユーザ端末20に検査補助用の安心アプリがインストールされている場合に、サービスサーバ10が主体となって、ユーザ端末20に被検者向けのアドバイスを行うことを前提に説明している。この場合には、サービスサーバ10が検査ガイド装置として機能する。しかし、ユーザ端末20が主となり、サービスサーバ10の支援を受けて、被検者向けのアドバイスを提供することも勿論可能である。この場合には、ユーザ端末20が検査ガイド装置として機能する。
 図2に示すメイン動作が開始すると、まず、検査開始予想時刻を取得する(S1)。ここでは、制御部11が、スケジュール管理部13に問合せ、被検者が医療施設における内視鏡検査の予約日時に関する情報を取得し、この予約日時に基づいて、検査開始予想時刻が分かる。もし、医療施設に予約がない場合には、予約を行うと共に、検査開始予想時刻も取得する。この検査開始予想時刻の取得は、被検者がユーザ端末20において、安心アプリを起動し、サービスサーバ10に検査を受けることの通知がなされた場合に、行う。なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、ユーザ端末20が、検査開始予想時刻をサービスサーバ10内のスケジュール管理部13に問合せを行い、検査開始予想時刻を取得する。
 次に、飲み始めアラームを行う(S3)。ここでは、制御部11は、ステップS1において取得した検査開始予想時刻に基づいて、洗浄剤を飲み始める時刻になったか否かを判定し、飲み始める時刻になれば、指示発信部16からユーザ端末20に指示し、被検者に洗浄剤の飲み始めアラームをUI部24に表示させる。洗浄剤は複数回に亘って飲み、検査可能な洗浄度になるまでの標準的な時間を考慮して、飲み始めの時刻を決める。但し、被検者によって、検査可能な洗浄度になるまでの時間が異なることから、標準時間よりも多少余裕を持たせてもよく、また過去の実績があれば、その情報を考慮して決めてもよい(図4、図8等参照)。この飲み始めアラームの表示例については、図9Aを用いて後述する。なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、ユーザ端末20の制御部21は、スケジュール管理部13から取得した飲み始め時刻になると、被検者に飲み始めアラームを告知する。
 次に、洗浄度をチェックする(S5)。ここでは、制御部11は、指示発信部16を通じてユーザ端末20に、被検者の排便の画像を撮影部23によって取得するように、指示する。被検者が排便画像を撮影すると、通信部22を通じて、サービスサーバ10に送信する。サービスサーバ10内の洗浄度判定部14は、被検者の排便画像等に基づいて、洗浄度を判定し、十分な洗浄レベルに達したか否かを判定する。洗浄度を判定すると、その被検者が何時頃、洗浄が完了するか予想することができる(図4、図8等参照)。この洗浄度チェックの動作については、図3Aまたは図3Bを用いて後述する。また、洗浄している際に、ユーザ端末20のUI部24には、例えば、図9Bに示すようなアドバイス表示を行う。この表示については後述する。なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、被検者の排便画像をサービスサーバ10に送信し、洗浄度の判定を依頼する。
 十分な洗浄度レベルに達すると、次に、現在地を取得する(S7)。本実施形態は、被検者は、自宅等(医療施設以外の場所)において、洗浄剤を服用して、腸管洗浄を行うことを前提している。このため、腸管洗浄が終了してから、病院等の医療施設に移動することになる。このステップでは、医療施設に移動するに要する時間を算出するにあたって、まず、制御部21は、ユーザ端末20に現在位置を送信するように指示する。現在位置に関する情報は、ユーザ端末20内のGPS等の位置検出部によって取得する。このため、ユーザ端末20はGPS等の位置検出部を有する。なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、ユーザ端末20内の位置検出部によって現在位置に関する情報を取得する。
 現在地情報を取得すると、次に検査開始予想時刻を取得する(S9)。ステップS1においても、検査開始予想時刻を取得しているが、その後の状況変化があることを考慮して、制御部11は、再度、院内システム30内のスケジュール管理部33に検査開始予想時刻を問い合わせる。すなわち、医療施設において、予定通り検査が進まない場合や、予定より早く検査が進んだ場合もあり、医療施設における検査の進行状態等を勘案した検査開始時刻を予想する。なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が、サービスサーバ10および院内システム30を通じて、再度、検査開始予想時刻を取得する。制御部21がサービスサーバ10から必要な情報を収集し、検査開始時刻を予想してもよい。
 検査開始予想時刻を取得すると、次に、出発時刻か否かを判定する(S11)。ここでは、制御部11は、ステップS9において取得した検査開始予想時刻と、ステップS7において取得した現在地の情報に基づいて、医療施設に移動開始時刻を算出し、現時点が算出した移動開始時刻(出発時刻)になったか否かを判定する。移動開始時刻の算出にあたっては、現在地から医療施設までの移動時間を考慮して行う。被検者が指定する交通手段があれば、この交通手段での移動時間を算出し、また複数の交通手段を選択できるようにしてもよい。さらに、当日の交通の混雑状況(例えば、道路の混雑状況、鉄道の運行状況)も考慮して移動時間を算出するようにしてもよい。なお、移動時間の算出には、移動経路や交通手段をガイドするような別のサービスと連携してもよい。
 ステップS11における判定の結果、出発時刻でない場合には、ステップS7に戻り、前述の動作を繰り返す。医療施設における検査の進み具合や、交通手段における状況等は、変化する場合があり、この変化を考慮して出発時刻の予想を行う。なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が、サービスサーバ10内のスケジュール管理部13に、出発時刻を問い合わせ、現時点が出発時刻になったか否かを判定する。制御部21がサービスサーバ10および院内システム30、34から必要な情報を収集し、出発時刻か否かを判定してもよい。
 ステップS11における判定の結果、出発時刻であった場合には、出発アラームを告知する(S13)。出発時刻になると、サービスサーバ10内の指示発信部16は、ユーザ端末20に出発アラームを、UI部24に表示するように指示する。この場合、指示発信部16が出発時刻を予めユーザ端末20に通知し、ユーザ端末20が出発時刻になったことを検知すると、出発アラームを告知するようにしてもよい。出発アラームは、視覚的に行っても良く、また聴覚的によって行ってもよい。また、出発アラームに合わせておすすめの移動手段や移動経路を表示するようにしてもよい。例えば、腸管洗浄が完了した直後に電車を利用して移動するような場合において、ホームからトイレまでの距離が近い駅が多い経路をガイドするようにしてもよい。また、停車する駅が少ない電車よりも、比較的停車駅が多い電車(各駅停車等)をガイドしたほうが、被検者が安心する場合があるため、被検者にトイレに行きたくなりそうかを確認した上で適切な移動経路をガイドするようにしてもよい。被検者は出発アラームが告知されると、自宅等から医療施設へ移動を開始する。なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が、出発時刻になったと判定した場合に、出発アラームを、UI部24に表示する。
 出発アラームを被検者に告知すると、次に、検査終了予想時刻を取得する(S15)。被検者が医療施設に到着すると、準備が整い次第、内視鏡検査が開始される。被検者が予想よりも早く医療施設に到着する場合があり、また被検者の前の方の検査に時間が掛かってしまう等、予定通りに検査が開始しない場合があり、また被検者の検査の際に、挿入困難な場合には検査に予定よりも時間がかかってしまう場合があり、また検査時にポリープが発見されると、ポリープ切除のために検査時間が長くなってしまう場合がある。そこで、このステップでは、時間予測部15が種々の状況変化を考慮して、検査の終了時刻を予想する。時間予測部15が、院内システム30、34と連携しながら、被検者の内視鏡検査が終了する時刻を予測する。
 なお、ステップS15において、時間予測部15が、被検者のプロフィールや生活習慣、前回の検査結果等に基づいてポリープの存在可能性を推論するようにしてもよい。また、ポリープ以外にも切除や生検などの処置を行う必要がある病変の可能性を含めて推論してもよい。即ちここでは、内視鏡検査において検査時間が変動するリスクにかかわる処置等の可能性を予想し、その結果に基づき検査終了予想時刻を推定する。
 なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップS15では、制御部21が、サービスサーバ10内の時間予測部15に、検査終了予測時刻を問い合わせて、取得する。制御部21がサービスサーバ10から必要な情報を収集し、検査終了時刻を予想してもよい。
 続いて、リカバリ完了予想時刻を取得する(S17)。検査において鎮静剤を使用した場合、検査が終了すると、被検者は鎮静剤が覚めるまで、リカバリ室で休憩する。リカバリ室の混雑状態等の情報は、リカバリルーム情報取得部39によって取得することができる。このステップでは、制御部11が、リカバリルーム情報取得部39に問合せて、リカバリルームの混雑状況等の情報を取得し、時間予測部15がこれらの情報と被検者の体調等に基づいてリカバリ完了時刻を予想させ、このリカバリ完了予想時刻を取得する。なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が、サービスサーバ10内の時間予測部15からリカバリ完了予想時刻を取得する。制御部21がサービスサーバ10から必要な情報を収集し、リカバリ完了時刻を予想してもよい。
 次に、検査全行程の完了予測時刻を表示する(S19)。ここでは、制御部11が、時間予測部15に対して、ステップS15、S17において取得した予想時刻等を基に、検査の全工程が完了する時刻を予想させ、この予測時刻を取得する。検査が終了するまでには、待合時間、検査時間、リカバリ時間、検査結果の説明時間、投薬がある場合には薬を受け取る時間、会計処理時間等の時間が掛かることから、時間予測部15は、これらの時間を考慮して検査全行程の完了時刻を予想する。内視鏡検査の被検者の状態情報と、内視鏡検査を実施する病院の混雑状態やスタッフの稼働状況も考慮して検査の全工程について完了時刻を予想してもよい。検査の各工程の時刻を予想すると、予想時刻指示発信部16を通じて、ユーザ端末20に送信して、UI部24に表示させる。この全行程の予想時刻の表示例については、図9Cを用いて後述する。なお、図2のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が、サービスサーバ10内の時間予測部15に完了時刻を予測させて、この予想時刻を取得し、UI部24に表示する。制御部21がサービスサーバ10から必要な情報を収集し、完了時刻を予想してもよい。
 検査全行程の完了予想時刻を表示すると、次に、被検者が病院を出たか否かを判定する(S21)。ここでは、ユーザ端末20は、GPS等の測位システムを用いて、被検者が医療施設を出たか否かを判定する。この判定の結果、医療施設に居る場合には、ステップS15に戻り、前述の動作を行い、検査全行程予想時刻表示を更新する。すなわち、医療施設における、検査終了時間やリカバリ完了予想時刻等は、状況に応じて変化するので、このステップでは、状況の変化を考慮して検査全行程完了時刻を予想し、表示する。一方、ステップS21における判定の結果、病院を出た場合には、このメイン動作のフローを終了する。
 なお、ステップS21では、病院を出ること以外にも、被検者が駐車場に行った、車に乗った、公共交通機関を利用し始めた、帰宅した等を判断するようにしてもよく、安心アプリによる支援の終了の判断ができればよい。また、図2ではステップS15に戻っているが、既に検査が終了している場合にはステップS17に戻るようにしてもよく、また、既にリカバリも完了している場合にはステップS19に戻るようにしてもよい。
 なお、図2のアプリケーションソフトがサービスサーバ10において主体的に実行される場合には、ステップS21では、サービスサーバ10内の制御部11は、ユーザ端末20内のGPS等の測位システムによって取得した現在位置をサービスサーバ10に送信するように依頼する。
 このように、図2に示すメイン動作のフローにおいては、内視鏡検査等の検査の予想開始時刻を取得し、この開始時刻に基づいて、被検者に洗浄剤の飲み始めのタイミングをアドバイスすることができる(S1、S3参照)。また、洗浄が終わると、その後の状況変化に応じた検査の予想開始時刻を取得し、現在地から医療施設までの移動に要する時間を勘案して出発時刻を算出し、この出発時刻になると出発アラームを告知している(S7~S13参照)。また、医療施設においては、検査が完了するまでに、待合時間、検査時間、リカバリ時間、検査結果の説明時間、会計処理時間等の時間が掛かることから、これらの時間を考慮して、検査全行程の完了時刻を予想し、これを表示するようにしている(S15~S19参照)。このため、被検者はどれくらい検査に時間がかかるかを予測することができ、安心して検査を受けることができる。
 なお、図2においては、検査室情報取得部37やリカバリルーム情報取得部39からの情報に基づいて、検査終了時刻やリカバリ完了時刻の予想を行っていたが(S15、S17参照)、これに限らず、待合室、前処置室、検査結果通知用の部屋(診察室等)、会計室等、医療施設内における部屋(部屋に限らず場所(空間)でもよい)の情報や、検査を実施する担当内視鏡医のスケジュール等、その他の情報を用いて、各行為における開始や終了時刻を予想し、アドバイス表示するようにしてもよい。
 次に、図3Aに示すフローチャートを用いて、ステップS5(図2参照)における洗浄度チェックの動作について説明する。前述したように、本実施形態においては、被検者が洗浄剤を自宅等(医療施設を除く)において服用し、腸管洗浄を行う。この洗浄度チェックのフローにおいては、被検者が洗浄剤を飲むに当たって必要となるアドバイスを提供し、さらに排便画像に基づいて、十分な洗浄がなされたか否かを判定する。
 図3Aに示す洗浄度チェックのフローが開始すると、まず、洗浄が必要であり、かつ飲む時間になったか否かを判定する(S21)。ステップS3(図2)において飲み始めアラームが表示された後、被検者は所定時間間隔で洗浄剤を服用しなければならない。このステップでは、制御部11は、洗浄剤を飲まなければならず、かつ前回の飲用から所定時間が経過したか否かを判定する。このために、制御部11は、ユーザ端末20から被検者の洗浄剤の服用状況に関する情報を取得し、判定する。なお、図2のアプリケーションソフトがサービスサーバ10において主体的に実行される場合には、制御部21は、ステップS21では、被検者が洗浄剤を飲んだか否かを、被検者のUI部24へ入力情報等に基づいて判定する。
 次に、被検者のプロフィールや生活習慣に基づいて洗浄のし易さを推論する(S23)。被検者が洗浄剤を飲み腸管を洗浄するにあたって、洗浄のし易さは個人差があり、この洗浄のし易さに応じて、洗浄剤を飲む際に適切なガイドを表示させるとよい。そのため、このステップでは被検者の洗浄のし易さを推論する。ユーザ端末20内の記録部、またはサービスサーバ10の検査結果記録部17には、ユーザのプロフィールが記録されている。また、ユーザ端末20は、ユーザが普段から携帯しているので、ユーザの行動、例えば、何時に起床し、何時に朝食・昼食・夕食をとり、何時に就寝しているか等の日常の習慣が分かり、また、ウォーキング、ジョギンクを行ったとか、ジムで運動した等の情報を得ることができる。さらに、食事の内容等を撮影していれば、どのようなものを食しているかについても分かる。さらに、検査結果記録部17には、被検者の種々の健康診断等の結果も記録されている。これらの情報を用いて、サービスサーバ10内に備えられた推論エンジンを用いて、上述の情報を入力することによって、洗浄のし易さを推論する。
 ステップS21における判定の結果、洗浄かつ飲む時間になった場合には、洗浄剤量を表示する(S25)。被検者は洗浄剤をどのくらい飲んだらよいのか分からない場合もあることから、このステップにおいて、制御部11は、被検者が洗浄に使用する洗浄剤に合わせて、予め記憶してある洗浄剤量を、指示発信部16を通じてユーザ端末20に送信し、UI部24に表示させる。このとき、洗浄のしやすさに応じて、一定時間に飲む洗浄剤の量を調整するようにしてもよい。この表示については、図9Bを用いて後述する。なお、図2のアプリケーションソフトがサービスサーバ10において主体的に実行される場合には、制御部21は、指示発信部16から送信されてきた洗浄剤量をUI部24に表示させる。または、制御部21が毎回飲むべき洗浄剤量を予め記憶しておき、この記憶された洗浄剤量に基づいて、UI部24に表示するようにしてもよい。
 なお、図2のアプリケーションソフトがサービスサーバ10において主体的に実行される場合には、ステップS23、S25において、制御部11が、上述の情報を収集し、これらの情報に基づいて、洗浄剤のし易さを推論してもよい。また、ポリープの可能性に(検査時間が変動するリスクにかかわる処置等の可能性)ついて推論してもよい。また、ユーザ端末20内に推論エンジンを備えていれば、ステップS23において、この推論エンジンを利用してもよい。本実施形態においては、洗浄のし易さ(ポリープの有無であってもよい)について推論エンジンを用いて推論するようにしているが、ロジカルに洗浄のし易さ(ポリープの有無であってもよい)について予想(判断)するようにしてもよい。
 続いて、洗浄剤を飲むのが困難か否かについて判定する(S27)。洗浄剤の飲み易さは、前述したように、個々人によって異なり、飲み難さを訴える被検者もいる。被検者が洗浄剤を飲み難いと感じる場合には、ユーザ端末20のUI部24の画面等において、ギブアップアイコンをクリックすることによって、その旨の意思表示を行うことができる。このステップでは、制御部11が、ユーザ端末20においてなされた被検者の意思表示を確認する。なお、図2のアプリケーションソフトがサービスサーバ10において主体的に実行される場合には、制御部11が、UI部24における被検者の意思表示を確認すればよい。ユーザ端末20は、ギブアップアイコン以外にも、ギブアップ釦等を設け、被検者がギブアップ釦等を操作できるようにしてもよい。
 ステップS27における判定の結果、飲むのが困難な場合には、サーバ経由で、病院にて画像を確認し、これ以上洗浄剤を飲む必要があるか否かを入力する(S29)。内視鏡検査を行うには、腸管に便が残っていない状態にする必要があり、このことは被検者の排便画像を見ることによって分かる。そこで、このステップでは、被検者の排便をユーザ端末20の撮影部23において撮影するので、この画像をサービスサーバ10と経由して院内システム30または34に送信する(図9Bの画面D4参照)。担当の医師等は、送信されてきた画像を見て、十分洗浄されているか否かを判定し、これ以上洗浄剤を飲む必要があるか判断する。なお、この際、被検者と病院の間で意思疎通ができるように、音声等において対話できるようにしてもよい。
 次に、ステップS29における画像判断に基づいて、病院が十分洗浄されていると判断したか否かを判定する(S31)。このステップでは、内視鏡検査の担当医師等の判断に基づいて判定する。この判定の結果は制御部21に伝えられ、十分洗浄されていると判定されている場合には、ステップS47に進み、洗浄完了を表示する。一方、十分洗浄されていないと判断された場合には、病院の判断結果を表示する(S33)。ここでは、院内システム30または34からの判断結果を、制御部11はユーザ端末20に送信し、ユーザ端末20のUI部24に病院の判断結果、すなわち、洗浄剤を飲むことが必要であることを表示させる。また、病院にて異常事態と判断した場合、すぐに来院するよう表示させてもよい。なお、図2のアプリケーションソフトがユーザ端末20において主体的に実行される場合には、制御部11が、サービスサーバ10を通じて、病院の担当医師等の判断結果を入手し、その判断結果をUI部24に表示する。
 ステップS27において飲むのが困難でない場合、またはステップS33において病院の判断結果を表示すると、飲み切るまで待機する(S35)。ここでは、ステップS23において表示された洗浄量を、被検者が飲み切るまで待機状態となる。被検者が洗浄剤を飲み切ると、その旨をユーザ端末20に入力するようにしておけばよい。飲み切るまでの待機期間中に、被検者が排便した場合がある。この場合には、図3Aには記載がないが、ステップS39に進み、S39以下の処理を実行する。洗浄剤を飲み切ると、ステップS21に戻り、次の洗浄剤を飲む時間か否かを判定する。洗浄剤を飲む時間になれば、前述のステップS23以下を実行する。
 ステップS21における判定の結果、洗浄剤が必要かつ飲む時間でない場合には、次に、排便があったか否かを判定する(S37)。洗浄剤を飲むことによって、被検者が排便することがある。排便がある場合には、ユーザ端末20のUI部24にその旨を入力する(図9Bの画面D4参照)。排便がない場合には、待機状態であり、ステップS21に戻る。ここでは、制御部11は、ユーザ端末20からの情報に基づいて判定する。
 一方、排便があった場合には、画像を撮影する(S39)。この場合には、制御部11は、被検者がユーザ端末20の撮影部23によって排便の画像を撮影するように指示する。このとき、制御部21は被検者が撮影するようにUI部24にアドバイス表示を行う(図9Bの画面D4参照)。なお、図2のアプリケーションソフトがユーザ端末20において主体的に実行される場合には、制御部11が、被検者にて排便の画像を撮影するように指示する。
 ステップS39における画像撮影は、画像の撮影に限らず、便器にカメラ等のセンサが接続されている場合、そのセンサから画像や排便に関する情報を取得するようにしてもよい。また、水洗トイレにおける水の液性、電気抵抗、超音波の反射率など、光学的な物理量以外の様々な情報をステップS39で取得し、その時間的変化を用いて腸管の洗浄度を判定するようにしてもよい。
 画像を撮影すると、画像を送信する(S41)。ここでは、洗浄のレベルを判定するために、制御部11は、ユーザ端末20は撮影した画像をサービスサーバ10に送信するように指示する。なお、図2のアプリケーションソフトがユーザ端末20において主体的に実行される場合には、排便画像を撮影すると、制御部11が、画像を送信する。なお、ユーザ端末が洗浄度チェックを行うことができれば、サービスサーバ10に送信せずに、ユーザ端末20内において判定してもよい。
 次に、洗浄レベルを取得する(S43)。排便の画像を取得したサービスサーバ10において、洗浄度判定部14は、被検者の腸管の洗浄度を判定する。腸管の洗浄が進むと排便画像が澄んでくるので、画像を解析することによって、洗浄のレベルを取得できる。洗浄レベルの判定の仕方については、図4ないし図8を用いて後述する。なお、図2のアプリケーションソフトがユーザ端末20において主体的に実行される場合には、制御部21は、洗浄度判定部14から洗浄度の判定結果を取得する。
 洗浄レベルを取得すると、次に、十分な洗浄ができたか否かを判定する(S45)。ここでは、制御部11は、洗浄度判定部14から最新の洗浄レベルの判定結果を取得し、これに基づいて判定する。なお、図2のアプリケーションソフトがユーザ端末20において主体的に実行される場合には、制御部21は、洗浄度判定部14から最新の洗浄レベルの判定結果に基づいて判定してもよく、または洗浄度判定部14における判定レベルを取得するようにしてもよい。
 ステップS45における判定の結果、十分な洗浄レベルに達していない場合には、洗浄終了予想時刻と残りの飲む量(回数)を表示する(S49)。ここでは、時間予測部15は、洗浄が完了するレベルに達するまでに必要な洗浄剤の量(回数)と終了時刻を予想する。またはサービスサーバ10内のスケジュール管理部13、または洗浄度予測部14に問合せ、予測結果を取得する。UI部24には、被検者が毎回飲む洗浄剤の量を表示するようにしておき(例えば、図9Bの画面D2a~D2c等参照)、被検者の洗浄度の測定結果を考慮すれば、被検者の洗浄レベルが検査可能レベルLevに達するタイミングを推定することができる(例えば、図4参照)。終了タイミングが予測できれば、それまでに飲む洗浄剤の量(回数)を予想できる。この終了タイミングの予測は、古典的なロジカルな方法であってもよく(例えば、図4、図7等参照)、また、人工知能AIを用いて、推論する方法であってもよい(例えば、図6、図8等参照)。
 洗浄剤の量(回数)と終了時刻の予想結果を取得すると、指示発信部16は、予想結果をユーザ端末20に送信し、UI部24に表示させる。この表示の際に、併せて「頑張ってね」等、被検者に励ましの表示をするようにしてもよい。UI部24に洗浄剤の量(回数)と終了時刻の予想結果を表示すると、ステップS21に戻る。
 なお、ステップS49において、図2のアプリケーションソフトがユーザ端末20において主体的に実行される場合には、制御部21は、必要な情報を収集し、洗浄が完了するレベルに達するまでに必要な洗浄剤の量(回数)と終了時刻を予想し、この予想結果をUI部24に表示する。
 一方、ステップS45における判定の結果、十分な洗浄ができたと判定した場合、またはステップS31において、病院が十分に洗浄できたと判定した場合には、洗浄完了表示を行う(S47)。ここでは、指示発信部16は、ユーザ端末20のUI部24に洗浄が完了した旨を表示させる(図9Bの画面D6参照)。洗浄が完了したことから、被検者は病院に移動し、病院において内視鏡検査を受診することができる(図2のS11、S13参照)。洗浄完了表示を行うと、洗浄度チェックのフローを終了し、元のフローに戻る。
 次に、図3Bに示すフローチャートを用いて、洗浄度チェックの変形例について説明する。図3Aに示すフローチャートにおいては、ステップS21における判定の結果、洗浄剤を飲む時間であれば、ステップS23以下の一連のステップを実行し、飲む時間でなければ排便ありか否かを判定していた。これに対して、図3Bに示すフローにおいては、ステップS21における判定の結果、洗浄剤を飲む時間であれば、洗浄剤量を表示した後、ステップS21に戻り、一方、洗浄剤を飲む時間でなければ、ステップS27以下の一連のステップを実行するようにしている点で相違する。すなわち、ステップS21の判定の結果がNoの場合の進む先と、ステップS23を実行した後に進むステップ先と、ステップS33を実行した後の進むステップ先が異なる他は、図3Aのフローと同じである。各ステップにおける動作は、図3Aのフローと同じであるので、詳しい説明は省略する。
 このように、図3Aおよび図3Bに示す洗浄度チェックのフローにおいては、被検者が洗浄剤を飲み、腸管洗浄を行う際に、排便画像を取得し(S39、S41参照)、この排便画像に基づいて洗浄レベルを判定し(S43参照)、この洗浄レベルの経時的変化に基づいて、被検者にアドバイスを与えるようにしている(S47、S49参照)。このため、個々の被検者の状態に応じたアドバイスを与えることができる。
 また、図3Aおよび図3Bに示す洗浄度チェックのフローにおいては、被検者が、洗浄剤を飲む時間になると、被検者にその旨をアドバイスしている(S21、S23参照)。洗浄剤は所定時間間隔で服用しなければならず、時間管理が煩わしく感ずる被検者がいるが、そのような被検者であっても、本フローでは問題なく洗浄剤を服用することができる。また、被検者が、これ以上洗浄剤を飲むのキツイと感じ、ギブアップアイコンを操作した場合には(S27Yes)、病院に排便の画像が送信され、病院で洗浄度合いを判断している(S29、S31参照)。AIを利用して画像の洗浄度合いを判定してもよいが、本実施形態においては、医療機関において担当者が判断しているので、被検者に安心を提供することができる。この場合、腸管洗浄の結果、きれいになっていそうだった場合には、「洗浄完了」を表示し(S47)、一方、きれいになっていない場合には、「頑張ってね」等、励ましの表示を行うとよい。
 次に、ステップS49における洗浄レベルの取得と、ステップS49における洗浄度予測について、図4ないし図8を用いて説明する。
 まず、図4を用いて、洗浄度の予測について説明する。図4は、洗浄度の変化を示すグラフであり、横軸は洗浄剤を飲み始めてからの時間の経過を示し、縦軸は洗浄度を示す。縦軸の洗浄度は、上側が低く、下側が高く、洗浄度がレベルLevより下側であれば検査が可能である。実線は、洗浄剤を飲み始めてからの標準的な洗浄度の変化を示す標準洗浄度曲線Lstである。腸の動きによって、洗浄度の変化は、おおよその傾向があると考える。そこで、食事内容・時刻、排便量・時刻を収集し、洗浄度を予想し、標準洗浄度曲線Lstを作成する。この標準洗浄度曲線Lstは、AIを利用して作成してもよく、また古典的な手法(ロジカル的な手法等)によって作成すればよい。また、前回の実績・性別・年齢・人種・地域等に基づき変更してもよい。また、使用する洗浄剤に応じて変更してもよい。この標準的な洗浄度の変化曲線の作成については、図5ないし図8を用いて後述する。
 図4のグラフにおいて、Ra1~Ra5は、被検者aの各時刻における洗浄度の測定値であり、一点鎖線は、標準洗浄度曲線Lstに対して、被検者aの測定値Ra1~Ra5を考慮して作成した被検者aの洗浄度の変化予測曲線Lesaである。この変化予測曲線Lesaを用いて、被検者aの各時刻における洗浄度を予測することができ、Ra6、Ra7は、その予想値である。この例では、洗浄剤は減らせないが、後どのくらい飲めば規定量の洗浄剤を飲むことになるか表示することで、安心感を提供することができる。
 また、破線は、被検者が洗浄剤を飲み腸管を洗浄する際に、洗浄度が不足しているか否かを判定するするためのアラートラインLaである。被検者の測定値がアラートラインLaよりも右側にある場合、すなわち、洗浄度が不足方向にある場合には、被検者に警告する。図4に示す例では、測定値Ra5はアラートラインLaよりも右側にあり、アラートラインLaを超えて洗浄度が不足しているため、サービスサーバ10は病院側へアラートする。
 また、図4のグラフにおいて、Rb1、Rb2は、被検者bの各時刻における洗浄度の測定値である。被検者被検者aの場合と同様に、標準洗浄度曲線Lstに対して、被検者bの測定値Rb1、Rb2を考慮して洗浄度の変化予測曲線Lesbを作成することができる。この変化予測曲線を用いると、被検者bの各時刻における洗浄度を予測することができ、Rb3、Rb4、Rb5は、その予想値である。被検者bの場合には、標準的な洗浄度曲線Lstよりも洗浄が進んでいるため、規定量より少なくても、洗浄が完了すると予測される。すなわち、実際の洗浄度曲線からおおよそ推定して、どのくらい飲めばよさそうか表示することができる。
 このように、検査可能なレベルLev以下になるまでの時間には、被検者による個人差があり、図4に示す例では、時間差Tdifの差が生じている。一般的に、腸管洗浄剤は一定時間ごとに規定量を飲み続けるため、時間差Tdifに概ね比例して洗浄剤の飲む量を減らすことができる。本実施形態においては、洗浄度を測定し、個人差を考慮して検査可能レベル以下になるまでの時間を予想して、被検者に提示するようにしている。すなわち、標準洗浄度曲線Lstと、実際の測定値から、後どれくらい時間かかり、また洗浄剤の飲む回数を予測することができる。また、この予測に基づいて、ユーザ端末20のUI部24に、「いい調子」「ちょっと遅いけど相談する?」のような見守り感のある表示を行ってもよい。
 次に、洗浄度予測アルゴリズムについて説明する。まず、標準洗浄度曲線Lstの作成について説明する。標準洗浄度曲線作成のためN人の被検者から以下のデータを取得する。
- 被検者基本情報 (年齢、性別、体重、身長、便秘症有無等)
- 洗浄剤を飲み、排便した時の排便の画像と時刻
 N人の被検者から上述のデータを取得すると、次に、洗浄度を定量化する。洗浄度の定量化にあたっては、排便画像から画像特徴量Fを抽出する。画像特徴量Fは、RGB色空間のベクトル値でもよいし、RBGの平均値でも良い。また、他の色空間を使った特徴量を算出してもよい。さらに、固形状態の便を抽出し、固形物の画像内での占有率を特徴量としてもよい。
 一般的な検査可能に至るまでの排便画像列を基準画像列と呼ぶことにする。図5に基準画像列の例を示す。この例では、被検者の初期の排便の画像P1は固形状態を示し、その後の画像P2は泥状態を示し、その後の画像P3はカスがある状態である。検査可能な状態における画像P4は透明感のある液体である。基準画像列において、検査可能状態の画像P4における画像特徴量をF_okとする。各排便画像の特徴量F_jとF_okからの特徴量空間内の距離をD_jとし、これを洗浄度と定義する。つまり、Dの値が小さいほど検査可能な状態に近いことを示す。
 基準画像列を作成し、各画像の特徴量を算出すると、次に、標準洗浄度曲線を作成する。まず、N人の被検者の画像データを洗浄度-時刻の空間にプロットする。減少傾向のパターンが明確に異なるものは異なる標準パターンとして記録しておく(例えば、図4の標準洗浄度曲線Lst参照)。その際、標準洗浄度曲線のパターン群で群を規定する被検者基本情報を特定する。これらの処理を行うことによって、標準洗浄曲線Lstを作成する。なお、母集団の年齢、性別等に基づいて、それぞれ異なる標準洗浄曲線Lstを作成してもよい。
 上述の洗浄曲線は、最初は、排せつされる塊によって大きく変動し、その後は、腸の表面にこびりついていたものが洗浄剤で洗われていくモードに変わるので、腸管の管方向断面積で決まる第1のモードの減衰と、腸管内面の表面積で決まる第2のモードの減衰によって決まる場合もある。腸の形状や大きさは、被検者のプロフィール基づいて、分類して判定してもよい。
 また、受診者が検査当日までの食事に気を配ったか否かで、残渣が残りやすいか残り難いかという傾向が変わることが知られており、例えば、麺類で言えば、うどん、そうめん、冷や麦は消化によく、残渣の心配がなく、 そば、ラーメン、パスタなどは影響が出やすいとされている。こうした推奨フードを摂取していた人であれば、その他の食事をしていた人より、少ない腸管洗浄剤で検査に臨むことが出来ることが知られている。つまり、受診者、被検者の食事の履歴情報に従って、内視鏡検査の準備に係る工程の終了タイミングに関する情報を生成するようにしてもよい。また、食事の履歴情報に従って、検査OKのスレッシュレベルを補正したり、予想時刻や腸管洗浄剤量を補正して洗浄終了のガイドを提示したりしてもよい。なお、上述の履歴情報は、スマートフォンや端末入力で自己申告でもよいし、口頭申告でシステムに医療従事者が入力してもよいし、スマートフォンで撮影したメニュー画像から、これらを判定してもよい。
 上述の洗浄曲線は、排便における塊と液体色に依存し、固体排泄物が出た後に液体のみになり、最終的にはカスが見えるのみとなる。液体と言っても溶液ではないので、結局は視認できる固体が出た後に、泥状になっていく。このように、洗浄曲線において、固体がある場合(第1クラス)、泥状(第2クラス)、液体+カス程度(第3クラス)というクラス分類が可能であり、第1クラス(または、第2クラスも含め)の継続時間と第3クラスの時間変化の相関に基づく曲線を洗浄曲線として代用したり、洗浄終了の予想をしたりしてもよい。
 前述したような画像特徴量Fから洗浄度を定義し、標準洗浄度曲線Lstを作成する方法以外にも、深層学習(ディープラーニング(Deep Learning))を用いて洗浄度を定義するようにしてもよい。図6を用いて、この方法を説明する。
 図6(a)は、排便の画像データを収集し、推論モデルを生成する方法を示す。まず、被検者の基本情報と洗浄剤を飲み始めてからの時間と対応付けて排便画像データを多数収集する。次に、収集した画像データに対して、アノテータ(アノテーションを付与する人)が基準画像列(図5、図6(b)参照)を参照し、どのクラスに入るかを判断し、判断したクラスをアノテーションとして付与し、教師データを作成する。図6の例で説明すると、アノテータが排便画像P11を見て、この画像が図6(b)に示す基準画像列(画像P1~P4)を参照し、排便画像P11がどの画像(クラス)に近いかを判断する。
 図6(b)に示す例では、画像P1~P4の洗浄度は、それぞれ100、66、33、0である。図6(a)では、排便画像P11は、画像P2の「2.泥状態」に近いころから、排便画像P11に「2番」とアノテーションA11を行い、教師データT11を作成する。収集した画像データの全てについてアノテーションを付与することによって、教師データが作成される。
 N人の被検者から教師データが作成されると、この教師データを用いて、排便画像とクラスを予測する推論モデルを作成する。これは、古典的手法の特徴量空間の距離Dに置き換えても良い。この推論モデルが作成されると、多数の被検者の排便画像から、標準洗浄度曲線Lstを得ることができる。すなわち、標準的な被検者が洗浄剤を飲んだ場合に、時間と共に、洗浄度がどのように変化するかという標準洗浄度曲線Lst(図4参照)を得ることができる。教師データの母集合となった被検者の性別、年齢別等、被検者のプロフィール毎に、標準洗浄度曲線Lstを作成してもよい。
 前述したような画像特徴量Fから洗浄度を定量化して標準洗浄度曲線Lstを作成すると、または図6を用いて説明したような深層学習を用いて標準洗浄曲線Lstを作成すると、次に、被検者(ユーザ)の基本情報(例えば、性別、年齢層等)に基づいて、ユーザに適した標準洗浄度曲線Lstをシステムから選択する。図7(a)は、ユーザcに適した標準洗浄度曲線Lstcの例を示す。図7(a)においても、図4のグラフと同様に、縦軸は洗浄度、横軸は洗浄剤を飲み始めてからの経過時間を示す。なお、代表的な年齢や性別等の基本情報に基づき作成したMパターンの標準洗浄度曲線Lstから、被検者の基本情報に近いNパターン(N≦M)の標準洗浄度曲線Lstを選択し、補間等を行うことによって被検者の標準洗浄度曲線Lstcを作成するようにしてもよい。
 被検者に適した標準洗浄度曲線Lstcを選択すると、次に、被検者は洗浄剤を飲み、排便する毎に排便画像をサービスサーバ10に送る(図3Aおよび図3BのS37~S41参照)。サービスサーバ10は排便画像を受信すると、洗浄度判定部14が排便画像から洗浄度を算出する。この算出は、洗浄度判定部14が、図5に示した基準画像列と排便画像を比較して行ってもよく、推論用の推論モデルを用いて行ってもよい。また、画像特徴量を用いて、洗浄度Dを算出するようにしてもよい。
 洗浄度判定部14が洗浄度を算出すると、グラフに洗浄度をプロットする。洗浄度を複数プロットできたら、時系列データとして予測曲線を計算し表示する。図7(b)に示す例では、被検者cの各排便画像について洗浄度Rc1、Rc2、Rc3を算出する。次に、洗浄度Rc1、Rc2、Rc3に基づいて、被検者cの洗浄度の予測曲線Lcを求める。
 被検者の洗浄度の予測曲線を求めるためのアルゴリズムとしては、ARモデルやカルマンフィルタを用いてもよい。 また、標準洗浄度曲線を被検者のプロット済みデータにフィッティングさせて予測曲線を計算してもよい。予測曲線が求めると、あと何回洗浄剤を飲めば検査可能か計算することができ、飲む回数を被検者に知らせることができる(図3Aおよび図3BのS49参照)。
 次に、図8を用いて、洗浄度の予測を古典的手法ではなく、深層学習によって実施する例について説明する。深層学習を用いて洗浄度を推論するには、まず、深層学習によって推論モデルを作成する。図8(a)は、深層学習のアルゴリズムを示す。まず、洗浄剤を飲んだ人の排便画像を、N人分取得する(#1)。例えば、サービスサーバ10が、多数のユーザ端末を通じて、被検者の排便画像を取得する。被検者の同意をとり、図3Aおよび図3BのS41に取得した画像を用いてもよい。
 排便画像を収集すると、次に、各画像に対して、検査可能になるまでの情報を付与し学習を行う(#3)。検査可能になるまでの情報としては、検査可能になるまでに、洗浄剤を飲んだ量、回数、時間等とする。図8(c)に、被検者Aの排便画像の例を示す。画像PA1、PA2、・・・は、被検者Aの排便画像であり、左側の画像PA1は、最初の画像であり、時間が経過するにつれて、画像PA2、PA3・・・と変化し、最後の画像PANにおいて、内視鏡検査を行うに十分に洗浄がなされた状態となっている。同様に、画像PB1、PB2、PB3、PBNは、被検者Bの排便画像であり、最後の画像PBNにおいて、十分に洗浄がなされた状態となっている。
 ステップ#3において、被検者Aが画像PANの段階において検査OKとなり、被検者Bが画像PBNの段階において検査がOKとなっているので、この段階になるまでに、被検者A、Bが飲んだ洗浄剤の量、回数、時間等を、検査可能になるまでの情報とする。例えば、被検者Aは、排便画像PA1の段階では、検査がOKとなるまでに、あと1500ml飲み、あと10回飲み、又はあと2時間かかった等、検査可能になるまでの情報が得られる。
 検査可能になるまでの洗浄剤の量(洗浄時間)等の情報を得ると、各排便画像に検査可能になるまでの情報をアノテーションして教師データを作成する。排便画像をN人分収集しているので、N個の教師データを作成することができる。教師データができると、推論エンジンに排便画像を入力し、検査可能になるまでの情報が出力できるように、推論エンジンのニューラル・ネットワークの各入力の結合の重み付けを変化させ、推論モデルを生成する。推論モデルが生成されると、図8(a)における学習が終了する。
 推論モデルが生成されると、図3Aおよび図3BのステップS49における洗浄終了の予想時刻と、それまでに飲む洗浄剤の量(回数)を推論によって行うことができる。この推論のアルゴリズムについて、図8(b)を用いて説明する。まず、内視鏡検査を受ける被検者(ユーザ)は、排便画像をシステムに送信する(#11)。図3Aおよび図3Bのフローにおいて説明したように、被検者が洗浄剤を飲み、排便する際には、排便の画像を撮影し、画像を送信するようにアドバイスがなされる(図3Aおよび図3BのS37、S39、S41、図9Bの画面D4参照)。この排便画像は、サービスサーバ10に送信される。
 次に、受け取った画像に基づいて、検査可能になるまでの、洗浄剤の量、回数、および/または時間を推定する(#13)。図3Aおよび図3BのステップS41において、サービスサーバ10が排便画像のデータを受信すると、洗浄度判定部14は、推論エンジンに受信した排便の画像データを入力する。このために、推論エンジンには、図8(a)を用いて説明した推論モデルを設定しておく。推論エンジンに排便の画像データを入力すると、検査可能になるまでの洗浄剤の量、回数、およびまたは時間を推定することができる。推論結果が出力されると、UI部24等の表示部に、洗浄が終了する予想時刻と、それまでに飲む洗浄剤の量(回数)を表示することができる(例えば、図9Bの画面D5参照)。
 ここで、図8(a)等において行う深層学習について、説明する。「深層学習(ディープ・ラーニング)」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、N1個のニューロンで構成される入力層、パラメータで与えられるN2個のニューロンで構成される中間層、判別するクラスの数に対応するN3個のニューロンで構成される出力層の3層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。
 ニューラル・ネットワークは、簡単な判別を行うのであれば3層でもよいが、中間層を多数にすることによって、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、9層~152層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」(全結合リカレントニューラルネット)を利用してもよい。
 これらの技術を実現するために、CPUやFPGA(Field Programmable Gate Array)等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したGPU(Graphic Processing Unit)やTensor Processing Unit(TPU)と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能(AI)専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット(NPU)」がCPU等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
 その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習によって導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
 次に、図9Aないし図9Cを用いて、ユーザ端末20のUI部24において、被検者に提供するアドバイスについて説明する。図9Aは、図2のステップS3において行う、飲み始めアラームの例である。図2に示すフローは、前述したように、被検者が自宅等において、内視鏡検査を受けるために洗浄剤を飲み、腸管を洗浄してから、病院に検査を受けに行く場合の動作を示す。このフローでは、検査開始時刻から逆算して、飲み始めのタイミングになると、被検者に飲み始めのアドバイスを提示する(図2のS3参照)。図9Aの画面D1は、このときのアドバイス画像を示し、この例では、「飲み始めてください。飲み終わりまで、2時間以上必要です。そろそろ飲み始めてください。」とUI部24に表示がなされる。このとき、過去の洗浄時間の実績などを用いて、必要な時間を変更して表示するようにしてもよい。例えば、過去に1時間半で検査に十分な洗浄度になった場合、例えば、1時間45分程度必要と表示してもよい。
 図9Bは、洗浄剤を飲み始めた際から、洗浄が完了するまでにおける、ユーザ端末20のUI部24でのアドバイス表示を示す。画面D2a、D2b、D2cは、洗浄剤量の表示画面である。洗浄剤は、何種類かあるので、被検者に渡されている洗浄剤に応じた表示とする。画面D2aには洗浄剤がモビプレップ(登録商標)の場合の飲み方が表示され、画面D2bには洗浄剤がムーベン(登録商標)の場合の飲み方が表示され、画面D2cには洗浄剤がビジクリア(登録商標)の場合の飲み方が表示される。
 また、画面のD2a、D2b、D2cの左下には、被検者が受診する病院と音声通話等を行うためのアイコンIphが表示されている。被検者が洗浄剤を飲んでいる際に、飲むのがキツイと感じた場合に、このアイコンIphをタッチすると、病院を呼び出し、担当者と通話することができる。図9Bに示す画面D3は、病院を呼び出した際の画面である。この画面D3が表示されると、担当者と対話を行い、排便の画像を見てもらうことによって、さらに洗浄剤を飲み続けるか、終了するか、中断して病院に行くか等の判断を行うことができる(図3Aおよび図3BのS29参照)。
 また、画面のD2a、D2b、D2cの右下には、被検者が排便のためにトイレに行った際のアドバイスを受けるためのトイレアイコンItoが表示されている。このとき、被検者がトイレアイコンItoをタッチすると、画面D4が表示され、被検者に排便を撮影するように促す(図3Aおよび図3BのS39参照)。
 被検者が排便画像をサービスサーバ10に送信すると、洗浄度判定部14は受信した画像に基づいて洗浄度を判定する。また洗浄度判定部14は、内視鏡検査が受けるに十分に腸管が洗浄されるまでに飲む洗浄剤の量(回数)と終了時刻を予測する。サービスサーバ10内の指示発信部16は、予測結果をユーザ端末20に送信し、UI部24に画面D5に示すように表示させる。この例では、必要量の33%が飲まれ、あと洗浄剤を8杯飲み、10時55分頃に洗浄が終了するとの予測を表示している。また、このとき、サービスサーバ10は、病院の院内システム31または34に、被検者の腸管洗浄度を通知するようにしてもよい。
 また、被検者が排便の画像をサービスサーバ10に送信し、洗浄度判定部14が十分に洗浄できたと判定すると(図3Aおよび図3BのS47Yes参照)、指示発信部16は、洗浄が完了したことをユーザ端末20に表示させる。図9Bに示す例では、画面D6に示すように、UI部24に完了表示がなされる。また、このとき、サービスサーバ10は、病院の院内システム31または34に、被検者の腸管洗浄が完了したことを連絡するようにしてもよい。
 図9Cは、洗浄剤による腸管洗浄が完了した後、被検者が自宅等を出発して病院に移動した際における、ユーザ端末20のUI部24でのアドバイス表示を示す。洗浄剤による腸管洗浄が完了すると、図9Bの画面D6に示すような表示がなされる。その後、病院までの移動時間と検査開始時刻等を考慮した出発時間になると、ユーザ端末20に出発アラームが表示される(図2のS11、S13参照)。図9Cの画面D7は、出発アラームの表示例を示している。出発アラームは、被検者に出発時刻であることを告知するだけではなく、自宅等から病院までの交通状況等、移動にあたっての参考情報を取得して表示するようにしてもよい。
 被検者が病院に到着すると、UI部24には画面D8に示すような検査予定が表示される(図2のS19参照)。この表示は、スケジュール管理部13や時間予測部15が被検者の検査の全工程を予測し、指示発信部16がUI部24に検査の予定を表示させる。なお、画面D8では、既に完了した工程については実績に基づく時間を、文字サイズや色、書体を変更して(予想した時刻と実績に基づく時刻が区別できるような表示で)表示するようにしてもよい。例えば、病院に到着した時点では、検査開始予定時刻が13:00、検査終了予定時刻が13:30だった場合には画面D8に示すように表示する。その後、検査室の混雑状況などに基づき時間予測部15が検査開始予定時刻を13:05と予測した場合には、その予想時刻を表示する。また、実際に検査が13:04に開始され、13:20に終了した場合には、画面D8にはそれらの時刻を表示する。また、当初の検査終了時刻より10分早く検査が終了する場合には、この時間を考慮して時間予測部15が前倒しで時刻を予想するので、時間予測部15が前倒しで予測した時刻を表示する。
 以上、説明したように、本発明の第1実施形態においては、被検者が医療施設以外の自宅等において、洗浄剤を服用し、腸管を洗浄してから、医療施設に移動し、内視鏡検査を受診するようにしている。この受診にあたって、内視鏡検査の被検者がどこにいるか(図2のS5、また洗浄状態がどうであるか(図2のS7、図3Aおよび図3BのS43、S45等参照)等の状態情報を取得し、これらの状態情報に基づいて検査の進捗状況を推定し(例えば、図2のS9、S15、S17、S19、図3Aおよび図3BのS49等参照)、この進捗状況に基づいてアドバイスを提供するようにしている(図2のS13、図3Aおよび図3BのS49等参照)。このため、内視鏡検査を適切に受けるために必要なアドバイスを受けることができ、被検者は安心して検査を受けることができる。
 次に、図10ないし図12を用いて、本発明の第2実施形態について説明する。第1実施形態においては、被検者は、病院ではなく、自宅等において洗浄剤を飲み、腸管洗浄が終わってから、病院に移動して、内視鏡検査を受けていた。これに対して、第2実施形態においては、被検者は、病院に移動してから、そこで洗浄剤を飲み、腸管洗浄が終わると、内視鏡検査を行うようにする。従って、第1実施形態と第2実施形態においては、被検者がどこで腸管洗浄を行うかが相違する。
 図10は、第2実施形態に係る内視鏡検査支援システムの全体構成を示すブロック図である。この内視鏡検査支援システムは、第1実施形態と同様に、サービスサーバ10、ユーザ端末20、および院内システム30、34とから構成されている。サービスサーバ10、ユーザ端末20、および院内システム30の内部構成は、図1に示した第1実施形態と同様であることから、説明を省略する。
 院内システム34は、制御部35、通信部36、待合室情報取得部37、検査室情報取得部38、リカバリルーム情報取得部39を有し、これらの各部は、図1に示した第1実施形態と同様の構成であることから、詳しい説明を省略する。院内システム34は、上述の各部に加えて、前処置室情報取得部40を有する。第2実施形態においては、被検者は病院に移動してから、洗浄剤を飲む等の前処置を行う。
 前処置室は、被検者が洗浄剤の服用等、内視鏡検査を行う際の前処置を行うための部屋である。前処置室情報取得部40は、被検者が行う前処置に関する情報を取得する。前処置室情報取得部40は、前処置室に配置されたカメラ等の撮影部、マイクロフォン等の音声収取部等を有し、前処置室において被検者の行う前処置に関する種々の情報を取得する。撮影部や音声収集部によって収集した情報に基づいて、前処置室における情報を取得する。また、前処置情報取得部40が、ユーザ端末20とも直接通信が可能であれば、ユーザ端末20を有する被検者が前処置室に在室していることを検出できる。さらに、被検者がどのような検査を受けに来たか、どのような前処置を行う予定になっているか、さらに被検者のプロフィール等、種々の情報を取得することができる。また、看護師等が、院内端末から直接、情報をテキスト入力や画像入力を行うようにしても構わない。なお、ユーザ端末20に代えて、病院が被検者に専用の情報端末を貸与し、被検者に関する情報を収集してもよい。
 次に、図11に示すフローチャートを用いて、第2実施形態における、ユーザ端末20とサービスサーバ10が協働して被検者(ユーザ)に内視鏡検査の支援を行うためのアプリケーションソフトのメイン動作を説明する。このアプリケーションによるメイン動作は、第1実施形態と同様に、サービスサーバ10内の制御部11が、ユーザ端末20内の制御部21と連携し、サービスサーバ10内の各部を制御し、さらに院内システム20、35と連携することによって実現する。図11示すフローは、ユーザ端末20に検査補助用の安心アプリがインストールされている場合に、サービスサーバ10が主体となって、ユーザ端末20に被検者向けのアドバイスを行うことを前提に説明している。この場合には、サービスサーバ10が検査ガイド装置として機能する。しかし、ユーザ端末20が主となり、サービスサーバ10の支援を受けて、被検者向けのアドバイスを提供することも勿論可能である。この場合には、ユーザ端末20が検査ガイド装置として機能する。
 第2実施形態は、前述したように、被検者が洗浄剤を飲むのが病院で行う点で大きく相違する。このため、第1実施形態に係る第2図のメイン動作のフローと比較すると、被検者が自宅で行っていたステップS1~S5、S9が省略され、代わりにステップS10が追加されている。また、被検者が病院に到着後の処理として、ステップS14a~S14cが追加され(なお、図11のS14cは、図2のS5と同様)、ステップS15、S17、が省略され、ステップS23が追加されている。そこで、第1実施形態との相違点を中心に、図11のフローチャートについて説明する。
 図11に示すメイン動作が開始すると、まず、現在地を取得する(S7)。前述したように、本実施形態は、被検者は、病院等の医療施設に移動し、そこで洗浄剤を服用して、腸管洗浄を行うことを前提している。このステップでは、医療施設に移動するに要する時間を算出するにあたって、まず、被検者の現在位置を取得する。このため、制御部11は、ユーザ端末20内のGPS等の位置検出部によって取得した被検者の現在位置に関する情報をサービスサーバ10に送信するように指示し、被検者の現在位置を取得する。なお、図11のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21は、ユーザ端末20内の位置検出部によって現在位置情報を取得する。
 現在地情報を取得すると、次に前処置開始予想時刻を取得する(S10)。ここでは、被検者が自宅等を出発する時刻を算出するために、病院等における洗浄剤の服用等を行う前処置を開始する時刻を取得する。この前処置開始時刻は、制御部11が、内視鏡検査を行う病院等のスケジュール管理部33に問い合わせることによって取得することができる。制御部11がスケジュール管理部33に検査開始予定時刻を問い合わせ、時間予測部15が検査開始予定時刻から逆算する形で前処置開始予測時刻を予測するなど、スケジュール管理部33にて管理されている基準となる時刻と、病院内で実施する工程の所用時間などに基づき時間予測部15が予測した時刻に基づき前処置開始予想時刻を取得してもよい。なお、図11のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21は、サービスサーバ10を通じて、スケジュール管理部33に問合せて、前処置開始予想時刻を取得する。
 次に、出発時刻になったか否かを判定する(S11)。ここでは、制御部21は、ステップS7において取得した現在地情報と、ステップS10において取得した前処置開始予想時刻の情報に基づいて、医療施設に移動開始時刻を算出する。この出発時刻算出のために、自宅等から病院等までの交通手段について、被検者の要望を設定し、出発時刻を算出してもよい。また算出にあたって、医療施設前の交通状況を考慮するようにしてもよい。出発時刻を算出すると、現時点が算出した移動開始時刻(出発時刻)になったか否かを判定する。この判定の結果、出発時刻でない場合には、ステップS7に戻る。なお、図11のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が出発時刻を算出し、現時点が出発時刻であるか否かを判定する。
 ステップS11における判定の結果、出発時刻であった場合には、出発アラームを被検者に告知する(S13)。出発時刻になったことから、制御部11は、ユーザ端末20のUI部24に出発アラームを表示させる。出発アラームは、発音部材によって行ってよい。検者は出発アラームが告知されると、自宅等から医療施設へ移動を開始する。なお、図11のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21がUI部24に、出発アラームを告知させればよい。
 次に、病院に到着したか否かを判定する(S14a)。ここでは、被検者が目的とする病院等に到着したか否かを、ユーザ端末20の位置検出部の検出結果に基づいて判定する。このため、制御部11は、ユーザ端末20から現在地の情報を取得する。この判定の結果、病院等に到着していない場合には、待機状態となる。なお、図11のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が、ユーザ端末20内の位置検出部の検出結果に基づいて判定する。
 ステップS14aにおける判定の結果、病院等に到着した場合には、院内タスク予想時刻の取得を開始する(S14b)。病院内では、前処置(洗浄)、検査、休息(リカバリ)、検査結果の説明、会計(清算)等の院内タスクがある。このステップでは、制御部11が、これらのタスクの予想時刻に関する情報を、院内システム30内のスケジュール管理部33から取得する。なお、図11のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が、サービスサーバ10を通じて、院内システム30内のスケジュール管理部33から取得する。
 次に、洗浄度をチェックする(S14c)。この洗浄度チェックは、図2のステップS5と同様の処理を行う。被検者は、病院等内において、洗浄剤を飲み、腸管を十分洗浄する。この際、制御部11はユーザ端末20を通じて、被検者の排便の画像を撮影部23によって取得し、通信部22を通じて、サービスサーバ10に送信させる。サービスサーバ10内の洗浄度判定部14は、被検者の排便画像等に基づいて、洗浄度を判定し、十分な洗浄レベルに達したか否かを判定する。この洗浄度チェックの動作については、前述の図3Aまたは図3Bのフローと同様であるので、詳しい説明を省略する。また、洗浄している際に、ユーザ端末20のUI部24には、例えば、前述した図9Bに示すようなアドバイス表示を行う。なお、図11のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が、サービスサーバ10内の洗浄度判定部14と協働して、洗浄度を判定する。
 洗浄度をチェックすると、次に、検査全行程が完了する予想時刻を表示する(S19)。制御部11は、検査の進み具合等と、スケジュール管理部33におけるスケジュールをみながら、検査の全工程の予想時刻を推定し、この予想時刻を、ユーザ端末20のUI部24に表示させる。この表示については、図12を用いて後述する。なお、図11のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21が、サービスサーバ10やスケジュール管理部33等と連携し、検査の全工程の予想時刻を推定し、この予想時刻をUI部24に表示する。
 次に、被検者が病院等を出たか否かを判定する(S21)。被検者は、腸管洗浄、検査、リカバリ、検査結果の説明、会計(清算)等の院内における全タスクが終了すると、病院等を出る。ここでは、制御部11が、ユーザ端末20内のGPS等の位置検出部によって取得した被検者の現在位置に関する情報をサービスサーバ10に送信するように指示し、被検者の現在位置を取得し、判定する。被検者のユーザ端末20内の位置検出部による検出結果以外にも、院内システム34内の、待合室情報取得部37、検査室情報取得部38、リカバリルーム情報取得部39によって、被検者の位置情報を取得できれば、この情報を用いてもよい。ステップS21にける判定の結果、病院等を出ていない場合には、ステップ19に戻り、前述の動作を繰り返す。なお、ステップS19に戻る代りに、ステップS14cに戻り、洗浄度をチェックするようにしてもよい。この場合には、既に洗浄が終了している場合には、ステップS14cをスキップすればよい。なお、図11のアプリケーションソフトがユーザ端末20において、主体的に実行される場合には、このステップでは、制御部21は、ユーザ端末20内の位置検出部によって現在位置情報、または、院内システム34からの情報を取得し、判定する。
 ステップS21における判定の結果、病院を出た場合には、院内タスク予想時刻の取得を終了する(S23)。院内タスクの予想時刻は、ステップS14bにおいて取得を開始し、ユーザ端末20のUI部24に表示していた(図12参照)。ステップS21における判定の結果、被検者は検査のための全てのタスクを終了したことから、この予想時刻の取得を終了し、メイン動作のフローを終了する。
 次に、図12を用いて、検査全行程完了時刻の予想表示について説明する。この表示は、図11のステップS19において行われる。第2実施形態においては、第1実施形態と同様に、時間予測部15が、院内タスクの開始時刻等を予想している(図11のS14b、S23参照)。この院内タスクの開始時刻等に基づいて、院内スケジュールをユーザ端末20のUI部24に表示することができる。図12は、図9Cの画面D8と同様に、院内タスクスケジュールを表示した例であり、CTは、現在時刻を示す。なお、図9Cの画面D8とは異なり、第2実施形態においては、医療施設で洗浄を行っている。このように、ユーザ端末20のUI部24に院内タスクのスケジュールが表示されるので、被検者は次に何を行うのか、また何時頃に終わるか等を簡単に知ることができる。
 以上、説明したように、本発明の第2実施形態においては、被検者が医療施設に移動してから、洗浄剤を服用して腸管を洗浄し、内視鏡検査を受けている。この受診にあたって、内視鏡検査の被検者の洗浄状態がどうであるか(図11のS14c、図3Aおよび図3BのS43、S45等参照)等の状態情報を取得し、これらの状態情報に基づいて検査の進捗状況を推定し(例えば、図11のS11、S14a、図3Aおよび図3BのS49等参照)、この進捗状況に基づいてアドバイスを提供するようにしている(図11のS13、図3Aおよび図3BのS49等参照)。このため、内視鏡検査を適切に受けるために必要なアドバイスを受けることができ、被検者は安心して検査を受けることができる。
 以上説明したように、本発明の各実施形態においては、内視鏡検査の受診にあたって、内視鏡検査の被検者の洗浄状態がどうであるか(図2のS5、図3Aおよび図3BのS43、S45、図11のS14c等参照)等の状態情報を取得し、これらの状態情報に基づいて検査の進捗状況を推定し(例えば、図2のS5、図11のS14a、図3Aおよび図3BのS49等参照)、この進捗状況に基づいてアドバイスを提供するようにしている(図3Aおよび図3BのS49等参照)。このため、内視鏡検査を適切に受けるために必要なアドバイスを受けることができ、被検者は安心して検査を受けることができる。
 また、本発明の各実施形態においては、内視鏡検査受診者の状態情報に基づき、受診者の内視鏡検査に係る工程の進捗を推定し、進捗に関する情報を表示する検査ガイド方法を提供している。また、内視鏡検査の受診者の状態情報に基づき、受診者の内視鏡検査に係る工程の進捗を推定し、この推定された進捗に関する情報を表示する検査ガイド方法を提供している。また、同じもの(同一被検者の排泄物、また排泄部を含む水等)を繰り返し取得し、この取得したもの透明度(洗浄度)の時間的変化に基づき、同じものが特定の透明度になるまでの時間を予測する予測方法を提供している。この予測方法によれば、洗浄開始前半の特定時間を跨ぐ複数回の測定(画像の撮影結果の分析等)によって、洗浄終了時刻が分かる。洗浄終了時刻は特定の洗浄推移モデルを参考にしてもよく、また複数回の測定で、変化が速いなら第1モデル、遅いなら第2モデルといった複数パターンで判定してもよい。
 本明細書においては、もっぱら排泄物等を撮影した画像を用いる例について説明したが、画像でなくても光学的なセンサを使って透過、反射などを見るのが考えられる。画像の代わりに、水洗トイレの水のpHとか、抵抗とか、試薬反応とかを利用してもよい。これは洗浄液が排泄物のどれぐらいの割合を占めているかを調べる方法で、洗浄液が、ナトリウム等、電解質を含む薬剤だから利用できる方法である。また、水洗トイレであれば、排泄物だけが撮影されるわけではなく、水洗トイレの便器に溜まった水が混ざっていることを想定する。これは写真画像においても同様で、排せつ物を含む水洗トイレの水を撮影して、その透明度や洗浄度はもとからあった水洗用の水の影響を排除した方が良いが、それは誤差の範囲であるとして考えてもよい。
 また、本発明の各実施形態においては、内視鏡検査の受診にあたって、内視鏡検査の被検者の洗浄状態がどうであるか、(図2のS5、図3Aおよび図3BのS43、S45、図11のS14c等参照)等の状態情報を取得し、被検者の内視鏡検査を受診する医療施設における使用状況(待合・前処置・検査・リカバリ・会計の何れか少なくとも1つに係る各行為を行う場所における使用状況)を取得し(例えば、図2のS15、S17)、洗浄状態情報と、使用状況の情報に基づき、内視鏡検査に関わる時刻を推定し、この推定に基づき、臨床検査に係るアドバイスを表示している(例えば、図2のS19参照)。このため、被検者は、各行為からなる内視鏡検査において、個々の時刻が予想できるので、計画を立てやすく、また安心して受診することができる。
 また、本発明の各実施形態における検査ガイド方法は、内視鏡検査受診者の状態情報の時間的変化に基づき、受診者の内視鏡検査の準備に係る工程の進捗度合いを推定し(例えば、図3Aおよび図3BのS37~S43参照)、この推定した進捗度合いに基づき、準備に係る工程の終了タイミングに関する情報を生成している(例えば、図3Aおよび図3BのS49参照)。このため、本実施形態における検査ガイド方法によれば、内視鏡検査等、医行為を伴う検査や臨床検査を適切に受けるために必要なアドバイスを受けることができる。すなわち、受診者の状態情報の変化に基づいて、検査を受けるための準備工程の進捗度合い(例えば、腸管洗浄を行った際の洗浄度の進み具合)を判定し、この判定結果に基づいて、準備工程の終了のタイミングのアドバイスを受けることができる。
 また、本発明の各実施形態における検査ガイド方法は、準備に係る工程の進捗度合いは、内視鏡検査受診者の腸管洗浄状態の進捗度合いであり(例えば、図4)、腸管洗浄状態が一定の度合いに達すると予測したタイミングを、準備に係る工程の終了タイミングとする(例えば、図3Aおよび図3BのS43、S49、図4の検査可能レベルLev、図7、図8参照)。すなわち、各実施形態においては、腸管洗浄状態の進捗度合いに基づいて、準備の終了タイミングを予測しており、受診者は準備終了のタイミングについて、適切なアドバイスを受けることができる。
 また、本発明の各実施形態における検査ガイド方法において、状態情報の時間的変化とは、排泄画像の時間的変化であり(例えば、図5、図6(b)参照)、この排泄画像の時間的変化に基づいて、排泄画像が撮影された時よりも未来の腸管の洗浄度の時間的変化を推定し(例えば、図4、図7(b))、推定した洗浄度の時間的変化が一定のレベルに達するタイミングを、腸管洗浄状態の終了タイミングとする(例えば、図3Aおよび図3BのS49、図4の検査可能レベルLev、図7、図8等参照)。すなわち、各実施形態においては、腸管洗浄の洗浄状態を繰り返し取得し(例えば、図3Aおよび図3BのS37~S41参照)、この洗浄状態の時間的変化に基づいて、将来の洗浄度を予測し(例えば、図3Aおよび図3BのS43、図4の検査可能レベルLev参照)、この予測された洗浄度が検査可能なレベルに達するタイミングを洗浄終了タイミングとしている(例えば、図3Aおよび図3BのS49参照)。このため、受診者は準備終了のタイミングについて、適切なアドバイスを受けることができる。
 また、本発明の各実施形態における検査ガイド方法において、内視鏡検査受診者の腸管洗浄の開始からの時間を更に加味し、洗浄度の時間的変化を推定している(例えば、図2のS3、S5、図9Cの画面D8、図11のS19、図12等参照)。このため、受診者が洗浄剤を飲み始めてからの、適切な終了タイミングについて、アドバイスを受けることができる。
 また、本発明の各実施形態における検査ガイド方法において、内視鏡検査受診者が飲んだ腸管洗浄剤を推定し、この推定量(洗浄開始からの時間と概ね比例する)を更に加味し、洗浄度の時間的変化を推定している。例えば、図3Aおよび図3Bに示す例では、ステップS25において洗浄剤量を表示し(例えば、図9Bの画面D2a~D2c)、受診者が、この洗浄剤量と飲んだ回数に基づいて、今後の洗浄度の時間的変化を推定することができる。
 また、本発明の各実施形態における検査ガイド方法において、内視鏡検査受診者の腸管洗浄に係る薬剤の飲み方に関するガイドを表示している(例えば、図3Aおよび図3BのS49、図9Bの画面D2a~D2c等参照)。受診者は、腸管洗浄に係る薬剤の飲み方を知らない場合が多く、飲み方の表示がなされることによって、適切に検査を受けることができる。
 また、本発明の各実施形態における検査ガイド方法において、内視鏡検査受診者が腸管洗浄のために飲む薬剤に応じて、ガイド表示を変更している(例えば、図9Bの画面D2a~D2c等参照)。薬剤に応じてガイド表示を切り替えているので、誤った飲み方をすることを防止することができる。
 また、本発明の各実施形態における検査ガイド方法において、薬剤の飲み方に関するガイドとして、薬剤を飲む時間または薬剤を飲む量または薬剤と共に飲むべき薬剤以外の量を表示する(例えば、図9Bの画面D2a~D2c等参照)。具体的に、飲む時間、飲む量等について、表示されるので、受診者が誤った飲み方をすることを防止することができる。
 また、本発明の各実施形態における検査ガイド方法において、内視鏡検査受診者が排泄した状態が撮影された排泄画像と、複数の排泄画像を、排泄経過モデルと特徴量を比較して、洗浄度の時間的変化を推定し、腸管洗浄状態の終了タイミングを推定している(例えば、図3Aおよび図3BのS39~S43、図5等参照)。すなわち、受診者の排泄画像について、排泄経過モデル(例えば、図5の基準画像列参照)と比較し、また受診者の排泄画像の特徴量と排泄経過モデルの特徴量を用いて、洗浄度を推定している。また、受診者が排便する毎に(図3Aおよび図3BのS37、図9Bの画面D4等参照)、排泄画像を撮影するようにしているので、複数の排泄画像について洗浄度を得ることができる。この複数の洗浄度の時間的変化に基づいて、腸管洗浄の終了タイミングを予測することができる。
 また、本発明の各実施形態における検査ガイド方法において、排泄された状態が撮影された排泄画像を用いて学習されたAIモデルと、内視鏡検査受診者が排泄した状態が撮影された複数の排泄画像を用いて、腸管洗浄状態の終了タイミングを推定している(例えば、図3Aおよび図3BのS45、S49、図6、図8等参照)。また、本発明の各実施形態における検査ガイド方法において、排泄された状態が撮影された排泄画像に加え、洗浄完了までの時間と洗浄剤の量の少なくとも一方を用いて学習されたAIモデルに、被検者が排泄した状態が撮影された排泄画像を入力して、腸管洗浄状態の終了タイミングを推定している(例えば、図6、図8参照)。ビックデータ等を利用してAIモデルを生成、このAIモデルを用いて腸管洗浄状態の終了タイミングを推測することができる。
 また、本発明の各実施形態における検査ガイド方法において、排泄された状態が撮影された排泄画像に洗浄度をアノテーションした複数の学習データセットを用いて学習されたAIモデルに、内視鏡検査受診者が排泄した状態が撮影された排泄画像を入力して洗浄度を推定し、腸管洗浄状態の終了タイミングを推定している(例えば、図6、図8等参照)。AIモデルを利用することによって、ビックデータ等を利用して推測することができる。
 また、本発明の各実施形態における検査ガイド方法において、排泄された状態が撮影された複数の排泄画像に検査可能な状態に達するまでの洗浄時間または洗浄剤を飲んだ量をアノテーションした複数の学習データセットを用いて学習されたAIモデルに、被検者が排泄した状態が撮影された複数の排泄画像を入力して洗浄終了タイミングを推定している(例えば、図8等参照)。このため、ビックデータがあれば、洗浄終了タイミングを容易に推定することができる。
 また、本発明の各実施形態における検査ガイド方法において、準備に係る工程の終了タイミングと、内視鏡検査受診者よりも先に受診者の(洗浄もある)検査時間ずれ状況によって決まる検査開始予測時間をガイドする(例えば、図2のS15~S19、図9C、図11のS19、図12等参照)。内視鏡検査には、洗浄、検査、リカバリ(休憩)、結果説明、会計等、種々の段階があり、しかも、複数の受診者が検査を受けていることから、先の受診者が予定とずれると、検査の支援を受けている受診の検査開始時刻が変わってしまう。この場合でも、本実施形態によれば、先の受診者のずれに応じて検査開始時刻が変わったことが告知され、便利である。また、本発明の各実施形態における検査ガイド方法において、さらに受診者の食事の履歴情報に従って、内視鏡検査の準備に係る工程の終了タイミングに関する情報を生成する。受診者の食事の履歴によって、残渣の残り難さが変わるので、この履歴情報を使用することにより、精度良く準備工程の終了タイミングに関する情報を生成することができる。
 また、本発明の各実施形態においては、第1タイミング以降の処置に従って決まる第2タイミングを推定するようにしている。すなわち、内視鏡検査には、多数の段階の処置があり、それぞれの処置にかかる時間が次の処置の開始タイミングに影響するので、個々のタイミングに応じて、次のタイミングを推定するようにしている。洗浄開始からの時間、洗浄剤の飲んだ量、洗浄状態の進捗度合い、古典的手法またはAI、古典的手法とAI等、適宜組み合わせて洗浄終了タイミングを推定してもよい。
 また、本発明の各実施形態における検査ガイド方法において、内視鏡検査受診者の状態情報と、内視鏡検査を実施する病院の混雑状況またはスタッフの稼働状況に応じ、内視鏡検査に係る工程の進捗を推定し、この推定した進捗に応じたガイドを表示する(例えば、図2のS15~S19、図11のS19等参照)。すなわち、各実施形態においては、内視鏡検査を受ける病院の院内状況を加味して、終了する時刻を推定し、この時刻を表示するようにしている。
 また、本発明の各実施形態における検査ガイド方法において、内視鏡検査受診者の状態情報は、内視鏡検査に係る工程の進捗状況(実績値、どこまで進んだか)及び/又は受診者が処置を受ける可能性を示すリスクであり、内視鏡検査室及び/又は内視鏡検査スタッフの稼働状況に応じ、内視鏡検査の開始時刻または内視鏡検査の終了時刻を推定する。また、本発明の各実施形態における検査ガイド方法において、受診者が受ける内視鏡検査を実施する内視鏡検査室及び/又は内視鏡検査スタッフが、他の受診者に対する第二の内視鏡検査に使用/従事しており、第二の内視鏡検査が挿入困難、病変発見、生検、処置、または正常等によって当初の想定(第二の内視鏡検査実施前に想定)された時間から乖離(短縮または延長)する場合、受診者が受ける内視鏡検査の推定開始時刻または推定終了時刻を、変更(早める or 遅らせる)する。また、本発明の各実施形態における検査ガイド方法において、内視鏡検査を実施する病院の混雑状況とは、待合・前処置・検査・リカバリ・検査結果通知・会計のいずれかの混雑状況又は当該スペースによる工程を実施するにあたり、標準的な時間(当該施設での標準的な時間)から乖離する状況である。
 また、本発明の各実施形態における検査ガイド装置は、内視鏡検査受診者の状態情報を取得する状態取得部と、この取得された状態情報の時間的変化に基づき、内視鏡検査受診者の検査準備の進捗状況を推定する進捗推定部と、この推定された進捗状況に基づき、検査準備に係るアドバイスを表示させるためのアドバイス生成部と、を有する。なお、図1および図10に示した内視鏡検査支援システムでは、受診者の検査準備の進捗状況の推定や、この推定に基づいて行うアドバイスの生成は主としてサービスサーバ10において行っていた。しかし、これらの処理は、サービスサーバ10に限らず、ユーザ端末20内で行ってもよく、また院内システム30、34において行うようにしてもよい。このため、サービスサーバ10内の機能の一部をユーザ端末20または院内システム30、34において実行できるようにすればよい。
 また、上述の検査準備は、消化管洗浄に係る準備であり、状態取得部は、内視鏡検査受診者の排泄に係る情報を取得し(例えば、図3Aおよび図3BのS39、41等参照)、進捗推定部は、進捗状況として、内視鏡検査受診者の消化管洗浄に係る進捗を推定する(例えば、図3Aおよび図3BのS43等参照)。また、進捗推定部は、消化管洗浄の進捗及び一定の洗浄度合いに到達するまでの所要時間または洗浄剤摂取に係る回数・量を推定し(例えば、図3Aおよび図3BのS49、図4~図8等参照)、アドバイス生成部は、進捗推定部の推定結果に基づく情報を生成する(例えば、図1の指示発信部16、図3Aおよび図3BのS49等参照)。
 また、本発明の各実施形態における検査ガイド装置は、内視鏡検査受診者の要望を入力する受信者要望入力部を有し、アドバイス表示部は、内視鏡検査受診者の要望を考慮して、アドバイスを表示する。また、検査ガイド方法は、臨床検査の受診者の状態情報を取得し、 状態情報の時間的変化に基づき、受診者の検査準備の進捗状況を推定し、進捗状況に基づき、臨床検査の準備に係るアドバイスを表示する。
 また、本発明の各実施形態における検査ガイド方法は、院内混雑状況によって、第1タイミング(例えば、開始タイミング)(洗浄もある)と、第1タイミング以降の処置に従ってきまる第2タイミング(例えば、終了タイミング)を予測(推定)する。すなわち、検査を受診する病院等においては、複数の受診者がおり、院内の混雑状況は一定ではない。そこで、検査ガイドを行うにあたって、各実施形態においては、院内の混雑状況を加味して予測(推定)するようにしている。
 また、本発明の各実施形態における検査ガイド装置は、内視鏡検査の受診者の状態情報を取得する状態取得部(例えば、図2のS5、図3Aおよび図3B、図11のS14a等参照)と、受診者が内視鏡検査を受診する医療機関における使用状況を取得する使用状況取得部(例えば、図2のS15、S17等参照)と、状態情報と使用状況に基づき内視鏡検査に関わる時刻を推定する時刻推定部(例えば、図2および図11のS19、図9Cの画面D8、図12等参照)を有する。また、この検査ガイド装置は、推定に基づき、内視鏡検査に係るアドバイスを表示するアドバイス表示部を有してもよい。すなわち、この検査ガイド装置は、内視鏡検査に用いられる内視鏡や検査室の使用状況等によって、内視鏡検査の開始時刻や終了時刻等、検査に係る時刻を推定する。また、上述の使用状況は、医療機関における待合・前処置・検査・処置・リカバリ・会計の何れか少なくとも1つに係る各行為を行う空間における使用状況であり、時刻推定部は、各行為の開始または終了の時刻を予想し、アドバイス表示部は、医療機関への移動の開始・各行為の開始または終了・医療機関での全行為の完了に係るアドバイスを表示する。
 また、本発明の各実施形態における検査ガイド方法は、臨床検査の受診者の状態情報を取得し、この状態情報の時間的変化に基づき、受診者の検査準備の進捗状況を推定する進捗推定部(例えば、図3Aおよび図3BのS49等参照)と、進捗状況に基づき検査準備に係るアドバイスを表示させるためのアドバイス生成部((えば、図3Aおよび図3BのS49等参照)を有する。
 また、本発明の各実施形態における内視鏡検査支援方法は、臨床検査の受診者の状態情報を取得し、受診者が臨床検査を受診する医療機関における使用状況を取得し、状態情報と、使用状況に基づき、上記臨床検査に関わる時刻を推定し、推定に基づき、臨床検査に係るアドバイスを表示する。各実施形態においては、主として内視鏡検査の場合について説明したが、内視鏡検査に限らず、検査にあたって種々の準備・前処理等を行う臨床検査に適用することができる。
 なお、本発明の各実施形態においては、サービスサーバ10が内視鏡検査を受ける際のアドバイスを被検者に提供するとして説明したが、サービスサーバは複数のサーバによってサービスを提供するようにしてもよく、また、ユーザ端末20内のみで提供できるようしてもよい。この場合には、ユーザ端末20において、スケジュール管理部13、洗浄度判定部14、時間予測部15等の機能を有するようにし、院内システム30、34と連携できるようにすればよい。また、内視鏡検査を受けることを主に説明したが、内視鏡検査に限らず、臨床検査を受ける場合には、種々の準備・前処理等が必要であり、その場合にも、本実施形態を適用することができる。
 また、本発明の各実施形態においては、ロジックベースの判定を主として説明し、一部に機械学習を使用した推論による判定を行っていた。ロジックベースによる判定を行うか推論による判定を行うかは、本実施形態においては適宜いずれかを選択して使用するようにしてもよい。また、判定の過程で、部分的にそれぞれの良さを利用してハイブリッド式の判定をしてもよい。
 また、本発明の各実施形態においては、制御部11、21、31、35は、CPUやメモリ等から構成されている機器として説明した。しかし、CPUとプログラムによってソフトウエア的に構成する以外にも、各部の一部または全部をハードウエア回路で構成してもよく、ヴェリログ(Verilog)やVHDL(Verilog Hardware Description Language)等によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またDSP(Digital Signal Processor)等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
 また、制御部11、21、31、35は、CPUに限らず、コントローラとしての機能を果たす素子であればよく、上述した各部の処理は、ハードウエアとして構成された1つ以上のプロセッサが行ってもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、FPGA(Field Programmable Gate Array)等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、1つ以上のCPUで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することによって、各部としての機能を実行しても構わない。
 また、本発明の各実施形態においては、サービスサーバ10は、制御部11、通信部12、スケジュール管理部13、洗浄度判定部14、時間予測部15、指示発信部16、検査結果記録部17を有しているものとして説明した。しかし、これらは一体の装置内に設けられている必要はなく、例えば、インターネット等の通信網によって接続されていれば、上述の各部は分散されていても構わない。同様に、ユーザ端末20は、制御部21、通信部22、撮影部23、UI部24を有しているものとして説明した。しかし、これらは一体の装置内に設けられている必要はなく、例えば、インターネット等の通信網によって接続されていれば、上述の各部は分散されていても構わない。院内システム30、34等においても、同様である。
 また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。そうした制御に対して、ユーザが善し悪しを入力可能であれば、ユーザの嗜好を学習して、そのユーザにふさわしい方向に、本願で示した実施形態はカスタマイズすることが可能である。
 さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。特に、音声認識を含む生体反応を利用した操作などはそれぞれにふさわしいセンサやインターフェースや判定回路が必要になるが煩雑になるのを避けて特に記載していないが、これらのユーザの手動操作を代用しうる様々な改良技術、代替技術によってもまた、本発明は達成が可能であることを付記しておく。
 また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。
 また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
 また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
 本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
10・・・サービスサーバ、11・・・制御部、12・・・通信部、13・・・スケジュール管理部、14・・・洗浄度判定部、15・・・時間予測部、16・・・指示発信部、17・・・検査結果記録部、20・・・ユーザ端末、21・・・制御部、22・・・通信部、23・・・撮影部、24・・・UI部、30・・・院内システム、31・・・制御部、32・・・通信部、33・・・スケジュール管理部、34・・・院内システム、35・・・制御部、36・・・通信部、37・・・待合室情報取得部、38・・・検査室情報取得部、39・・・リカバリルーム情報取得部、40・・・前処置室情報取得部

Claims (18)

  1.  内視鏡検査受診者の状態情報の時間的変化に基づき、上記内視鏡検査受診者の内視鏡検査の準備に係る工程の進捗度合いを推定し、
     上記推定した進捗度合いに基づき、準備に係る工程の終了タイミングに関する情報を生成する、
     ことを特徴とする検査ガイド方法。
  2.  上記準備に係る工程の進捗度合いは、内視鏡検査受診者の腸管洗浄状態の進捗度合いであり、
     腸管洗浄状態が一定の度合いに達すると予測したタイミングを、準備に係る工程の終了タイミングとする、
     ことを特徴とする請求項1に記載の検査ガイド方法。
  3.  上記状態情報の時間的変化とは、排泄画像の時間的変化であり、
     上記排泄画像の時間的変化に基づいて、上記排泄画像が撮影された時よりも未来の腸管の洗浄度の時間的変化を推定し、
     推定した洗浄度の時間的変化が一定のレベルに達するタイミングを、腸管洗浄状態の終了タイミングとする、
     ことを特徴とする請求項1に記載の検査ガイド方法。
  4.  上記内視鏡検査受診者の腸管洗浄の開始からの時間を更に加味し、洗浄度の時間的変化を推定することを特徴とする請求項2に記載の検査ガイド方法。
  5.  上記内視鏡検査受診者が飲んだ腸管洗浄剤を推定し、この推定量を更に加味し、洗浄度の時間的変化を推定することを特徴とする請求項2に記載の検査ガイド方法。
  6.  更に、上記内視鏡検査受診者の腸管洗浄に係る薬剤の飲み方に関するガイドを表示することを特徴とする請求項2に記載の検査ガイド方法。
  7.  更に、上記内視鏡検査受診者が腸管洗浄のために飲む薬剤に応じて、ガイド表示を変更することを特徴とする請求項2に記載の検査ガイド方法。
  8.  上記薬剤の飲み方に関するガイドとは、薬剤を飲む時間または薬剤を飲む量または薬剤と共に飲むべき薬剤以外の量に関することを特徴とする請求項6に記載の検査ガイド方法。
  9.  上記内視鏡検査受診者が排泄した状態が撮影された排泄画像と、
     複数の上記排泄画像を、排泄経過モデルと特徴量を比較して、洗浄度の時間的変化を推定し、腸管洗浄状態の終了タイミングを推定する、
     ことを特徴とする請求項2に記載の検査ガイド方法。
  10.  排泄された状態が撮影された排泄画像を用いて学習されたAIモデルと、上記内視鏡検査受診者が排泄した状態が撮影された複数の排泄画像を用いて、腸管洗浄状態の終了タイミングを推定することを特徴とする請求項2に記載の検査ガイド方法。
  11.  排泄された状態が撮影された排泄画像に加え、洗浄完了までの時間と洗浄剤の量の少なくとも一方を用いて学習されたAIモデルに、被検者が排泄した状態が撮影された排泄画像を入力して、腸管洗浄状態の終了タイミングを推定することを特徴とする請求項2に記載の検査ガイド方法。
  12.  排泄された状態が撮影された排泄画像に洗浄度をアノテーションした複数の学習データセットを用いて学習されたAIモデルに、上記内視鏡検査受診者が排泄した状態が撮影された排泄画像を入力して洗浄度を推定し、腸管洗浄状態の終了タイミングを推定することを特徴とする請求項2に記載の検査ガイド方法。
  13.  排泄された状態が撮影された複数の排泄画像に検査可能な状態に達するまでの洗浄時間または洗浄剤を飲んだ量をアノテーションした複数の学習データセットを用いて学習されたAIモデルに、被検者が排泄した状態が撮影された複数の排泄画像を入力して洗浄終了タイミングを推定することを特徴とする請求項2に記載の検査ガイド方法。
  14.  上記準備に係る工程の終了タイミングと、上記内視鏡検査受診者よりも先に受診する者の検査時間ずれ状況によって決まる検査開始予測時間をガイドすることを特徴とする請求項1に記載の検査ガイド方法。
  15.  さらに上記受診者の食事の履歴情報に従って、内視鏡検査の準備に係る工程の終了タイミングに関する情報を生成する、
     ことを特徴とする請求項1に記載の検査ガイド方法。
  16.  内視鏡検査受診者の状態情報を取得する状態取得部と、
     上記状態情報の時間的変化に基づき、上記内視鏡検査受診者の検査準備の進捗状況を推定する進捗推定部と、
     上記進捗状況に基づき、上記検査準備に係るアドバイスを表示させるためのアドバイス生成部と、
     を具備することを特徴とする検査ガイド装置。
  17.  上記検査準備は、消化管洗浄に係る準備であり、
     上記状態取得部は、上記内視鏡検査受診者の排泄に係る情報を取得し、
     上記進捗推定部は、上記進捗状況として、上記内視鏡検査受診者の上記消化管洗浄に係る進捗を推定する、
     ことを特徴とする請求項15に記載の検査ガイド装置。
  18.  上記進捗推定部は、消化管洗浄の進捗及び一定の洗浄度合いに到達するまでの所要時間または洗浄剤摂取に係る回数・量を推定し、
     上記アドバイス生成部は、上記進捗推定部の推定結果に基づく情報を生成する、
     ことを特徴とする請求項15に記載の検査ガイド装置。
PCT/JP2021/021399 2021-06-04 2021-06-04 検査ガイド装置および検査ガイド方法 WO2022254702A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023525320A JPWO2022254702A1 (ja) 2021-06-04 2021-06-04
PCT/JP2021/021399 WO2022254702A1 (ja) 2021-06-04 2021-06-04 検査ガイド装置および検査ガイド方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021399 WO2022254702A1 (ja) 2021-06-04 2021-06-04 検査ガイド装置および検査ガイド方法

Publications (1)

Publication Number Publication Date
WO2022254702A1 true WO2022254702A1 (ja) 2022-12-08

Family

ID=84322996

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021399 WO2022254702A1 (ja) 2021-06-04 2021-06-04 検査ガイド装置および検査ガイド方法

Country Status (2)

Country Link
JP (1) JPWO2022254702A1 (ja)
WO (1) WO2022254702A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351317A (zh) * 2023-10-25 2024-01-05 中国人民解放军总医院第二医学中心 一种末次大便性状图片自动识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010047081A1 (ja) * 2008-10-23 2010-04-29 オリンパスメディカルシステムズ株式会社 検査管理装置
JP2016045833A (ja) * 2014-08-26 2016-04-04 オリンパス株式会社 内視鏡業務支援装置
JP2016066301A (ja) * 2014-09-25 2016-04-28 オリンパス株式会社 内視鏡業務支援装置、携帯型端末装置
WO2021075023A1 (ja) * 2019-10-17 2021-04-22 オリンパス株式会社 学習支援システム及び学習支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010047081A1 (ja) * 2008-10-23 2010-04-29 オリンパスメディカルシステムズ株式会社 検査管理装置
JP2016045833A (ja) * 2014-08-26 2016-04-04 オリンパス株式会社 内視鏡業務支援装置
JP2016066301A (ja) * 2014-09-25 2016-04-28 オリンパス株式会社 内視鏡業務支援装置、携帯型端末装置
WO2021075023A1 (ja) * 2019-10-17 2021-04-22 オリンパス株式会社 学習支援システム及び学習支援方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351317A (zh) * 2023-10-25 2024-01-05 中国人民解放军总医院第二医学中心 一种末次大便性状图片自动识别方法及系统
CN117351317B (zh) * 2023-10-25 2024-04-09 中国人民解放军总医院第二医学中心 一种末次大便性状图片自动识别方法及系统

Also Published As

Publication number Publication date
JPWO2022254702A1 (ja) 2022-12-08

Similar Documents

Publication Publication Date Title
CN105260588B (zh) 一种健康守护机器人系统及其数据处理方法
Robinson et al. The role of healthcare robots for older people at home: A review
TW586008B (en) Method of providing a home health care service and system for providing a home health care service
US9596991B2 (en) Self-examination apparatus and method for self-examination
WO2017115444A1 (ja) 健康モニタリングシステム、健康モニタリング方法および健康モニタリングプログラム
US20230070807A1 (en) Systems and methods for assessing colonoscopy preparation
JP2018109597A (ja) 健康モニタリングシステム、健康モニタリング方法および健康モニタリングプログラム
WO2021140731A1 (ja) 情報伝達装置および情報伝達方法
KR20190007978A (ko) 스마트 건강 검진 코디네이팅 시스템
WO2022254702A1 (ja) 検査ガイド装置および検査ガイド方法
JPWO2018008155A1 (ja) 健康モニタリングシステム、健康モニタリング方法および健康モニタリングプログラム
WO2019131732A2 (ja) 健康モニタリングシステム、健康モニタリング方法および健康モニタリングプログラム
JP2003310585A (ja) 体調維持補助システム
KR20200071957A (ko) 대소변 정보 수집을 통한 건강관리 서비스 장치 및 시스템
CN115620879A (zh) 医疗检查项目的智能推荐方法、装置、设备及存储介质
KR20230007090A (ko) Ai를 기반으로 하는 골밀도 변화 예측 장치 및 그 방법
JP2021056623A (ja) 情報提供システム、端末装置及び情報提供方法
WO2022244265A1 (ja) 検査ガイドサービスサーバおよび検査ガイド方法
Chan et al. Biomedical monitoring technologies and future healthcare systems
JP2005172647A (ja) トイレにおける生体情報測定システム
Regenbrecht et al. Field test of a questionnaire-based mobile health reporting system
WO2023140024A1 (ja) 画像診断システム、画像診断方法、及び画像診断プログラム
KR20190068256A (ko) 대소변 분리형 변기와 사용자의 건강 상태 진단 방법 및 컴퓨터 프로그램
WO2023074292A1 (ja) 排泄物分析装置、排泄物分析方法、大腸内視鏡検査前の状態確認装置、状態確認システム、状態確認方法、及び非一時的なコンピュータ可読媒体
JP3976011B2 (ja) 尿検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944197

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023525320

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21944197

Country of ref document: EP

Kind code of ref document: A1