WO2023238609A1 - 情報処理装置、内視鏡装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、内視鏡装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2023238609A1
WO2023238609A1 PCT/JP2023/018160 JP2023018160W WO2023238609A1 WO 2023238609 A1 WO2023238609 A1 WO 2023238609A1 JP 2023018160 W JP2023018160 W JP 2023018160W WO 2023238609 A1 WO2023238609 A1 WO 2023238609A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscopy
image
information
information processing
reference image
Prior art date
Application number
PCT/JP2023/018160
Other languages
English (en)
French (fr)
Inventor
羊平 久保
学 宮本
雅裕 久保
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023238609A1 publication Critical patent/WO2023238609A1/ja

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof

Definitions

  • the technology of the present disclosure relates to an information processing device, an endoscope device, an information processing method, and a program.
  • Patent No. 6284439 discloses a medical information processing system that includes an endoscope system for performing an endoscopic examination on a subject and an examination information management system that manages past examination information. There is.
  • the test information management system includes a test information storage unit that stores past test information, a test information extraction unit that extracts past test information of a subject from the test information storage unit, and a test information extraction unit that extracts past test information of a subject from the test information storage unit. and a transmitter that transmits the information to the endoscope system.
  • the endoscope system includes a receiving unit that receives past examination information of the subject from the examination information management system, an image acquisition unit that acquires observation images of the subject captured by the imaging device, and an image acquisition unit that receives the past examination information of the subject from the examination information management system.
  • a display control unit that displays on a display device the observation image obtained by the test and information regarding the observation site included in the examination information received by the receiving unit;
  • the apparatus includes a completion information receiving section that receives part observation completion information shown in the figure, and a part information registration part that registers part observation completion information.
  • the part information registration unit registers the part observation completion information in association with information about the observed part, and when the part information registration unit registers the part observation completion information, the display The control unit causes the display device to display information regarding the observation site to be observed next.
  • a time measurement unit that measures the elapsed time from a reference timing in an endoscopy, a first endoscopic observation image acquired in a first endoscopy, A storage unit that stores the elapsed time from the reference timing in the first endoscopic examination at the time of acquiring the first endoscopic observation image, and a storage unit that stores the time elapsed from the reference timing in the first endoscopic examination when the first endoscopic observation image is acquired;
  • the second endoscopic observation image obtained in the second endoscopic inspection is the same as the elapsed time from the reference timing in the second endoscopic inspection at the time of acquiring the second endoscopic observation image.
  • a video processor is disclosed that includes a display control unit that performs control to simultaneously display a first endoscopic observation image that is associated with an elapsed time and stored in a storage unit.
  • One embodiment of the technology of the present disclosure provides an information processing device, an endoscope device, an information processing method, and a program that allow a user to grasp changes in a region that is the main inspection target of an endoscopy. I will provide a.
  • a first aspect of the technology of the present disclosure includes a processor, and the processor is configured to image a plurality of regions obtained by imaging a plurality of regions in a first endoscopy, which is a previous endoscopy.
  • a plurality of first endoscopy images are acquired from the storage in which the first endoscopy images are accumulated, and multiple first endoscopy images are acquired during the implementation period of the second endoscopy, which is the current endoscopy.
  • the information processing device displays at least one first endoscopic inspection image that satisfies a specific condition among the endoscopic inspection images as a reference image on a display device.
  • a second aspect according to the technology of the present disclosure is according to the first aspect, in which the processor displays the reference image on the display device at a timeout stage performed within the implementation period of the second endoscopy. It is an information processing device.
  • a third aspect of the technology of the present disclosure is that the processor, at a timeout stage performed within the implementation period of the second endoscopy, receives the first information obtained within the implementation period of the first endoscopy.
  • This is an information processing apparatus according to a second aspect that displays on a display device.
  • a fourth aspect of the technology of the present disclosure is that the processor acquires the second information from a device storing the second information required for a timeout performed within the implementation period of the second endoscopy.
  • An information processing apparatus according to any one of the first to third aspects, which displays second information on a display device.
  • a fifth aspect according to the technology of the present disclosure is according to the fourth aspect, in which the processor stores the second information in the storage when the timeout performed within the implementation period of the second endoscopy is completed. It is an information processing device.
  • a sixth aspect according to the technology of the present disclosure is the first to fifth aspects, wherein the first endoscopy image is associated with information obtained by timeout of the first endoscopy.
  • An information processing device according to any one of the embodiments.
  • a seventh aspect of the technology of the present disclosure is that the second endoscopy image obtained by imaging in the second endoscopy includes information obtained by timeout of the second endoscopy. is associated with an information processing apparatus according to any one of the first to sixth aspects.
  • An eighth aspect according to the technology of the present disclosure is information according to any one of the first to seventh aspects, in which the specific condition is a condition that the specific condition is selected according to an instruction received by the reception device. It is a processing device.
  • a ninth aspect of the technology of the present disclosure is that the specific condition is image recognition processing for the plurality of first endoscopic examination images and/or information processing for metadata of the plurality of first endoscopic examination images.
  • the information processing apparatus according to any one of the first to seventh aspects, wherein the condition is that the information processing apparatus is selected based on the condition that the information processing method is performed.
  • a tenth aspect of the technology of the present disclosure is that the specific condition is image recognition processing for the plurality of first endoscopic examination images and/or information processing for metadata of the plurality of first endoscopic examination images.
  • the information processing apparatus according to any one of the first to seventh aspects, wherein the information processing apparatus is selected according to the instruction received by the receiving device.
  • An eleventh aspect according to the technology of the present disclosure is the ninth aspect or the tenth aspect, wherein the metadata includes endoscopy information obtained within the implementation period of the first endoscopy.
  • 1 is an information processing device according to an embodiment.
  • the processor adds a portion corresponding to a characteristic portion in the reference image to the second endoscopy image obtained by imaging in the second endoscopy.
  • An information processing apparatus according to any one of the first to twelfth aspects, which performs a first notification process of notifying when the image is captured.
  • a fourteenth aspect according to the technology of the present disclosure is the information processing device according to the thirteenth aspect, in which the first notification process includes a process of changing the display mode of the reference image.
  • a fifteenth aspect of the technology of the present disclosure is that the processor is included in a characteristic part in a reference image and a second endoscopy image obtained by being imaged in a second endoscopy,
  • the information processing device changes the display mode of the reference image according to the positional relationship between the characteristic portion and the corresponding location.
  • a seventeenth aspect according to the technology of the present disclosure is that the processor performs a second endoscopy examination based on the reference image and a second endoscopy image obtained by imaging in the second endoscopy examination.
  • An information processing apparatus according to any one of the first to sixteenth aspects, which performs support processing to support matching imaging conditions of an examination to imaging conditions of a first endoscopy.
  • the support processing includes output processing for outputting support information required for matching the imaging conditions of the second endoscopy to the imaging conditions of the first endoscopy.
  • This is an information processing device according to a seventeenth aspect.
  • a 20th aspect of the technology of the present disclosure is that the support process includes a third notification process that notifies when the imaging conditions of the second endoscopy and the imaging conditions of the first endoscopy match.
  • An information processing apparatus according to any one of the first to nineteenth aspects.
  • a twenty-first aspect of the technology of the present disclosure is that the processor changes the composition of the reference image according to the second endoscopy image obtained by imaging in the second endoscopy.
  • An information processing apparatus according to any one of the aspects to the twentieth aspect.
  • the processor determines that a common lesion is captured in the reference image and the second endoscopy image, and the reception device receives an instruction to confirm the determination result.
  • the information processing apparatus performs a fourth notification process of notifying that the determination result has been finalized when the determination result is accepted.
  • the transition identification information is based on the size of the lesion shown in the reference image and/or the size and type of the lesion shown in the second endoscopic examination image.
  • This is an information processing device according to a twenty-seventh aspect derived from the following.
  • the processor generates a report in which lesion-related information, a reference image showing the lesion, and/or a second endoscopic examination image showing the lesion are recorded.
  • An information processing apparatus according to any one of the 24th to 30th aspects, which creates an information processing apparatus.
  • a thirty-fourth aspect of the technology of the present disclosure is that a plurality of first endoscopy images obtained by imaging a plurality of regions in a first endoscopy that is an endoscopy before the previous one is Obtaining a plurality of first endoscopy images from the accumulated storage, and acquiring a plurality of first endoscopy images during the implementation period of the second endoscopy, which is the current endoscopy.
  • This information processing method includes displaying at least one first endoscopic examination image that satisfies one of the specific conditions on a display device as a reference image.
  • FIG. 1 is a conceptual diagram showing an example of a mode in which an endoscope system is used.
  • FIG. 1 is a conceptual diagram showing an example of the overall configuration of an endoscope system.
  • FIG. 2 is a conceptual diagram showing an example of a mode in which an insertion section of an endoscope is inserted into the large intestine of a subject.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of an endoscope processing device.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of a control device.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a server.
  • FIG. 2 is a block diagram illustrating an example of main functions of a processor of the control device.
  • FIG. 1 is a conceptual diagram showing an example of a mode in which an endoscope system is used.
  • FIG. 1 is a conceptual diagram showing an example of the overall configuration of an endoscope system.
  • FIG. 2 is a conceptual diagram showing an example of
  • FIG. 2 is a block diagram illustrating an example of main functions of a processor of a server.
  • FIG. 2 is a conceptual diagram showing an example of processing contents for displaying an endoscopic image on a display device.
  • FIG. 2 is a conceptual diagram showing an example of a manner in which reports are exchanged between a server and a control device.
  • FIG. 2 is a conceptual diagram showing an example of the contents of a report.
  • FIG. 2 is a conceptual diagram showing an example of a mode in which a server transmits a report to an endoscope device in response to a request from the endoscope device.
  • FIG. 7 is a conceptual diagram showing an example of processing contents for generating a past examination image screen and a subject information screen based on a report.
  • FIG. 1 is a conceptual diagram showing an example of a mode in which subject identification information is displayed on a display device, and an example of a mode in which a past examination image screen and a subject information screen are selectively displayed on a touch panel display of a tablet terminal.
  • FIG. 6 is a conceptual diagram showing an example of a mode in which a test result image selected according to an image selection instruction is selected as a reference image and stored in a reference image storage area.
  • FIG. 7 is a conceptual diagram showing an example of a mode in which information obtained by timeout of the second endoscopy is recorded in a report and displayed on a touch panel display of a tablet terminal.
  • FIG. 6 is a conceptual diagram illustrating an example of a mode in which an image recognition unit performs image recognition processing on a reference image and compares a characteristic portion extracted by the image recognition processing with an endoscopic image.
  • FIG. 2 is a conceptual diagram showing an example of a mode in which an image is displayed in an enlarged manner.
  • FIG. 2 is a conceptual diagram illustrating an example of the processing content of storing the information in the NVM of the server.
  • FIG. 7 is a conceptual diagram illustrating an example of processing contents for generating lesion-related information and including the generated lesion-related information in metadata. It is a flowchart which shows an example of the flow of endoscopic image display processing. 2 is a flowchart illustrating an example of the flow of endoscope operation support processing. This is a continuation of the flowchart shown in FIG. 26A. This is a continuation of the flowchart shown in FIG. 26B.
  • FPGA is an abbreviation for "Field-Programmable Gate Array.”
  • SoC is an abbreviation for “System-on-a-chip.”
  • SSD is an abbreviation for “Solid State Drive.”
  • USB is an abbreviation for “Universal Serial Bus.”
  • HDD is an abbreviation for “Hard Disk Drive.”
  • EL is an abbreviation for "Electro-Luminescence”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor.”
  • CCD is an abbreviation for “Charge Coupled Device”.
  • LAN is an abbreviation for "Local Area Network.”
  • WAN is an abbreviation for “Wide Area Network.”
  • AI is an abbreviation for “Artificial Intelligence.”
  • BLI is an abbreviation for “Blue Light Imaging.”
  • LCI is an abbreviation for "Linked Color Imaging.”
  • “match” refers to not only a perfect match but also an error that is generally allowed in the technical field to which the technology of the present disclosure belongs and that does not go against the spirit of the technology of the present disclosure. Refers to agreement in a sense that includes.
  • the endoscope device 12 is equipped with an endoscope (endoscope) 18, and is a device for performing medical treatment on the inside of the body of a subject 20 (for example, a patient) via the endoscope 18.
  • the endoscope device 12 is an example of an “endoscope device” according to the technology of the present disclosure.
  • the endoscope 18 is an example of an "endoscope” according to the technology of the present disclosure.
  • the endoscope 18 acquires and outputs an image showing the inside of the body by imaging the inside of the body of the subject 20.
  • the example shown in FIG. 1 shows a mode in which the endoscope 18 is inserted into the body cavity of the subject 20 through the anus.
  • the endoscope 18 is inserted into the body cavity through the anus of the subject 20, but this is just an example, and the endoscope 18 is inserted into the subject's 20's mouth, nostrils, Alternatively, the endoscope 18 may be inserted into the body cavity through a hole or the like, and the location where the endoscope 18 is inserted is determined by the type of the endoscope 18, the surgical method, etc.
  • endoscopy when there is no need to distinguish between the first endoscopy and the second endoscopy, they will simply be referred to as "endoscopy.”
  • endoscopy The following explanation is based on the premise that multiple locations within the body of the subject 20 (for example, the inner wall of the large intestine) are imaged by the endoscope 18 in each of the first endoscopy and the second endoscopy. do.
  • the multiple locations within the body of the subject 20 are an example of "the multiple locations" according to the technology of the present disclosure.
  • the endoscope device 12 includes an endoscope processing device 22, a light source device 24, a control device 28, a display device 30, and a tablet terminal 32.
  • the endoscope processing device 22, the light source device 24, the control device 28, the display device 30, and the tablet terminal 32 are installed in a wagon 34 with an arm.
  • the arm-equipped wagon 34 has a wagon 34A and an arm 34B.
  • the wagon 34A is provided with a plurality of stands along the vertical direction, and from the lower stand to the upper stand are a control device 28, an endoscope processing device 22, a light source device 24, and a display device 30. is installed.
  • the display device 30 displays various information including images.
  • An example of the display device 30 is a liquid crystal display, an EL display, or the like.
  • a plurality of screens are displayed side by side on the display device 30.
  • screens 36 and 38 are shown as examples of a plurality of screens.
  • An endoscopic image 40 is displayed on the screen 36.
  • the endoscopic image 40 is an image obtained by imaging an observation target area with the endoscope 18 within the body cavity of the subject 20.
  • the area to be observed includes the inner wall of the large intestine.
  • the inner wall of the large intestine is just one example, and may be the inner wall or outer wall of other parts such as the small intestine, duodenum, or stomach.
  • the endoscopic image 40 displayed on the screen 36 is one frame included in a moving image that includes multiple frames. That is, a plurality of frames of the endoscopic image 40 are displayed on the screen 36 at a predetermined frame rate (for example, 30 frames/second or 60 frames/second, etc.).
  • a predetermined frame rate for example, 30 frames/second or 60 frames/second, etc.
  • Subject identification information 42 is displayed on the screen 38.
  • the subject identification information 42 is information regarding the subject 20.
  • the subject identification information 42 includes, for example, the name of the subject 20, the age of the subject 20, an identification number by which the subject 20 can be identified, and when performing treatment using the endoscope 18 on the subject 20. Contains information to be careful of.
  • the tablet terminal 32 is equipped with a touch panel display 44.
  • the touch panel display 44 includes a display (for example, a liquid crystal display or an EL display) and a touch panel.
  • the touch panel display 44 is formed by overlaying a touch panel on a display.
  • An example of the touch panel display 44 is an out-sell type touch panel display in which a touch panel is overlaid on the surface of the display area of the display. Note that this is just an example; for example, the touch panel display 44 may be an on-cell or in-cell touch panel display.
  • Various screens are displayed on the touch panel display 44.
  • the various screens displayed on the touch panel display 44 and the screens 36 and 38 displayed on the display device 30 are viewed by the user in a state where they can be visually compared.
  • An example of a screen displayed on the touch panel display 44 is a past inspection image screen 46.
  • a plurality of examination result images 50 are displayed as a list, and the subject identification information 52 is displayed in a state where the plurality of examination result images 50 are arranged.
  • Each of the plurality of test result images 50 is obtained by imaging a plurality of locations in the body of the subject 20 (for example, a plurality of locations on the inner wall of the large intestine) using the endoscope 18 during a first endoscopic examination of the subject 20. This is an endoscopic image 40 obtained by this.
  • the subject identification information 52 is the same information as the information included in the subject identification information 42.
  • the distal end portion 58 is provided with an illumination device 64, a camera 66, and a treatment instrument opening 68.
  • the lighting device 64 has a lighting window 64A and a lighting window 64B.
  • the illumination device 64 emits light through an illumination window 64A and an illumination window 64B.
  • Examples of the types of light emitted from the lighting device 64 include visible light (eg, white light, etc.), non-visible light (eg, near-infrared light, etc.), and/or special light. Examples of the special light include BLI light and/or LCI light.
  • the camera 66 images the inside of the hollow organ using an optical method.
  • An example of the camera 66 is a CMOS camera.
  • the CMOS camera is just an example, and other types of cameras such as a CCD camera may be used.
  • the treatment tool opening 68 is an opening for allowing the treatment tool 70 to protrude from the distal end portion 58. Furthermore, the treatment tool opening 68 also functions as a suction port for sucking blood, body waste, and the like.
  • a treatment instrument insertion port 72 is formed in the operation section 54 , and the treatment instrument 70 is inserted into the insertion section 56 from the treatment instrument insertion port 72 . The treatment instrument 70 passes through the insertion portion 56 and protrudes to the outside from the treatment instrument opening 68. In the example shown in FIG. 2, a puncture needle is shown as the treatment tool 70.
  • Other examples of the treatment tool 70 include a wire, a scalpel, a grasping forceps, a guide sheath, and an ultrasound probe.
  • the endoscope device 12 includes a universal cord 74 and a reception device 76.
  • the universal cord 74 has a base end 74A, a first tip 74B, and a second tip 74C.
  • the base end portion 74A is connected to the operating portion 54.
  • the first distal end portion 74B is connected to the endoscope processing device 22.
  • the second tip portion 74C is connected to the light source device 24.
  • the receiving device 76 receives instructions from the user and outputs the received instructions as an electrical signal.
  • Examples of the reception device 76 include a foot switch, a keyboard, a mouse, a touch panel, and a microphone.
  • a reception device 76 is connected to the endoscope processing device 22.
  • the endoscope processing device 22 sends and receives various signals to and from the camera 66 and controls the light source device 24 in accordance with instructions received by the receiving device 76.
  • the endoscope processing device 22 causes the camera 66 to take an image, acquires an endoscopic image 40 (see FIG. 1) from the camera 66, and outputs it.
  • the light source device 24 emits light under the control of the endoscope processing device 22 and supplies light to the illumination device 64.
  • the lighting device 64 has a built-in light guide, and the light supplied from the light source device 24 is irradiated from the lighting windows 64A and 64B via the light guide.
  • the insertion section 56 of the endoscope 18 is inserted into the large intestine 88 from the anus of the subject 20.
  • the camera 66 generates an endoscopic image 40 by imaging the inside of the large intestine 88.
  • the endoscopic image 40 is generated as an image showing the aspect of the inner wall 88A.
  • the camera 66 inserted into the large intestine 88 advances from the entrance side to the back side of the large intestine 88 and images the inner wall 88A from the entrance side to the back side of the large intestine 88 according to a predetermined frame rate.
  • a moving image including a plurality of frames of endoscopic images 40 showing the aspect of the inner wall 88A from the entrance side to the back side of the large intestine 88 is generated.
  • the processor 94 includes a CPU and a GPU, and controls the entire endoscope processing device 22.
  • the GPU operates under the control of the CPU and is mainly responsible for executing image processing.
  • the processor 94 may be one or more CPUs with an integrated GPU function, or may be one or more CPUs without an integrated GPU function.
  • the endoscope device 12 includes a wireless communication module 116.
  • Wireless communication module 116 is connected to input/output interface 104.
  • the wireless communication module 116 is an interface that includes a wireless communication processor, an antenna, and the like.
  • the wireless communication module 116 is communicatively connected to the tablet terminal 32 via a wireless LAN or the like, and controls communication between the processor 106 and the tablet terminal 32. Note that although an example in which communication is performed between the control device 28 and the tablet terminal 32 using a wireless method is given here, this is just an example; Communication may be performed between the two.
  • the computer 102 is an example of a "computer” according to the technology of the present disclosure.
  • the processor 106 is an example of a “processor” according to the technology of the present disclosure.
  • the display device 30 and the tablet terminal 32 are examples of a “display device” according to the technology of the present disclosure.
  • a plurality of endoscopic images 40 obtained by being imaged by the endoscope 18 in the first endoscopic examination using the endoscope 18 on the subject 20 are recorded in a report or the like.
  • the doctor 14 identifies a location (for example, a lesion) to be treated (for example, a treatment) in the body of the subject 20 in the second endoscopy while viewing the plurality of endoscopic images 40 recorded in a report or the like. Identify.
  • the doctor examines the extent to which the area to be treated in the body of the subject 20 during the second endoscopy (hereinafter referred to as the "main examination target area") has changed since the first endoscopy. It is important for all of the staff 14 and the auxiliary staff 16 to understand this when performing the second endoscopic examination on the subject 20.
  • One way to achieve this is, for example, by using the time-out period (i.e., a meeting held before or during the second endoscopy) to One possible method is to have all the doctors 14 and auxiliary staff 16 understand the information.
  • an appropriate endoscopic image 40 (that is, an endoscopic image 40 that shows the main examination target area) is selected from a plurality of endoscopic images 40 recorded in a report, etc., and the selected endoscopic image 40 is selected.
  • the endoscopic image 40 is presented to all of the physician 14 and support staff 16.
  • the processor 106 of the control device 28 performs endoscopic image display processing and endoscope operation support processing (see FIG. 7), and the processor 122 of the server 78 performs endoscopic image display processing and endoscope operation support processing. Report management processing is performed by (see FIG. 8).
  • an endoscopic image display program 130 is stored in the NVM 110.
  • the processor 106 reads the endoscopic image display program 130 from the NVM 110 and executes the read endoscopic image display program 130 on the RAM 108.
  • the endoscopic image display process is realized by the processor 106 operating as the first control unit 106A according to the endoscopic image display program 130 executed on the RAM 108.
  • An endoscope operation support program 132 is stored in the NVM 110.
  • the processor 106 reads the endoscope operation support program 132 from the NVM 110 and executes the read endoscope operation support program 132 on the RAM 108.
  • the endoscope operation support process is realized by the processor 106 operating as the second control section 106B, first transmitting/receiving section 106C, and image recognition section 106D according to the endoscope operation support program 132 executed on the RAM 108.
  • the endoscope operation support program 132 is an example of a "program" according to the technology of the present disclosure.
  • a report management program 134 is stored in the NVM 126.
  • the processor 122 reads the report management program 134 from the NVM 126 and executes the read report management program 134 on the RAM 124.
  • the report management process is realized by the processor 122 operating as the second transmitter/receiver 122A and the third controller 122B according to the report management program 134 executed on the RAM 124.
  • control device process when the endoscope image display process and the endoscope operation support process are collectively referred to as "control device process”. Further, in the following, for convenience of explanation, when the endoscope image display process, the endoscope operation support process, and the report management process are collectively referred to as "endoscope system process”. Further, in the following, for convenience of explanation, the endoscope image display program 130, the endoscope operation support program 132, and the report management program 134 will be collectively referred to as an "endoscope system program.”
  • the first control unit 106A causes the display device 30 to display the screen 36.
  • the first control unit 106A acquires endoscopic images 40 from the camera 66 according to a predetermined frame rate, and sequentially displays the acquired endoscopic images 40 on the screen 36.
  • a moving image based on a plurality of endoscopic images 40 is displayed on the screen 36.
  • the endoscopic image 40 displayed on the screen 36 is an image obtained in the second endoscopic examination.
  • endoscopy will be used.
  • Image 40A when it is necessary to explain the endoscopic image 40 obtained in the second endoscopy by distinguishing it from the endoscopic image 40 obtained in the first endoscopy.
  • Endoscopy will be used.
  • Image 40A is an example of a "second endoscopic examination image" according to the technology of the present disclosure.
  • a plurality of reports 136 are stored in the NVM 126 of the server 78.
  • a report 136 is created for each different subject 20.
  • the report 136 includes information regarding the subject 20 and information regarding the results of the first endoscopy performed on the subject 20.
  • the third control unit 122B stores the report 136 in the NVM 126 and obtains the report 136 from the NVM 126.
  • the second transmitter/receiver 122A transmits the report 136 acquired from the NVM 126 by the third controller 122B to the control device 28.
  • the report 136 transmitted by the second transmitter/receiver 122A is received by the first transmitter/receiver 106C of the control device 28.
  • the first transmitting/receiving unit 106C of the control device 28 transmits the report 136 to the server 78.
  • the report 136 transmitted by the first transceiver 106C is received by the second transceiver 122A.
  • the report 136 received by the second transmitter/receiver 122A is stored in the NVM 126 by the third controller 122B.
  • the NVM 126 is an example of a "storage” and a "device" according to the technology of the present disclosure.
  • the report 136 records subject identification information 138 and endoscopy information 140.
  • the subject identification information 138 is information that allows the subject 20 to be uniquely identified.
  • the subject identification information 138 includes a subject number, which is a number uniquely assigned to the subject 20, the name of the subject 20, the sex of the subject 20, the age of the subject 20, etc. .
  • the endoscopy information 140 is information regarding the first endoscopy performed on the subject 20 specified from the subject identification information 138.
  • the endoscopy information 140 includes the examination number, which is a number uniquely assigned to the first endoscopy, the date and time when the first endoscopy was performed, and the date and time when the first endoscopy was performed.
  • the name of the doctor who conducted the examination, and findings e.g., the site where the first endoscopy was performed, the type of lesion discovered by the first endoscopy, the size of the lesion, and the location of the lesion are included. There is.
  • the endoscopy information 140 includes timeout information 142 and a plurality of test result images 50.
  • the timeout information 142 is information obtained from a timeout performed within the implementation period of the first endoscopic examination specified from the examination number recorded in the report 136.
  • Information obtained from time-outs includes information that can identify those who participated in time-outs (names or identification numbers, etc.), matters confirmed during time-outs, date and time of time-outs, and information indicating the location where time-outs took place. etc. are included.
  • the examination result image 50 is an endoscopic image 40 obtained in the first endoscopic examination specified from the examination number recorded in the report 136.
  • Metadata 50A is associated with the test result image 50 as data accompanying the test result image 50.
  • the metadata 50A includes, for example, various information regarding the test result image 50 (for example, the date and time when the test result image 50 was obtained, the result of image recognition processing performed on the test result image 50, etc.) and timeout information. The same information as 142 is included.
  • the receiving device 76 receives timeout start information.
  • the timeout start information is information indicating that a timeout has started. Furthermore, when the timeout ends, the receiving device 76 receives timeout end information.
  • the timeout end information is information indicating that the timeout has ended.
  • the reception device 76 receives timeout start information from the user at the timing when the timeout starts, and receives timeout end information from the user at the timing when the timeout ends.
  • the processor 106 recognizes that the timeout has started when the reception device 76 accepts the timeout start information. Further, the processor 106 recognizes that the timeout has ended when the timeout end information is accepted by the reception device 76.
  • the first transmitting/receiving unit 106C transmits request information 144, which is information requesting the server 78 to transmit the report 136, to the server 78.
  • the request information 144 includes information that can uniquely identify the report 136. Examples of information that can uniquely identify the report 136 include a subject number and/or an examination number.
  • the request information 144 transmitted by the first transmitting/receiving unit 106C is received by the second transmitting/receiving unit 122A of the server 78.
  • the third controller 122B sends a report 136 (for example, a report 136 specified from the subject number and/or test number) according to the request information 144 from the NVM 126. ) to obtain.
  • the second transmitter/receiver 122A transmits the report 136 acquired from the NVM 126 by the second controller 122B to the endoscope apparatus 12.
  • the report 136 transmitted by the second transmitting/receiving section 122A is received by the first transmitting/receiving section 106C of the endoscope apparatus 12.
  • the reception of the report 136 by the first transmitting/receiving unit 106C is an example of "acquisition of a plurality of first endoscopy images" according to the technology of the present disclosure.
  • the second control section 106B generates a past examination image screen 46 and a subject information screen 146 based on the report 136 received by the first transmission/reception section 106C.
  • the past examination image screen 46 includes a plurality of examination result images 50 and subject identification information 52.
  • a plurality of test result images 50 in the past test image screen 46 are included in the report 136 received by the first transmitting/receiving unit 106C, which are obtained for a plurality of sites (for example, a plurality of locations in the large intestine 88) in the first endoscopy.
  • FIG. 11 shows a plurality of test result images 50 (see FIG. 11) recorded as a plurality of endoscopic images 40. Metadata 50A is also associated with the test result image 50 in the past test image screen 46.
  • the subject specifying information 52 is information in the subject specifying information 138 (for example, subject number, name, gender, age, etc.) recorded in the report 136 received by the first transmitter/receiver 106C.
  • the subject identification information 52 is an example of "second information" according to the technology of the present disclosure, and is used as information required for timeout performed within the implementation period of the second endoscopy.
  • timeout information 146B is the same information as the timeout information 142 included in the report 136 received by the first transmitter/receiver 106C.
  • the timeout information 146B is an example of "first information" according to the technology of the present disclosure.
  • the second control unit 106B causes the display device 30 to display the screen 38 side by side with the screen 36.
  • the second control unit 106B acquires the subject identification information 138 from the report 136 shown in FIG. 13, and displays the acquired subject identification information 138 on the screen 38 as the subject identification information 42.
  • the second control unit 106B causes the touch panel display 44 of the tablet terminal 32 to display the past examination image screen 46 or the subject information screen 146.
  • the reception device 76 receives a screen switching instruction that is an instruction to switch the display between the past examination image screen 46 and the subject information screen 146.
  • the second control unit 106B selectively displays the past examination image screen 46 and the subject information screen 146 on the touch panel display 44 in response to the screen switching instruction received by the reception device 76.
  • an image selection instruction which is an instruction to select one inspection result image 50 as the reference image 150, is issued from the touch panel display 44. - given to the display 44;
  • the reference image 150 refers to an image referenced by a user.
  • the test result image 50 in which the characteristic portion 152, which is the portion indicating the lesion identified from the endoscopy information 140 (see FIG. 11) of the report 136, is selected as the reference image 150 is selected. Aspects are shown.
  • the characteristic portion 152 is an example of a “characteristic portion in a reference image” and a “first characteristic portion” according to the technology of the present disclosure.
  • the image selection instruction is an example of "instruction accepted by the receiving device" according to the technology of the present disclosure.
  • timeout information 146C which is information obtained when the second endoscopic examination times out, is accepted by the reception device 76. Then, in the control device 28, the second control unit 106B records the timeout information 146C received by the receiving device 76 in the report 136.
  • An example of "recording" is postscript. By recording the timeout information 146C in the report 136 in this manner, the contents of the report 136 are updated. Further, the second control unit 106B displays the timeout information 146C accepted by the reception device 76 on the subject information screen 146 of the touch panel display 44. On the subject information screen 146, timeout information 146C is displayed alongside subject identification information 146A and timeout information 146B.
  • the receiving device 76 receives a reference image display instruction.
  • the reference image display instruction is an instruction to display the reference image 150 on the touch panel display 44.
  • the reference image display instruction is given by the user within the timeout implementation period of the second endoscopy.
  • the image recognition unit 106D acquires the reference image 150 from the reference image storage area 108A.
  • the image recognition unit 106D performs image recognition processing (hereinafter simply referred to as "image recognition processing") such as an AI method and/or template matching method on the reference image 150 to extract the characteristic portion 152 from the reference image 150. Extract.
  • image recognition processing image recognition processing
  • the image recognition unit 106D acquires the endoscopic image 40A from the camera 66.
  • the image recognition unit 106D compares the endoscopic image 40A acquired from the camera 66 and the characteristic portion 152 extracted from the reference image 150.
  • the image recognition unit 106D compares the endoscopic image 40 and the characteristic portion 152 to determine whether the corresponding characteristic portion 154 is included in the endoscopic image 40A.
  • the corresponding characteristic portion 154 is an example of a “location corresponding to a characteristic portion” and a “second characteristic portion” according to the technology of the present disclosure.
  • the second control unit 106B selects the reference image in the past examination image screen 46.
  • processing is performed to notify that the corresponding characteristic portion 154 is included in the endoscopic image 40A.
  • the process of notifying that the corresponding feature portion 154 is included in the endoscopic image 40A is an example of the "first notification process" according to the technology of the present disclosure.
  • an example is given in which the reference image 150 is enlarged and displayed, but this is just an example.
  • An example of the support process is a process of adjusting the scale of the endoscopic image 40A to the scale of the reference image 150 when the scale of the reference image 150 (that is, the angle of view) and the scale of the endoscopic image 40A are different. can be mentioned. Therefore, here, the process of adjusting the scale of the endoscopic image 40A to the scale of the reference image 150 will be described with reference to FIGS. 19 and 20.
  • a first premise and a second premise can be considered as premises when matching the scale of the endoscopic image 40A to the scale of the reference image 150.
  • the first premise is that the actual size of the characteristic portion 152 shown in the reference image 150 matches the actual size of the corresponding characteristic portion 154 shown in the endoscopic image 40A.
  • the second premise is that the actual size of the characteristic portion 152 shown in the reference image 150 and the actual size of the corresponding characteristic portion 154 shown in the endoscopic image A do not match.
  • the second control unit 106B acquires the number of pixels 156 of the characteristic portion 152 from the reference image 150, and obtains the number of pixels 156 of the corresponding characteristic portion 154 from the endoscopic image 40A. Get 158.
  • the second control unit 106B calculates a difference 160 between the number of pixels 156 and the number of pixels 158.
  • the second control unit 106B derives support information 162 according to the difference 160.
  • the support information 162 is derived using a table 163 in which the difference 160 and the support information 162 are associated with each other.
  • the support information 162 is information required to match the scale of the endoscopic image 40A to the scale of the reference image 150.
  • the information required to match the scale of the endoscopic image 40A to the scale of the reference image 150 refers to, for example, a message that guides the position of the camera 66 to a position where the difference 160 becomes zero.
  • the second control unit 106B outputs support information 162 according to the difference 160 to the display device 30. As a result, the support information 162 is displayed on the screen 36 of the display device 30.
  • the support information 162 is an example of "support information" according to the technology of the present disclosure.
  • the process in which the second control unit 106B outputs the support information 162 to the display device 30 is an example of "output process" according to the technology of the present disclosure.
  • the second control unit 106B calculates the difference 160 in the same manner as described above every time a new endoscopic image 40A is obtained by the camera 66, and the second control unit 106B calculates the difference 160 in the same manner as described above. Determine whether or not.
  • the second control unit 106B generates a notification message 164 when the difference 160 becomes zero, and displays the generated notification message 164 on the screen 36, thereby adjusting the scale of the reference image 150 and the endoscopic image 40A. Performs processing to notify that the scale matches.
  • the process of notifying that the scale of the reference image 150 and the scale of the endoscopic image 40A match is an example of the "support process" and the "third notification process" according to the technology of the present disclosure.
  • the notification message 164 is a message to notify that the scale of the reference image 150 and the scale of the endoscopic image 40A match.
  • the second control unit 106B calculates the value obtained by dividing the number of pixels 156 by the horizontal (or vertical) length of the characteristic portion 152 and the horizontal (or vertical) length of the corresponding characteristic portion 154.
  • the support information 162 may be derived in the same manner as described above by calculating the difference between the number of pixels (156) and the value obtained by dividing the number of pixels (156) by the length (or vertical direction). Further, in this case, notification using the support information 162 and notification that the scale of the reference image 150 and the scale of the endoscopic image 40A match may be performed in the same manner as described above.
  • the scale of the reference image 150 and the optical characteristics of the endoscopic image 40A are examples of “imaging conditions for the first endoscopy” according to the technology of the present disclosure. Furthermore, the scale of the endoscopic image 40A and the optical characteristics of the endoscopic image 40A are examples of "imaging conditions for the second endoscopy” according to the technology of the present disclosure.
  • the processor 106 adjusts the scale of the endoscopic image 150 and the endoscopic image 40A based on the reference image 150 and the endoscopic image 40A. It is determined whether a common lesion is shown in the images. In this case, as shown in FIG. 21 as an example, the image recognition unit 106D performs pattern matching between the reference image 150 and the endoscopic image 40A to identify a corresponding feature portion 154 that matches the feature portion 152. The image recognition unit 106D then acquires the feature 166 that the corresponding feature portion 154 has by performing image recognition processing on the corresponding feature portion 154. Examples of features 166 include lesion type, lesion size, and the like.
  • the second control unit 106B compares the endoscopy information 140 recorded in the report 136 with the feature 166 to determine whether the endoscopy information 140 includes the same information as the feature 166. Determine. When determining that the endoscopy information 140 includes the same information as the feature 166, the second control unit 106B generates a notification message 168.
  • the notification message 168 is a message to notify that it has been determined that the reference image 150 and the endoscopic image 40A contain a common lesion. That is, the notification message 168 is a message to notify that there is a high possibility that the same lesion discovered in the first endoscopy was also discovered in the second endoscopy.
  • the second control unit 106B displays the notification message 168 on the screen 36 of the display device 30.
  • timeout information 146C obtained when the second endoscopic examination times out is associated with the endoscopic image 40A.
  • the process of associating the timeout information 146C with the endoscopic image 40A is performed when the reception device 76 accepts a recording instruction from the user.
  • the recording instruction is an instruction to record the timeout information 146C in the report 136.
  • the second control unit 106B adds metadata 170 to the endoscopic image 40A on which the image recognition process shown in FIG. 21 has been performed.
  • the second control unit 106B associates the timeout information 146C with the endoscopic image 40A by including the timeout information 146C in the metadata 170.
  • the second control unit 106B records the endoscopic image 40A and metadata 170 in the report 136.
  • the report 136 in which the endoscopic image 40A and the metadata 170 are recorded is the report 136 received by the first transmitting/receiving unit 106C in the example shown in FIG. 12.
  • the report 136 in which the endoscopic image 40A and the metadata 170 are recorded is transmitted to the server 78 by the first transmitting/receiving unit 106C.
  • the second transmitter/receiver 122A receives the report 136 transmitted from the first transmitter/receiver 106C.
  • the third controller 122B stores the report 136 received by the second transmitter/receiver 122A in the NVM 126.
  • the second control unit 106B Lesion-related information 172 regarding common lesions is generated.
  • the lesion-related information 172 is generated based on the image recognition result 174 and the feature 166 obtained by performing the image recognition process shown in FIG. 21 on the endoscopic image 40A.
  • Image recognition result 174 is the result of image recognition processing performed on reference image 150 shown in FIG. 17.
  • the image recognition result 174 includes the type of lesion, the size of the lesion, and the like.
  • the lesion related information 174 includes type information 172A, number information 172B, and aspect information 172C.
  • the lesion related information 174 also includes current size information 172D and transition identification information 172E as information regarding the size of the lesion.
  • the type information 172A is information that can specify the type of lesion common to the reference image 150 and the endoscopic image 40A.
  • the number information 172B is information that can specify the number of lesions common to the reference image 150 and the endoscopic image 40A.
  • the aspect information 172C is information indicating the aspect of the lesion (for example, the degree of inflammation, the degree of bleeding, the color of the lesion, and/or the shape of the lesion) that is common to the reference image 150 and the endoscopic image 40A.
  • the aspect of the lesion refers to, for example, the aspect of the current lesion.
  • the aspect of the current lesion is identified from the features 166.
  • the current size information 172D is information indicating the current size of the lesion common to the reference image 150 and the endoscopic image 40A. The current size is determined from feature 166.
  • the transition identification information 172E is information that can specify the temporal transition of a lesion common to the reference image 150 and the endoscopic image 40A.
  • the lesion-related information 174 is an example of "lesion-related information” according to the technology of the present disclosure.
  • the current size information 172D and the transition specific information 172E are examples of "size-related information” according to the technology of the present disclosure.
  • the transition specific information 172E is an example of "transition specific information” according to the technology of the present disclosure.
  • the type identification information 172A is an example of "information that can identify the type of lesion” according to the technology of the present disclosure.
  • the number information 172B is an example of "information that can specify the number of lesions" according to the technology of the present disclosure.
  • the aspect information 172C is an example of "information that can identify the aspect of a lesion” according to the technology of the present disclosure.
  • the second control unit 106B associates the lesion-related information 172 with the reference image 150 and the endoscopic image 40A by including the lesion-related information 172 in the metadata 50A and 170. Note that, as described in the example shown in FIG. 23, the metadata 170 also includes timeout information 146C.
  • step ST22 the first transmitting/receiving unit 106C transmits the request information 144 to the server 78 (see FIG. 12). After the process of step ST22 is executed, the endoscope operation support process moves to step ST24.
  • step ST28 the second control unit 106B selects the past examination image screen 46 and the subject information screen 146 generated in step ST26 on the touch panel display 44 according to the screen switching instruction received by the reception device 76. (See Figure 14). After the process of step ST28 is executed, the endoscope operation support process moves to step ST30.
  • step ST44 the image recognition unit 106D identifies the characteristic portion 152 in the reference image 150 by performing image recognition processing on the reference image 150 acquired from the reference image storage area 108A in step ST42. After the process of step ST44 is executed, the endoscope operation support process moves to step ST46.
  • step ST48 the image recognition unit 106D compares the endoscopic image 40A acquired from the camera 66 in step ST42 with the characteristic portion 152 extracted from the reference image 150 in step ST46, thereby determining the characteristics of the endoscopic image 40A. It is determined whether the corresponding feature portion 154 is captured (see FIG. 17). In step ST48, if the corresponding characteristic portion 154 is not shown in the endoscopic image 40A, the determination is negative and the endoscope operation support process moves to step ST78 shown in FIG. 26D. In step ST48, if the corresponding characteristic portion 154 is shown in the endoscopic image 40A, the determination is affirmative and the endoscope operation support process moves to step ST50.
  • step ST52 the second control unit 106B enlarges and displays the reference image 150 on the past inspection image screen 46 of the touch panel display 44 (see the lower diagram in FIG. 18).
  • step ST54 the endoscope operation support process moves to step ST54.
  • step ST54 the second control unit 106B generates support information 162 based on the endoscopic image 40A and the reference image 150 acquired in step ST42 (see FIG. 19). Then, the second control unit 106B displays the generated support information 162 on the screen 36 of the display device 30. After the process of step ST54 is executed, the endoscope operation support process moves to step ST56.
  • the doctor 14 adjusts the position of the camera 66 while referring to the support information 162 displayed on the screen 36 by executing the process of step ST54.
  • step ST56 the second control unit 106B determines whether the scale of the endoscopic image 40A matches the scale of the reference image 150. In step ST56, if the scale of the endoscopic image 40A does not match the scale of the reference image 150, the determination is negative and the endoscope operation support process moves to step ST82 shown in FIG. 26D. In step ST56, if the scale of the endoscopic image 40A matches the scale of the reference image 150, the determination is affirmative, and the endoscope operation support process moves to step ST58.
  • step ST58 the second control unit 106B generates a notification message 164 and displays the generated notification message 164 on the screen 36, thereby indicating that the scale of the reference image 150 and the scale of the endoscopic image 40A match. (See FIG. 20).
  • step ST58 the endoscope operation support process moves to step ST60 shown in FIG. 26C.
  • step ST60 shown in FIG. 26C the image recognition unit 106D performs pattern matching using the reference image 150 acquired in step ST42 and the scale-adjusted endoscopic image 40A (see FIG. 21). After the process of step ST60 is executed, the endoscope operation support process moves to step ST62.
  • step ST62 the image recognition unit 106D determines whether a corresponding feature portion 154 that matches the feature portion 152 in the reference image 150 is reflected in the endoscopic image 40A, based on the result of the pattern matching performed in step ST60. Determine.
  • step ST62 if the corresponding feature portion 154 that matches the feature portion 152 in the reference image 150 is not shown in the endoscopic image 40A, the determination is negative and the endoscope operation support process is performed as shown in FIG. 26D. The process moves to step ST78.
  • step ST62 if the corresponding feature portion 154 that matches the feature portion 152 in the reference image 150 is shown in the endoscopic image 40A, the determination is affirmative and the endoscope operation support process moves to step ST64. .
  • step ST64 the image recognition unit 106D performs image recognition processing on the endoscopic image 40A used for pattern matching in step ST60 (see FIG. 21). After the process of step ST64 is executed, the endoscope operation support process moves to step ST66.
  • step ST66 the second control unit 106B uses the features 166 obtained by executing the image recognition process in step ST64 and the internal vision recorded in the report 136 received by the first transmitting and receiving unit 106C in step ST24. By comparing the endoscopic examination information 140, it is determined whether the reference image 150 and the endoscopic image 40A contain a common lesion. In step ST66, if a common lesion is not included in the reference image 150 and the endoscopic image 40A, the determination is negative and the endoscope operation support process moves to step ST78 shown in FIG. 26D. In step ST66, if the reference image 150 and the endoscopic image 40A include a common lesion, the determination is affirmative and the endoscope operation support process moves to step ST68.
  • step ST68 the second control unit 106B displays the notification message 168 on the screen 36 of the display device 30, thereby determining that the reference image 150 and the endoscopic image 40A contain a common lesion. inform about something.
  • step ST70 the endoscope operation support process moves to step ST70.
  • step ST70 the second control unit 106B determines whether or not the confirmation instruction from the doctor 14 has been accepted by the reception device 76.
  • step ST70 if the receiving device 76 does not accept the confirmation instruction from the doctor 14, the determination is negative and the endoscope operation support process moves to step ST78 shown in FIG. 26D.
  • step ST70 if the receiving device 76 accepts the confirmation instruction from the doctor 14, the determination is affirmative and the endoscope operation support process moves to step ST72.
  • step ST72 the second control unit 106B displays the notification message 169 on the screen 36 of the display device 30 to confirm that the reference image 150 and the endoscopic image 40A contain a common lesion. Notify that the decision has been made (see FIG. 22).
  • step ST72 the endoscope operation support process moves to step ST74.
  • step ST74 the second control unit 106B performs a lesion-related Information 172 is generated (see FIG. 24). After the process of step ST74 is executed, the endoscope operation support process moves to step ST76.
  • step ST76 the second control unit 106B associates the lesion-related information 172 with the reference image 150 and the endoscopic image 40A by including the lesion-related information 172 generated in step ST74 in the metadata 50A and 170.
  • step ST78 the endoscope operation support process moves to step ST78 shown in FIG. 26D.
  • step ST78 the second control unit 106B determines whether the recording instruction (see FIG. 23) has been accepted by the accepting device 76. In step ST78, if the recording instruction is not accepted by the receiving device 76, the determination is negative and the endoscope operation support process moves to step ST82. In step ST78, if the receiving device 76 accepts the recording instruction, the determination is affirmative and the endoscope operation support process moves to step ST80.
  • step ST82 the second control unit 106B determines whether conditions for ending the endoscope operation support process (hereinafter referred to as "endoscope operation support process end conditions") are satisfied.
  • An example of the condition for ending the endoscope operation support process is a condition that the receiving device 76 has received an instruction to end the endoscope operation support process.
  • step ST82 if the conditions for ending the endoscope operation support process are not satisfied, the determination is negative and the endoscope operation support process moves to step ST40 shown in FIG. 26B.
  • step ST82 if the conditions for ending the endoscope operation support process are satisfied, the determination is affirmative and the endoscope operation support process moves to step ST84.
  • step ST84 the first transmitting/receiving unit 106C transmits the report 136 received in step ST24 to the server 78 (see FIG. 23). After the process of step ST84 is executed, the endoscope operation support process ends.
  • step ST102 the third control unit 122B acquires the report 136 from the NVM 126 according to the request information 144 received by the second transmitting/receiving unit 122A in step ST100 (see FIG. 12). After the process of step ST102 is executed, the report management process moves to step ST104.
  • step ST104 the second transmitting/receiving unit 122A transmits the report 136 acquired from the NVM 126 in step ST102 to the endoscope device 12 (see FIG. 12). After the process of step ST104 is executed, the report management process moves to step ST106.
  • step ST106 the third control unit 122B determines whether the report 136 transmitted from the endoscope device 12 has been received by the second transmitting/receiving unit 122A by executing step ST84 shown in FIG. 26D. In step ST106, if the report 136 has not been received by the second transmitter/receiver 122A, the determination is negative and the report management process moves to step ST110. In step ST106, if the report 136 is received by the second transmitter/receiver 122A, the determination is affirmative and the report management process moves to step ST108.
  • step ST108 the third control unit 122B stores the report 136 received by the second transmitting/receiving unit 122A in step ST106 in the NVM 126 (see FIG. 23). After the process of step ST108 is executed, the report management process moves to step ST110.
  • a plurality of test result images 50 are acquired by the control device 28 from the NVM 126 of the server 78 (see FIGS. 11 and 12). Then, during the implementation period of the second endoscopy, the test result image 50 selected from the plurality of test result images 50 according to the instructions of the doctor 14 is displayed as the reference image 150 on the past test image screen 46 of the touch panel display 44. will be displayed (see Figure 18).
  • the endoscopic image 40A is displayed on the screen 36 of the display device 30, so the user can check the reference image 150 displayed on the past examination image screen 46 and the image displayed on the screen 36 of the display device 30. can be compared with the obtained endoscopic image 40A.
  • the reference image 150 is displayed on the past examination image screen 46 at the time-out stage performed within the implementation period of the second endoscopy. Therefore, at the time-out stage performed within the implementation period of the second endoscopy, the area that was the main inspection target in the first endoscopy (for example, the characteristic part 152) is The user can be made aware of changes to the main part to be inspected (for example, the corresponding characteristic part 154).
  • timeout information 146B is displayed on the subject information screen 146 of the touch panel display 44 at the timeout stage of the second endoscopy (see FIG. 16).
  • the timeout information 146B is information obtained by a timeout performed within the implementation period of the first endoscopy. Therefore, at the timeout stage of the second endoscopy, the user can be made aware of the timeout information 146B obtained from the timeout performed within the implementation period of the first endoscopy.
  • subject identification information 138 is acquired from the server 78 in a state recorded in the report 136 as information required for timeout performed within the implementation period of the second endoscopy. Then, subject identification information 146A, which is the same information as the subject identification information 138, is displayed on the subject information screen 146 of the touch panel display 44. Therefore, compared to the case where the subject identification information 146A is manually input into the tablet terminal 32 and then the manually inputted subject identification information 146A is displayed on the touch panel display 44 of the tablet terminal 32, the second endoscopy The subject identification information 138 can be quickly provided to the user as information required for the timeout performed within the implementation period.
  • Metadata 50A is associated with the test result image 50 as data accompanying the test result image 50.
  • the metadata 50A includes the same information as the timeout information 142 obtained by the timeout performed within the implementation period of the first endoscopy. Therefore, for the user who uses the test result image 50 (for example, the user who observes the test result image 50), information related to the test result image 50 is provided to the user who uses the test result image 50. It is possible to provide a service (for example, display of information regarding the timeout information 142) using the timeout information 142 obtained by timeout.
  • Metadata 170 is associated with the endoscopic image 40A as data accompanying the endoscopic image 40A.
  • the metadata 170 includes timeout information 146C obtained when the second endoscopy timed out (see FIG. 23). Therefore, for a user using the endoscopic image 40A (for example, a user observing the endoscopic image 40A), information related to the endoscopic image 40A obtained by the timeout of the second endoscopic examination is provided. It is possible to provide services using the timeout information 146C (for example, display of information regarding the timeout information 146C).
  • a test result image 50 selected from among the plurality of test result images 50 according to the instructions of the doctor 14 is displayed as a reference image 150 on the past test image screen 46 of the touch panel display 44 (See FIGS. 15 and 18). Therefore, the user can observe the test result image 50 intended by the doctor 14 as the reference image 150.
  • the second control unit 106B selects a reference image in the past examination image screen 46. By enlarging and displaying 150, it is notified that the corresponding feature portion 154 is included in the endoscopic image 40A (see the lower diagram in FIG. 18). This allows the user to perceive that a location corresponding to the characteristic portion 152 in the reference image 150 is reflected in the endoscopic image 40A displayed on the screen 36 of the display device 30.
  • support information 162 is output to the display device 30 as information required to match the imaging conditions for the second endoscopy with the imaging conditions for the first endoscopy.
  • Support information 162 is displayed on the screen 36 (see FIG. 19). Thereby, it is possible to support the work of adjusting the imaging conditions for the second endoscopy in order to improve the accuracy of comparing the reference image 150 and the endoscopic image 40A.
  • the support information 162 is derived based on the result of comparing the characteristic portion 152 shown in the reference image 150 and the corresponding characteristic portion 154 shown in the endoscopic image 40A (Fig. 19), the derived support information 162 is displayed on the screen 36 of the display device 30. Therefore, compared to the case where the support information 162 derived without using the feature portion 152 and the corresponding feature portion 154 is displayed on the screen 36 of the display device 30, the imaging conditions used for imaging the feature portion 152 are The imaging conditions used in No. 154 imaging can be matched with high accuracy.
  • notification is made when the imaging conditions for the second endoscopy match the imaging conditions for the first endoscopy.
  • a notification message 164 is displayed on the screen 36 of the display device 30 as a message notifying that the scale of the reference image 150 and the scale of the endoscopic image 40A match (see FIG. 20). Therefore, the user is informed that the imaging conditions of the second endoscopy match the imaging conditions of the first endoscopy (for example, that the scale of the reference image 150 and the scale of the endoscopic image 40A match). can be perceived.
  • the endoscope system 10 it is determined based on the reference image 150 and the endoscopic image 40A whether a common lesion is shown in the reference image 150 and the endoscopic image 40A (see FIG. 21). ). Then, a notification message 168 is displayed on the screen 36 of the display device 30 as information indicating the determination result (see FIG. 21). Therefore, the user (for example, the user and/or various devices such as the control device 28) can perform processing depending on whether a common lesion is shown in the reference image 150 and the endoscopic image 40A. .
  • the endoscope system 10 when it is determined that a common lesion is shown in the reference image 150 and the endoscopic image 40A, and when the confirmation instruction from the doctor 14 is accepted by the reception device 76, By displaying the notification message 169 on the screen 36 of the display device 30, it is notified that the determination result that a common lesion is captured in the reference image 150 and the endoscopic image 40A is confirmed (see FIG. 22). This allows the user to perceive that the determination result that the reference image 150 and the endoscopic image 40A show a common lesion has been determined.
  • lesion related information 172 is generated as information regarding the common lesion (see FIG. 24).
  • the user or the like can perform processing based on the lesion-related information 172 generated as information regarding the common lesion.
  • current size information 172D and transition identification information 172E are included in the lesion-related information 172 as information regarding the size of a lesion common to the reference image 150 and the endoscopic image 40A (see FIG. 24). .
  • the user etc. Processing can be performed based on the current size information 172D and the transition identification information 172E.
  • the lesion-related information 172 includes transition identification information 172E as information that can identify the temporal transition in the size of a lesion common to the reference image 150 and the endoscopic image 40A (see Fig. 24).
  • transition identification information 172E is generated as information that can identify the temporal transition in the size of a lesion common to the reference image 150 and the endoscopic image 40A.
  • the transition identification information 172E is derived based on the size of the lesion shown in the reference image 150 and/or the size of the lesion shown in the endoscopic image 40A. Thereby, the transition identification information 172E can be derived with higher accuracy than when the transition identification information 172E is derived only from information unrelated to the size of the lesion.
  • the lesion-related information 172 includes type information 172A, number information 172B, and aspect information 172C (see FIG. 24).
  • the lesion-related information 172 is associated with the reference image 150 and the endoscopic image 40A that show a common lesion (see FIG. 24).
  • the user or the like can perform processing based on the lesion-related information 172 associated with the reference image 150.
  • the user or the like can perform processing based on the lesion-related information 172 associated with the endoscopic image 40A.
  • a report 136 is created in which the lesion-related information 172, the reference image 150, and the endoscopic image 40A are recorded (see FIGS. 23 and 24).
  • the user or the like can identify the lesion-related information 172 and the reference image 150 that correspond to each other through the report 136.
  • the user or the like can specify the lesion-related information 172 and the endoscopic image 40A that correspond to each other through the report 136.
  • the reference image 150 is displayed on the touch panel display 44 of the tablet terminal 32 (see FIG. 18), and the endoscopic image 40A is displayed on the display device 30 (see FIG. 9). .
  • the touch panel display 44 and the display device 30 are arranged side by side (see FIG. 1). In other words, the reference image 150 and the endoscopic image 40A are displayed so as to be comparable. Therefore, the user can compare the reference image 150 and the endoscopic image 40A.
  • the scale of the endoscopic image 40A is adjusted to the scale of the reference image 150 by adjusting the position of the camera 66 so that the difference 160 becomes zero.
  • the technology of the present disclosure is not limited to this.
  • the second control unit 106B controls the reference image 150 according to the positional relationship between the characteristic portion 152 shown in the reference image 150 and the corresponding characteristic portion 154 shown in the endoscopic image 40A.
  • the display mode may be changed.
  • the example shown in FIG. 28 shows a mode in which the scale of the reference image 150 is changed so that the difference 160 becomes zero under the first premise described in the above embodiment.
  • the difference 160 is zero under the first premise is illustrated, but this is just an example, and the difference 160 is a value specified in advance as a value other than zero.
  • the scale of image 150 may be changed.
  • the characteristic portion 152 shown in the reference image 150 and the endoscopic image can be compared using the difference calculated in the same manner as in the above embodiment.
  • the display mode of the reference image 150 may be changed depending on the positional relationship with the corresponding feature portion 154 shown in 40A.
  • the second control unit 106B determines that the positional relationship between the characteristic portion 152 shown in the reference image 150 and the corresponding characteristic portion 154 shown in the endoscopic image 40A is a predetermined positional relationship. (Here, as an example, when the difference 160 becomes zero), a notification message 176 is generated. Then, the second control unit 106B displays the generated notification message 176 on the past inspection image screen 46.
  • the notification message 176 is a message to notify that the positional relationship between the characteristic portion 152 shown in the reference image 150 and the corresponding characteristic portion 154 shown in the endoscopic image 40A has become a predetermined positional relationship.
  • the positional relationship between the characteristic portion 152 shown in the reference image 150 and the corresponding characteristic portion 154 shown in the endoscopic image 40A becomes the default positional relationship.
  • the event will be announced.
  • the process of notifying that the positional relationship between the characteristic portion 152 shown in the reference image 150 and the corresponding characteristic portion 154 shown in the endoscopic image 40A has become a predetermined positional relationship is related to the technology of the present disclosure. This is an example of "second notification processing".
  • the display mode of the reference image 150 is changed depending on the positional relationship between the characteristic portion 152 shown in the reference image 150 and the corresponding characteristic portion 154 shown in the endoscopic image 40A. be done. Therefore, even if the doctor 14 does not operate the camera 66, it is possible to align the characteristic portion 152 shown in the reference image 150 with the corresponding characteristic portion 154 shown in the endoscopic image 40A.
  • the notification message 176 is displayed on the past examination image screen 46, so that the characteristic portion 152 shown in the reference image 150 and the corresponding characteristic portion 154 shown in the endoscopic image 40A are It is notified that the positional relationship has become the default positional relationship. Therefore, the user can be made aware that the positional relationship between the characteristic portion 152 shown in the reference image 150 and the corresponding characteristic portion 154 shown in the endoscopic image 40A has become the predetermined positional relationship.
  • the scale of the reference image 150 is changed, but the optical characteristics of the reference image 150 may be matched to the optical characteristics of the endoscopic image 40A.
  • the second control unit 106B changes the composition of the reference image 150 (for example, the size and position of geometric elements included in the image) according to the endoscopic image 40A. You can also do this.
  • the second control unit 106B compares the endoscopic image 40A and the reference image 150, and based on the comparison result, makes reference so that the composition of the reference image 150 matches the endoscopic image 40A.
  • the composition of image 150 is changed.
  • the reference image 150 whose composition has been changed is displayed on the past inspection image screen 46 by the second control unit 106B.
  • the second control unit 106B generates a notification message 178 when the composition of the reference image 150 matches the endoscopic image 40A, and displays the generated notification message 178 on the past examination image screen 46.
  • the notification message 178 is a message to notify that the composition of the reference image 150 matches the endoscopic image 40A. Therefore, by displaying the notification message 178 on the past examination image screen 46, it is notified that the composition of the reference image 150 matches the endoscopic image 40A.
  • the composition of the reference image 150 is changed according to the endoscopic image 40A. Therefore, compared to a case where the composition of the reference image 150 is fixed, the user or the like can easily identify the difference between the reference image 150 and the endoscopic image 40A.
  • the inspection result image 50 selected according to the image selection instruction is handled as the reference image 150, which is an image that satisfies specific conditions, but the technology of the present disclosure is not limited to this.
  • the image recognition unit 106D performs image recognition processing on the plurality of test result images 50 recorded in the report 136, so that the selected test result image 50 satisfies the specific condition.
  • the reference image 150 which is an image, may be handled in the same manner as in the above embodiment. In the example shown in FIG.
  • the test result image 50 that includes the characteristic portion 152 is selected as the reference image 150, which is an image that satisfies the specific condition, by performing image recognition processing.
  • the reference image 150 which is an image that satisfies the specific condition, by performing image recognition processing.
  • a mode in which the image is stored in the reference image storage area 108A is shown.
  • the test result image 50 selected by performing image recognition processing on a plurality of test result images 50 is used as the reference image 150, which is an image that satisfies the specific condition, according to the embodiment described above. will be treated in the same way. Therefore, the test result image 50 that includes the characteristic portion 152 is selected as the reference image 150 without having the doctor 14 select the test result image 50 that includes the characteristic portion 152 from among the plurality of test result images 50 .
  • the test result image 50 selected by performing image recognition processing on a plurality of test result images 50 is used as the reference image 150, which is an image that satisfies a specific condition, as in the above embodiment.
  • the technology of the present disclosure is not limited thereto.
  • a selected test result image 50 is displayed on the past test image screen 46 so as to be distinguishable from other test result images 50, and is distinguishable from other test result images 50.
  • the test result image 50 displayed in is selected according to the image selection instruction
  • the test result image 50 selected according to the image selection instruction is treated as the reference image 150, which is an image that satisfies the specific condition, in the same manner as in the above embodiment.
  • test result image 50 showing the characteristic part 152 can be used as the reference image. 150.
  • a test result image 50 selected by performing image recognition processing on a plurality of test result images 50 is selected as the reference image 150, which is an image that satisfies a specific condition.
  • the technology of the present disclosure is not limited thereto.
  • a plurality of test result images 50 recorded in a report 136 are selected by performing information processing on metadata 50A attached to each of them, and are selected in accordance with an image selection instruction.
  • the test result image 50 may be selected as the reference image 150, which is an image that satisfies a specific condition.
  • the metadata 50A of the test result image 50 in which the characteristic portion 152 is shown includes an identifier 50A1.
  • the identifier 50A1 is information that can uniquely identify that the test result image 50 includes the characteristic portion 152.
  • the second control unit 106B identifies the metadata 50A that includes the identifier 50A1 from the plurality of metadata 50A corresponding to the plurality of test result images 50 recorded in the report 136. Then, the second control unit 106B displays the test result image 50 to which the metadata 50A including the identifier 50A1 is attached on the past test image screen 46 in a display manner that can be distinguished from other test result images 50.
  • test result image 50 displayed on the past test image screen 46 in a display manner distinguishable from other test result images 50 is selected according to the image selection instruction
  • the test result image 50 selected according to the image selection instruction is specified.
  • the reference image 150 is selected as an image that satisfies the conditions.
  • the previous endoscopic examination performed on the subject 20 and the last endoscopic examination performed on the subject 20 are different. Selected by the user. Then, in response to a selection instruction by the user, a past examination image screen 46 including a plurality of examination result images 50 obtained in the previous endoscopic examination performed on the subject 20 and A past examination image screen 46 including a plurality of examination result images 50 obtained from the last endoscopy (or the endoscopy before the last) performed is displayed in a switching manner.
  • the display of multiple types of past inspection image screens 46 may be switched in response to an operation using voice recognition.
  • control device 28 acquires the subject identification information 138 and the endoscopy information 140 (see FIG. 11) from the server 78
  • the technology of the present disclosure is not limited to this.
  • various information for example, subject identification information 138 and Inspection information 140, etc. may be acquired by the control device 28 from the server 78 and/or the tablet terminal 44, etc.
  • the server 78 is mentioned as an example of a device provided outside the control device 28, but this is just an example, and instead of the server 78, at least one personal computer or the like may be used. Good too. Further, the control device processing may be performed in a distributed manner by a plurality of devices including the control device 28 and a device provided outside the control device 28. Further, the device provided outside the control device 28 may be the endoscope processing device 22.
  • the display device 30 may display the endoscopic image 40A, the past examination image screen 46, and the subject information screen 146.
  • the endoscopic image 40A, the past examination image screen 46, and the subject information screen 146 may be displayed side by side, or the past examination image screen 46 and the subject information screen 146 may be displayed as the endoscopic image. It may be selectively displayed in a state where it can be compared with 40A.
  • At least a portion of the subject identification information 138 and/or at least a portion of the endoscopy information 140 are stored in the NVM 98 of the endoscope processing device 22, the NVM 110 of the control device 28, and/or the tablet terminal 32.
  • the information may be acquired by the processor 106 from the memory of the processor 106.
  • endoscopic system processing is performed using the endoscopic image 40 acquired by the camera 66
  • the technology of the present disclosure is not limited to this.
  • endoscopic system processing may be performed using ultrasound images obtained by an ultrasound endoscope.
  • a location to be treated inside the body of the subject 20 is specified in the second endoscopy
  • the technology of the present disclosure is not limited to this.
  • a location that has been previously treated for example, treatment
  • Treatment e.g.
  • one processor is configured by a combination of one or more processors and software, and this processor functions as a hardware resource for executing endoscope system processing.
  • this processor functions as a hardware resource for executing endoscope system processing.
  • a processor such as an SoC, which implements the functions of the entire system including a plurality of hardware resources that execute endoscope system processing with one IC chip. In this way, endoscopic system processing is realized using one or more of the various processors described above as hardware resources.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

情報処理装置は、プロセッサを備える。プロセッサは、複数の部位が前回以前の内視鏡検査である第1内視鏡検査で撮像されることによって得られた複数の第1内視鏡検査画像が蓄積されたストレージから複数の第1内視鏡検査画像を取得し、今回の内視鏡検査である第2内視鏡検査の実施期間に、複数の第1内視鏡検査画像のうちの特定条件を満足する少なくとも1つの第1内視鏡検査画像を参照画像として表示装置に対して表示させる。

Description

情報処理装置、内視鏡装置、情報処理方法、及びプログラム
 本開示の技術は、情報処理装置、内視鏡装置、情報処理方法、及びプログラムに関する。
 特許第6284439号には、被検体に対して内視鏡検査を実施するための内視鏡システムと、過去の検査情報を管理する検査情報管理システムとを備えた医療情報処理システムが開示されている。検査情報管理システムは、過去の検査情報を記憶する検査情報記憶部と、検査情報記憶部から、被検体の過去の検査情報を抽出する検査情報抽出部と、抽出した被検体の過去の検査情報を、内視鏡システムに送信する送信部と、を備えている。内視鏡システムは、検査情報管理システムから、被検体の過去の検査情報を受信する受信部と、撮像装置により撮像された被検体の観察画像を取得する画像取得部と、画像取得部で取得した観察画像と、受信部で受信した検査情報に含まれる観察部位に関する情報とを表示装置に表示させる表示制御部と、表示装置に表示された情報に対応する観察部位の観察が完了したことを示す部位観察完了情報を受け付ける完了情報受付部と、部位観察完了情報を登録する部位情報登録部と、を備えている。完了情報受付部が部位観察完了情報を受け付けると、部位情報登録部が、観察部位に関する情報に対応付けて、部位観察完了情報を登録し、部位情報登録部が部位観察完了情報を登録すると、表示制御部は、次に観察するべき観察部位に関する情報を、表示装置に表示させる。
 国際公開第2019/049451号には、内視鏡検査における基準タイミングからの経過時間を計測する時間計測部と、第1の内視鏡検査において取得された第1の内視鏡観察画像と、第1の内視鏡観察画像取得時の、第1の内視鏡検査における基準タイミングからの経過時間と、が対応付けられて記憶された記憶部と、第1の内視鏡検査の後に行われる第2の内視鏡検査において取得された第2の内視鏡観察画像と、第2の内視鏡観察画像取得時の、第2の内視鏡検査における基準タイミングからの経過時間と同一の経過時間が対応付けられて記憶部に記憶されている第1の内視鏡観察画像と、を同時に表示させる制御を行う表示制御部と、を備えるビデオプロセッサが開示されている。
 本開示の技術に係る一つの実施形態は、内視鏡検査の主な検査対象とされた部位の変化をユーザに把握させることができる情報処理装置、内視鏡装置、情報処理方法、及びプログラムを提供する。
 本開示の技術に係る第1の態様は、プロセッサを備え、プロセッサが、複数の部位が前回以前の内視鏡検査である第1内視鏡検査で撮像されることによって得られた複数の第1内視鏡検査画像が蓄積されたストレージから複数の第1内視鏡検査画像を取得し、今回の内視鏡検査である第2内視鏡検査の実施期間に、複数の第1内視鏡検査画像のうちの特定条件を満足する少なくとも1つの第1内視鏡検査画像を参照画像として表示装置に対して表示させる情報処理装置である。
 本開示の技術に係る第2の態様は、プロセッサが、第2内視鏡検査の実施期間内に行われるタイムアウトの段階で、参照画像を表示装置に対して表示させる、第1の態様に係る情報処理装置である。
 本開示の技術に係る第3の態様は、プロセッサが、第2内視鏡検査の実施期間内に行われるタイムアウトの段階で、第1内視鏡検査の実施期間内に得られた第1情報を表示装置に対して表示させる、第2の態様に係る情報処理装置である。
 本開示の技術に係る第4の態様は、プロセッサが、第2内視鏡検査の実施期間内に行われるタイムアウトで要する第2情報が格納されている装置から第2情報を取得し、取得した第2情報を表示装置に対して表示させる、第1の態様から第3の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第5の態様は、プロセッサが、第2内視鏡検査の実施期間内に行われるタイムアウトが完了した場合に、第2情報をストレージに格納する、第4の態様に係る情報処理装置である。
 本開示の技術に係る第6の態様は、第1内視鏡検査画像には、第1内視鏡検査のタイムアウトで得られた情報が関連付けられている、第1の態様から第5の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第7の態様は、第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像には、第2内視鏡検査のタイムアウトで得られた情報が関連付けられている、第1の態様から第6の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第8の態様は、特定条件が、受付装置によって受け付けられた指示に従って選択されたという条件である、第1の態様から第7の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第9の態様は、特定条件が、複数の第1内視鏡検査画像に対する画像認識処理、及び/又は、複数の第1内視鏡検査画像のメタデータに対する情報処理が行われることによって選択されたという条件である、第1の態様から第7の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第10の態様は、特定条件が、複数の第1内視鏡検査画像に対する画像認識処理、及び/又は、複数の第1内視鏡検査画像のメタデータに対する情報処理が行われることによって選択され、かつ、受付装置によって受け付けられた指示に従って選択されたという条件である、第1の態様から第7の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第11の態様は、メタデータには、第1内視鏡検査の実施期間内に得られた内視鏡検査情報が含まれている、第9の態様又は第10の態様に係る情報処理装置である。
 本開示の技術に係る第12の態様は、内視鏡検査情報には、第1内視鏡検査のタイムアウトで得られた情報が含まれている、第11の態様に係る情報処理装置である。
 本開示の技術に係る第13の態様は、プロセッサが、第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像に、参照画像内の特徴部分に対応する箇所が写っている場合に報知する第1報知処理を行う、第1の態様から第12の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第14の態様は、第1報知処理が、参照画像の表示態様を変更する処理を含む、第13の態様に係る情報処理装置である。
 本開示の技術に係る第15の態様は、プロセッサが、参照画像内の特徴部分と、第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像に写っており、特徴部分と対応する箇所との位置関係に応じて参照画像の表示態様を変更する、第1の態様から第14の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第16の態様は、プロセッサが、位置関係が既定位置関係になった場合に報知する第2報知処理を行う、第15の態様に係る情報処理装置である。
 本開示の技術に係る第17の態様は、プロセッサが、参照画像と第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像とに基づいて、第2内視鏡検査の撮像条件を第1内視鏡検査の撮像条件に合わせることを支援する支援処理を行う、第1の態様から第16の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第18の態様は、支援処理が、第2内視鏡検査の撮像条件を第1内視鏡検査の撮像条件に合わせるのに要する支援情報を出力する出力処理を含む、第17の態様に係る情報処理装置である。
 本開示の技術に係る第19の態様は、支援情報が、参照画像に写っている第1特徴部分と第2内視鏡検査画像に写っている第2特徴部分とを比較した結果に基づいて導出される、第18の態様に係る情報処理装置である。
 本開示の技術に係る第20の態様は、支援処理が、第2内視鏡検査の撮像条件と第1内視鏡検査の撮像条件とが一致した場合に報知する第3報知処理を含む、第1の態様から第19の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第21の態様は、プロセッサが、第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像に応じて参照画像の構図を変更する、第1の態様から第20の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第22の態様は、プロセッサが、参照画像及び第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像に基づいて参照画像と第2内視鏡検査画像とに共通の病変が写っているか否かを判定する、第1の態様から第21の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第23の態様は、プロセッサが、参照画像と第2内視鏡検査画像とに共通の病変が写っていると判定し、かつ、判定結果を確定させる指示が受付装置によって受け付けられた場合に、判定結果が確定したことを報知する第4報知処理を行う、第20の態様に係る情報処理装置である。
 本開示の技術に係る第24の態様は、プロセッサが、参照画像と第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像とに共通の病変が写っている場合に、病変に関する病変関連情報を生成する、第1の態様から第23の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第25の態様は、病変関連情報が、病変のサイズに関するサイズ関連情報を含む、第24の態様に係る情報処理装置である。
 本開示の技術に係る第26の態様は、サイズ関連情報が、サイズの経時的な推移を特定可能な推移特定情報を含む、第25の態様に係る情報処理装置である。
 本開示の技術に係る第27の態様は、推移特定情報が、参照画像に写っている病変のサイズ及び/又は第2内視鏡検査画像に写っている病変のサイズに基づいて導出される、第26の態様に係る情報処理装置である。
 本開示の技術に係る第28の態様は、推移特定情報が、参照画像に写っている病変のサイズ及び/又は第2内視鏡検査画像に写っている病変のサイズと病変の種類とに基づいて導出される、第27の態様に係る情報処理装置である。
 本開示の技術に係る第29の態様は、病変関連情報が、病変の種類を特定可能な情報、病変の個数を特定可能な情報、及び/又は病変の態様を特定可能な情報を含む、第24の態様から第28の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第30の態様は、病変関連情報が、病変が写っている参照画像、及び/又は、病変が写っている第2内視鏡検査画像に関連付けられている、第24の態様から第29の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第31の態様は、プロセッサが、病変関連情報と、病変が写っている参照画像、及び/又は、病変が写っている第2内視鏡検査画像とが記録されたレポートを作成する、第24の態様から第30の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第32の態様は、プロセッサが、参照画像と第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像とを対比可能に表示装置に対して表示させる、第1の態様から第31の態様の何れか1つの態様に係る情報処理装置である。
 本開示の技術に係る第33の態様は、第1の態様から第3の態様の何れか1つの態様に係る情報処理装置と、内視鏡検査で複数の部位を撮像する内視鏡と、を備える内視鏡装置である。
 本開示の技術に係る第34の態様は、複数の部位が前回以前の内視鏡検査である第1内視鏡検査で撮像されることによって得られた複数の第1内視鏡検査画像が蓄積されたストレージから複数の第1内視鏡検査画像を取得すること、及び、今回の内視鏡検査である第2内視鏡検査の実施期間に、複数の第1内視鏡検査画像のうちの特定条件を満足する少なくとも1つの第1内視鏡検査画像を参照画像として表示装置に対して表示させることを備える情報処理方法である。
 本開示の技術に係る第35の態様は、コンピュータに、複数の部位が前回以前の内視鏡検査である第1内視鏡検査で撮像されることによって得られた複数の第1内視鏡検査画像が蓄積されたストレージから複数の第1内視鏡検査画像を取得すること、及び、今回の内視鏡検査である第2内視鏡検査の実施期間に、複数の第1内視鏡検査画像のうちの特定条件を満足する少なくとも1つの第1内視鏡検査画像を参照画像として表示装置に対して表示させることを含む処理を実行させるためのプログラムである。
内視鏡システムが用いられている態様の一例を示す概念図である。 内視鏡システムの全体構成の一例を示す概念図である。 内視鏡の挿入部が被検体の大腸に挿入されている態様の一例を示す概念図である。 内視鏡用処理装置のハードウェア構成の一例を示すブロック図である。 制御装置のハードウェア構成の一例を示すブロック図である。 サーバのハードウェア構成の一例を示すブロック図である。 制御装置のプロセッサの要部機能の一例を示すブロック図である。 サーバのプロセッサの要部機能の一例を示すブロック図である。 内視鏡画像を表示装置に対して表示させる処理内容の一例を示す概念図である。 サーバと制御装置との間でレポートの授受が行われる態様の一例を示す概念図である。 レポートの内容の一例を示す概念図である。 内視鏡装置から要求に応じてサーバが内視鏡装置にレポートを送信する態様の一例を示す概念図である。 レポートに基づいて過去検査画像画面及び被検体情報画面を生成する処理内容に一例を示す概念図である。 被検体特定情報を表示装置に対して表示させる態様の一例、及び過去検査画像画面と被検体情報画面とをタブレット端末のタッチパネル・ディスプレイに対して選択的に表示させる態様の一例を示す概念図である。 画像選択指示に従って選択された検査結果画像が参照画像として選択されて参照画像格納領域に格納される態様の一例を示す概念図である。 第2内視鏡検査のタイムアウトで得られた情報がレポートに記録され、かつ、タブレット端末のタッチパネル・ディスプレイに表示される態様の一例を示す概念図である。 画像認識部が参照画像に対して画像認識処理を実行し、画像認識処理によって抽出された特徴部分と内視鏡画像とを比較する態様の一例を示す概念図である。 参照画像表示指示が受付装置によって受け付けられた場合に過去検査画像画面に参照画像が表示される態様の一例、及び内視鏡画像内に対応特徴部分が写っている場合に過去検査画像画面に参照画像が拡大して表示される態様の一例を示す概念図である。 内視鏡画像と参照画像とに基づいて支援情報が導出され、導出された支援情報が表示装置の画面に表示される態様の一例を示す概念図である。 第2内視鏡検査の撮像条件が第1内視鏡検査の撮像条件と一致した場合の処理内容を示す概念図である。 内視鏡画像に参照画像と共通の病変が写っているか否かを判定し、内視鏡画像に参照画像と共通の病変が写っている場合に報知する処理内容の一例を示す概念図である。 内視鏡画像に参照画像と共通の病変が写っているという判定結果が確定した場合の処理内容の一例を示す概念図である。 第2内視鏡検査の実施期間内に行われたタイムウトで得られたタイムアウト情報を内視鏡画像のメタデータに含めることによりタイムアウト情報と内視鏡画像とを関連付けてレポートに記録し、レポートをサーバのNVMに格納する処理内容の一例を示す概念図である。 病変関連情報を生成し、生成した病変関連情報をメタデータに含める処理内容の一例を示す概念図である。 内視鏡画像表示処理の流れの一例を示すフローチャートである。 内視鏡操作支援処理の流れの一例を示すフローチャートである。 図26Aに示すフローチャートの続きである。 図26Bに示すフローチャートの続きである。 図26Cに示すフローチャートの続きである。 レポート管理処理の流れの一例を示すフローチャートである。 参照画像のスケールを内視鏡画像のスケールに合わせる処理内容の一例を示す概念図である。 参照画像の構図を内視鏡画像の構図に合わせる処理内容の一例を示す概念図である。 複数の検査結果画像に対して画像認識処理が行われることによって参照画像が選択される態様の一例を示す概念図である。 複数の検査結果画像に対応する複数のメタデータに対して情報処理が行われた結果に基づいて参照画像が選択される態様の一例を示す概念図である。
 以下、添付図面に従って本開示の技術に係る情報処理装置、内視鏡装置、情報処理方法、及びプログラムの実施形態の一例について説明する。
 先ず、以下の説明で使用される文言について説明する。
 CPUとは、“Central Processing Unit”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。NVMとは、“Non-volatile memory”の略称を指す。EEPROMとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。LANとは、“Local Area Network”の略称を指す。WANとは、“Wide Area Network”の略称を指す。AIとは、“Artificial Intelligence”の略称を指す。BLIとは、“Blue Light Imaging”の略称を指す。LCIとは、“Linked Color Imaging”の略称を指す。本実施形態において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。
 一例として図1に示すように、内視鏡システム10は、内視鏡装置12を備えている。内視鏡装置12は、内視鏡検査において医師14によって用いられる。また、少なくとも1人の補助スタッフ16(例えば、看護師等)が医師14による内視鏡検査を補助する。以下では、医師14及び補助スタッフ16を区別して説明する必要がない場合、符号を付さずに「ユーザ」とも称する。
 内視鏡装置12は、内視鏡(内視鏡スコープ)18を備えており、内視鏡18を介して被検体20(例えば、患者)の体内に対する診療を行うための装置である。内視鏡装置12は、本開示の技術に係る「内視鏡装置」の一例である。内視鏡18は、本開示の技術に係る「内視鏡」の一例である。
 内視鏡18は、被検体20の体内を撮像することで体内の態様を示す画像を取得して出力する。図1に示す例では、内視鏡18が被検体20の肛門から体腔内に挿入される態様が示されている。なお、図1に示す例では、内視鏡18が被検体20の肛門から体腔内に挿入されるが、これは、あくまでも一例に過ぎず、内視鏡18が被検体20の口、鼻孔、又は穿孔等から体腔内に挿入されてもよく、内視鏡18が挿入される箇所は、内視鏡18の種類及び術式等によって決められる。
 以下では、説明の便宜上、被検体20に対して過去に行われた内視鏡検査を「第1内視鏡検査」と称する。被検体20に対して過去に行われた内視鏡検査とは、被検体20に対して行われた前回以前の内視鏡検査を指す。被検体20に対して行われた前回以前の内視鏡検査の一例としては、被検体20に対して行われた1回前の内視鏡検査が挙げられるが、これは、あくまでも一例に過ぎず、被検体20に対して行われた複数回前の内視鏡検査であってもよい。また、以下では、説明の便宜上、被検体20に対する今回の内視鏡検査を「第2内視鏡検査」と称する。また、以下では、第1内視鏡検査と第2内視鏡検査とを区別して説明する必要がない場合、単に「内視鏡検査」と称する。以下では、第1内視鏡検査及び第2内視鏡検査の各々で、被検体20の体内(例えば、大腸の内壁)の複数の箇所が内視鏡18によって撮像されることを前提として説明する。ここで、被検体20の体内の複数の箇所は、本開示の技術に係る「複数の部位」の一例である。
 内視鏡装置12は、内視鏡用処理装置22、光源装置24、制御装置28、表示装置30、及びタブレット端末32を備えている。内視鏡用処理装置22、光源装置24、制御装置28、表示装置30、及びタブレット端末32は、アーム付きワゴン34に設置されている。アーム付きワゴン34は、ワゴン34Aとアーム34Bとを有する。ワゴン34Aには、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、制御装置28、内視鏡用処理装置22、光源装置24、及び表示装置30が設置されている。
 ワゴン34Aには、アーム34Bが取り付けられている。アーム34Bは、ワゴン34の側面から横方向に延びており、かつ、上方に向けてL字状に屈曲している。アーム34Bの先端部には、ホルダ34B1が設けられている。ホルダ34B1は、タブレット端末32の端部を挟み込むことによってタブレット端末32を保持する。タブレット端末32は、ホルダ34B1による挟み込み状態が解除されることによってホルダ34B1からの取り外しが可能となる。アーム34Bがタブレット端末32を保持することによって、タブレット端末32とワゴン34A上の表示装置30とが横並びで配置される。
 表示装置30は、画像を含めた各種情報を表示する。表示装置30の一例としては、液晶ディスプレイ又はELディスプレイ等が挙げられる。表示装置30には、複数の画面が並べて表示される。図1に示す例では、複数の画面の一例として、画面36及び38が示されている。
 画面36には、内視鏡画像40が表示される。内視鏡画像40は、被検体20の体腔内で内視鏡18によって観察対象領域が撮像されることによって取得された画像である。観察対象領域としては、大腸の内壁が挙げられる。大腸の内壁は、あくまでも一例に過ぎず、小腸、十二指腸、又は胃等の他の部位の内壁又は外壁等であってもよい。
 画面36に表示される内視鏡画像40は、複数のフレームを含んで構成される動画像に含まれる1つのフレームである。つまり、画面36には、複数のフレームの内視鏡画像40が既定のフレームレート(例えば、30フレーム/秒又は60フレーム/秒等)で表示される。
 画面38には、被検体特定情報42が表示される。被検体特定情報42は、被検体20に関する情報である。被検体特定情報42には、例えば、被検体20の氏名、被検体20の年齢、被検体20を識別可能な識別番号、及び被検体20に対して内視鏡18を用いた処置を行う場合に注意する情報等が含まれている。
 タブレット端末32は、タッチパネル・ディスプレイ44を備えている。タッチパネル・ディスプレイ44は、ディスプレイ(例えば、液晶ディスプレイ又はELディスプレイ等)とタッチパネルとを有する。例えば、タッチパネル・ディスプレイ44は、ディスプレイにタッチパネルが重ねられることによって形成されている。タッチパネル・ディスプレイ44の一例としては、タッチパネルがディスプレイの表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイが挙げられる。なお、これはあくまでも一例に過ぎず、例えば、タッチパネル・ディスプレイ44は、オンセル型又はインセル型のタッチパネル・ディスプレイであってもよい。
 タッチパネル・ディスプレイ44には、各種画面が表示される。タッチパネル・ディスプレイ44に表示される各種画面と表示装置30に表示される画面36及び38は、視覚的に対比可能な状態でユーザによって視認される。
 タッチパネル・ディスプレイ44に表示される画面の一例としては、過去検査画像画面46が挙げられる。過去検査画像画面46には、複数の検査結果画像50が一覧表示され、かつ、複数の検査結果画像50に並べられた状態で被検体特定情報52が表示される。複数の検査結果画像50の各々は、被検体20に対する第1内視鏡検査で内視鏡18によって被検体20の体内の複数の箇所(例えば、大腸の内壁の複数の箇所)が撮像されることで得られた内視鏡画像40である。被検体特定情報52は、被検体特定情報42に含まれる情報と同一の情報である。
 一例として図2に示すように、内視鏡18は、操作部54及び挿入部56を備えている。挿入部56は、管状に形成されている。挿入部56は、先端部58、湾曲部60、及び軟性部62を有する。先端部58、湾曲部60、及び軟性部62は、挿入部56の先端側から基端側にかけて、先端部58、湾曲部60、及び軟性部62の順に配置されている。軟性部62は、長尺状の可撓性を有する素材で形成されており、操作部54と湾曲部60とを連結している。湾曲部60は、操作部54が操作されることにより部分的に湾曲したり、挿入部56の軸心周りに回転したりする。この結果、挿入部56は、管腔臓器の形状(例えば、大腸の管路の形状)に応じて湾曲したり、挿入部56の軸心周りに回転したりしながら管腔臓器の奥側に送り込まれる。
 先端部58には、照明装置64、カメラ66、及び処置具用開口68が設けられている。照明装置64は、照明窓64A及び照明窓64Bを有する。照明装置64は、照明窓64A及び照明窓64Bを介して光を照射する。照明装置64から照射される光の種類としては、例えば、可視光(例えば、白色光等)、非可視光(例えば、近赤外光等)、及び/又は特殊光が挙げられる。特殊光としては、例えば、BLI用の光及び/又はLCI用の光が挙げられる。カメラ66は、管腔臓器内を光学的手法で撮像する。カメラ66の一例としては、CMOSカメラが挙げられる。CMOSカメラは、あくまでも一例に過ぎず、CCDカメラ等の他種のカメラであってもよい。
 処置具用開口68は、処置具70を先端部58から突出させるための開口である。また、処置具用開口68は、血液及び体内汚物等を吸引する吸引口としても機能する。操作部54には、処置具挿入口72が形成されており、処置具70は、処置具挿入口72から挿入部56内に挿入される。処置具70は、挿入部56内を通過して処置具用開口68から外部に突出する。図2に示す例では、処置具70として、穿刺針が示されている。処置具70の他の例としては、ワイヤ、メス、把持鉗子、ガイドシース、及び超音波プローブ等が挙げられる。
 内視鏡装置12は、ユニバーサルコード74及び受付装置76を備えている。
 ユニバーサルコード74は、基端部74A、第1先端部74B、及び第2先端部74Cを有する。基端部74Aは、操作部54に接続されている。第1先端部74Bは、内視鏡用処理装置22に接続されている。第2先端部74Cは、光源装置24に接続されている。
 受付装置76は、ユーザからの指示を受け付け、受け付けた指示を電気信号として出力する。受付装置76としては、例えば、フットスイッチ、キーボード、マウス、タッチパネル、及びマイクロフォン等が挙げられる。
 内視鏡用処理装置22には、受付装置76が接続されている。内視鏡用処理装置22は、受付装置76によって受け付けられた指示に従ってカメラ66との間で各種信号の授受を行ったり、光源装置24を制御したりする。内視鏡用処理装置22は、カメラ66に対して撮像を行わせ、カメラ66から内視鏡画像40(図1参照)を取得して出力する。光源装置24は、内視鏡用処理装置22の制御下で発光し、光を照明装置64に供給する。照明装置64には、ライトガイドが内蔵されており、光源装置24から供給された光はライトガイドを経由して照明窓64A及び64Bから照射される。
 制御装置28は、内視鏡装置12の全体を制御する装置である。制御装置28には、内視鏡用処理装置22、表示装置30、タブレット端末32、及び受付装置76が接続されている。制御装置28は、受付装置76によって受け付けられた指示に従って表示装置30及びタブレット端末32を制御する。制御装置28は、内視鏡用処理装置22から内視鏡画像40を取得し、取得した内視鏡画像40を含む画面36を表示装置30に対して表示させたり、被検体特定情報42を含む画面38を表示装置30に対して表示させたりする(図1参照)。また、制御装置28は、過去検査画像画面46(図1参照)を含む複数の画面を、タブレット端末32のタッチパネル・ディスプレイ44に対して選択的に表示させる。制御装置28は、本開示の技術に係る「情報処理装置」の一例である。
 内視鏡システム10は、サーバ78を備えている。サーバ78は、サーバ78の本体であるコンピュータ80と、表示装置82と、受付装置84と、を有する。コンピュータ80及び制御装置28は、ネットワーク86を介して通信可能に接続されている。ネットワーク86の一例としては、LANが挙げられる。なお、LANは、あくまでも一例に過ぎず、ネットワーク86は、LAN及びWAN等のうちの少なくとも1つで構成されていればよい。
 制御装置28は、サーバ78に対するクライアント端末として位置付けられている。従って、サーバ78は、ネットワーク86を介して制御装置28から与えられた要求に応じた処理を実行し、処理結果を、ネットワーク86を介して制御装置28に提供する。
 表示装置82及び受付装置84は、コンピュータ80に接続されている。表示装置82は、コンピュータ80の制御下で各種情報を表示する。表示装置82の一例としては、液晶ディスプレイ又はELディスプレイ等が挙げられる。受付装置84は、サーバ78の使用者等からの指示を受け付ける。受付装置84の一例としては、キーボード及びマウス等が挙げられる。コンピュータ80は、受付装置84によって受け付けられた指示に応じた処理を実行する。
 一例として図3に示すように、内視鏡18の挿入部56は、被検体20の肛門から大腸88に挿入される。カメラ66は、大腸88内を撮像することにより内視鏡画像40を生成する。内視鏡画像40は、内壁88Aの態様を示す画像として生成される。例えば、大腸88に挿入されたカメラ66は、大腸88の入り口側から奥側に進み、既定のフレームレートに従って大腸88の入り口側から奥側にかけて内壁88Aを撮像する。これにより、大腸88の入り口側から奥側にかけての内壁88Aの態様を示す複数フレームの内視鏡画像40を含む動画像が生成される。
 一例として図4に示すように、内視鏡用処理装置22は、コンピュータ90及び入出力インタフェース92を備えている。コンピュータ90は、プロセッサ94、RAM96、及びNVM98を備えている。入出力インタフェース92、プロセッサ94、RAM96、及びNVM98は、バス100に接続されている。
 例えば、プロセッサ94は、CPU及びGPUを有しており、内視鏡用処理装置22の全体を制御する。GPUは、CPUの制御下で動作し、主に画像処理の実行を担う。なお、プロセッサ94は、GPU機能を統合した1つ以上のCPUであってもよいし、GPU機能を統合していない1つ以上のCPUであってもよい。
 RAM96は、一時的に情報が格納されるメモリであり、プロセッサ94によってワークメモリとして用いられる。NVM98は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。NVM98の一例としては、フラッシュメモリ(例えば、EEPROM)及び/又はSSD等が挙げられる。なお、フラッシュメモリ及びSSDは、あくまでも一例に過ぎず、HDD等の他の不揮発性の記憶装置であってもよいし、2種類以上の不揮発性の記憶装置の組み合わせであってもよい。
 入出力インタフェース92には、受付装置76が接続されており、プロセッサ94は、受付装置76によって受け付けられた指示を、入出力インタフェース92を介して取得し、取得した指示に応じた処理を実行する。また、入出力インタフェース92には、カメラ66が接続されている。プロセッサ94は、入出力インタフェース92を介してカメラ66を制御したり、カメラ66によって被検体20の体内が撮像されることで得られた内視鏡画像40を、入出力インタフェース92を介して取得したりする。また、入出力インタフェース92には、光源装置24が接続されている。プロセッサ94は、入出力インタフェース92を介して光源装置24を制御することで、照明装置64に光を供給したり、照明装置64に供給する光の光量を調節したりする。また、入出力インタフェース92には、制御装置28が接続されている。プロセッサ94は、入出力インタフェース92を介して制御装置28と各種信号の授受を行う。
 一例として図5に示すように、制御装置28は、コンピュータ102及び入出力インタフェース104を備えている。コンピュータ102は、プロセッサ106、RAM108、及びNVM110を備えている。入出力インタフェース104、プロセッサ106、RAM108、及びNVM110は、バス112に接続されている。
 プロセッサ106は、制御装置28の全体を制御する。なお、図5に示すコンピュータ102に含まれる複数のハードウェア資源(すなわち、プロセッサ106、RAM108、及びNVM110)は、図4に示すコンピュータ90に含まれる複数のハードウェア資源と同種であるので、ここでの説明は省略する。
 入出力インタフェース104には、受付装置76が接続されており、プロセッサ106は、受付装置76によって受け付けられた指示を、入出力インタフェース104を介して取得し、取得した指示に応じた処理を実行する。また、入出力インタフェース104には、内視鏡用処理装置22が接続されており、プロセッサ106は、入出力インタフェース104を介して、内視鏡用処理装置22のプロセッサ94(図4参照)と各種信号の授受を行う。
 入出力インタフェース104には、表示装置30が接続されており、プロセッサ106は、入出力インタフェース104を介して表示装置30を制御することで、表示装置30に対して各種情報を表示させる。例えば、プロセッサ106は、内視鏡用処理装置22から内視鏡画像40(図1参照)を取得し、表示装置30に対して内視鏡画像40を表示させる。
 内視鏡装置12は、通信モジュール114を備えている。通信モジュール114は、入出力インタフェース104に接続されている。通信モジュール114は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信モジュール114は、ネットワーク86に接続されており、プロセッサ106とサーバ78のコンピュータ80との間の通信を司る。
 内視鏡装置12は、無線通信モジュール116を備えている。無線通信モジュール116は、入出力インタフェース104に接続されている。無線通信モジュール116は無線通信プロセッサ及びアンテナ等を含むインタフェースである。無線通信モジュール116は、無線LAN等を介してタブレット端末32と通信可能に接続されており、プロセッサ106とタブレット端末32との間の通信を司る。なお、ここでは、無線方式で制御装置28とタブレット端末32との間で通信が行われる形態例を挙げているが、これは、あくまでも一例に過ぎず、有線方式で制御装置28とタブレット端末32との間で通信が行われるようにしてもよい。
 なお、コンピュータ102は、本開示の技術に係る「コンピュータ」の一例である。また、プロセッサ106は、本開示の技術に係る「プロセッサ」の一例である。また、表示装置30及びタブレット端末32は、本開示の技術に係る「表示装置」の一例である。
 一例として図6に示すように、サーバ78は、コンピュータ80、表示装置82及び受付装置84の他に、入出力インタフェース104(図5参照)と同様の入出力インタフェース118、及び通信モジュール114(図5参照)と同様の通信モジュール120を備えている。コンピュータ80は、プロセッサ106(図5参照)と同様のプロセッサ122、RAM108(図5参照)と同様のRAM124、及びNVM110(図5参照)と同様のNVM126を備えている。バス128には、入出力インタフェース118、プロセッサ122、RAM124、及びNVM126が接続されている。
 入出力インタフェース118には、表示装置82が接続されており、プロセッサ122は、入出力インタフェース118を介して表示装置82を制御することで、表示装置82に対して各種情報を表示させる。
 入出力インタフェース118には、受付装置84が接続されており、プロセッサ122は、受付装置84によって受け付けられた指示を、入出力インタフェース118を介して取得し、取得した指示に応じた処理を実行する。
 入出力インタフェース118には、通信モジュール120が接続されている。通信モジュール120は、ネットワーク86に接続されており、通信モジュール114と協働することにより、サーバ78のプロセッサ122と制御装置28のプロセッサ106との間の通信を司る。
 ところで、被検体20に対する内視鏡18を用いた第1内視鏡検査で内視鏡18によって撮像されることで得られた複数の内視鏡画像40は、レポート等に記録されている。医師14は、レポート等に記録されている複数の内視鏡画像40を見ながら、第2内視鏡検査で被検体20の体内で処置(例えば、治療)を行う箇所(例えば、病変)を特定する。
 第2内視鏡検査で被検体20の体内で処置を行う箇所(以下、「主検査対象部位」と称する)が第1内視鏡検査が行われた時点からどの程度変化しているかを医師14及び補助スタッフ16の全員が把握することは被検体20に対する第2内視鏡検査を行う上で重要である。これを実現するための方法としては、例えば、タイムアウト(すなわち、第2内視鏡検査の前又は第2内視鏡検査の途中で行われる打ち合わせ)の実施期間を利用して、主検査対象部位を医師14及び補助スタッフ16の全員に把握させる方法が考えられる。この場合、レポート等に記録されている複数の内視鏡画像40から、適切な内視鏡画像40(すなわち、主検査対象部位が写っている内視鏡画像40)を選択し、選択した内視鏡画像40を医師14及び補助スタッフ16の全員に対して提示することが好ましい。
 そこで、このような事情に鑑み、本実施形態では、制御装置28のプロセッサ106によって内視鏡画像表示処理及び内視鏡操作支援処理が行われ(図7参照)、かつ、サーバ78のプロセッサ122によってレポート管理処理が行われる(図8参照)。
 一例として図7に示すように、NVM110には、内視鏡画像表示プログラム130が記憶されている。プロセッサ106は、NVM110から内視鏡画像表示プログラム130を読み出し、読み出した内視鏡画像表示プログラム130をRAM108上で実行する。内視鏡画像表示処理は、プロセッサ106がRAM108上で実行する内視鏡画像表示プログラム130に従って第1制御部106Aとして動作することによって実現される。
 NVM110には、内視鏡操作支援プログラム132が記憶されている。プロセッサ106は、NVM110から内視鏡操作支援プログラム132を読み出し、読み出した内視鏡操作支援プログラム132をRAM108上で実行する。内視鏡操作支援処理は、プロセッサ106がRAM108上で実行する内視鏡操作支援プログラム132に従って第2制御部106B、第1送受信部106C、及び画像認識部106Dとして動作することによって実現される。内視鏡操作支援プログラム132は、本開示の技術に係る「プログラム」の一例である。
 一例として図8に示すように、NVM126には、レポート管理プログラム134が記憶されている。プロセッサ122は、NVM126からレポート管理プログラム134を読み出し、読み出したレポート管理プログラム134をRAM124上で実行する。レポート管理処理は、プロセッサ122がRAM124上で実行するレポート管理プログラム134に従って第2送受信部122A及び第3制御部122Bとして動作することによって実現される。
 なお、以下では、内視鏡画像表示処理及び内視鏡操作支援処理を纏めて称する場合、「制御装置処理」と称する。また、以下では、説明の便宜上、内視鏡画像表示処理、内視鏡操作支援処理、及びレポート管理処理を纏めて称する場合、「内視鏡システム処理」と称する。また、以下では、説明の便宜上、内視鏡画像表示プログラム130、内視鏡操作支援プログラム132、及びレポート管理プログラム134を纏めて称する場合、「内視鏡システムプログラム」と称する。
 一例として図9に示すように、内視鏡装置12において、第1制御部106Aは、表示装置30に対して画面36を表示させる。第1制御部106Aは、カメラ66から既定のフレームレートに従って内視鏡画像40を取得し、取得した内視鏡画像40を順次に画面36に表示する。これにより、画面36には、複数の内視鏡画像40による動画像が表示される。画面36に表示される内視鏡画像40は、第2内視鏡検査で得られた画像である。なお、以下では、第2内視鏡検査で得られた内視鏡画像40を第1内視鏡検査で得られた内視鏡画像40と区別して説明する必要がある場合、「内視鏡画像40A」と称する。内視鏡画像40Aは、本開示の技術に係る「第2内視鏡検査画像」の一例である。
 一例として図10に示すように、サーバ78のNVM126には、複数のレポート136が蓄積されている。例えば、レポート136は、異なる被検体20毎に作成される。レポート136には、被検体20に関する情報、及び被検体20に対して行われた第1内視鏡検査の結果に関する情報が含まれている。第3制御部122Bは、NVM126にレポート136を格納したり、NVM126からレポート136を取得したりする。第2送受信部122Aは、第3制御部122BによってNVM126から取得されたレポート136を制御装置28に送信する。第2送受信部122Aによって送信されたレポート136は、制御装置28の第1送受信部106Cによって受信される。また、制御装置28の第1送受信部106Cは、レポート136をサーバ78に送信する。第1送受信部106Cによって送信されたレポート136は、第2送受信部122Aによって受信される。第2送受信部122Aによって受信されたレポート136は、第3制御部122BによってNVM126に格納される。NVM126は、本開示の技術に係る「ストレージ」及び「装置」の一例である。
 一例として図11に示すように、レポート136は、被検体特定情報138及び内視鏡検査情報140が記録されている。被検体特定情報138は、被検体20を一意に特定可能な情報である。被検体特定情報138には、被検体20に対して固有に割り当てられた番号である被検体番号、被検体20の氏名、被検体20の性別、及び被検体20の年齢等が含まれている。内視鏡検査情報140は、被検体特定情報138から特定される被検体20に対して実施された第1内視鏡検査に関する情報である。内視鏡検査情報140には、第1内視鏡検査に対して固有に割り当てられた番号である検査番号、第1内視鏡検査が実施された検査日時、第1内視鏡検査を実施した医師の氏名、及び所見(例えば、第1内視鏡検査が行われた部位、第1内視鏡検査によって発見された病変の種類、病変のサイズ、及び病変の位置等)が含まれている。
 また、内視鏡検査情報140には、タイムアウト情報142及び複数の検査結果画像50が含まれている。タイムアウト情報142は、レポート136に記録されている検査番号から特定される第1内視鏡検査の実施期間内に行われたタイムアウトで得られた情報である。タイムアウトで得られた情報には、タイムアウトに参加した者を特定可能な情報(氏名又は識別番号等)、タイムアウトで確認した事項、タイムアウトが行われた日時、及びタイムアウトが行われた場所を示す情報等が含まれる。
 検査結果画像50は、レポート136に記録されている検査番号から特定される第1内視鏡検査で得られた内視鏡画像40である。検査結果画像50には、検査結果画像50に付随するデータとして、メタデータ50Aが関連付けられている。メタデータ50Aには、例えば、検査結果画像50に関する種々の情報(例えば、検査結果画像50が得られた日時、及び検査結果画像50に対して画像認識処理が行われた結果等)及びタイムアウト情報142と同一の情報等が含まれている。
 一例として図12に示すように、タイムアウトが開始された場合、受付装置76は、タイムアウト開始情報を受け付ける。タイムアウト開始情報は、タイムアウトが開始されたことを示す情報である。また、タイムアウトが終了した場合、受付装置76は、タイムアウト終了情報を受け付ける。タイムアウト終了情報は、タイムアウトが終了したことを示す情報である。受付装置76は、タイムアウトが開始されるタイミングで、ユーザからタイムアウト開始情報を受け付け、タイムアウトが終了したタイミングで、ユーザからタイムアウト終了情報を受け付ける。プロセッサ106は、受付装置76によってタイムアウト開始情報が受け付けられた場合に、タイムアウトが開始されたことを認識する。また、プロセッサ106は、受付装置76によってタイムアウト終了情報が受け付けられた場合に、タイムアウトが終了したことを認識する。
 受付装置76によってタイムアウト開始情報が受け付けられた場合、第1送受信部106Cは、サーバ78に対してレポート136の送信を要求する情報である要求情報144をサーバ78に送信する。要求情報144には、レポート136を一意に特定可能な情報が含まれている。レポート136を一意に特定可能な情報の一例としては、被検体番号及び/又は検査番号が挙げられる。
 第1送受信部106Cによって送信された要求情報144は、サーバ78の第2送受信部122Aによって受信される。第2送受信部122Aによって要求情報144が受信された場合、第3制御部122Bは、NVM126から、要求情報144に応じたレポート136(例えば、被検体番号及び/又は検査番号から特定されるレポート136)を取得する。第2送受信部122Aは、第2制御部122BによってNVM126から取得されたレポート136を内視鏡装置12に送信する。第2送受信部122Aによって送信されたレポート136は、内視鏡装置12の第1送受信部106Cによって受信される。なお、レポート136の第1送受信部106Cによる受信は、本開示の技術に係る「複数の第1内視鏡検査画像の取得」の一例である。
 一例として図13に示すように、制御装置28において、第2制御部106Bは、第1送受信部106Cによって受信されたレポート136に基づいて、過去検査画像画面46及び被検体情報画面146を生成する。過去検査画像画面46には、複数の検査結果画像50及び被検体特定情報52が含まれている。
 過去検査画像画面46内の複数の検査結果画像50は、第1送受信部106Cによって受信されたレポート136に第1内視鏡検査で複数の部位(例えば、大腸88内の複数の箇所)について得られた複数の内視鏡画像40として記録されている複数の検査結果画像50(図11参照)である。過去検査画像画面46内の検査結果画像50にも、メタデータ50Aが関連付けられている。被検体特定情報52は、第1送受信部106Cによって受信されたレポート136に記録されている被検体特定情報138内の情報(例えば、被検体番号、氏名、性別、及び年齢等)である。被検体特定情報52は、本開示の技術に係る「第2情報」の一例であり、第2内視鏡検査の実施期間内に行われるタイムアウトで要する情報として用いられる。
 被検体情報画面146には、被検体特定情報146A及びタイムアウト情報146Bが含まれている。被検体特定情報146Aは、被検体20を一意に特定可能な情報である。被検体特定情報146Aは、本開示の技術に係る「第2情報」の一例であり、第2内視鏡検査の実施期間内に行われるタイムアウトで要する情報として用いられる。被検体特定情報146Aの一例としては、第1送受信部106Cによって受信されたレポート136に含まれる被検体特定情報138と同一の情報が挙げられる。タイムアウト情報146Bは、第1送受信部106Cによって受信されたレポート136に記録されている検査番号から特定される第1内視鏡検査の実施期間内に行われたタイムアウトで得られた情報である。タイムアウト情報146Bの一例としては、第1送受信部106Cによって受信されたレポート136に含まれるタイムアウト情報142と同一の情報が挙げられる。タイムアウト情報146Bは、本開示の技術に係る「第1情報」の一例である。
 一例として図14に示すように、第2制御部106Bは、表示装置30に対して、画面36と並べて画面38を表示させる。第2制御部106Bは、図13に示すレポート136から被検体特定情報138を取得し、取得した被検体特定情報138を被検体特定情報42として画面38に表示する。
 また、第2制御部106Bは、タブレット端末32のタッチパネル・ディスプレイ44に対して過去検査画像画面46又は被検体情報画面146を表示させる。受付装置76は、過去検査画像画面46と被検体情報画面146との表示を切り替える指示である画面切替指示を受け付ける。第2制御部106Bは、受付装置76によって受け付けられた画面切替指示に応じて、タッチパネル・ディスプレイ44に対して過去検査画像画面46と被検体情報画面146とを選択的に表示させる。
 一例として図15に示すように、タッチパネル・ディスプレイ44に過去検査画像画面46が表示されている状態で、1つの検査結果画像50を参照画像150として選択する指示である画像選択指示がユーザからタッチパネル・ディスプレイ44に対して与えられる。参照画像150とは、ユーザによって参照される画像を指す。図15に示す例では、レポート136の内視鏡検査情報140(図11参照)から特定される病変を示す部分である特徴部分152が写っている検査結果画像50が参照画像150として選択される態様が示されている。特徴部分152は、本開示の技術に係る「参照画像内の特徴部分」及び「第1特徴部分」の一例である。画像選択指示は、本開示の技術に係る「受付装置によって受け付けられた指示」の一例である。
 タブレット端末32では、画像選択指示に従って1つの検査結果画像50が参照画像150として選択される。制御装置28では、第2制御部106Bが、画像選択指示によって選択された参照画像150と、参照画像150として選択された検査結果画像50に関連付けられているメタデータ50Aとをタブレット端末32から取得する。第2制御部106Bは、タブレット端末32から取得した参照画像150とメタデータ50Aとを関連付けた状態でRAM108内の参照画像格納領域108Aに格納する。
 一例として図16に示すように、第2内視鏡検査のタイムアウトで得られた情報であるタイムアウト情報146Cは、受付装置76によって受け付けられる。そして、制御装置28では、第2制御部106Bが、受付装置76によって受け付けられたタイムアウト情報146Cをレポート136に記録する。「記録」の一例としては、追記が挙げられる。このようにレポート136にタイムアウト情報146Cが記録されることによってレポート136の内容が更新される。また、第2制御部106Bは、受付装置76によって受け付けられたタイムアウト情報146Cをタッチパネル・ディスプレイ44の被検体情報画面146に表示する。被検体情報画面146には、タイムアウト情報146Cが被検体特定情報146A及びタイムアウト情報146Bと並べられた状態で表示される。
 一例として図17に示すように、内視鏡装置12において、受付装置76は、参照画像表示指示を受け付ける。参照画像表示指示は、参照画像150をタッチパネル・ディスプレイ44に表示させる指示である。参照画像表示指示は、第2内視鏡検査のタイムアウトの実施期間内にユーザによって行われる。受付装置76によって参照画像表示指示が受け付けられた場合、画像認識部106Dは、参照画像格納領域108Aから参照画像150を取得する。画像認識部106Dは、参照画像150に対してAI方式及び/又はテンプレートマッチング方式等の画像認識処理(以下、単に「画像認識処理」と称する)を行うことで、参照画像150から特徴部分152を抽出する。画像認識部106Dは、カメラ66から内視鏡画像40Aを取得する。そして、画像認識部106Dは、カメラ66から取得した内視鏡画像40Aと参照画像150から抽出した特徴部分152とを比較する。画像認識部106Dは、内視鏡画像40と特徴部分152とを比較することで、内視鏡画像40Aに対応特徴部分154が写っているか否かを判定する。対応特徴部分154は、本開示の技術に係る「特徴部分と対応する箇所」及び「第2特徴部分」の一例である。
 一方、受付装置76によって参照画像表示指示が受け付けられた場合、図15に示す画像選択指示に従って選択された検査結果画像50が参照画像150として確定する。すなわち、受付装置76によって参照画像表示指示が受け付けられた場合、特定条件を満足する画像(ここでは、一例として、画像選択指示に従って選択された画像)である検査結果画像50が参照画像150として確定する。受付装置76によって参照画像表示指示が受け付けられた場合、一例として図18に示すように、第2制御部106Bは、過去検査画像画面46内で参照画像150と他の検査結果画像50とを区別可能な状態で表示する。参照画像150は、第2内視鏡検査の実施期間内に行われるタイムアウトの段階で過去検査画像画面46に表示される。例えば、第2制御部106Bは、参照画像150以外の検査結果画像50をグレイアウト表示したり(図18の上段図参照)、半透明で表示したり、非表示したりすることで、参照画像150を識別可能に表示する。
 なお、受付装置76によって画像選択指示が受け付けられ、かつ、参照画像表示指示が受け付けられたという条件は、本開示の技術に係る「特定条件」及び「受付装置によって受け付けられた指示に従って選択されたという条件」の一例である。
 一例として図18に示すように、画像認識部106Dによって内視鏡画像40Aに対応特徴部分154が写っていると判定された場合、第2制御部106Bは、過去検査画像画面46内で参照画像150を拡大して表示することで、内視鏡画像40A内に対応特徴部分154が写っていることを報知する処理を行う。内視鏡画像40A内に対応特徴部分154が写っていることを報知する処理は、本開示の技術に係る「第1報知処理」の一例である。ここでは、参照画像150を拡大して表示する形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、参照画像150の輪郭が強調表示されたり、内視鏡画像40A内に対応特徴部分154が写っていることを特定可能なメッセージ又はマーク等が表示されたりすることによって、内視鏡画像40A内に対応特徴部分154が写っていることが報知されるようにしてもよい。
 ここで、第2内視鏡検査の撮像条件を第1内視鏡検査の撮像条件に合わせることを支援する支援処理について説明する。支援処理の一例としては、参照画像150のスケール(すなわち、画角)と内視鏡画像40Aのスケールとが異なっている場合に、内視鏡画像40Aのスケールを参照画像150のスケールに合わせる処理が挙げられる。そこで、ここでは、内視鏡画像40Aのスケールを参照画像150のスケールに合わせる処理について図19及び図20を参照しながら説明する。
 内視鏡画像40Aのスケールを参照画像150のスケールに合わせる場合の前提として、第1前提と第2前提とが考えられる。第1前提は、参照画像150に写っている特徴部分152の実サイズと内視鏡画像40Aに写っている対応特徴部分154の実サイズとが一致しているという前提である。第2前提は、参照画像150に写っている特徴部分152の実サイズと内視鏡画像Aに写っている対応特徴部分154の実サイズとが一致していないという前提である。
 第1前提下では、一例として図19に示すように、第2制御部106Bは、参照画像150から特徴部分152のピクセル数156を取得し、内視鏡画像40Aから対応特徴部分154のピクセル数158を取得する。第2制御部106Bは、ピクセル数156とピクセル数158との差分160を算出する。第2制御部106Bは、差分160に応じた支援情報162を導出する。支援情報162の導出は、差分160と支援情報162とが対応付けられたテーブル163を用いて行われる。支援情報162は、内視鏡画像40Aのスケールを参照画像150のスケールに合わせるのに要する情報である。内視鏡画像40Aのスケールを参照画像150のスケールに合わせるのに要する情報とは、例えば、カメラ66の位置を差分160がゼロになる位置に誘導するメッセージを指す。第2制御部106Bは、差分160に応じた支援情報162を表示装置30に出力する。これにより、表示装置30の画面36には、支援情報162が表示される。支援情報162は、本開示の技術に係る「支援情報」の一例である。第2制御部106Bが支援情報162を表示装置30に出力する処理は、本開示の技術に係る「出力処理」の一例である。
 一例として図20に示すように、第2制御部106Bは、カメラ66によって新たな内視鏡画像40Aが得られる毎に、上記と同様の要領で差分160を算出し、差分160がゼロになったか否かを判定する。第2制御部106Bは、差分160がゼロになった場合に、報知メッセージ164を生成し、生成した報知メッセージ164を画面36に表示することで、参照画像150のスケールと内視鏡画像40Aのスケールとが一致したことを報知する処理を行う。参照画像150のスケールと内視鏡画像40Aのスケールとが一致したことを報知する処理は、本開示の技術に係る「支援処理」及び「第3報知処理」の一例である。報知メッセージ164は、参照画像150のスケールと内視鏡画像40Aのスケールとが一致したことを報知するメッセージである。
 報知メッセージ164は、あくまでも一例に過ぎない。例えば、スピーカから出力される音声による報知であってもよく、参照画像150のスケールと内視鏡画像40Aのスケールとが一致したことをユーザに知覚させることが可能な報知手段であれば如何なる報知手段であってもよい。
 一方、第2前提下では、第2制御部106Bは、特徴部分152の横方向(又は縦方向)の長さでピクセル数156を除して得た値と、対応特徴部分154の横方向(又は縦方向)の長さでピクセル数156を除して得た値との差分を算出し、上記と同様の要領で支援情報162を導出すればよい。また、この場合、支援情報162を用いた報知、及び参照画像150のスケールと内視鏡画像40Aのスケールとが一致したことの報知も、上記と同様の要領で行われるようにすればよい。
 ここでは、内視鏡画像40Aのスケールを参照画像150のスケールに合わせる処理を例示したが、本開示の技術はこれに限定されない。例えば、内視鏡画像40Aの光学的特徴(例えば、色及び輝度等)を参照画像150の光学的特徴に合わせる処理が行われるようにしてもよい。この場合、例えば、第2制御部106Bは、特徴部分152の光学的特徴と対応特徴部分154の光学的特徴との差分を算出し、算出した差分をゼロにする支援情報(例えば、光源の種類及び/又は光量の具体的な指示を示す情報)を導出すればよい。また、この場合、支援情報を用いた報知、及び参照画像150の光学的特徴と内視鏡画像40Aの光学的特徴とが一致したことの報知も、上記と同様の要領で行われるようにすればよい。
 また、図19に示す例では、特徴部分152と対応特徴部分154とが比較されることによって支援情報162が導出される形態例を挙げて説明したが、特徴部分152及び対応特徴部分154以外の部分で、参照画像150と内視鏡画像40Aとで対応する部分が比較されることによって支援情報162が導出されるようにしてもよい。
 なお、参照画像150のスケール及び内視鏡画像40Aの光学的特徴は、本開示の技術に係る「第1内視鏡検査の撮像条件」の一例である。また、内視鏡画像40Aのスケール及び内視鏡画像40Aの光学的特徴は、本開示の技術に係る「第2内視鏡検査の撮像条件」の一例である。
 上述したように内視鏡画像40Aのスケールを参照画像150のスケールに合わせる処理が完了すると、プロセッサ106は、参照画像150と内視鏡画像40Aとに基づいて参照画像150と内視鏡画像40Aとに共通の病変が写っているか否かを判定する。この場合、一例として図21に示すように、画像認識部106Dは、参照画像150と内視鏡画像40Aとのパターンマッチングを行うことで、特徴部分152と一致する対応特徴部分154を特定する。そして、画像認識部106Dは、対応特徴部分154に対して画像認識処理を実行することで、対応特徴部分154が有する特徴166を取得する。特徴166の一例としては、病変の種類及び病変のサイズ等が挙げられる。
 第2制御部106Bは、レポート136に記録されている内視鏡検査情報140と特徴166とを比較することで、内視鏡検査情報140に特徴166と同一の情報が含まれているか否かを判定する。第2制御部106Bは、内視鏡検査情報140に特徴166と同一の情報が含まれていると判定した場合、報知メッセージ168を生成する。報知メッセージ168は、参照画像150と内視鏡画像40Aとに共通の病変が含まれていると判定されたことを報知するメッセージである。すなわち、報知メッセージ168は、第1内視鏡検査で発見された病変と同一の病変が第2内視鏡検査でも発見された可能性が高いことを報知するメッセージである。第2制御部106Bは、報知メッセージ168を表示装置30の画面36に表示する。
 画面36に報知メッセージ168が表示されると、医師14によって内視鏡画像40A及び報知メッセージ168が確認される。そして、一例として図22に示すように、医師14からの確定指示が受付装置76によって受け付けられる。確定指示は、参照画像150と内視鏡画像40Aとに共通の病変が含まれているという判定結果を画定させる指示である。第2制御部106Bは、受付装置76によって確定指示が受け付けられた場合、報知メッセージ169を生成する。報知メッセージ169は、参照画像150と内視鏡画像40Aとに共通の病変が含まれているという判定結果が確定したことを報知するメッセージである。第2制御部106Bは、報知メッセージ169を表示装置30の画面36に表示する。これにより、参照画像150と内視鏡画像40Aとに共通の病変が含まれているという判定結果が確定したことが報知される。なお、参照画像150と内視鏡画像40Aとに共通の病変が含まれているという判定結果が確定したことを報知する処理は、本開示の技術に係る「第4報知処理」の一例である。
 一例として図23に示すように、第2内視鏡検査のタイムアウトで得られたタイムアウト情報146Cは内視鏡画像40Aに関連付けられる。例えば、タイムアウト情報146Cを内視鏡画像40Aに関連付ける処理は、ユーザからの記録指示が受付装置76によって受け付けられた場合に行われる。記録指示は、タイムアウト情報146Cをレポート136に記録する指示である。第2制御部106Bは、図21に示す画像認識処理が行われた内視鏡画像40Aに対してメタデータ170を付与する。第2制御部106Bは、受付装置76によって記録指示が受け付けられた場合、タイムアウト情報146Cをメタデータ170に含めることにより、タイムアウト情報146Cを内視鏡画像40Aに関連付ける。第2制御部106Bは、内視鏡画像40Aとメタデータ170とをレポート136に記録する。内視鏡画像40Aとメタデータ170とが記録されるレポート136は、図12に示す例において第1送受信部106Cによって受信されたレポート136である。
 内視鏡画像40Aとメタデータ170とが記録されたレポート136は、第1送受信部106Cによってサーバ78に送信される。サーバ78では、第2送受信部122Aが、第1送受信部106Cから送信されたレポート136を受信する。第3制御部122Bは、第2送受信部122Aによって受信されたレポート136をNVM126に格納する。
 一例として図24に示すように、参照画像150と内視鏡画像40Aとに共通の病変が写っている場合、第2制御部106Bは、病変(すなわち、参照画像150と内視鏡画像40Aとに共通する病変)に関する病変関連情報172を生成する。病変関連情報172は、図21に示す画像認識処理が内視鏡画像40Aに対して行われることによって得られた特徴166と、画像認識結果174とに基づいて生成される。画像認識結果174は、図17に示す参照画像150に対して行われた画像認識処理の結果である。画像認識結果174には、病変の種類及び病変のサイズ等が含まれている。
 病変関連情報174には、種類情報172A、個数情報172B、及び態様情報172Cが含まれている。また、病変関連情報174には、病変のサイズに関する情報として、現在サイズ情報172D及び推移特定情報172Eも含まれている。
 種類情報172Aは、参照画像150と内視鏡画像40Aとに共通する病変の種類を特定可能な情報である。個数情報172Bは、参照画像150と内視鏡画像40Aとに共通する病変の個数を特定可能な情報である。態様情報172Cは、参照画像150と内視鏡画像40Aとに共通する病変の態様(例えば、炎症の程度、出血の程度、病変の色、及び/又は病変の形状等)を示す情報である。病変の態様とは、例えば、現在の病変の態様を指す。現在の病変の態様は、特徴166から特定される。現在サイズ情報172Dは、参照画像150と内視鏡画像40Aとに共通する病変の現在のサイズを示す情報である。現在のサイズは、特徴166から特定される。推移特定情報172Eは、参照画像150と内視鏡画像40Aとに共通する病変の経時的な推移を特定可能な情報である。
 推移特定情報172Eは、参照画像150に写っている病変のサイズ及び/又は内視鏡画像40Aに写っている病変のサイズに基づいて導出される。参照画像150に写っている病変のサイズは、画像認識結果174に含まれる病変のサイズであり、内視鏡画像40Aに写っている病変のサイズは、特徴166に含まれる病変のサイズである。推移特定情報172Bとしては、例えば、以下に示す第1例~第4例のうちの少なくとも1つの情報が挙げられる。
 推移特定情報172Eの第1例としては、参照画像150に写っている病変のサイズに対する内視鏡画像40Aに写っている病変のサイズの割合が挙げられる。
 推移特定情報172Eの第2例としては、病変のサイズの変化速度が挙げられる。病変のサイズの変化速度は、内視鏡画像40Aに写っている病変のサイズから参照画像150に写っている病変のサイズを減じた値に対する経過時間の割合である。経過時間とは、例えば、第1内視鏡検査が行われた日時から第2内視鏡検査が行われた日時までの経過時間を指す。第1内視鏡検査が行われた日時は、例えば、図10に示す第1送受信部106Cによって受信されたレポート136に記録されている内視鏡検査情報140に含まれる検査日時(図11参照)から特定可能である。
 推移特定情報172Eの第3例としては、数日後の病変のサイズを示す情報が挙げられる。数日後の病変のサイズは、参照画像150に写っている病変のサイズと内視鏡画像40Aに写っている病変のサイズとによる回帰分析(例えば、外挿)により特定される。また、数日後の病変のサイズは、特徴166又は画像認識結果174から特定される病変の種類に対して予め定められた係数を、回帰分析により特定されたサイズに乗じることによって得た値であってもよい。
 推移特定情報172Eの第4例としては、指定された日時の病変のサイズを示す情報が挙げられる。指定された日時の病変のサイズは、例えば、参照画像150に写っている病変のサイズ(及び/又は内視鏡画像40Aに写っている病変のサイズ)と、病変の種類と、第1内視鏡検査(又は第2内視鏡検査)が行われた検査日時から指定された日時までの経過時間とを独立変数とし、指定された日時の病変のサイズを従属変数とする演算式を用いて導出されるようにすればよい。
 なお、病変関連情報174は、本開示の技術に係る「病変関連情報」の一例である。現在サイズ情報172D及び推移特定情報172Eは、本開示の技術に係る「サイズ関連情報」の一例である。推移特定情報172Eは、本開示の技術に係る「推移特定情報」の一例である。種類特定情報172Aは、本開示の技術に係る「病変の種類を特定可能な情報」の一例である。個数情報172Bは、本開示の技術に係る「病変の個数を特定可能な情報」の一例である。態様情報172Cは、本開示の技術に係る「病変の態様 を特定可能な情報」の一例である。
 第2制御部106Bは、病変関連情報172をメタデータ50A及び170に含めることにより、病変関連情報172を参照画像150及び内視鏡画像40Aに関連付ける。なお、図23に示す例で説明したように、メタデータ170には、タイムアウト情報146Cも含まれている。
 第2制御部106Bは、参照画像150と内視鏡画像40Aと病変関連情報172とが記録されたレポート136を作成する。すなわち、第2制御部106Bは、参照画像150とメタデータ50Aとをレポート136に記録する。参照画像150とメタデータ50Aとが記録されたレポート136は、図23に示す例と同様の要領でサーバ78のNVM126に格納される。また、第2制御部106Bは、内視鏡画像40Aとメタデータ170とをレポート136に記録する。内視鏡画像40Aとメタデータ170とが記録されたレポート136は、図23に示す例と同様の要領でサーバ78のNVM126に格納される。
 なお、ここでは、病変関連情報172がメタデータ50A及び170に含められた状態でレポート136に記録される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、病変関連情報172は、レポート136に所見の一部として記録されてもよい。
 次に、内視鏡システム10の作用について図25~図27を参照しながら説明する。
 先ず、第2内視鏡検査においてカメラ66が被検体20の大腸88に挿入された場合に制御装置28のプロセッサ106によって行われる内視鏡画像表示処理の流れの一例について図25を参照しながら説明する。なお、ここでは、カメラ66によって既定のフレームレートに従って撮像が行われることで順次に内視鏡画像40Aがプロセッサ106によって取得されることを前提として説明する。
 図25に示す内視鏡画像表示処理では、先ず、ステップST10で、第1制御部106Aは、カメラ66によって1フレーム分の撮像が行われたか否かを判定する。ステップST10において、カメラ66によって1フレーム分の撮像が行われていない場合は、判定が否定されて、内視鏡画像表示処理は、ステップST16へ移行する。ステップST10において、カメラ66によって1フレーム分の撮像が行われた場合は、判定が肯定されて、内視鏡画像表示処理は、ステップST12へ移行する。
 ステップST12で、第1制御部106Aは、カメラ66によって1フレーム分の撮像が行われることで得られた内視鏡画像40Aを取得する(図9参照)。ステップST12の処理が実行された後、内視鏡画像表示処理は、ステップST14へ移行する。
 ステップST14で、第1制御部106Aは、ステップST12で取得した内視鏡画像40Aを画面36に表示する(図9参照)。ステップST14の処理が実行された後、内視鏡画像表示処理は、ステップST16へ移行する。
 ステップST16で、第1制御部106Aは、内視鏡画像表示処理を終了させる条件(以下、「内視鏡画像表示処理終了条件」と称する)を満足したか否かを判定する。内視鏡画像表示処理終了条件の一例としては、内視鏡画像表示処理を終了させる指示が受付装置76によって受け付けられたという条件が挙げられる。ステップST16において、内視鏡画像表示処理終了条件を満足していない場合は、判定が否定されて、内視鏡画像表示処理はステップST10へ移行する。ステップST16において、内視鏡画像表示処理終了条件を満足した場合は、判定が肯定されて、内視鏡画像表示処理が終了する。
 次に、第2内視鏡検査において制御装置28のプロセッサ106によって行われる内視鏡操作支援処理の流れの一例について図26A~図26Dを参照しながら説明する。なお、図26A~図26Dに示す内視鏡操作支援処理の流れは、本開示の技術に係る「情報処理方法」の一例である。また、ここでは、内視鏡画像表示処理と並列に内視鏡操作支援処理が行われることを前提として説明する。
 図26Aに示す内視鏡操作支援処理では、先ず、ステップST20で、第1送受信部106Cは、受付装置76によってタイムアウト開始情報(図12参照)が受け付けられたか否かを判定する。ステップST20において、受付装置76によってタイムアウト開始情報が受け付けられていない場合は、判定が否定されて、ステップST20の判定が再び行われる。ステップST20において、受付装置76によってタイムアウト開始情報が受け付けられた場合は、判定が肯定されて、内視鏡操作支援処理はステップST22へ移行する。
 ステップST22で、第1送受信部106Cは、要求情報144をサーバ78に送信する(図12参照)。ステップST22の処理が実行された後、内視鏡操作支援処理はステップST24へ移行する。
 ステップST22の処理が実行されることによって第1送受信部106Cからサーバ78に要求情報144が送信されると、これに応答して、図27に示すレポート管理処理では、ステップST104の処理が実行される。これにより、サーバ78から制御装置28にレポート136が送信される(図12参照)。
 そこで、ステップST24で、第2制御部106Bは、サーバ78から制御装置28に送信されたレポート136が第1送受信部106Cによって受信されたか否かを判定する。ステップST24において、レポート136が第1送受信部106Cによって受信されていない場合は、判定が否定されて、ステップST24の判定が再び行われる。ステップST24において、レポート136が第1送受信部106Cによって受信された場合は、判定が肯定されて、内視鏡操作支援処理はステップST26へ移行する。
 ステップST26で、第2制御部106Bは、第1送受信部106Cによって受信されたレポート136に基づいて、過去検査画像画面46及び被検体情報画面146を生成する(図13参照)。ステップST26の処理が実行された後、内視鏡操作支援処理はステップST28へ移行する。
 ステップST28で、第2制御部106Bは、ステップST26で生成した過去検査画像画面46と被検体情報画面146とを、受付装置76によって受け付けられた画面切替指示に従って、タッチパネル・ディスプレイ44に対して選択的に表示させる(図14参照)。ステップST28の処理が実行された後、内視鏡操作支援処理はステップST30へ移行する。
 ステップST30で、第2制御部106Bは、タッチパネル・ディスプレイ44によって画像選択指示(図15参照)が受け付けられたか否かを判定する。ステップST30において、タッチパネル・ディスプレイ44によって画像選択指示が受け付けられていない場合は、判定が否定されて、ステップST30の判定が再び行われる。ステップST30において、タッチパネル・ディスプレイ44によって画像選択指示が受け付けられた場合は、判定が肯定されて、内視鏡操作支援処理はステップST32へ移行する。
 ステップST32で、第2制御部106Bは、画像選択指示に従って選択された検査結果画像50を参照画像150として取得する。また、第2制御部106Bは、画像選択指示に従って選択された検査結果画像50のメタデータ50Aも取得する。そして、第2制御部106Bは、参照画像150及びメタデータ50Aを参照画像格納領域108Aに格納する(図15参照)。ステップST32の処理が実行された後、内視鏡操作支援処理はステップST34へ移行する。
 ステップST34で、第2制御部106Bは、第2内視鏡検査のタイムアウトで得られたタイムアウト情報146Cをレポート136に記録し、かつ、タッチパネル・ディスプレイ44の被検体情報画面146に表示する。ステップST34の処理が実行された後、内視鏡操作支援処理はステップST36へ移行する。
 ステップST36で、第2制御部106Bは、受付装置76によって参照画像表示指示(図17参照)が受け付けられたか否かを判定する。ステップST36において、受付装置76によって参照画像表示指示が受け付けられていない場合は、判定が否定されて、ステップST36の判定が再び行われる。ステップST36において、受付装置76によって参照画像表示指示が受け付けられた場合は、判定が肯定されて、内視鏡操作支援処理はステップST38へ移行する。
 ステップST38で、第2制御部106Bは、タッチパネル・ディスプレイ44の過去検査画像画面46に参照画像150を他の検査結果画像50と区別可能な状態で表示する(図18の上段図参照)。これにより、タッチパネル・ディスプレイ44の過去検査画像画面46に表示された参照画像150と、図25に示すステップST14の処理が実行されることによって表示装置30の画面36に表示された内視鏡画像40Aとが対比可能な状態となる。ステップST38の処理が実行された後、内視鏡操作支援処理は、図26Bに示すステップST40へ移行する。
 ステップST40で、第2制御部106Bは、内視鏡画像40Aを取得する条件(以下、「内視鏡画像取得条件」と称する)を満足したか否かを判定する。内視鏡画像取得条件の第1例としては、カメラ66から内視鏡画像40Aを取得する指示が受付装置76によって受け付けられた、という条件が挙げられる。内視鏡画像取得条件の第2例としては、カメラ66から内視鏡画像40Aを取得するタイミングとして事前に指定されたタイミングが到来した、という条件が挙げられる。
 ステップST40において、内視鏡画像取得条件を満足していない場合は、判定が否定されて、図26Dに示すステップST82へ移行する。ステップST40において、内視鏡画像取得条件を満足した場合は、判定が肯定されて、内視鏡操作支援処理はステップST42へ移行する。
 ステップST42で、画像認識部106Dは、カメラ66から内視鏡画像40Aを取得する(図17参照)。また、画像認識部106Dは、参照画像格納領域108Aから参照画像150を取得する(図17参照)。ステップST42の処理が実行された後、内視鏡操作支援処理はステップST44へ移行する。
 ステップST44で、画像認識部106Dは、ステップST42で参照画像格納領域108Aから取得した参照画像150に対して画像認識処理を実行することで、参照画像150内の特徴部分152を特定する。ステップST44の処理が実行された後、内視鏡操作支援処理はステップST46へ移行する。
 ステップST46で、画像認識部106Dは、ステップST44で特定した特徴部分152を参照画像150から抽出する。ステップST46の処理が実行された後、内視鏡操作支援処理はステップST48へ移行する。
 ステップST48で、画像認識部106Dは、ステップST42でカメラ66から取得した内視鏡画像40AとステップST46で参照画像150から抽出した特徴部分152とを比較することで、内視鏡画像40A内に対応特徴部分154が写っているか否かを判定する(図17参照)。ステップST48において、内視鏡画像40A内に対応特徴部分154が写っていない場合は、判定が否定されて、内視鏡操作支援処理は、図26Dに示すステップST78へ移行する。ステップST48において、内視鏡画像40A内に対応特徴部分154が写っている場合は、判定が肯定されて、内視鏡操作支援処理はステップST50へ移行する。
 ステップST50で、第2制御部106Bは、タッチパネル・ディスプレイ44の過去検査画像画面46に参照画像150が拡大して表示されていないか否かを判定する。ステップST50において、タッチパネル・ディスプレイ44の過去検査画像画面46に参照画像150が拡大して表示されている場合は、判定が否定されて、内視鏡操作支援処理はステップST54へ移行する。ステップST50において、タッチパネル・ディスプレイ44の過去検査画像画面46に参照画像150が拡大して表示されていない場合は、判定が肯定されて、内視鏡操作支援処理はステップST52へ移行する。
 ステップST52で、第2制御部106Bは、タッチパネル・ディスプレイ44の過去検査画像画面46に参照画像150を拡大して表示する(図18の下段図参照)。ステップST52の処理が実行された後、内視鏡操作支援処理はステップST54へ移行する。
 ステップST54で、第2制御部106Bは、ステップST42で取得された内視鏡画像40A及び参照画像150に基づいて支援情報162を生成する(図19参照)。そして、第2制御部106Bは、生成した支援情報162を表示装置30の画面36に表示する。ステップST54の処理が実行された後、内視鏡操作支援処理はステップST56へ移行する。
 医師14は、ステップST54の処理が実行されることによって画面36に表示された支援情報162を参照しながらカメラ66の位置を調整する。
 ステップST56で、第2制御部106Bは、内視鏡画像40Aのスケールが参照画像150のスケールと一致したか否かを判定する。ステップST56において、内視鏡画像40Aのスケールが参照画像150のスケールと一致していない場合は、判定が否定されて、内視鏡操作支援処理は、図26Dに示すステップST82へ移行する。ステップST56において、内視鏡画像40Aのスケールが参照画像150のスケールと一致した場合は、判定が肯定されて、内視鏡操作支援処理はステップST58へ移行する。
 ステップST58で、第2制御部106Bは、報知メッセージ164を生成し、生成した報知メッセージ164を画面36に表示することで、参照画像150のスケールと内視鏡画像40Aのスケールとが一致したことを報知する処理を行う(図20参照)。ステップST58の処理が実行された後、内視鏡操作支援処理は、図26Cに示すステップST60へ移行する。
 図26Cに示すステップST60で、画像認識部106Dは、ステップST42で取得された参照画像150とスケールが調整された内視鏡画像40Aとによるパターンマッチングを実行する(図21参照)。ステップST60の処理が実行された後、内視鏡操作支援処理はステップST62へ移行する。
 ステップST62で、画像認識部106Dは、ステップST60で行ったパターンマッチングの結果に基づいて、参照画像150内の特徴部分152と一致する対応特徴部分154が内視鏡画像40Aに写っているか否かを判定する。ステップST62において、参照画像150内の特徴部分152と一致する対応特徴部分154が内視鏡画像40Aに写っていない場合は、判定が否定されて、内視鏡操作支援処理は、図26Dに示すステップST78へ移行する。ステップST62において、参照画像150内の特徴部分152と一致する対応特徴部分154が内視鏡画像40Aに写っている場合は、判定が肯定されて、内視鏡操作支援処理はステップST64へ移行する。
 ステップST64で、画像認識部106Dは、ステップST60でパターンマッチングに用いられた内視鏡画像40Aに対して画像認識処理を実行する(図21参照)。ステップST64の処理が実行された後、内視鏡操作支援処理はステップST66へ移行する。
 ステップST66で、第2制御部106Bは、ステップST64で画像認識処理が実行されることによって得られた特徴166とステップST24で第1送受信部106Cによって受信されたレポート136に記録されている内視鏡検査情報140とを比較することで、参照画像150と内視鏡画像40Aとに共通の病変が含まれているか否かを判定する。ステップST66において、参照画像150と内視鏡画像40Aとに共通の病変が含まれていない場合は、判定が否定されて、内視鏡操作支援処理は、図26Dに示すステップST78へ移行する。ステップST66において、参照画像150と内視鏡画像40Aとに共通の病変が含まれている場合は、判定が肯定されて、内視鏡操作支援処理はステップST68へ移行する。
 ステップST68で、第2制御部106Bは、報知メッセージ168を表示装置30の画面36に表示することで、参照画像150と内視鏡画像40Aとに共通の病変が含まれていると判定されたことを報知する。ステップST68の処理が実行された後、内視鏡操作支援処理はステップST70へ移行する。
 画面36に報知メッセージ168が表示されると、医師14によって内視鏡画像40A及び報知メッセージ168が確認される。そして、ステップST70で、第2制御部106Bは、医師14からの確定指示が受付装置76によって受け付けられた否かを判定する。ステップST70において、医師14からの確定指示が受付装置76によって受け付けられていない場合は、判定が否定されて、内視鏡操作支援処理は、図26Dに示すステップST78へ移行する。ステップST70において、医師14からの確定指示が受付装置76によって受け付けられた場合は、判定が肯定されて、内視鏡操作支援処理はステップST72へ移行する。
 ステップST72で、第2制御部106Bは、報知メッセージ169を表示装置30の画面36に表示することで、参照画像150と内視鏡画像40Aとに共通の病変が含まれているという判定結果が確定されたことを報知する(図22参照)。ステップST72の処理が実行された後、内視鏡操作支援処理はステップST74へ移行する。
 ステップST74で、第2制御部106Bは、ステップST64の処理が実行されることによって得られた特徴166とステップST44の処理が実行されることによって得られた画像認識結果174とに基づいて病変関連情報172を生成する(図24参照)。ステップST74の処理が実行された後、内視鏡操作支援処理はステップST76へ移行する。
 ステップST76で、第2制御部106Bは、ステップST74で生成した病変関連情報172をメタデータ50A及び170に含めることにより、病変関連情報172を参照画像150及び内視鏡画像40Aに関連付ける。ステップST76の処理が実行された後、内視鏡操作支援処理は、図26Dに示すステップST78へ移行する。
 ステップST78で、第2制御部106Bは、受付装置76によって記録指示(図23参照)が受け付けられたか否かを判定する。ステップST78において、受付装置76によって記録指示が受け付けられていない場合は、判定が否定されて、内視鏡操作支援処理はステップST82へ移行する。ステップST78において、受付装置76によって記録指示が受け付けられた場合は、判定が肯定されて、内視鏡操作支援処理はステップST80へ移行する。
 ステップST80で、第2制御部106Bは、タイムアウトで得られたタイムアウト情報146Cをメタデータ170に含めることにより、タイムアウト情報146Cを内視鏡画像40Aに関連付ける(図23参照)。第2制御部106Bは、ステップST24で第1送受信部106Cによって受信されたレポート136に内視鏡画像40Aとメタデータ170とを記録する。また、第2制御部106Bは、ステップST24で第1送受信部106Cによって受信されたレポート136に、ステップST76で病変関連情報172を含ませたメタデータ50Aと参照画像150とを記録する(図24参照)。ステップST80の処理が実行された後、内視鏡操作支援処理はステップST82へ移行する。
 ステップST82で、第2制御部106Bは、内視鏡操作支援処理を終了させる条件(以下、「内視鏡操作支援処理終了条件」と称する)を満足したか否かを判定する。内視鏡操作支援処理終了条件の一例としては、内視鏡操作支援処理を終了させる指示が受付装置76によって受け付けられたという条件が挙げられる。ステップST82において、内視鏡操作支援処理終了条件を満足していない場合は、判定が否定されて、内視鏡操作支援処理は、図26Bに示すステップST40へ移行する。ステップST82において、内視鏡操作支援処理終了条件を満足した場合は、判定が肯定されて、内視鏡操作支援処理はステップST84へ移行する。
 ステップST84で、第1送受信部106Cは、ステップST24で受信したレポート136をサーバ78に送信する(図23参照)。ステップST84の処理が実行された後、内視鏡操作支援処理が終了する。
 次に、サーバ78のプロセッサ122によって行われるレポート管理処理の流れの一例について図27を参照しながら説明する。
 図27に示すレポート管理処理では、先ず、ステップST100で、第3制御部122Bは、図26Aに示すステップST22が実行されることによって内視鏡装置12から送信された要求情報144が第2送受信部122Aによって受信されたか否かを判定する。ステップST100において、要求情報144が第2送受信部122Aによって受信されていない場合は、判定が否定されて、レポート管理処理はステップST106へ移行する。ステップST100において、要求情報144が第2送受信部122Aによって受信された場合は、判定が肯定されて、レポート管理処理はステップST102へ移行する。
 ステップST102で、第3制御部122Bは、ステップST100で第2送受信部122Aによって受信された要求情報144に応じたレポート136をNVM126から取得する(図12参照)。ステップST102の処理が実行された後、レポート管理処理はステップST104へ移行する。
 ステップST104で、第2送受信部122Aは、ステップST102でNVM126から取得されたレポート136を内視鏡装置12に送信する(図12参照)。ステップST104の処理が実行された後、レポート管理処理はステップST106へ移行する。
 ステップST106で、第3制御部122Bは、図26Dに示すステップST84が実行されることによって内視鏡装置12から送信されたレポート136が第2送受信部122Aによって受信されたか否かを判定する。ステップST106において、レポート136が第2送受信部122Aによって受信されていない場合は、判定が否定されて、レポート管理処理はステップST110へ移行する。ステップST106において、レポート136が第2送受信部122Aによって受信された場合は、判定が肯定されて、レポート管理処理はステップST108へ移行する。
 ステップST108で、第3制御部122Bは、ステップST106で第2送受信部122Aによって受信されたレポート136をNVM126に格納する(図23参照)。ステップST108の処理が実行された後、レポート管理処理はステップST110へ移行する。
 ステップST110で、第3制御部122Bは、レポート管理処理を終了させる条件(以下、「レポート管理処理終了条件」と称する)を満足したか否かを判定する。レポート管理処理終了条件の一例としては、レポート管理処理を終了させる指示が受付装置76又は84によって受け付けられたという条件が挙げられる。ステップST110において、レポート管理処理終了条件を満足していない場合は、判定が否定されて、レポート管理処理は、ステップST100へ移行する。ステップST110において、レポート管理処理終了条件を満足した場合は、判定が肯定されて、レポート管理処理が終了する。
 以上説明したように、内視鏡システム10では、サーバ78のNVM126から複数の検査結果画像50が制御装置28によって取得される(図11及び図12参照)。そして、第2内視鏡検査の実施期間に、複数の検査結果画像50のうちの医師14の指示に従って選択された検査結果画像50が参照画像150としてタッチパネル・ディスプレイ44の過去検査画像画面46に表示される(図18参照)。第2内視鏡検査では、内視鏡画像40Aが表示装置30の画面36に表示されるので、ユーザは、過去検査画像画面46に表示された参照画像150と表示装置30の画面36に表示された内視鏡画像40Aとを比較することができる。これにより、第1内視鏡検査で主な検査対象とされた部位(例えば、特徴部分152)から第2内視鏡検査で主な検査対象とされる部位(例えば、対応特徴部分154)への変化をユーザに把握させることができる。
 また、内視鏡システム10では、参照画像150が、第2内視鏡検査の実施期間内に行われるタイムアウトの段階で過去検査画像画面46に表示される。従って、第2内視鏡検査の実施期間内に行われるタイムアウトの段階で、第1内視鏡検査で主な検査対象とされた部位(例えば、特徴部分152)から第2内視鏡検査で主な検査対象とされる部位(例えば、対応特徴部分154)への変化をユーザに把握させることができる。
 また、内視鏡システム10では、第2内視鏡検査のタイムアウトの段階で、タッチパネル・ディスプレイ44の被検体情報画面146にタイムアウト情報146Bが表示される(図16参照)。タイムアウト情報146Bは、第1内視鏡検査の実施期間内に行われたタイムアウトで得られた情報である。従って、第2内視鏡検査のタイムアウトの段階で、第1内視鏡検査の実施期間内に行われたタイムアウトで得られたタイムアウト情報146Bをユーザに把握させることができる。
 また、内視鏡システム10では、第2内視鏡検査の実施期間内に行われるタイムアウトで要する情報として被検体特定情報138がレポート136に記録された状態でサーバ78から取得される。そして、被検体特定情報138と同一の情報である被検体特定情報146Aがタッチパネル・ディスプレイ44の被検体情報画面146に表示される。従って、被検体特定情報146Aをタブレット端末32に手入力されてから、手入力された被検体特定情報146Aがタブレット端末32のタッチパネル・ディスプレイ44に表示される場合に比べ、第2内視鏡検査の実施期間内に行われるタイムアウトで要する情報として、被検体特定情報138がユーザに迅速に提供することができる。
 また、内視鏡システム10では、第2内視鏡検査の実施期間内に行われるタイムアウトが完了した場合に、タイムアウトで利用されたレポート136がサーバ78に送信され、サーバ78のNVM126に格納される。従って、第2内視鏡検査よりも後に行われる内視鏡検査(例えば、次回の内視鏡検査)の実施期間内に行われるタイムアウトで、第2内視鏡検査の実施期間内に行われるタイムアウトで利用されたレポート136に記録されている情報(例えば、被検体特定情報146A)を活用することができる。
 また、内視鏡システム10では、検査結果画像50に、検査結果画像50に付随するデータとして、メタデータ50Aが関連付けられている。メタデータ50Aには、第1内視鏡検査の実施期間内に行われたタイムアウトで得られたタイムアウト情報142と同一の情報が含まれている。従って、検査結果画像50を利用するユーザ(例えば、検査結果画像50を観察するユーザ)に対して、検査結果画像50に関連する情報として、第1内視鏡検査の実施期間内に行われたタイムアウトで得られたタイムアウト情報142を用いたサービス(例えば、タイムアウト情報142に関する情報の表示)を提供することができる。
 また、内視鏡システム10では、内視鏡画像40Aに、内視鏡画像40Aに付随するデータとして、メタデータ170が関連付けられている。メタデータ170には、第2内視鏡検査のタイムアウトで得られたタイムアウト情報146Cが含まれている(図23参照)。従って、内視鏡画像40Aを利用するユーザ(例えば、内視鏡画像40Aを観察するユーザ)に対して、内視鏡画像40Aに関連する情報として、第2内視鏡検査のタイムアウトで得られたタイムアウト情報146Cを用いたサービス(例えば、タイムアウト情報146Cに関する情報の表示)を提供することができる。
 また、内視鏡システム10では、複数の検査結果画像50のうちの医師14の指示に従って選択された検査結果画像50が参照画像150としてタッチパネル・ディスプレイ44の過去検査画像画面46に表示される(図15及び図18参照)。従って、医師14が意図する検査結果画像50を参照画像150としてユーザに観察させることができる。
 また、内視鏡システム10では、画像認識部106Dによって内視鏡画像40Aに対応特徴部分154が写っていると判定された場合、第2制御部106Bが、過去検査画像画面46内で参照画像150を拡大して表示することで、内視鏡画像40A内に対応特徴部分154が写っていることを報知する(図18の下段図参照)。これにより、参照画像150内の特徴部分152に対応する箇所が、表示装置30の画面36に表示されている内視鏡画像40Aに写っていることをユーザに知覚させることができる。
 また、内視鏡システム10では、参照画像150と内視鏡画像40Aとに基づいて、第2内視鏡検査の撮像条件を第1内視鏡検査の撮像条件に合わせることを支援する処理が第2制御部106Bによって行われる(図19参照)。これにより、第1内視鏡検査の撮像条件と第2内視鏡検査の撮像条件とを合わせない場合に比べ、参照画像150と内視鏡画像40Aとを比較する精度を高めることができる。
 また、内視鏡システム10では、第2内視鏡検査の撮像条件を第1内視鏡検査の撮像条件に合わせるのに要する情報として支援情報162が表示装置30に出力され、表示装置30の画面36に支援情報162が表示される(図19参照)。これにより、参照画像150と内視鏡画像40Aとを比較する精度を高めるために第2内視鏡検査の撮像条件を調整する作業を支援することができる。
 また、内視鏡システム10では、支援情報162が、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154とを比較した結果に基づいて導出され(図19参照)、導出された支援情報162が表示装置30の画面36に表示される。従って、特徴部分152と対応特徴部分154とを用いずに導出された支援情報162が表示装置30の画面36に表示される場合に比べ、特徴部分152の撮像で用いられる撮像条件を対応特徴部分154の撮像で用いられた撮像条件に精度良く合わせることができる。
 また、内視鏡システム10では、第2内視鏡検査の撮像条件が第1内視鏡検査の撮像条件と一致した場合に報知される。例えば、参照画像150のスケールと内視鏡画像40Aのスケールとが一致したことを報知するメッセージとして報知メッセージ164が表示装置30の画面36に表示される(図20参照)。従って、第2内視鏡検査の撮像条件が第1内視鏡検査の撮像条件と一致したこと(例えば、参照画像150のスケールと内視鏡画像40Aのスケールとが一致したこと)をユーザに知覚させることができる。
 また、内視鏡システム10では、参照画像150及び内視鏡画像40Aに基づいて、参照画像150と内視鏡画像40Aとに共通の病変が写っているか否かが判定される(図21参照)。そして、判定結果を示す情報として報知メッセージ168が表示装置30の画面36に表示される(図21参照)。従って、ユーザ等(例えば、ユーザ及び/又は制御装置28等の各種装置)は、参照画像150と内視鏡画像40Aとに共通の病変が写っているか否かに応じた処理を行うことができる。
 また、内視鏡システム10では、参照画像150と内視鏡画像40Aとに共通の病変が写っていると判定され、かつ、医師14からの確定指示が受付装置76によって受け付けられた場合に、報知メッセージ169が表示装置30の画面36に表示されることによって、参照画像150と内視鏡画像40Aとに共通の病変が写っているという判定結果の確定が報知される(図22参照)。これにより、参照画像150と内視鏡画像40Aとに共通の病変が写っているという判定結果が確定したことをユーザに対して知覚させることができる。
 また、内視鏡システム10では、参照画像150と内視鏡画像40Aとに共通の病変が写っている場合に、共通の病変に関する情報として病変関連情報172が生成される(図24参照)。これにより、ユーザ等は、参照画像150と内視鏡画像40Aとに共通の病変が写っている場合に、共通の病変に関する情報として生成された病変関連情報172に基づく処理を行うことができる。
 また、内視鏡システム10では、参照画像150と内視鏡画像40Aとに共通する病変のサイズに関する情報として現在サイズ情報172D及び推移特定情報172Eが病変関連情報172に含まれる(図24参照)。これにより、ユーザ等は、参照画像150と内視鏡画像40Aとに共通の病変が写っている場合に、参照画像150と内視鏡画像40Aとに共通する病変のサイズに関する情報として生成された現在サイズ情報172D及び推移特定情報172Eに基づく処理を行うことができる。
 また、内視鏡システム10では、参照画像150と内視鏡画像40Aとに共通する病変のサイズの経時的な推移を特定可能な情報として推移特定情報172Eが病変関連情報172に含まれる(図24参照)。これにより、ユーザ等は、参照画像150と内視鏡画像40Aとに共通する病変のサイズの経時的な推移を特定可能な情報として生成された推移特定情報172Eに基づく処理を行うことができる。
 また、内視鏡システム10では、推移特定情報172Eは、参照画像150に写っている病変のサイズ及び/又は内視鏡画像40Aに写っている病変のサイズに基づいて導出される。これにより、病変のサイズとは無関係な情報のみから推移特定情報172Eを導出する場合に比べ、推移特定情報172Eを精度良く導出することができる。
 また、内視鏡システム10では、推移特定情報172Eは、参照画像150に写っている病変のサイズ及び/又は内視鏡画像40Aに写っている病変のサイズと病変の種類とに基づいて導出される。これにより、病変の種類を無視して推移特定情報172Eを導出する場合に比べ、推移特定情報172Eを精度良く導出することができる。
 また、内視鏡システム10では、種類情報172A、個数情報172B、及び態様情報172Cが病変関連情報172に含まれる(図24参照)。これにより、ユーザ等は、参照画像150と内視鏡画像40Aとに共通の病変が写っている場合に、病変の種類、病変の個数、及び病変の態様に基づく処理を行うことができる。
 また、内視鏡システム10では、共通の病変が写っている参照画像150及び内視鏡画像40Aに対して病変関連情報172が関連付けられる(図24参照)。これにより、ユーザ等は、参照画像150に対する処理を行う場合に参照画像150に関連付けられている病変関連情報172に基づく処理を行うことができる。また、ユーザ等は、内視鏡画像40Aに対する処理を行う場合に内視鏡画像40Aに関連付けられている病変関連情報172に基づく処理を行うことができる。
 また、内視鏡システム10では、病変関連情報172と、参照画像150と、内視鏡画像40Aとが記録されたレポート136が作成される(図23及び図24参照)。これにより、ユーザ等は、レポート136を通して互いに対応関係にある病変関連情報172と参照画像150とを特定することができる。また、ユーザ等は、レポート136を通して互いに対応関係にある病変関連情報172と内視鏡画像40Aとを特定することができる。
 また、内視鏡システム10では、参照画像150がタブレット端末32のタッチパネル・ディスプレイ44に表示され(図18参照)、かつ、内視鏡画像40Aが表示装置30に表示される(図9参照)。タッチパネル・ディスプレイ44と表示装置30とは並べられた状態で配置されている(図1参照)。つまり、参照画像150と内視鏡画像40Aとは対比可能に表示される。従って、ユーザに対して参照画像150と内視鏡画像40Aとを見比べさせることができる。
 [第1変形例]
 上記実施形態では、カメラ66の位置を差分160がゼロとなるように調整することによって内視鏡画像40Aのスケールを参照画像150のスケールに合わせる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図28に示すように、第2制御部106Bは、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置関係に応じて参照画像150の表示態様を変更するようにしてもよい。
 図28に示す例では、上記実施形態で説明した第1前提下で差分160がゼロとなるように参照画像150のスケールが変更される態様が示されている。ここでは、第1前提下で差分160がゼロとなる場合を例示しているが、これは、あくまでも一例に過ぎず、差分160がゼロ以外の値として事前に指定された値となるように参照画像150のスケールが変更されるようにしてもよい。また、上記実施形態で説明した第2前提下の場合であっても、上記実施形態と同様の要領で算出された差分を用いて、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置関係に応じて参照画像150の表示態様が変更されるようにすればよい。
 また、一例として図28に示すように、第2制御部106Bは、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置関係が既定位置関係になった場合(ここでは、一例として、差分160がゼロとなった場合)に報知メッセージ176を生成する。そして、第2制御部106Bは、生成した報知メッセージ176を過去検査画像画面46に表示する。報知メッセージ176は参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置関係が既定位置関係になったことを報知するメッセージである。報知メッセージ176が過去検査画像画面46に表示されることによって、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置関係が既定位置関係になったことが報知される。なお、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置関係が既定位置関係になったことを報知する処理は、本開示の技術に係る「第2報知処理」の一例である。
 このように、本第1変形例では、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置関係に応じて参照画像150の表示態様が変更される。従って、医師14がカメラ66を操作しなくても、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置合わせを実現することができる。
 また、本第1変形例では、報知メッセージ176が過去検査画像画面46に表示されることによって、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置関係が既定位置関係になったことが報知される。従って、参照画像150に写っている特徴部分152と内視鏡画像40Aに写っている対応特徴部分154との位置関係が既定位置関係になったことをユーザに知覚させることができる。
 なお、本第1変形例では、参照画像150のスケールが変更される形態例を挙げたが、参照画像150の光学的特徴を内視鏡画像40Aの光学的特徴に合わせるようにしてもよい。
 [第2変形例]
 上記第1変形例では、参照画像150のスケールが変更される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図29に示すように、第2制御部106Bは、内視鏡画像40Aに応じて参照画像150の構図(例えば、画像内に含まれる幾何的要素のサイズ及び位置等)を変更するようにしてもよい。この場合、例えば、第2制御部106Bは、内視鏡画像40Aと参照画像150とを比較し、比較した結果に基づいて、参照画像150の構図が内視鏡画像40Aと一致するように参照画像150の構図を変更する。構図が変更された参照画像150は、第2制御部106Bによって過去検査画像画面46に表示される。
 また、第2制御部106Bは、参照画像150の構図が内視鏡画像40Aと一致した場合に、報知メッセージ178を生成し、生成した報知メッセージ178を過去検査画像画面46に表示する。報知メッセージ178は、参照画像150の構図が内視鏡画像40Aと一致したことを報知するメッセージである。従って、報知メッセージ178が過去検査画像画面46に表示されることによって参照画像150の構図が内視鏡画像40Aと一致したことが報知される。
 このように、本第2変形例では、内視鏡画像40Aに応じて参照画像150の構図が変更される。従って、参照画像150の構図が固定されている場合に比べ、ユーザ等は、参照画像150と内視鏡画像40Aとの違いを容易に識別することができる。
 [第3変形例]
 上記実施形態では、画像選択指示に従って選択された検査結果画像50が特定条件を満足する画像である参照画像150として取り扱われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図30に示すように、画像認識部106Dによってレポート136に記録されている複数の検査結果画像50に対して画像認識処理が行われることで選択された検査結果画像50が特定条件を満たす画像である参照画像150として上記実施形態と同様に取り扱われるようにしてもよい。図30に示す例では、複数の検査結果画像50のうち、画像認識処理が行われることで特徴部分152が写っている検査結果画像50が特定条件を満たす画像である参照画像150として選択されて参照画像格納領域108Aに格納される態様が示されている。
 このように、本第3変形例では、複数の検査結果画像50に対して画像認識処理が行われることで選択された検査結果画像50が特定条件を満たす画像である参照画像150として上記実施形態と同様に取り扱われる。従って、複数の検査結果画像50から特徴部分152が写っている検査結果画像50を医師14に選択させなくても、特徴部分152が写っている検査結果画像50が参照画像150として選択される。
 なお、本第3変形例では、複数の検査結果画像50に対して画像認識処理が行われることで選択された検査結果画像50が特定条件を満たす画像である参照画像150として上記実施形態と同様に取り扱われるようにしたが、本開示の技術はこれに限定されない。例えば、複数の検査結果画像50に対して画像認識処理が行われることで選択された検査結果画像50が過去検査画像画面46に他の検査結果画像50と区別可能に表示され、かつ、区別可能に表示された検査結果画像50が画像選択指示に従って選択された場合に、画像選択指示に従って選択された検査結果画像50が特定条件を満たす画像である参照画像150として上記実施形態と同様に取り扱われるようにしてもよい。この場合、複数の検査結果画像50から特徴部分152が写っている検査結果画像50を医師14に選択させなくても、医師14が意図する特徴部分152が写っている検査結果画像50が参照画像150として選択される。
 [第4変形例]
 上記第3変形例では、複数の検査結果画像50に対して画像認識処理が行われることで選択された検査結果画像50が特定条件を満たす画像である参照画像150として選択される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図31に示すように、レポート136に記録されている複数の検査結果画像50の各々に付与されているメタデータ50Aに対する情報処理が行われることによって選択され、かつ、画像選択指示に従って選択された検査結果画像50が特定条件を満たす画像である参照画像150として選択されるようにしてもよい。
 一例として図31に示すように、特徴部分152が写っている検査結果画像50のメタデータ50Aには、識別子50A1が含まれている。識別子50A1は、特徴部分152が写っている検査結果画像50であることを一意に識別可能な情報である。第2制御部106Bは、レポート136に記録されている複数の検査結果画像50に対応する複数のメタデータ50Aから識別子50A1が含まれているメタデータ50Aを特定する。そして、第2制御部106Bは、識別子50A1を含むメタデータ50Aが付与されている検査結果画像50を他の検査結果画像50と区別可能な表示態様で過去検査画像画面46に表示する。他の検査結果画像50と区別可能な表示態様の一例としては、識別子50A1を含むメタデータ50Aが付与されている検査結果画像50の輪郭の強調表示が挙げられる。また、第2制御部106Bは、案内メッセージ180を過去検査画像画面46に表示する。案内メッセージ180は、他の検査結果画像50と区別可能な表示態様で過去検査画像画面46に表示されている検査結果画像50を参照画像150としても良いか否かを医師14に問うメッセージである。
 他の検査結果画像50と区別可能な表示態様で過去検査画像画面46に表示されている検査結果画像50が画像選択指示に従って選択されると、画像選択指示に従って選択された検査結果画像50が特定条件を満たす画像である参照画像150として選択される。
 このように、本第4変形例では、複数の検査結果画像50の各々に付与されているメタデータ50Aに対する情報処理が行われることによって選択され、かつ、画像選択指示に従って選択された検査結果画像50が特定条件を満たす画像である参照画像150として選択される。従って、複数の検査結果画像50から特徴部分152が写っている検査結果画像50を医師14に選択させなくても、医師14が意図する特徴部分152が写っている検査結果画像50が参照画像150として選択される。
 なお、図31に示す例では、画像選択指示に従って選択された検査結果画像50が特定条件を満たす画像である参照画像150として選択されるようにしたが、これは、あくまでも一例に過ぎない。例えば、レポート136に記録されている複数の検査結果画像50に対応する複数のメタデータ50Aから識別子50A1が含まれているメタデータ50Aが特定され、特定されたメタデータ50Aが付与されている検査結果画像50が特定条件を満たす画像である参照画像150として選択されるようにしてもよい。この場合、複数の検査結果画像50から特徴部分152が写っている検査結果画像50を医師14に選択させなくても、特徴部分152が写っている検査結果画像50が参照画像150として選択される。
 また、メタデータ50Aに、内視鏡検査情報140が含まれていてもよい。この場合、メタデータ50A内の内視鏡検査情報140に対して情報処理が行われることによって、特徴部分152が写っている検査結果画像50であるか否かが第2制御部106Bによって判定される。すなわち、第2制御部106Bは、メタデータ50A内の内視鏡検査情報140に特徴部分152に対応する病変に関する情報が含まれている場合、特徴部分152に対応する病変に関する情報を含むメタデータ50Aに対応する検査結果画像50を特徴部分152が写っている画像であると特定する。ここで、特徴部分152に対応する病変に関する情報を含むメタデータ50Aに対応する検査結果画像50は、参照画像150として選択される。この場合、複数の検査結果画像50から特徴部分152が写っている検査結果画像50を医師14に選択させなくても、特徴部分152が写っている検査結果画像50が参照画像150として選択される。
 また、特徴部分152に対応する病変に関する情報を含むメタデータ50Aに対応する検査結果画像50が第2制御部106Bによって特定され、特定された検査結果画像50が画像選択指示に従って選択された場合に、特徴部分152に対応する病変に関する情報を含むメタデータ50Aに対応する検査結果画像50が参照画像150として選択されるようにしてもよい。この場合、複数の検査結果画像50から特徴部分152が写っている検査結果画像50を医師14に選択させなくても、医師14が意図する特徴部分152が写っている検査結果画像50が参照画像150として選択される。
 また、メタデータ50Aに、タイムアウト情報142と同一の情報、又はタイムアウト情報142の一部が含まれていてもよい。この場合、タイムアウト情報142と同一の情報、又はタイムアウト情報142の一部に対して情報処理が行われることによって、特徴部分152が写っている検査結果画像50であるか否かが第2制御部106Bによって判定される。すなわち、第2制御部106Bは、タイムアウト情報142と同一の情報、又はタイムアウト情報142の一部に特徴部分152に対応する病変に関する情報が含まれている場合、特徴部分152に対応する病変に関する情報を含むメタデータ50Aに対応する検査結果画像50を特徴部分152が写っている画像であると特定する。この場合も、上記と同様の効果が得られる。
 [その他の変形例]
 上記実施形態では、第1内視鏡検査で得られた複数の検査結果画像50が過去検査画像画面46に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ユーザによる選択指示に応じて複数種類の過去検査画像画面46が選択的に表示されるようにしてもよい。
 例えば、この場合、被検体20に対して行われた前回の内視鏡検査と被検体20に対して行われた前々回の内視鏡検査(又は前々回よりも前の内視鏡検査)とがユーザによって選択される。そして、ユーザによる選択指示に応じて、被検体20に対して行われた前回の内視鏡検査で得られた複数の検査結果画像50を含む過去検査画像画面46と被検体20に対して行われた前々回の内視鏡検査(又は前々回よりも前の内視鏡検査)で得られた複数の検査結果画像50を含む過去検査画像画面46とが切り替えて表示される。複数種類の過去検査画像画面46の表示の切り替えは、音声認識による操作に応じて行われるようにしてもよい。
 また、被検体20に対して行われた前回の内視鏡検査で得られた複数の検査結果画像50と被検体20に対して行われた前々回の内視鏡検査(又は前々回よりも前の内視鏡検査)で得られた複数の検査結果画像50とが並べられた状態(例えば、対比可能な状態)で表示されるようにしてもよい。
 上記実施形態では、複数の検査結果画像50と被検体特定情報52とが過去検査画像画面46内に並べられた状態で表示される形態例(図1及び図13~図15参照)を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ユーザによる選択指示に応じて、複数の検査結果画像50と被検体特定情報52とが選択的に表示されるようにしてもよい。この場合も、音声認識による操作に応じて表示が切り替えられるようにしてもよい。
 上記実施形態では、制御装置28がサーバ78から被検体特定情報138及び内視鏡検査情報140(図11参照)を取得する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、タイムアウト前に、内視鏡装置12側のタブレット端末44等によってユーザからの指示が受け付けられた場合に、ユーザからの指示に応じて各種情報(例えば、被検体特定情報138及び内視鏡検査情報140等)がサーバ78及び/又はタブレット端末44等から制御装置28によって取得されるようにしてもよい。
 上記実施形態では、過去検査画像画面46がタブレット端末44に表示される形態例が挙げられているが、本開示の技術はこれに限定されない。例えば、タブレット端末44のタッチパネル・ディスプレイ44にモニタ表示ボタンが表示され、モニタ表示ボタンがオンされると、タッチパネル・ディスプレイ44の表示内容の変更に連動して、表示装置30でも、タッチパネル・ディスプレイ44に表示されている画面に相当するサブ画面が表示されたり、表示態様が変更されたりするようにしてもよい。
 例えば、表示装置30では、タブレット端末44のタッチパネル・ディスプレイ44に表示されているモニタ表示ボタンがオンされていることを条件に、過去検査画像画面46に相当する画面(例えば、過去検査画像画面46が縮小された画面)又は過去検査画像画面46に含まれる情報の一部(例えば、複数の検査結果画像50の少なくとも一部、及び/又は、被検体特定情報52の少なくとも一部)が表示されるようにしてもよい。表示装置30に表示される場所の一例としては、表示装置30の画面の端部(例えば、正面視右端)が挙げられる。
 また、モニタ表示ボタンがオンされていることを条件に、タブレット端末44のタッチパネル・ディスプレイ44に複数の検査結果画像50のうちの少なくとも1つ(例えば、参照画像150)が拡大表示されるようにしてもよい。そして、これに連動して、表示装置30でも、タブレット端末44側で拡大表示された検査結果画像50と同一の検査結果画像50が拡大表示されるようにしてもよい。例えば、表示装置30のサブ画面に複数の検査結果画像50が表示されている場合、サブ画面が拡大表示されるようにする。これにより、表示装置30側で複数の検査結果画像50が拡大表示される。また、サブ画面のサイズは変えずに、サブ画面内で特定の検査結果画像50(例えば、参照画像140)のみが拡大表示されるようにしてもよい。また、サブ画面には、被検体特定情報52等が含まれていてもよく、特定の検査結果画像50の表示態様の変更に応じて被検体特定情報52等の表示態様も変更されるようにしてもよい。この場合、例えば、特定の検査結果画像50が拡大表示された場合は、これに伴って、特定の検査結果画像50以外の情報(被検体特定情報52等)が縮小表示されるようにしてもよいし、拡大表示されるようにしてもよいし、非表示されるようにしてもよい。なお、モニタ表示ボタンがオフされた場合、表示装置30及びタッチパネル・ディスプレイ44には、元の画面(例えば、図1に示す画面)が表示される。
 上記実施形態では、制御装置28によって制御装置処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御装置処理を行うデバイスは、制御装置28の外部に設けられていてもよい。制御装置28の外部に設けられるデバイスの一例としては、サーバ78が挙げられる。サーバ78は、クラウドコンピューティングによって実現されるようにしてもよい。クラウドコンピューティングは、あくまでも一例に過ぎず、例えば、サーバ78は、メインフレームによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。
 ここでは、制御装置28の外部に設けられるデバイスの一例として、サーバ78を挙げているが、これは、あくまでも一例に過ぎず、サーバ78に代えて、少なくとも1台のパーソナル・コンピュータ等であってもよい。また、制御装置処理は、制御装置28と制御装置28の外部に設けられるデバイスとを含む複数のデバイスによって分散して行われるようにしてもよい。また、制御装置28の外部に設けられるデバイスは、内視鏡用処理装置22であってもよい。
 上記実施形態では、表示装置30に内視鏡画像40Aが表示され、かつ、タブレット端末32のタッチパネル・ディスプレイ44に過去検査画像画面46及び被検体情報画面146が表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、表示装置30に、内視鏡画像40A、過去検査画像画面46、及び被検体情報画面146が表示されてもよい。この場合、内視鏡画像40A、過去検査画像画面46、及び被検体情報画面146が並べられた状態で表示されてもよいし、過去検査画像画面46及び被検体情報画面146が内視鏡画像40Aと対比可能な状態で選択的に表示されてもよい。
 また、内視鏡画像40Aがタブレット端末32のタッチパネル・ディスプレイ44に表示されるようにしてもよい。この場合、内視鏡画像40A、過去検査画像画面46、及び被検体情報画面146が並べられた状態で表示されてもよいし、過去検査画像画面46及び被検体情報画面146が内視鏡画像40Aと対比可能な状態で選択的に表示されてもよい。
 また、内視鏡画像40A、過去検査画像画面46、及び被検体情報画面146が別々のディスプレイに表示されるようにしてもよい。
 上記実施形態では、参照画像150が1つのみであるが、これは、あくまでも一例に過ぎず、参照画像150は、複数であってもよい。この場合、例えば、複数の検査結果画像50から、上記で説明した要領で、複数の参照画像150が選択される。
 上記実施形態では、レポート136がサーバ78のNVM134に格納される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、内視鏡用処理装置22のNVM98、制御装置28のNVM110、及び/又はタブレット端末32のメモリにレポート136が格納されるようにしてもよい。
 上記実施形態では、被検体特定情報138及び内視鏡検査情報140がレポート136に記録されており、これらの情報がレポート136からプロセッサ106によって取得される形態例を挙げて説明したが、本開示の技術はこれに限定されない。被検体特定情報138の少なくとも一部及び/又は内視鏡検査情報140の少なくとも一部が内視鏡用処理装置22のNVM98、制御装置28のNVM110、及び/又はタブレット端末32のメモリに格納されていてもよい。この場合、例えば、被検体特定情報138の少なくとも一部及び/又は内視鏡検査情報140の少なくとも一部が内視鏡用処理装置22のNVM98、制御装置28のNVM110、及び/又はタブレット端末32のメモリからプロセッサ106によって取得されるようにすればよい。
 上記実施形態では、カメラ66によって取得される内視鏡画像40を用いた内視鏡システム処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、超音波内視鏡によって得られた超音波画像を用いた内視鏡システム処理が行われるようにしてもよい。
 上記実施形態では、下部消化器内視鏡として、大腸88に対して用いられる内視鏡18を例示したが、これは、あくまでも一例に過ぎず、大腸88以外の下部消化器に対して用いられる内視鏡、上部消化器内視鏡、胆膵内視鏡、又は気管支内視鏡等であっても本開示の技術は成立する。
 上記実施形態では、第2内視鏡検査において被検体20の体内で処置(例えば、治療)を行う箇所が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第2内視鏡検査において処置(例えば、治療)の効果を確認するために、過去の処理(例えば、治療)をした箇所が特定されるようにしてもよい。処置(例えば、地商
)の効果の確認としては、例えば、ポリープ切除箇所の効果の確認、及び/又はピロリ菌を除去する処置に関する効果の確認などが挙げられる。
 上記実施形態では、NVM110に内視鏡画像表示プログラム130及び内視鏡操作支援プログラム132が記憶されており、NVM126にレポート管理プログラム134が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、内視鏡システムプログラムがSSD又はUSBメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体である。記憶媒体に記憶されている内視鏡システムプログラムは、コンピュータ80、90及び/又は102にインストールされる。プロセッサ94、106及び/又は122は、内視鏡システムプログラムに従って内視鏡システム処理を実行する。
 上記実施形態では、コンピュータ80、90及び/又は102が例示されているが、本開示の技術はこれに限定されず、コンピュータ80、90及び/又は102に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ80、90及び/又は102に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
 上記実施形態で説明した内視鏡システム処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、内視鏡システム処理を実行するハードウェア資源として機能する汎用的なプロセッサであるプロセッサが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで内視鏡システム処理を実行する。
 内視鏡システム処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はプロセッサとFPGAとの組み合わせ)で構成されてもよい。また、内視鏡システム処理を実行するハードウェア資源は1つのプロセッサであってもよい。
 1つのプロセッサで構成する例としては、第1に、1つ以上のプロセッサとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、内視鏡システム処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、内視鏡システム処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、内視鏡システム処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
 更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の内視鏡システム処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
 以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説
明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
 本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
 本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (35)

  1.  プロセッサを備え、
     前記プロセッサは、
     複数の部位が前回以前の内視鏡検査である第1内視鏡検査で撮像されることによって得られた複数の第1内視鏡検査画像が蓄積されたストレージから前記複数の第1内視鏡検査画像を取得し、
     今回の内視鏡検査である第2内視鏡検査の実施期間に、前記複数の第1内視鏡検査画像のうちの特定条件を満足する少なくとも1つの第1内視鏡検査画像を参照画像として表示装置に対して表示させる
     情報処理装置。
  2.  前記プロセッサは、前記第2内視鏡検査の実施期間内に行われるタイムアウトの段階で、前記参照画像を前記表示装置に対して表示させる
     請求項1に記載の情報処理装置。
  3.  前記プロセッサは、前記第2内視鏡検査の実施期間内に行われるタイムアウトの段階で、前記第1内視鏡検査の実施期間内に得られた第1情報を前記表示装置に対して表示させる
     請求項2に記載の情報処理装置。
  4.  前記プロセッサは、
     前記第2内視鏡検査の実施期間内に行われるタイムアウトで要する第2情報が格納されている装置から前記第2情報を取得し、
     取得した前記第2情報を前記表示装置に対して表示させる
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  5.  前記プロセッサは、前記第2内視鏡検査の実施期間内に行われるタイムアウトが完了した場合に、前記第2情報を前記ストレージに格納する
     請求項4に記載の情報処理装置。
  6.  前記第1内視鏡検査画像には、前記第1内視鏡検査のタイムアウトで得られた情報が関連付けられている
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  7.  前記第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像には、前記第2内視鏡検査のタイムアウトで得られた情報が関連付けられている
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  8.  前記特定条件は、受付装置によって受け付けられた指示に従って選択されたという条件である
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  9.  前記特定条件は、前記複数の第1内視鏡検査画像に対する画像認識処理、及び/又は、前記複数の第1内視鏡検査画像のメタデータに対する情報処理が行われることによって選択されたという条件である
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  10.  前記特定条件は、前記複数の第1内視鏡検査画像に対する画像認識処理、及び/又は、前記複数の第1内視鏡検査画像のメタデータに対する情報処理が行われることによって選
    択され、かつ、受付装置によって受け付けられた指示に従って選択されたという条件である
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  11.  前記メタデータには、前記第1内視鏡検査の実施期間内に得られた内視鏡検査情報が含まれている
     請求項9に記載の情報処理装置。
  12.  前記内視鏡検査情報には、前記第1内視鏡検査のタイムアウトで得られた情報が含まれている
     請求項11に記載の情報処理装置。
  13.  前記プロセッサは、前記第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像に、前記参照画像内の特徴部分に対応する箇所が写っている場合に報知する第1報知処理を行う
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  14.  前記第1報知処理は、前記参照画像の表示態様を変更する処理を含む
     請求項13に記載の情報処理装置。
  15.  前記プロセッサは、前記参照画像内の特徴部分と、前記第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像に写っており、前記特徴部分と対応する箇所との位置関係に応じて前記参照画像の表示態様を変更する
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  16.  前記プロセッサは、前記位置関係が既定位置関係になった場合に報知する第2報知処理を行う
     請求項15に記載の情報処理装置。
  17.  前記プロセッサは、前記参照画像と前記第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像とに基づいて、前記第2内視鏡検査の撮像条件を前記第1内視鏡検査の撮像条件に合わせることを支援する支援処理を行う
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  18.  前記支援処理は、前記第2内視鏡検査の撮像条件を前記第1内視鏡検査の撮像条件に合わせるのに要する支援情報を出力する出力処理を含む
     請求項17に記載の情報処理装置。
  19.  前記支援情報は、前記参照画像に写っている第1特徴部分と前記第2内視鏡検査画像に写っている第2特徴部分とを比較した結果に基づいて導出される
     請求項18に記載の情報処理装置。
  20.  前記支援処理は、前記第2内視鏡検査の撮像条件と前記第1内視鏡検査の撮像条件とが一致した場合に報知する第3報知処理を含む
     請求項17に記載の情報処理装置。
  21.  前記プロセッサは、前記第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像に応じて前記参照画像の構図を変更する
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  22.  前記プロセッサは、前記参照画像及び前記第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像に基づいて前記参照画像と前記第2内視鏡検査画像とに共通の病変が写っているか否かを判定する
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  23.  前記プロセッサは、前記参照画像と前記第2内視鏡検査画像とに共通の病変が写っていると判定し、かつ、判定結果を確定させる指示が受付装置によって受け付けられた場合に、前記判定結果が確定したことを報知する第4報知処理を行う
     請求項20に記載の情報処理装置。
  24.  前記プロセッサは、前記参照画像と前記第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像とに共通の病変が写っている場合に、前記病変に関する病変関連情報を生成する
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  25.  前記病変関連情報は、前記病変のサイズに関するサイズ関連情報を含む
     請求項24に記載の情報処理装置。
  26.  前記サイズ関連情報は、前記サイズの経時的な推移を特定可能な推移特定情報を含む
     請求項25に記載の情報処理装置。
  27.  前記推移特定情報は、前記参照画像に写っている前記病変のサイズ及び/又は前記第2内視鏡検査画像に写っている前記病変のサイズに基づいて導出される
     請求項26に記載の情報処理装置。
  28.  前記推移特定情報は、前記参照画像に写っている前記病変のサイズ及び/又は前記第2内視鏡検査画像に写っている前記病変のサイズと前記病変の種類とに基づいて導出される
     請求項27に記載の情報処理装置。
  29.  前記病変関連情報は、前記病変の種類を特定可能な情報、前記病変の個数を特定可能な情報、及び/又は前記病変の態様を特定可能な情報を含む
     請求項24に記載の情報処理装置。
  30.  前記病変関連情報は、前記病変が写っている前記参照画像、及び/又は、前記病変が写っている前記第2内視鏡検査画像に関連付けられている
     請求項24に記載の情報処理装置。
  31.  前記プロセッサは、前記病変関連情報と、前記病変が写っている前記参照画像、及び/又は、前記病変が写っている前記第2内視鏡検査画像とが記録されたレポートを作成する
     請求項24に記載の情報処理装置。
  32.  前記プロセッサは、前記参照画像と前記第2内視鏡検査で撮像されることによって得られた第2内視鏡検査画像とを対比可能に前記表示装置に対して表示させる
     請求項1から請求項3の何れか一項に記載の情報処理装置。
  33.  請求項1から請求項3の何れか一項に記載の情報処理装置と、
     前記内視鏡検査で前記複数の部位を撮像する内視鏡と、を備える
     内視鏡装置。
  34.  複数の部位が前回以前の内視鏡検査である第1内視鏡検査で撮像されることによって得られた複数の第1内視鏡検査画像が蓄積されたストレージから前記複数の第1内視鏡検査画像を取得すること、及び、
     今回の内視鏡検査である第2内視鏡検査の実施期間に、前記複数の第1内視鏡検査画像のうちの特定条件を満足する少なくとも1つの第1内視鏡検査画像を参照画像として表示装置に対して表示させることを備える
     情報処理方法。
  35.  コンピュータに、
     複数の部位が前回以前の内視鏡検査である第1内視鏡検査で撮像されることによって得られた複数の第1内視鏡検査画像が蓄積されたストレージから前記複数の第1内視鏡検査画像を取得すること、及び、
     今回の内視鏡検査である第2内視鏡検査の実施期間に、前記複数の第1内視鏡検査画像のうちの特定条件を満足する少なくとも1つの第1内視鏡検査画像を参照画像として表示装置に対して表示させることを含む処理を実行させるためのプログラム。
PCT/JP2023/018160 2022-06-09 2023-05-15 情報処理装置、内視鏡装置、情報処理方法、及びプログラム WO2023238609A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022093907 2022-06-09
JP2022-093907 2022-06-09

Publications (1)

Publication Number Publication Date
WO2023238609A1 true WO2023238609A1 (ja) 2023-12-14

Family

ID=89118193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018160 WO2023238609A1 (ja) 2022-06-09 2023-05-15 情報処理装置、内視鏡装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023238609A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
JP2006119855A (ja) * 2004-10-20 2006-05-11 Olympus Medical Systems Corp レポート入力装置、医療情報記録装置、レポート入力支援方法および医療情報の記録方法
JP2009077765A (ja) * 2007-09-25 2009-04-16 Fujifilm Corp 内視鏡システム
JP2010220794A (ja) * 2009-03-24 2010-10-07 Fujifilm Corp 内視鏡画像回転装置および方法並びにプログラム
JP2011217854A (ja) * 2010-04-07 2011-11-04 Hoya Corp 電子内視鏡用プロセッサ
JP2012170774A (ja) * 2011-02-24 2012-09-10 Fujifilm Corp 内視鏡システム
JP2016189812A (ja) * 2015-03-30 2016-11-10 富士フイルム株式会社 内視鏡撮影部位特定装置、方法、プログラム
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法
WO2018216617A1 (ja) * 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
JP2006119855A (ja) * 2004-10-20 2006-05-11 Olympus Medical Systems Corp レポート入力装置、医療情報記録装置、レポート入力支援方法および医療情報の記録方法
JP2009077765A (ja) * 2007-09-25 2009-04-16 Fujifilm Corp 内視鏡システム
JP2010220794A (ja) * 2009-03-24 2010-10-07 Fujifilm Corp 内視鏡画像回転装置および方法並びにプログラム
JP2011217854A (ja) * 2010-04-07 2011-11-04 Hoya Corp 電子内視鏡用プロセッサ
JP2012170774A (ja) * 2011-02-24 2012-09-10 Fujifilm Corp 内視鏡システム
JP2016189812A (ja) * 2015-03-30 2016-11-10 富士フイルム株式会社 内視鏡撮影部位特定装置、方法、プログラム
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法
WO2018216617A1 (ja) * 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP5291955B2 (ja) 内視鏡検査システム
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
WO2019123986A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US7162292B2 (en) Beam scanning probe system for surgery
JP2009022446A (ja) 医療における統合表示のためのシステム及び方法
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
CN110913744A (zh) 手术系统、控制方法、手术装置和程序
JP4334839B2 (ja) 内視鏡観測装置
JP5451718B2 (ja) 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
JP2017099509A (ja) 内視鏡業務支援システム
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
WO2023238609A1 (ja) 情報処理装置、内視鏡装置、情報処理方法、及びプログラム
CN112584745B (zh) 内窥镜系统及医疗图像处理系统
EP3936027A1 (en) Apparatus and method for processing medical image
JP2022071617A (ja) 内視鏡システム及び内視鏡装置
JP2000271147A (ja) 遠隔手術支援システム
US20220338717A1 (en) Endoscopic examination support device, endoscopic examination support method, and endoscopic examination support program
JP2004180857A (ja) 内視鏡遠隔診断システム
JP4027842B2 (ja) 医療用画像記録装置
WO2024042895A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
US20240079100A1 (en) Medical support device, medical support method, and program
EP4302681A1 (en) Medical image processing device, medical image processing method, and program
WO2023089715A1 (ja) 画像表示装置、画像表示方法、及び、記録媒体
US20240136034A1 (en) Information processing apparatus, information processing method, endoscope system, and report creation support device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23819593

Country of ref document: EP

Kind code of ref document: A1