WO2021140644A1 - 内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2021140644A1
WO2021140644A1 PCT/JP2020/000647 JP2020000647W WO2021140644A1 WO 2021140644 A1 WO2021140644 A1 WO 2021140644A1 JP 2020000647 W JP2020000647 W JP 2020000647W WO 2021140644 A1 WO2021140644 A1 WO 2021140644A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
image
inspection
region
Prior art date
Application number
PCT/JP2020/000647
Other languages
English (en)
French (fr)
Inventor
達 木村
上條　憲一
翔太 大塚
公康 田光
郁磨 ▲高▼橋
元靖 奥津
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/635,786 priority Critical patent/US20220287550A1/en
Priority to JP2021569688A priority patent/JP7276513B2/ja
Priority to PCT/JP2020/000647 priority patent/WO2021140644A1/ja
Priority to EP20912344.7A priority patent/EP4088645A4/en
Publication of WO2021140644A1 publication Critical patent/WO2021140644A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an endoscopy support device and an endoscopy support method for supporting endoscopy, and further to a computer-readable recording medium for recording a program for realizing these.
  • the endoscopy system acquires a large amount of image information captured by the endoscope, executes image analysis on each of the acquired image information, and performs image information and image analysis results.
  • the image inside the living body and the image analysis result are presented to the user using and.
  • the internal image of the living body and its image analysis result can be displayed on the display of the display device in real time during the examination, but a large amount of image information and the image analysis result are not organized and complicated. It is stored in the storage device as it is.
  • Patent Document 1 discloses a medical image data processing system for efficiently using medical image data.
  • the medical image data is managed by storing the medical image data and the management information indicating the contents of the medical image data.
  • the management information is, for example, a management number of medical image data, a type of modality, an imaging date and time, a patient name, a user name (doctor name or an imaging engineer), an imaging site, an imaging condition, a reference image number, and the like. ..
  • the medical image data processing system of Patent Document 1 is not a system that organizes and manages a large amount of acquired image information for each inspection. Further, the medical image data processing system of Patent Document 1 is not a device that performs image analysis on each of a large amount of acquired image information.
  • the conventional endoscopy system is expected to be used by multiple users in succession, the users can efficiently use a large amount of in-vivo images acquired during the examination period and their image analysis results. It is hoped that each inspection will be organized so that it can be done.
  • An example of an object of the present invention is an endoscopy support device for organizing a large amount of biological images acquired during an examination period and their image analysis results for each examination, an endoscopy support method, and a computer-readable record. It is to provide a medium.
  • the endoscopy support device in one aspect of the present invention is The image information of the imaged living body is input to the model, the region of the target part of the living body is estimated, and the analysis information having the region information representing the estimated region and the score information representing the uniqueness of the target part of the region.
  • Analysis information generation means and A user information generation means for generating user information related to the user input by the user using a user interface, and a user information generation means.
  • an image-related information generation means that generates image-related information by associating the image capture date / time information indicating the date and time when the image was imaged with the analysis information and the user information.
  • An inspection management information generating means that generates inspection management information by associating a plurality of the image-related information generated during the inspection period with the inspection information representing the inspection. It is characterized by having.
  • the endoscopy support method in one aspect of the present invention is:
  • the image information of the imaged living body is input to the model, the region of the target part of the living body is estimated, and the analysis information having the region information representing the estimated region and the score information representing the uniqueness of the target part of the region.
  • image-related information is generated by associating the image capture date and time information indicating the date and time when the image was imaged with the analysis information and the user information. It is characterized in that the inspection management information is generated by associating a plurality of the image-related information with the inspection information representing the inspection period.
  • a computer-readable recording medium on which a program according to one aspect of the present invention is recorded is provided.
  • the image information of the imaged living body is input to the model, the region of the target part of the living body is estimated, and the analysis information having the region information representing the estimated region and the score information representing the uniqueness of the target part of the region.
  • image-related information is generated by associating the image capture date and time information indicating the date and time when the image was imaged, the analysis information, and the user information.
  • the inspection management information is generated by associating the plurality of the image-related information with the inspection information representing the inspection period. It is characterized by recording a program including instructions.
  • FIG. 1 is a diagram for explaining an example of an endoscopy support device.
  • FIG. 2 is a diagram for explaining an example of a system having an endoscopy support device.
  • FIG. 3 is a diagram for explaining an example of the user setting information generation screen.
  • FIG. 4 is a diagram for explaining an example of the profile selection screen and the profile screen.
  • FIG. 5 is a diagram for explaining an example of a data structure of image-related information.
  • FIG. 6 is a diagram for explaining an example of the inspection screen.
  • FIG. 7 is a diagram for explaining an example of a data structure of inspection management information.
  • FIG. 8 is a diagram for explaining an example of the inspection result screen.
  • FIG. 9 is a diagram for explaining an operation example of the endoscopy support device.
  • FIG. 10 is a diagram for explaining an operation example of the endoscopy support device.
  • FIG. 11 is a diagram showing an example of a computer that realizes an endoscopy support device.
  • FIG. 1 is a diagram for explaining an example of an endoscopy support device.
  • the endoscopy support device 1 is a device for organizing a large amount of images of the inside of a living body acquired during the examination period and the image analysis results thereof.
  • the endoscopy support device 1 is, for example, an information processing device such as a personal computer or a server computer. As shown in FIG. 1, the endoscopy support device 1 includes an analysis information generation unit 2, a user information generation unit 3, an image-related information generation unit 4, and an inspection management information generation unit 5.
  • the analysis information generation unit 2 inputs the imaged image information of the living body into the model, estimates the area of the target part of the living body, and provides the area information representing the estimated area and the score information indicating the uniqueness of the target part of the area. Generate analysis information with.
  • the image information is information representing a biological image taken by an imaging device mounted on an endoscope, for example, internal and external organs of a living body such as a person, an animal, and a plant.
  • the target site is, for example, an area having a lesion / abnormality.
  • the area information is an area estimated to be a target site included in a biological image taken by an endoscope.
  • the score information is an index showing the degree (or probability) that the region estimated to be the target site is estimated to be a lesion / abnormality.
  • the model is a model generated by AI (Artificial Intelligence) or machine learning.
  • AI Artificial Intelligence
  • the model may be provided in, for example, the endoscopy support device 1 or may be provided outside the endoscopy support device 1.
  • the user information generation unit 3 generates user information related to the user input by the user using the user interface.
  • the image-related information generation unit 4 generates image-related information for each image information by associating the image capture date / time information indicating the date and time when the image was imaged, the analysis information, and the user information.
  • the inspection management information generation unit 5 generates inspection management information by associating a plurality of image-related information with inspection information representing an inspection period.
  • the image-related information having the image information, the analysis information, and the user information can be managed for each inspection, the user can efficiently use the image information and the analysis information after the inspection.
  • FIG. 2 is a diagram for explaining an example of a system having an endoscopy support device.
  • the system 20 having the endoscopy support device 1 in the present embodiment includes the endoscope 21, the control unit 22, and the user interface 23 in addition to the endoscopy support device 1. , And an output device 24. Further, the endoscopy support device 1 includes an analysis information generation unit 2, a user information generation unit 3, an image-related information generation unit 4, an inspection management information generation unit 5, and a user setting information generation unit 6. It has an inspection screen generation unit 7 and an inspection result screen generation unit 8.
  • the endoscope 21 transmits an image of the inside of the living body, which is an image of the inside of the living body, to the control unit 22 connected to the endoscope 21.
  • the endoscope 21 includes, for example, an insertion portion to be inserted into the living body, an image pickup device such as a camera provided on the tip side of the insertion portion, and an operation unit for operating the curvature of the insertion portion, imaging of the imaging portion, and the like. It has a connecting portion for connecting the endoscope 21 and the endoscopy support device 1.
  • the tip side of the insertion portion has a lighting unit, a nozzle used for air supply, water supply, and suction, a forceps opening, and the like.
  • the control unit 22 executes image processing or the like on the input image, for example, a video processor or the like. Specifically, the control unit 22 acquires an imaging signal from the endoscope 21, adjusts the image on the imaging signal, generates an image of the inside of the living body, and generates an image of the inside of the living body to generate an endoscopic examination support device 1. Output to.
  • the control unit 22 may be provided in the endoscopy support device 1.
  • the user interface 23 is an input screen or the like displayed on the display of the output device 24 when the user inputs information.
  • the user inputs information via the user interface 23 using the operating device.
  • the user inputs information using a visual element (graphical information) displayed on the display, a keyboard, a mouse, a touch panel, and the like.
  • the output device 24 outputs images, sounds (or sounds), and the like.
  • the output device 24 is, for example, an image display device including a liquid crystal, an organic EL (Electro Luminescence), and a CRT (Cathode Ray Tube). Further, the output device 24 has an audio output device such as a speaker.
  • the output device 24 may be a printing device such as a printer.
  • the user information generation unit 3 generates user information based on the information related to the user input by the user using the user interface 23.
  • the user information includes identification information for identifying the user to be inspected, gender information indicating the gender of the user, age information indicating the age of the user, position information indicating the position of the user, and experience value of the user. And experience information indicating the number of years of experience, name information indicating the user's name, evaluation information indicating the user's evaluation, and the like can be considered.
  • the user information may have any one or more information other than the identification information and the above-mentioned identification information.
  • the user information generation unit 3 causes the display of the output device 24 to display the user interface 23 for inputting information related to the user. Subsequently, the user information generation unit 3 generates user information based on the information related to the user input via the user interface 23. Subsequently, the user information generation unit 3 stores the user information in the storage device.
  • the user setting information generation unit 6 generates user setting information (profile) used for setting the output of analysis information for each user.
  • the user setting information includes at least one of setting information that changes the display of the area according to the score information and setting information that changes the volume according to the score information in the inspection.
  • the user setting information generation unit 6 displays the user setting information generation screen as a user interface on the display of the output device 24. Subsequently, the user setting information generation unit 6 acquires the information input by the user using the user setting information generation screen. Subsequently, the user setting information generation unit 6 generates user setting information using the acquired information, and stores the user setting information in the storage device.
  • the user setting information generation screen is, for example, a screen as shown in FIG.
  • FIG. 3 is a diagram for explaining an example of the user setting information generation screen.
  • a threshold value setting unit 301 On the user setting information generation screen 300 shown in FIG. 3, a threshold value setting unit 301, a detection color setting unit 302, a detection sound setting unit 303, and an adjustment screen 304 are displayed.
  • the threshold setting unit 301 sets a threshold value used to divide the score into a plurality of ranges.
  • a control having a scale display 305 for setting a threshold value 1 and a scale display 306 for setting a threshold value 2 for determining three score ranges of “HIGH”, “MIDDLE”, and “LOW”.
  • the user can change the threshold value by moving the scale displays 305 and 306 of the control bar up and down.
  • the scale display 305 is used to determine the lower limit of the score range corresponding to "HIGH” or the upper limit of the score range corresponding to "MIDDLE”.
  • the scale display 306 is used to determine the lower limit of the score range corresponding to "MIDDLE” or the upper limit of the score range corresponding to "LOW”. Further, the set scores are displayed in the threshold values 1 and 2 in FIG.
  • the score range is not limited to the three ranges.
  • the control bar is used for adjusting the threshold value, but the adjustment of the threshold value is not limited to the control bar, and another input method may be adopted.
  • the detection color setting unit 302 is used to set the color of the detection range display used to make the area of the detected target part easy for the user to understand.
  • the detection color setting unit 302 is used for setting to change the color of the detection range display according to the score corresponding to the detected area of the target part when the area of the target part is detected.
  • the detection range display is displayed as 307, 308, 309 on the adjustment screen 304 of FIG.
  • the difference in color is represented by the difference in pattern.
  • the color is set by letting the user select one of the three color (1 to 3) circular displays displayed on the HIGH color setting display 310.
  • the difference in color is represented by the difference in pattern.
  • the colors of the MIDDLE color setting display 311 and the LOW color setting display 312 are also set as described above. However, the types of colors are not limited to three.
  • the detection range displays 307, 308, and 309 have a donut shape on the adjustment screen 304 of FIG. 3, but are not limited to the donut shape.
  • the shape may be along the region. That is, the display may be such that the area of the target portion can be easily understood by the user.
  • the detection sound setting unit 303 is used to set the volume used to make it easier for the user to understand that the area of the target portion has been detected.
  • the detection sound setting unit 303 is used for setting to change the volume according to the score corresponding to the detected area of the target part when the area of the target part is detected.
  • volume is set. In FIG. 3, the larger the number, the louder the volume.
  • the volume of the MIDDLE sound setting display 314 and the LOW sound setting display 315 is also set as described above. However, the types of volume are not limited to five.
  • the detection sound may be a voice that differs depending on the score range. Further, as the detection sound, for example, a sound such as music, a buzzer sound, or a voice can be considered.
  • the adjustment screen 304 is a screen that the user refers to when performing the above-mentioned threshold value setting, detection color setting, and detection sound setting. Specifically, the adjustment screen 304 is a screen used by the user to refer to the adjustment image, change each setting, and select a setting that is easy for the user to use.
  • the analysis information generation unit 2 analyzes the image information of the captured living body and generates the analysis information.
  • the analysis information includes region information representing a region of the target site (target site image) and score information representing the uniqueness of the target site.
  • the analysis information generation unit 2 acquires the image information generated by the control unit 22 from the control unit 22 using the image pickup signal output from the endoscope 21. Subsequently, the analysis information generation unit 2 inputs the image information into the model and acquires the analysis information (area information and score information) output from the model. Subsequently, the analysis information generation unit 2 outputs the analysis information to the image-related information generation unit 4 and the inspection screen generation unit 7.
  • the image-related information generation unit 4 acquires the start information indicating the start of the inspection
  • the image-related information is generated by associating the imaging date / time information, the analysis information, and the user information for each image information.
  • Information other than the imaging date / time information, analysis information, and user information may be associated with the image information.
  • FIG. 4 is a diagram for explaining an example of the profile selection screen and the profile screen.
  • the inspection screen generation unit 7 causes the display of the output device 24 to display the profile selection screen 41 as shown in FIG. 4 as a user interface. Subsequently, when the icon corresponding to the profile to be used is selected by the user, the profile screen 42 showing the contents of the preset profile corresponding to the selected icon is displayed on the display.
  • the preset profile screen 42 corresponding to the icon "user_1” is displayed. Subsequently, when the user determines that the inspection is to be started based on the contents displayed on the profile screen 42, the inspection start display 43 is selected by the user, and the start information is output to the image-related information generation unit 4.
  • the profile selection screen 41 may display an icon that can be shared and used by the user.
  • an icon associated with the profile of a well-known doctor an icon associated with a proisle created according to the patient's race, gender, and age, and the like can be considered.
  • the image-related information generation unit 4 sets the imaging date / time information and the analysis information (area information and area information) corresponding to the image information output from the model for each image information input to the model of the analysis information generation unit 2.
  • Image-related information is generated by associating (score information) with user information.
  • the image-related information is, for example, the information shown in FIG.
  • FIG. 5 is a diagram for explaining an example of a data structure of image-related information.
  • “Image_1”, “image_2”, “image_3”, etc. of the “image information” shown in FIG. 5 represent, for example, a file name of the image information.
  • "2019/11/10/11:” of "Image capture date and time information” shown in FIG. 20:34:122 ” ... represents, for example, the date and time (year, month, day, time) when the image was taken.
  • the "area_1", “area_2”, “Area_3” Of the "area information” in the "analysis information” shown in FIG.
  • the detected tumor region is the tumor region. It is an index showing a certain degree (or probability).
  • the image-related information generation unit 4 may further generate image-related information by associating the order information indicating the order in which the images were taken in the inspection with the image information.
  • the image-related information may be associated with the capture information indicating that the user has captured the image using the endoscope. By doing so, the user can easily view the captured image after the inspection.
  • a capture detection method for example, a method of detecting the same image (or an image with a small change) in a preset number, a method of continuously detecting the same image for a preset period, or a snapshot is generated. There is a way to detect that.
  • the image-related information may be associated with adjustment history information indicating that the color and volume of the detection range display made by the user during the inspection have been adjusted.
  • the inspection management information generation unit 5 acquires the end information indicating the end of the inspection, the inspection management information for managing the inspection by associating the inspection information indicating the inspection period with a plurality of image-related information generated during the inspection period. To generate.
  • the inspection management information generation unit 5 acquires the end information indicating the end of the inspection.
  • FIG. 6 is a diagram for explaining an example of the inspection screen.
  • the inspection screen generation unit 7 causes the display of the output device 24 to display the inspection screen 61 as shown in FIG. 6 as a user interface.
  • the inspection screen 61 displays an image display unit 62 for displaying an image of a living body and a detection range display 63 for displaying an area of a target portion of the image display unit 62.
  • a color adjustment unit 64 for adjusting the color of the detection range display during the inspection
  • a volume adjustment unit 65 for adjusting the volume during the inspection
  • an inspection end display for the user to select when the inspection is completed. 66 is displayed.
  • the inspection management information generation unit 5 When the user determines that the inspection is completed, the inspection end display 66 is selected by the user, and the end information is output to the inspection management information generation unit 5. Subsequently, the inspection management information generation unit 5 generates inspection management information by associating a plurality of image-related information generated during the inspection period with the inspection information representing the period during which the inspection is currently being performed. Subsequently, the inspection management information generation unit 5 stores the generated inspection management information in the storage device.
  • the inspection management information is, for example, information as shown in FIG. 7.
  • FIG. 7 is a diagram for explaining an example of the data structure of inspection management information.
  • “Check_1” of the “inspection information” shown in FIG. 7 is information for identifying the inspection performed by the user.
  • “image_XXXXX” is acquired from “image_1” as image information, and related information is associated with each of the acquired image information.
  • the area information and the score information are associated with all the image information, but when the target part is not detected, the information indicating that there is no data in the area information and the score information is provided. It will be remembered.
  • the image-related information can be managed for each inspection, so that the user can efficiently use the image information and the analysis information after the inspection.
  • the inspection screen generation unit 7 generates output information for outputting the inspection screen (image, sound, etc.) to the output device 24 based on the image information, the analysis information, and the user setting information. Specifically, the inspection screen generation unit 7 generates output information for displaying the inspection screen 61 as shown in FIG. 6 on the display of the output device 24. Further, the inspection screen generation unit 7 generates output information for output from the speaker of the output device 24.
  • the color adjustment unit 64 When the user shows the examination screen to the patient during the examination by a doctor and explains the color to the patient, the color is changed by using the color adjustment unit 64 to make the color easy for the patient to understand. Further, in the case of explanation, when voice is not required, the volume adjusting unit 65 is used to minimize the volume.
  • the inspection result screen generation unit 8 acquires inspection management information from the storage device and outputs images, sounds, and the like to the output device 24.
  • FIG. 8 is a diagram for explaining an example of the inspection result screen.
  • the inspection result screen generation unit 8 generates output information for displaying the inspection result screen 81 as shown in FIG. 8 on the display of the output device 24, for example. Further, the inspection result screen generation unit 8 generates output information for output from the speaker of the output device 24, for example.
  • the inspection result screen 81 has a filter unit 82 that classifies and displays the image and the analysis result according to the score information associated with the image information.
  • the related information display unit 83 is associated with the score included in the score range of "MIDDLE”. The image, the date and time of imaging, and the score are displayed. When "ALL" is selected, all images can be referred to.
  • the inspection result display unit 84 displays the inspection result image corresponding to “01152” selected by the user by using the related information display unit 83.
  • the adjustments made during the inspection may be fed back and the profile settings may be changed automatically.
  • the profile setting may be changed based on the adjustment history information contained in the image-related information described above.
  • FIGS. 9 and 10 are diagrams for explaining an operation example of the endoscopy support device.
  • FIGS. 1 to 8 will be referred to as appropriate.
  • the endoscopy support method is implemented by operating the endoscopy support device. Therefore, the description of the endoscopy support method in the present embodiment will be replaced with the following description of the operation of the endoscopy support device.
  • the user information generation unit 3 generates user information related to the user input by the user using the user interface 23 (step A1).
  • step A1 first, the user information generation unit 3 causes the display of the output device 24 to display the user interface 23 for inputting information related to the user. Subsequently, in step A1, the user information generation unit 3 acquires the user information input via the user interface 23. Subsequently, in step A1, the user information generation unit 3 stores the user information in the storage device.
  • the user setting information generation unit 6 generates user setting information (profile) used for setting the output of analysis information for each user (step A2).
  • step A2 first, the user setting information generation unit 6 causes the display of the output device 24 to display the user setting information generation screen as a user interface. Subsequently, in step A2, the user setting information generation unit 6 acquires the information input by the user using the user setting information generation screen. Subsequently, in step A2, the user setting information generation unit 6 generates user setting information using the acquired information and stores it in the storage device.
  • the image-related information generation unit 4 acquires the start information indicating the start of the inspection (step B1).
  • the profile corresponding to the selected icon is displayed on the profile screen 42.
  • the inspection start display 43 is selected by the user, and the start information is output to the image-related information generation unit 4.
  • the image-related information generation unit 4 generates image-related information by associating each image information with the imaging date / time information, analysis information, user information, and the like (step B2).
  • the image-related information generation unit 4 outputs the image capture date / time information indicating the date and time when the image was imaged and the image capture date / time information output from the model for each image information input to the model possessed by the analysis information generation unit 2.
  • Image-related information is generated by associating the analysis information (area information and score information) corresponding to the image information with the user information.
  • the image-related information is, for example, the information shown in FIG.
  • the image-related information generation unit 4 may further generate image-related information by associating the order information indicating the order in which the images were taken in the inspection with the image information.
  • the image-related information may be associated with the capture information indicating that the user has captured the image using the endoscope. By doing so, the user can easily view the captured image later.
  • a capture detection method for example, a method of detecting that the same image (or an image with a small change) continues for a preset number of times, a method of detecting that the same image (or an image with a small change) continues for a preset period, or a method of detecting that the same image (or an image with a small change) continues for a preset period, or There is a way to detect that a snapshot has been taken.
  • the image-related information may be associated with adjustment history information indicating that the color and volume of the detection range display made by the user during the inspection have been adjusted.
  • the inspection screen generation unit 7 acquires image information, analysis information, and user setting information, and outputs an inspection screen (image, sound, etc.) based on the acquired image information, analysis information, and user setting information. Output information for output to the device 24 is generated (step B3).
  • step B3 the inspection screen generation unit 7 generates output information for displaying the inspection screen 61 as shown in FIG. 6 on the display of the output device 24. Further, in step B3, the inspection screen generation unit 7 generates output information for output from the speaker of the output device 24.
  • the color adjustment unit 64 When the user shows the examination screen to the patient during the examination by a doctor and explains the color to the patient, the color is changed by using the color adjustment unit 64 to make the color easy for the patient to understand. Further, in the case of explanation, when voice is not required, the volume adjusting unit 65 is used to minimize the volume.
  • step B2 and step B3 may be reversed.
  • the inspection management information generation unit 5 determines whether or not the end information indicating the end of the inspection has been acquired (step B4).
  • the process proceeds to step B5. If the end information has not been acquired (step B4: No), the process proceeds to step B2 and the processes of steps B2 to B3 are continued.
  • step B4 when the user determines that the inspection is completed, the inspection end display 66 on the inspection screen 61 displayed on the display of the output device 24 is selected by the user, and the inspection management is performed.
  • the end information is output to the information generation unit 5.
  • the inspection management information generation unit 5 generates inspection management information by associating a plurality of image-related information generated during the inspection period with the inspection information representing the period currently being inspected (step B5). Specifically, in step B5, the inspection management information generation unit 5 generates inspection management information by associating a plurality of image-related information generated during the inspection period with the inspection information representing the period currently being inspected. .. Subsequently, in step B5, the inspection management information generation unit 5 stores the generated inspection management information in the storage device.
  • the inspection result screen generation unit 8 acquires the inspection management information from the storage device and outputs an image, a sound, or the like to the output device 24. Specifically, the inspection result screen generation unit 8 generates output information for displaying the inspection result screen 81 as shown in FIG. 8 on the display of the output device 24. Further, the inspection result screen generation unit 8 generates output information for output from the speaker of the output device 24, for example.
  • the adjustments made during the inspection may be fed back and the profile settings may be changed automatically.
  • the profile setting may be changed based on the adjustment history information contained in the image-related information described above.
  • the program according to the embodiment of the present invention may be a program that causes a computer to execute steps A1 to A2 shown in FIG. 9 and steps B1 to B5 shown in FIG.
  • the computer processor includes an analysis information generation unit 2, a user information generation unit 3, an image-related information generation unit 4, an inspection management information generation unit 5, a user setting information generation unit 6, an inspection screen generation unit 7, and an inspection. It functions as a result screen generation unit 8 and performs processing.
  • each computer has an analysis information generation unit 2, a user information generation unit 3, an image-related information generation unit 4, an inspection management information generation unit 5, a user setting information generation unit 6, and an inspection screen generation. It may function as either a unit 7 or an inspection result screen generation unit 8.
  • FIG. 11 is a block diagram showing an example of a computer that realizes the endoscopy support device according to the embodiment of the present invention.
  • the computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. And. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication.
  • the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • the CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various operations.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120.
  • the program in this embodiment may be distributed on the Internet connected via the communication interface 117.
  • the recording medium 120 is a non-volatile recording medium.
  • the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, reads a program from the recording medium 120, and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include a general-purpose semiconductor storage device such as CF (CompactFlash (registered trademark)) and SD (SecureDigital), a magnetic recording medium such as a flexible disk, or a CD-.
  • CF CompactFlash (registered trademark)
  • SD Secure Digital
  • magnetic recording medium such as a flexible disk
  • CD- CompactDiskReadOnlyMemory
  • optical recording media such as ROM (CompactDiskReadOnlyMemory).
  • the endoscopy support device 1 in the present embodiment can also be realized by using hardware corresponding to each part instead of the computer on which the program is installed. Further, the endoscopy support device 1 may be partially realized by a program and the rest may be realized by hardware.
  • the image information of the imaged living body is input to the model, the region of the target part of the living body is estimated, and the analysis information having the region information representing the estimated region and the score information representing the uniqueness of the target part of the region.
  • Analysis information generator and A user information generation unit that generates user information related to the user input by the user using the user interface, and a user information generation unit.
  • an image-related information generation unit that generates image-related information by associating the image capture date / time information indicating the date and time when the image was imaged with the analysis information and the user information.
  • An inspection management information generation unit that generates inspection management information by associating a plurality of the image-related information with inspection information representing an inspection period. Endoscopy support device with.
  • Appendix 2 The endoscopy support device according to Appendix 1, which has a user setting information generation unit that generates user setting information used for setting output of the analysis information for each user.
  • Appendix 3 The user setting information is described in Appendix 2 having at least one of setting information for changing the display of the area according to the score information and setting information for changing the volume according to the score information in the inspection. Endoscopy support device.
  • Appendix 4 The endoscopy support device according to any one of Appendix 1 to 3, wherein the inspection management information generation unit generates the inspection management information when the end information indicating the end of the inspection is acquired.
  • image information of the imaged living body is input to the model, the region of the target part of the living body is estimated, and the analysis information having the region information representing the estimated region and the score information representing the uniqueness of the target part of the region.
  • image-related information is generated by associating the image capture date and time information indicating the date and time when the image was imaged with the analysis information and the user information.
  • An endoscopy support method for generating examination management information by associating a plurality of the image-related information with examination information representing an examination period.
  • Appendix 6 The endoscopy support method according to Appendix 5, which generates user setting information used for setting the output of the analysis information for each user.
  • the user setting information has at least one of setting information that changes the display of the area according to the score information and setting information that changes the volume according to the score information in the inspection. Endoscopy support method.
  • Appendix 8 The endoscopy support method according to any one of Appendix 5 to 7, which generates the examination management information when the end information indicating the end of the examination is acquired.
  • the image information of the imaged living body is input to the model, the region of the target part of the living body is estimated, and the analysis information having the region information representing the estimated region and the score information representing the uniqueness of the target part of the region.
  • image-related information is generated by associating the image capture date and time information indicating the date and time when the image was imaged, the analysis information, and the user information.
  • the inspection management information is generated by associating the plurality of the image-related information with the inspection information representing the inspection period.
  • a computer-readable recording medium containing instructions that records the program.
  • Appendix 10 On the computer The computer-readable recording medium according to Appendix 9 in which a program is recorded, which includes an instruction for generating user setting information used for setting output of the analysis information for each user.
  • the user setting information has at least one of setting information that changes the display of the area according to the score information and setting information that changes the volume according to the score information in the inspection.
  • a computer-readable recording medium A computer-readable recording medium.
  • Appendix 12 The computer-readable recording medium according to any one of Appendix 9 to 11, which generates the inspection management information when the end information indicating the end of the inspection is acquired.
  • the present invention it is possible to organize a large amount of in-vivo internal images acquired during the examination period and their image analysis results for each examination.
  • the present invention is useful in fields that require the management of large numbers of images.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡検査支援装置１は、撮像された生体の画像情報をモデルに入力し、生体の対象部位の領域を推定し、推定した領域を表す領域情報と、領域の対象部位らしさを表すスコア情報とを有する解析情報を生成する、解析情報生成部２と、利用者によりユーザインタフェース２３を用いて入力された利用者に関連する利用者情報を生成する、利用者情報生成部３と、画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、解析情報と、利用者情報とを関連付けて画像関連情報を生成する、画像関連情報生成部４と、複数の画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する、検査管理情報生成部５と、を有する。

Description

内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、内視鏡検査を支援する内視鏡検査支援装置、内視鏡検査支援方法に関し、更には、これらを実現するためのプログラムを記録しているコンピュータ読み取り可能な記録媒体に関する。
　内視鏡検査システムは、利用者が検査を行う場合、内視鏡により撮像された大量の画像情報を取得し、取得した画像情報それぞれに対して画像解析を実行し、画像情報と画像解析結果とを用いて利用者に生体内部画像とその画像解析結果とを提示する。ところが、内視鏡検査システムでは、検査中にリアルタイムで、生体内部画像とその画像解析結果とを表示装置のディスプレイに表示できるが、大量の画像情報とその画像解析結果とは整理されず煩雑なまま記憶装置に記憶されている。
　関連する技術として特許文献１には、医療用画像データを効率よく利用するための医療用画像データ処理システムが開示されている。特許文献１の医療用画像データ処理システムによれば、医療用画像データと医療用画像データの内容を示す管理情報とを記憶することで、医療用画像データを管理している。なお、管理情報とは、例えば、医療用画像データの管理番号、モダリティの種類、撮像日時、患者名、利用者名（医師名又は撮像技師）、撮像部位、撮像条件、参照画像番号などである。
特開２００８－０７９６４８号公報
　しかしながら、特許文献１の医療用画像データ処理システムは、大量に取得した画像情報を検査ごとに整理して管理するシステムではない。また、特許文献１の医療用画像データ処理システムは、大量に取得した画像情報それぞれに対して画像解析を行う装置ではない。
　さらに、従来の内視鏡検査システムは複数の利用者が続けて利用することが想定されるため、検査期間において取得した大量の生体内部画像とその画像解析結果とを、利用者が効率よく利用できるように、検査ごとに整理することが望まれている。
　本発明の目的の一例は、検査期間に取得した大量の生体画像とそれらの画像解析結果とを検査ごとに整理する内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における内視鏡検査支援装置は、
　撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成する、解析情報生成手段と、
　ユーザインタフェースを用いて、利用者により入力された前記利用者に関連する利用者情報を生成する、利用者情報生成手段と、
　前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成する、画像関連情報生成手段と、
　検査期間に生成された複数の前記画像関連情報を、検査を表す検査情報に関連付けて検査管理情報を生成する、検査管理情報生成手段と、
　を有することを特徴とする。
　また、上記目的を達成するため、本発明の一側面における内視鏡検査支援方法は、
　撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成し、
　利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成し、
　前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成し、
　複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する
　することを特徴とする。
　さらに、上記目的を達成するため、本発明の一側面におけるプログラムを記録したコンピュータ読み取り可能な記録媒体は、
　コンピュータに、
　撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成させ、
　利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成させ、
　前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成させ、
　複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成させる、
　命令を含む、プログラムを記録していることを特徴とする。
　以上のように本発明によれば、検査期間に取得した大量の生体画像とそれらの画像解析結果とを検査ごとに整理することができる。
図１は、内視鏡検査支援装置の一例を説明するための図である。 図２は、内視鏡検査支援装置を有するシステムの一例を説明するための図である。 図３は、利用者設定情報生成画面の一例を説明するための図である。 図４は、プロファイル選択画面とプロファイル画面の一例を説明するための図である。 図５は、画像関連情報のデータ構造の一例を説明するための図である。 図６は、検査画面の一例を説明するための図である。 図７は、検査管理情報のデータ構造の一例を説明するための図である。 図８は、検査結果画面の一例を説明するための図である。 図９は、内視鏡検査支援装置の動作一例を説明するための図である。 図１０は、内視鏡検査支援装置の動作一例を説明するための図である。 図１１は、内視鏡検査支援装置を実現するコンピュータの一例を示す図である。
（実施形態）
　以下、本発明の実施形態について、図１から図１１を参照しながら説明する。
［装置構成］
　最初に、図１を用いて、本実施形態における内視鏡検査支援装置の構成について説明する。図１は、内視鏡検査支援装置の一例を説明するための図である。
　内視鏡検査支援装置１は、検査期間において大量に取得した生体内部画像とその画像解析結果とを整理するための装置である。内視鏡検査支援装置１は、例えば、パーソナルコンピュータ、サーバコンピュータなどの情報処理装置である。内視鏡検査支援装置１は、図１に示すように、解析情報生成部２と、利用者情報生成部３と、画像関連情報生成部４と、検査管理情報生成部５とを有する。
　解析情報生成部２は、撮像された生体の画像情報をモデルに入力し、生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、領域の対象部位らしさを表すスコア情報とを有する解析情報を生成する。
　画像情報は、例えば、人、動物、植物などの生体の内部及び外部の器官を、内視鏡に搭載された撮像装置により撮像した生体画像を表す情報である。対象部位は、例えば、病変・異常がある領域である。領域情報は、内視鏡により撮像された生体画像に含まれる、対象部位と推定された領域である。スコア情報は、対象部位と推定された領域が病変・異常であると推定される度合（又は確率）を表す指標である。
　モデルは、ＡＩ（Artificial Intelligence）、又は、機械学習などにより生成されたモデルである。モデルは、例えば、内視鏡検査支援装置１に設けてもよいし、内視鏡検査支援装置１の外部に設けてもよい。
　利用者情報生成部３は、利用者によりユーザインタフェースを用いて入力された利用者に関連する利用者情報を生成する。画像関連情報生成部４は、画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、解析情報と、利用者情報とを関連付けて画像関連情報を生成する。検査管理情報生成部５は、複数の画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する。
　このように、本実施形態においては、画像情報と解析情報と利用者情報とを有する画像関連情報を検査ごとに管理できるので、検査後に、利用者が画像情報及び解析情報を効率よく利用できる。
［システム構成］
　続いて、図２を用いて、本実施形態における内視鏡検査支援装置１の構成をより具体的に説明する。図２は、内視鏡検査支援装置を有するシステムの一例を説明するための図である。
　図２に示すように、本実施形態における内視鏡検査支援装置１を有するシステム２０は、内視鏡検査支援装置１に加えて、内視鏡２１と、制御部２２と、ユーザインタフェース２３と、出力装置２４とを有する。また、内視鏡検査支援装置１は、解析情報生成部２、利用者情報生成部３、画像関連情報生成部４、検査管理情報生成部５に加えて、利用者設定情報生成部６と、検査画面生成部７と、検査結果画面生成部８とを有する。
　内視鏡２１は、生体内部を撮像した生体内部の画像を、内視鏡２１と接続されている制御部２２へ送信する。内視鏡２１は、例えば、生体内部に挿入する挿入部と、挿入部の先端側に設けられているカメラなどの撮像装置と、挿入部の湾曲、撮像部の撮像などを操作する操作部と、内視鏡２１と内視鏡検査支援装置１とを接続する接続部とを有する。また、挿入部の先端側には撮像装置以外にも、照明部、送気、送水、吸引に用いるノズル、鉗子口などを有している。
　制御部２２は、入力された画像に対して画像処理などを実行する、例えば、ビデオプロセッサなどである。具体的には、制御部２２は、内視鏡２１から撮像信号を取得して、撮像信号に対して画像調整などを行い、生体内部を撮像した画像を生成して内視鏡検査支援装置１へ出力する。なお、制御部２２は、内視鏡検査支援装置１に設けてもよい。
　ユーザインタフェース２３は、利用者が情報を入力する場合に、出力装置２４のディスプレイに表示される入力画面などである。また、利用者は、操作機器を用いて、ユーザインタフェース２３を介して情報を入力する。具体的には、利用者は、ディスプレイに表示された視覚要素（グラフィカルな情報）、キーボード、マウス、タッチパネルなどを用いて情報を入力する。
　出力装置２４は、画像及び音声（又は音）などを出力する。なお、出力装置２４は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を備えた画像表示装置である。さらに、出力装置２４は、スピーカなどの音声出力装置などを有している。なお、出力装置２４は、プリンタなどの印刷装置でもよい。
　内視鏡検査支援装置について具体的に説明をする。
　利用者情報生成部３は、利用者によりユーザインタフェース２３を用いて入力された利用者に関係する情報に基づいて利用者情報を生成する。利用者情報は、検査を行う利用者を識別するための識別情報、利用者の性別を表す性別情報、利用者の年齢を表す年齢情報、利用者の役職を表す役職情報、利用者の経験値や経験年数を表す経験情報、利用者の知名度を表す知名度情報、利用者の評価を表す評価情報などが考えられる。ただし、利用者情報は、識別情報と、上述した識別情報以外のいずれか一つ以上の情報を有していればよい。
　具体的には、まず、利用者情報生成部３は、出力装置２４のディスプレイに、利用者に関係する情報を入力させるためのユーザインタフェース２３を表示させる。続いて、利用者情報生成部３は、ユーザインタフェース２３を介して入力された利用者に関係する情報に基づいて利用者情報を生成する。続いて、利用者情報生成部３は、利用者情報を記憶装置に記憶する。
　利用者設定情報生成部６は、利用者ごとに解析情報の出力設定をするために用いる利用者設定情報（プロファイル）を生成する。利用者設定情報は、検査において、領域の表示をスコア情報に応じて変化させる設定情報、及びスコア情報に応じて音量を変化させる設定情報の少なくとも一方を有する。
　具体的には、まず、利用者設定情報生成部６は、出力装置２４のディスプレイにユーザインタフェースとして利用者設定情報生成画面を表示させる。続いて、利用者設定情報生成部６は、利用者設定情報生成画面を用いて、利用者が入力した情報を取得する。続いて、利用者設定情報生成部６は、取得した情報を用いて利用者設定情報を生成し、利用者設定情報を記憶装置に記憶する。利用者設定情報生成画面は、例えば、図３に示すような画面である。
　図３は、利用者設定情報生成画面の一例を説明するための図である。図３に示す利用者設定情報生成画面３００には、閾値設定部３０１、検知色設定部３０２、検知音設定部３０３、調整画面３０４が表示されている。
　閾値設定部３０１は、スコアを複数の範囲に分けるために用いる閾値を設定する。図３の例では、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲を決定するための、閾値１を設定するための目盛表示３０５、閾値２を設定するための目盛表示３０６を有するコントロールバーが設けられている。図３の例では、コントロールバーの目盛表示３０５、３０６を、利用者が、上下に移動させることで閾値を変更することができる。
　目盛表示３０５は、「HIGH」に対応するスコア範囲の下限値、又は「MIDDLE」に対応するスコア範囲の上限値を決定するために用いる。目盛表示３０６は、「MIDDLE」に対応するスコア範囲の下限値、又は「LOW」に対応するスコア範囲の上限値を決定するために用いる。また、図３の閾値１、２には設定されたスコアが表示される。
　ただし、スコア範囲は、三つの範囲に限定されるものではない。また、図３の例では、閾値の調整にコントロールバーを用いたが、閾値の調整はコントロールバーに限定されるものでなく、他の入力方法を採用してもよい。
　検知色設定部３０２は、検知された対象部位の領域を利用者に分かり易くするために用いる検知範囲表示の色の設定に用いる。検知色設定部３０２は、対象部位の領域が検知された場合に、検知された対象部位の領域に対応するスコアに応じて、検知範囲表示の色を変化させるための設定に用いる。
　検知範囲表示は、図３の調整画面３０４では、３０７、３０８、３０９のように表示される。なお、図３では色の違いを模様の違いで表している。
　また、図３の例では、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲が設定されているので、HIGH色設定表示３１０、MIDDLE色設定表示３１１、LOW色設定表示３１２を用いて、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲に対応する色を設定する。
　HIGH色設定表示３１０の場合、HIGH色設定表示３１０に表示されている三つの色（１から３）の円形表示の中から一つを利用者に選択させることにより、色が設定される。なお、図３では色の違いを模様の違いで表している。MIDDLE色設定表示３１１、LOW色設定表示３１２についても、上述したように色の設定を行う。ただし、色の種類は、三つに限定されるものではない。
　検知範囲表示３０７、３０８、３０９は、図３の調整画面３０４では、ドーナツ形状であるが、ドーナツ形状に限定されるものではない。例えば、領域に沿った形状でもよい。すなわち、対象部位の領域が利用者に分かり易くできる表示であればよい。
　検知音設定部３０３は、対象部位の領域が検知されたことを利用者に分かり易くするために用いる音量の設定に用いる。検知音設定部３０３は、対象部位の領域が検知された場合に、検知された対象部位の領域に対応するスコアに応じて、音量を変化させるための設定に用いる。
　図３の例では、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲が設定されているので、HIGH音設定表示３１３、MIDDLE音設定表示３１４、LOW音設定表示３１５を用いて、「HIGH」「MIDDLE」「LOW」の三つのスコア範囲に対応する音量を設定する。
　HIGH音設定表示３１３の場合、HIGHに対応する音声（音）とともに、HIGH音設定表示３１３に表示されている五つの音量表示（１から５）の中から一つを利用者に選択させることにより、音量が設定される。なお、図３では数字が大きいほど音量が大きくなる。MIDDLE音設定表示３１４、LOW音設定表示３１５についても、上述したように音量の設定を行う。ただし、音量の種類は、五つに限定されるものではない。
　また、検知音は、スコア範囲によって異なる音声としてもよい。また、検知音は、例えば、音楽、ブザー音、声などの音が考えられる。
　調整画面３０４は、上述した閾値設定、検知色設定、検知音設定を行う場合に、利用者が参照する画面である。具体的には、調整画面３０４は、利用者が調整画像を参照し、各設定を変え、利用者が使用し易い設定を選択するために用いる画面である。
　解析情報生成部２は、撮像された生体の画像情報を解析して解析情報を生成する。解析情報は、対象部位の領域（対象部位画像）を表す領域情報と、対象部位らしさを表すスコア情報とを有する。
　具体的には、まず、解析情報生成部２は、内視鏡２１から出力された撮像信号を用いて制御部２２により生成された画像情報を、制御部２２から取得する。続いて、解析情報生成部２は、画像情報をモデルに入力して、モデルから出力された解析情報（領域情報とスコア情報）を取得する。続いて、解析情報生成部２は、解析情報を画像関連情報生成部４と検査画面生成部７とへ出力する。
　画像関連情報生成部４は、検査の開始を表す開始情報を取得すると、画像情報ごとに、撮像日時情報と、解析情報と、利用者情報とを関連付けて画像関連情報を生成する。なお、撮像日時情報、解析情報、利用者情報以外の情報を、画像情報に関連付けてもよい。
　図４は、プロファイル選択画面とプロファイル画面の一例を説明するための図である。例えば、検査画面生成部７は、出力装置２４のディスプレイに、ユーザインタフェースとして図４に示すようなプロファイル選択画面４１を表示させる。続いて、使用するプロファイルに対応するアイコンが利用者に選択されると、選択されたアイコンに対応するあらかじめ設定したプロファイルの内容を示すプロファイル画面４２がディスプレイに表示される。
　具体的には、図４においてプロファイル選択画面４１のアイコン「user_1」が利用者に選択されると、アイコン「user_1」に対応するあらかじめ設定されたプロファイル画面４２が表示される。続いて、プロファイル画面４２に表示された内容で検査を開始すると利用者が判断すると、利用者により検査開始表示４３が選択され、画像関連情報生成部４へ開始情報が出力される。
　なお、プロファイル選択画面４１には、利用者が共有して用いることができるアイコンを表示してもよい。例えば、有名医師のプロファイルに関連付けられているアイコン、患者の人種・性別・年齢に応じて作成されたプロアイルに関連付けられているアイコンなどが考えられる。
　続いて、画像関連情報生成部４は、解析情報生成部２が有するモデルに入力された画像情報ごとに、撮像日時情報と、モデルから出力された当該画像情報に対応する解析情報（領域情報及びスコア情報）と、利用者情報とを関連付けて画像関連情報を生成する。画像関連情報は、例えば、図５に示すような情報である。
　図５は、画像関連情報のデータ構造の一例を説明するための図である。図５に示した「画像情報」の「image_1」「image_2」「image_3」…は、例えば、画像情報のファイルネームを表す。図５に示した「撮像日時情報」の「2019/11/10/11:20:34:120」「2019/11/10/11:20:34:121」「2019/11/10/11:20:34:122」…は、例えば、画像を撮像した日時（年月日時刻）を表す。図５に示した「解析情報」における「領域情報」の「area_1」「area_2」「Area_3」…は、例えば、画像上の病変及び異常の少なくとも一方の領域を表すための座標である。図５に示した「解析情報」における「スコア情報」の「score_1」「score_2」「score_3」…は、例えば、画像から病変として腫瘍を検知している場合、検知された腫瘍領域が腫瘍領域である度合（又は確率）を表す指標である。
　なお、画像関連情報生成部４は、更に、検査において画像を撮像した順番を表す順番情報を画像情報に関連付けて、画像関連情報を生成してもよい。
　また、画像関連情報に、利用者が内視鏡を用いて画像をキャプチャしたことを表すキャプチャ情報を関連付けてもよい。このようにすることで、利用者は、キャプチャした画像を、検査後にみることが容易にできる。なお、キャプチャの検出方法としては、例えば、同じ画像（又は、変化が小さい画像）をあらかじめ設定した数検出する方法、又は同じ画像をあらかじめ設定した期間続けて検出する方法、又はスナップショットが生成されたことを検出する方法がある。
　さらに、画像関連情報に、検査中に利用者が行った検知範囲表示の色及び音量の調整をしたことを表す調整履歴情報を関連付けてもよい。
　検査管理情報生成部５は、検査の終了を表す終了情報を取得すると、検査期間を表す検査情報に、検査期間に生成された複数の画像関連情報を関連付けて検査を管理するための検査管理情報を生成する。
　具体的には、まず、検査管理情報生成部５は、検査の終了を表す終了情報を取得する。図６は、検査画面の一例を説明するための図である。例えば、検査画面生成部７は、出力装置２４のディスプレイに、ユーザインタフェースとして図６に示すような検査画面６１を表示させる。
　図６の例では、検査画面６１には、生体の画像を表示する画像表示部６２と、画像表示部６２の対象部位の領域を表す検知範囲表示６３とが表示される。また、検査中に検知範囲表示の色を調整するための色調整部６４と、検査中に音量を調整するための音量調整部６５と、検査を終了する場合に利用者に選択させる検査終了表示６６とが表示される。
　利用者が検査を終了すると判断すると、利用者により検査終了表示６６が選択され、検査管理情報生成部５へ終了情報が出力される。続いて、検査管理情報生成部５は、現在検査をしている期間を表す検査情報に、検査期間に生成された複数の画像関連情報を関連付けて検査管理情報を生成する。続いて、検査管理情報生成部５は、生成した検査管理情報を記憶装置に記憶する。検査管理情報は、例えば、図７に示すような情報である。
　図７は、検査管理情報のデータ構造の一例を説明するための図である。図７に示した「検査情報」の「check_1」は、利用者が行った検査を識別するための情報である。図７の例では、「check_1」の検査において、画像情報として「image_1」から「image_XXXXXX」を取得し、取得した画像情報それぞれに対して関連情報が関連付けられている。
　なお、図７においては、すべての画像情報に対して領域情報とスコア情報とが関連付けられているが、対象部位が検出されない場合には、領域情報とスコア情報にデータがないことを表す情報が記憶される。
　このようにすることで、画像関連情報を検査ごとに管理できるので、検査後に、利用者が画像情報及び解析情報を効率よく利用できる。
　検査画面生成部７は、画像情報と解析情報と利用者設定情報に基づいて、検査画面（画像及び音声など）を出力装置２４に出力するための出力情報を生成する。具体的には、検査画面生成部７は、図６に示したような検査画面６１を、出力装置２４のディスプレイに表示させるための出力情報を生成する。さらに、検査画面生成部７は、出力装置２４のスピーカから出力させるための出力情報を生成する。
　なお、利用者が医師で検査中に患者に検査画面をみせて説明するような場合、患者に分かり易い色にするときには、色調整部６４を用いて色を変更する。また、説明をする場合に、音声が必要ないときには、音量調整部６５を用いて音量を最小にする。
　検査結果画面生成部８は、記憶装置から検査管理情報を取得して、出力装置２４に画像及び音声などを出力する。図８は、検査結果画面の一例を説明するための図である。検査結果画面生成部８は、例えば、図８に示すような検査結果画面８１を、出力装置２４のディスプレイに表示させるための出力情報を生成する。また、検査結果画面生成部８は、例えば、出力装置２４のスピーカから出力させるための出力情報を生成する。
　図８の例では、検査結果画面８１は、画像情報に関連付けられたスコア情報に応じて、画像と解析結果を分類して表示するフィルタ部８２を有する。また、図８の例では、フィルタ部８２において、利用者に「MIDDLE」が選択されている（黒丸）ので、関連情報表示部８３には「MIDDLE」のスコア範囲に含まれるスコアに関連付けられている画像と撮像日時とスコアとが表示されている。なお、「ALL」が選択された場合は、すべての画像を参照することができるようになる。また、図８の例では、検査結果表示部８４には、関連情報表示部８３を用いて、利用者に選択された「01152」に対応する検査結果画像が表示されている。
　なお、検査終了後、検査中に行った調整をフィードバックして、プロフィールの設定を自動で変更してもよい。例えば、上述した画像関連情報が有する調整履歴情報に基づいて、プロフィールの設定を変更してもよい。
［装置動作］
　次に、本発明の実施形態における内視鏡検査支援装置の動作について図９、図１０を用いて説明する。図９、図１０は、内視鏡検査支援装置の動作一例を説明するための図である。以下の説明においては、適宜図１から図８を参照する。また、本実施形態では、内視鏡検査支援装置を動作させることによって、内視鏡検査支援方法が実施される。よって、本実施形態における内視鏡検査支援方法の説明は、以下の内視鏡検査支援装置の動作説明に代える。
　検査前の設定について説明をする。
　図９に示すように、最初に、利用者情報生成部３は、ユーザインタフェース２３を用いて利用者により入力された利用者に関連する利用者情報を生成する（ステップＡ１）。
　具体的には、ステップＡ１において、まず、利用者情報生成部３は、出力装置２４のディスプレイに、利用者に関係する情報を入力させるためのユーザインタフェース２３を表示させる。続いて、ステップＡ１において、利用者情報生成部３は、ユーザインタフェース２３を介して入力された利用者情報を取得する。続いて、ステップＡ１において、利用者情報生成部３は、利用者情報を記憶装置に記憶する。
　次に、利用者設定情報生成部６は、利用者ごとに解析情報の出力設定をするために用いる利用者設定情報（プロファイル）を生成する（ステップＡ２）。
　具体的には、ステップＡ２において、まず、利用者設定情報生成部６は、出力装置２４のディスプレイにユーザインタフェースとして利用者設定情報生成画面を表示させる。続いて、ステップＡ２において、利用者設定情報生成部６は、利用者設定情報生成画面を用いて利用者が入力した情報を取得する。続いて、ステップＡ２において、利用者設定情報生成部６は、取得した情報を用いて利用者設定情報を生成して、記憶装置に記憶する。
　検査中における動作について説明をする。
　図１０に示すように、最初に、画像関連情報生成部４は、検査の開始を表す開始情報を取得する（ステップＢ１）。
　具体的には、出力装置２４のディスプレイに表示されたプロファイル選択画面４１のアイコンが利用者に選択されると、選択されたアイコンに対応するプロファイルがプロファイル画面４２に表示される。続いて、プロファイル画面４２に表示された内容で検査を開始すると利用者が判断すると、利用者により検査開始表示４３が選択され、画像関連情報生成部４へ開始情報が出力される。
　続いて、画像関連情報生成部４は、画像情報ごとに、撮像日時情報、解析情報、利用者情報などを関連付けて画像関連情報を生成する（ステップＢ２）。
　具体的には、ステップＢ２において、画像関連情報生成部４は、解析情報生成部２が有するモデルに入力された画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、モデルから出力された画像情報に対応する解析情報（領域情報及びスコア情報）と、利用者情報とを関連付けて画像関連情報を生成する。画像関連情報は、例えば、図５に示すような情報である。
　なお、画像関連情報生成部４は、更に、検査において画像を撮像した順番を表す順番情報を画像情報に関連付けて、画像関連情報を生成してもよい。
　また、画像関連情報に、利用者が内視鏡を用いて画像をキャプチャしたことを表すキャプチャ情報を関連付けてもよい。このようにすることで、利用者は、キャプチャした画像を後でみることが容易にできる。なお、キャプチャの検出方法としては、例えば、同じ画像（又は、変化が小さい画像）があらかじめ設定した数だけ続いたことを検出する方法、又はあらかじめ設定した期間だけ続いたことを検出する方法、又はスナップショットを撮像したことを検出する方法がある。
　さらに、画像関連情報に、検査中に利用者が行った検知範囲表示の色及び音量の調整をしたことを表す調整履歴情報を関連付けてもよい。
　続いて、検査画面生成部７は、画像情報と解析情報と利用者設定情報を取得し、取得した画像情報と解析情報と利用者設定情報に基づいて、検査画面（画像及び音声など）を出力装置２４に出力するための出力情報を生成する（ステップＢ３）。
　具体的には、ステップＢ３において、検査画面生成部７は、図６に示したような検査画面６１を、出力装置２４のディスプレイに表示させるための出力情報を生成する。さらに、ステップＢ３において、検査画面生成部７は、出力装置２４のスピーカから出力させるための出力情報を生成する。
　なお、利用者が医師で検査中に患者に検査画面をみせて説明するような場合、患者に分かり易い色にするときには、色調整部６４を用いて色を変更する。また、説明をする場合に、音声が必要ないときには、音量調整部６５を用いて音量を最小にする。
　なお、ステップＢ２とステップＢ３の処理の順番は逆でもよい。
　続いて、検査管理情報生成部５は、検査の終了を表す終了情報を取得したか否かを判定する（ステップＢ４）。終了情報を取得した場合（ステップＢ４：Ｙｅｓ）、ステップＢ５の処理に移行する。また、終了情報を取得していない場合（ステップＢ４：Ｎｏ）、ステップＢ２の処理に移行してステップＢ２からＢ３の処理を継続する。
　具体的には、ステップＢ４において、利用者が検査を終了すると判断すると、出力装置２４のディスプレイに表示された検査画面６１の検査終了表示６６が利用者により検査終了表示６６が選択され、検査管理情報生成部５へ終了情報が出力される。
　続いて、検査管理情報生成部５は、現在検査をしている期間を表す検査情報に、検査期間に生成された複数の画像関連情報を関連付けて検査管理情報を生成する（ステップＢ５）。具体的には、ステップＢ５において、検査管理情報生成部５は、現在検査をしている期間を表す検査情報に、検査期間に生成された複数の画像関連情報を関連付けて検査管理情報を生成する。続いて、ステップＢ５において、検査管理情報生成部５は、生成した検査管理情報を記憶装置に記憶する。
　検査終了後において、検査結果を出力装置２４に表示する場合には、検査結果画面生成部８は、記憶装置から検査管理情報を取得して、出力装置２４に画像及び音声などを出力する。具体的には、検査結果画面生成部８は、図８に示すような検査結果画面８１を、出力装置２４のディスプレイに表示させるための出力情報を生成する。また、検査結果画面生成部８は、例えば、出力装置２４のスピーカから出力させるための出力情報を生成する。
　なお、検査終了後、検査中に行った調整をフィードバックして、プロフィールの設定を自動で変更してもよい。例えば、上述した画像関連情報が有する調整履歴情報に基づいて、プロフィールの設定を変更してもよい。
［本実施形態の効果］
　以上のように本実施形態によれば、画像情報と解析情報と利用者情報とを有する画像関連情報を検査ごとに管理できるので、検査後に、利用者が画像情報及び解析情報を効率よく利用できる。
［プログラム］
　本発明の実施形態におけるプログラムは、コンピュータに、図９に示すステップＡ１からＡ２、図１０に示すステップＢ１からＢ５を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における内視鏡検査支援装置と内視鏡検査支援方法とを実現することができる。この場合、コンピュータのプロセッサは、解析情報生成部２、利用者情報生成部３、画像関連情報生成部４、検査管理情報生成部５、利用者設定情報生成部６、検査画面生成部７、検査結果画面生成部８として機能し、処理を行なう。
　また、本実施形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、解析情報生成部２、利用者情報生成部３、画像関連情報生成部４、検査管理情報生成部５、利用者設定情報生成部６、検査画面生成部７、検査結果画面生成部８のいずれかとして機能してもよい。
［物理構成］
　ここで、実施形態におけるプログラムを実行することによって、内視鏡検査支援装置を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施形態における内視鏡検査支援装置を実現するコンピュータの一例を示すブロック図である。
　図１１に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。なお、記録媒体１２０は、不揮発性記録媒体である。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
　なお、本実施形態における内視鏡検査支援装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。さらに、内視鏡検査支援装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
［付記］
　以上の実施形態に関し、更に以下の付記を開示する。上述した実施形態の一部又は全部は、以下に記載する（付記１）から（付記１２）により表現することができるが、以下の記載に限定されるものではない。
（付記１）
　撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成する、解析情報生成部と、
　利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成する、利用者情報生成部と、
　前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成する、画像関連情報生成部と、
　複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する、検査管理情報生成部と、
　を有する内視鏡検査支援装置。
（付記２）
　　利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成する、利用者設定情報生成部を有する
　付記１に記載の内視鏡検査支援装置。
（付記３）
　前記利用者設定情報は、検査において、前記領域の表示を前記スコア情報に応じて変化させる設定情報、及び前記スコア情報に応じて音量を変化させる設定情報の少なくとも一方を有する
　付記２に記載の内視鏡検査支援装置。
（付記４）
　前記検査管理情報生成部は、前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
　付記１から３のいずれか一つに記載の内視鏡検査支援装置。
（付記５）
　撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成し、
　利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成し、
　前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成し、
　複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する
　内視鏡検査支援方法。
（付記６）
　利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成する
　付記５に記載の内視鏡検査支援方法。
（付記７）
　前記利用者設定情報は、検査において、前記領域の表示を前記スコア情報に応じて変化させる設定情報、及び前記スコア情報に応じて音量を変化させる設定情報、の少なくとも一方を有する
　付記６に記載の内視鏡検査支援方法。
（付記８）
　前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
　付記５から７のいずれか一つに記載の内視鏡検査支援方法。
（付記９）
　コンピュータに、
　撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成させ、
　利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成させ、
　前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成させ、
　複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成させる、
　命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１０）
　前記コンピュータに、
　利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成させる
　命令を含む、プログラムを記録している付記９に記載のコンピュータ読み取り可能な記録媒体。
（付記１１）
　前記利用者設定情報は、検査において、前記領域の表示を前記スコア情報に応じて変化させる設定情報、及び前記スコア情報に応じて音量を変化させる設定情報、の少なくとも一方を有する
　付記１０に記載のコンピュータ読み取り可能な記録媒体。
（付記１２）
　前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
　付記９から１１のいずれか一つに記載のコンピュータ読み取り可能な記録媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　以上のように本発明によれば、検査期間に取得した大量の生体内部画像とそれらの画像解析結果とを検査ごとに整理することができる。本発明は、大量の画像の管理が必要な分野において有用である。
　　１　内視鏡検査支援装置
　　２　解析情報生成部
　　３　利用者情報生成部
　　４　画像関連情報生成部
　　５　検査管理情報生成部
　　６　利用者設定情報生成部
　　７　検査画面生成部
　　８　検査結果画面生成部
　２０　システム
　２１　内視鏡
　２２　制御部
　２３　ユーザインタフェース
　２４　出力装置
１１０　コンピュータ
１１１　ＣＰＵ
１１２　メインメモリ
１１３　記憶装置
１１４　入力インターフェイス
１１５　表示コントローラ
１１６　データリーダ／ライタ
１１７　通信インターフェイス
１１８　入力機器
１１９　ディスプレイ装置
１２０　記録媒体
１２１　バス

Claims (9)

  1. 　撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成する、解析情報生成手段と、
    　利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成する、利用者情報生成手段と、
    　前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成する、画像関連情報生成手段と、
    　複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する、検査管理情報生成手段と、
    　を有する内視鏡検査支援装置。
  2. 　利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成する、利用者設定情報生成手段を有する
    　請求項１に記載の内視鏡検査支援装置。
  3. 　前記利用者設定情報は、検査において、前記領域の表示を前記スコア情報に応じて変化させる設定情報及び前記スコア情報に応じて音量を変化させる設定情報の少なくとも一方を有する
    　請求項２に記載の内視鏡検査支援装置。
  4. 　前記検査管理情報生成手段は、前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
    　請求項１から３のいずれか一つに記載の内視鏡検査支援装置。
  5. 　撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成し、
    　利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成し、
    　前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成し、
    　複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成する
    　内視鏡検査支援方法。
  6. 　利用者ごとに前記解析情報の出力設定をするために用いる利用者設定情報を生成する
    　請求項５に記載の内視鏡検査支援方法。
  7. 　前記利用者設定情報は、検査において、前記領域の表示を前記スコア情報に応じて変化させる設定情報及び前記スコア情報に応じて音量を変化させる設定情報の少なくとも一方を有する
    　請求項６に記載の内視鏡検査支援方法。
  8. 　前記検査の終了を表す終了情報を取得すると、前記検査管理情報を生成する
    　請求項５から７のいずれか一つに記載の内視鏡検査支援方法。
  9. 　コンピュータに、
    　撮像された生体の画像情報をモデルに入力し、前記生体の対象部位の領域を推定し、推定した前記領域を表す領域情報と、前記領域の前記対象部位らしさを表すスコア情報とを有する解析情報を生成させ、
    　利用者によりユーザインタフェースを用いて入力された前記利用者に関連する利用者情報を生成させ、
    　前記画像情報ごとに、画像を撮像した日時を表す撮像日時情報と、前記解析情報と、前記利用者情報とを関連付けて画像関連情報を生成させ、
    　複数の前記画像関連情報を、検査期間を表す検査情報に関連付けて検査管理情報を生成させる、
    　命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
PCT/JP2020/000647 2020-01-10 2020-01-10 内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体 WO2021140644A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/635,786 US20220287550A1 (en) 2020-01-10 2020-01-10 Endoscopy support apparatus, endoscopy support method, and computer readable recording medium
JP2021569688A JP7276513B2 (ja) 2020-01-10 2020-01-10 内視鏡検査支援装置、内視鏡検査支援方法、及びプログラム
PCT/JP2020/000647 WO2021140644A1 (ja) 2020-01-10 2020-01-10 内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体
EP20912344.7A EP4088645A4 (en) 2020-01-10 2020-01-10 ENDOSCOPY ASSISTANT DEVICE, ENDOSCOPY ASSISTANT METHOD AND COMPUTER READABLE RECORDING MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/000647 WO2021140644A1 (ja) 2020-01-10 2020-01-10 内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2021140644A1 true WO2021140644A1 (ja) 2021-07-15

Family

ID=76787471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000647 WO2021140644A1 (ja) 2020-01-10 2020-01-10 内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US20220287550A1 (ja)
EP (1) EP4088645A4 (ja)
JP (1) JP7276513B2 (ja)
WO (1) WO2021140644A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021173633A (ja) * 2020-04-24 2021-11-01 株式会社島津製作所 材料試験機、及び材料試験機における表示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079648A (ja) 2006-09-25 2008-04-10 Techmatrix Corp 医用画像データ処理システム
JP2016221065A (ja) * 2015-06-01 2016-12-28 オリンパス株式会社 検査業務支援システム
JP2017056123A (ja) * 2015-09-18 2017-03-23 Hoya株式会社 電子内視鏡用画像記録システム
WO2018043550A1 (ja) * 2016-08-31 2018-03-08 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019078102A1 (ja) * 2017-10-20 2019-04-25 富士フイルム株式会社 医療画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5905171B2 (ja) * 2014-02-19 2016-04-20 オリンパス株式会社 表示装置
EP3633987A4 (en) * 2017-06-02 2020-04-08 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC AID, AND MEDICAL WORK AID
CN110770842B (zh) * 2017-06-19 2024-02-23 奥林巴斯株式会社 医疗信息处理系统和医疗信息处理方法
JP6834001B2 (ja) * 2017-07-03 2021-02-24 富士フイルム株式会社 医療画像処理装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
TW202037327A (zh) * 2018-11-21 2020-10-16 日商Ａｉ醫療服務股份有限公司 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
JP6872581B2 (ja) * 2018-12-04 2021-05-19 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079648A (ja) 2006-09-25 2008-04-10 Techmatrix Corp 医用画像データ処理システム
JP2016221065A (ja) * 2015-06-01 2016-12-28 オリンパス株式会社 検査業務支援システム
JP2017056123A (ja) * 2015-09-18 2017-03-23 Hoya株式会社 電子内視鏡用画像記録システム
WO2018043550A1 (ja) * 2016-08-31 2018-03-08 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019078102A1 (ja) * 2017-10-20 2019-04-25 富士フイルム株式会社 医療画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4088645A4

Also Published As

Publication number Publication date
EP4088645A4 (en) 2023-03-29
JP7276513B2 (ja) 2023-05-18
US20220287550A1 (en) 2022-09-15
EP4088645A1 (en) 2022-11-16
JPWO2021140644A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
KR102013868B1 (ko) 수술 최적화 방법 및 장치
US9295372B2 (en) Marking and tracking an area of interest during endoscopy
US20100080427A1 (en) Systems and Methods for Machine Learning Based Hanging Protocols
US20120166211A1 (en) Method and apparatus for aiding imaging diagnosis using medical image, and image diagnosis aiding system for performing the method
JP2009077765A (ja) 内視鏡システム
CN113902642B (zh) 一种医学图像处理方法、装置、电子设备和存储介质
US11937767B2 (en) Endoscope
CN107633531A (zh) 图像处理装置、图像处理方法以及计算机可读介质
KR20190095922A (ko) 조직의 제어된 치료, 및 조직 및/또는 치료 데이터와의 동적 상호작용, 및 그 비교
US20220084194A1 (en) Computer program, processor for endoscope, and information processing method
JP5995415B2 (ja) 医療診断支援装置、情報処理方法及びプログラム
JP2012249964A (ja) 診療支援装置、診療支援方法
JP2020156903A (ja) 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
EP4149362A1 (en) Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured
WO2021140644A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体
JP6448588B2 (ja) 医療診断支援装置、医療診断支援システム、情報処理方法及びプログラム
CN107633478B (zh) 图像处理装置、图像处理方法以及计算机可读介质
US20220095889A1 (en) Program, information processing method, and information processing apparatus
WO2021177943A1 (en) Explanation of machine-learned models using image translation
JP2005185565A (ja) 医療情報処理システム
JP5385948B2 (ja) 舌診支援プログラム、舌診支援装置
WO2021103316A1 (zh) 图像目标区域的确定方法、装置和系统
JP2019162314A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023550630A (ja) 臨床記録データ生成方法及び装置
WO2023282144A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912344

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021569688

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020912344

Country of ref document: EP

Effective date: 20220810