WO2022124315A1 - 内視鏡診断支援方法及び内視鏡診断支援システム - Google Patents

内視鏡診断支援方法及び内視鏡診断支援システム Download PDF

Info

Publication number
WO2022124315A1
WO2022124315A1 PCT/JP2021/045003 JP2021045003W WO2022124315A1 WO 2022124315 A1 WO2022124315 A1 WO 2022124315A1 JP 2021045003 W JP2021045003 W JP 2021045003W WO 2022124315 A1 WO2022124315 A1 WO 2022124315A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
data
endoscopic
image
observation
Prior art date
Application number
PCT/JP2021/045003
Other languages
English (en)
French (fr)
Inventor
博和 野里
祐太 河内
英徳 坂無
正宏 村川
篤史 池田
Original Assignee
国立研究開発法人産業技術総合研究所
国立大学法人 筑波大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所, 国立大学法人 筑波大学 filed Critical 国立研究開発法人産業技術総合研究所
Priority to JP2022568297A priority Critical patent/JP7388648B2/ja
Priority to CN202180093283.7A priority patent/CN116916807A/zh
Priority to US18/256,083 priority patent/US20240038391A1/en
Publication of WO2022124315A1 publication Critical patent/WO2022124315A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof

Definitions

  • the present invention relates to an endoscopic diagnosis support method and an endoscopic diagnosis support system for an organ having a cavity such as a bladder.
  • bladder cancer is said to have a recurrence rate of 50% 2 years after TUBRT surgery. This is because the flat lesions surrounding small lesions and elevated lesions are not completely removed.
  • the major causes are "oversight" in which the bladder to be observed cannot be observed and "missing” in which the bladder is observed but not recognized as a lesion.
  • the accuracy of the inspection depends on the skill and experience of the inspector. In order to reduce the recurrence rate, it is important to improve the detection accuracy of lesions in cystoscopy, and it is necessary to supplement the skill and experience with the support of digital technology and improve the diagnostic accuracy.
  • Patent Document 1 As a technique for recording the status of endoscopy, a position acquired by a sensor attached to the tip of the endoscope on a model image of an organ disclosed in Japanese Patent No. 571757 (Patent Document 1). Based on a system for pasting and recording an endoscopic image based on information on the direction and distance information derived from the endoscopic image disclosed in Japanese Patent No. 6704095 (Patent Document 2) and an image of an internal part 3 A program for estimating the future state of the target site from the amount of deterioration between the map data generated by the three-dimensional texture mapping and the past map data, and the endoscopic image disclosed in Japanese Patent Publication No. 2017-534322 (Patent Document 3).
  • Non-Patent Document 1 discloses a self-position estimation technique used to create a map from information of a moving camera or sensor and to estimate where it is on the map.
  • the doctor who is the surgeon operates the endoscope judges the lesion by diagnosing the inside of the target organ by direct observation, and takes an endoscopic image of the suspicious part. , Recorded as an inspection report. Surgery and treatment are performed based on this test report, but it is premised that the inside of the target organ is observed thoroughly and where the captured image was taken is correctly recorded.
  • the current endoscopy system whether or not all the parts of the target organ to be observed can be observed, and where the captured image was taken, are reported based on the memories and memos of the doctor's examination. It has been recorded and its accuracy varies depending on the skill and experience of the doctor.
  • An object of the present invention is to provide an endoscopic diagnosis support method and a system capable of clearly determining an area that has been inspected and an area that has not been inspected.
  • Another object of the present invention is to provide an endoscopic diagnosis support method and a system capable of improving the diagnostic accuracy without newly increasing the learning data even if the learning data is small, in addition to the above-mentioned object. ..
  • an image pickup device provided at the tip of an endoscope is inserted inside a cavity in a subject's organ, and the organ is based on a plurality of frames including an endoscope image captured by the image pickup device.
  • the target is an endoscopic diagnosis support method that supports the diagnosis of the presence or absence of lesions using a computer.
  • the computer performs the following first to sixth steps according to the installed computer program.
  • the observation campus data is an electronic data of the observation campus.
  • a keyframe is determined that contains one or more anatomical structures in which the frame can locate the organ within the cavity, and the keyframe position data of the keyframe with respect to the observed campus data.
  • the key frame is one or more tissues (in the case of a bladder, two ureteral meatus, a urethral meatus, or the apex where air bubbles collect) as a reference point when determining a relative position in the cavity. ..
  • the key frame position data is data relating to the position of one or more tissues serving as a reference point on the observation campus. Specifically, if the observation campus is a simulated deployment observation campus, the data is related to the positions of one or more organizations determined by the position coordinates on the simulated deployment observation campus.
  • the marking of the key frame position data of the key frame means that the position information and the frame number are associated with the observation campus data and stored.
  • the key frame is used as the first front frame, and three or more key points existing on the front frame and the rear frame in the plurality of frames are determined, and the coordinates of the key points in the endoscopic image are determined. Is calculated.
  • the coordinates of the key points in the endoscopic image are calculated using the image feature points used in the known self-position estimation technique as disclosed in Non-Patent Document 1.
  • the displacement amount between the front frame and the rear frame is calculated based on the coordinates in the endoscopic image of three or more key points.
  • the displacement amount includes the direction and angle in which the three or more key points in the front frame move, and the distance between the three or more key points in the front frame and the rear frame.
  • the observed campus data is based on at least the displacement and the first keyframe position data first marked in the second step and the next keyframe position data later marked in the second step.
  • the fixed position data of a plurality of rear frames is marked.
  • the position data of multiple rear frames is used as the provisional position data of multiple rear frames until the next key frame position data is determined, and when the next key frame position data is determined, the first key frame position data and the next Marking of the fixed position data of the rear frame is performed so that the provisional position data of the plurality of rear frames is accommodated between the key frame position data and the key frame position data of.
  • the position data determined here is the absolute position information and the frame number with the center of the observation campus as the origin.
  • the interim position data of the rear frame contains the position information and the frame number relative to the first key frame position data.
  • the relative position information is the coordinates of the segment where one anatomical structure, which is a key frame in a matrix formed by arranging multiple segments of the same size and shape assumed on a simulated deployment observation campus, is located. Coordinate position data defined with the position as a reference point and a symbol indicating the type thereof may be attached. When such a matrix is used, it is easy to continuously show the relative position information on the development view, so that complicated processing such as joining observation images or mapping in three dimensions is performed.
  • the advantage is that it is easy to record where in the organ you have observed without having to do this. Then, if the observation campus data of the inner wall in the target organ is marked with the fixed position data, it is possible to clearly judge the area that has been inspected and the area that has not been inspected, so that the area inside the target organ can be clearly determined. It is possible to observe, and it is possible to correctly record where the captured image was taken.
  • the plurality of frames are marked with respect to the observation campus data in parallel with the execution of the second step to the fifth step or after performing the second step to the fifth step. Based on multiple position data and endoscopic images in multiple frames, we support the image diagnosis of the presence or absence of lesions in organs.
  • the sixth step can be realized using at least one of the following trained diagnostic imaging models. Specifically, in the sixth step, it can be executed using the trained diagnostic imaging model trained using the data recorded in the endoscopic image database as training data. If the endoscopic image database is an endoscopic image database containing image data with annotation information, the endoscopic image database can be learned by including the extended annotation information obtained by extending the annotation information using the annotation expansion model. Even if the amount of data is small, the diagnostic accuracy can be improved without newly increasing the training data.
  • annotation extension model it is preferable to use an autoencoder-based annotation extension model composed of an encoder and a decoder.
  • the annotation extension model uses the diagnostic imaging model as a feature extractor and inputs the lesion endoscopic image recorded in the endoscopic image database as input to the feature quantity extracted from the middle layer of the diagnostic imaging model and the lesion endoscope.
  • a set of annotation information corresponding to an image is input to the encoder, and the latent variables and feature quantities output from the encoder are inversely calculated by the decoder to learn to estimate the extended annotation information.
  • the annotation extension model preferably randomly expands the extension annotation information. Random expansion means that not all the obtained extended annotation information is adopted, but the extended annotation information randomly selected from the obtained extended annotation information is adopted. By doing so, it is possible to obtain the extended annotation information without biasing without increasing the extended annotation information more than necessary.
  • the endoscopic image database further includes extended data obtained by expanding the data of the lesion endoscopic image recorded in the endoscopic image database using data expansion technology and an expanded data set of extended annotation information. There is. If the extended data set is included in the endoscopic image database, the training accuracy can be further improved with a small amount of data without newly increasing the training data.
  • a region in the endoscopic image that is likely to be a lesion is detected using a trained diagnostic imaging model that has been trained using the data recorded in the endoscopic image database as training data.
  • the diagnosis may be assisted by diagnosing whether the area with a high possibility of lesion is a lesion.
  • the endoscopic image contains both the part that seems to be normal and the part that seems to be a lesion. Therefore, if a diagnosis of normality or lesion is made as a target for evaluating a region having a high possibility of lesion, the diagnostic accuracy can be improved rather than evaluating the whole.
  • the trained diagnostic imaging model used in this case extracts the image features in all the pixels from the endoscopic image, identifies the region with high lesion from the endoscopic image, and is in the region with high possibility of lesion. Using the image features of multiple pixels, the lesion features of the area with high possibility of lesions are obtained, and the areas with high possibility of lesions are classified into normal and lesions from the lesion features. It is preferable to use it.
  • a region-limited feature amount calculation unit that calculates a region-limited feature amount limited to It is preferable to include a lesion classification diagnostic imaging model that classifies regions with high possibility of lesions into normal and lesions based on the candidate feature amount. By using such a trained diagnostic imaging model, it is possible to improve the determination accuracy of a region having a high possibility of a lesion.
  • the image feature amount in this case is preferably obtained from the intermediate layer of the lesion region detection diagnostic imaging model.
  • the observation position display that displays multiple observed areas on the map that imitates the observation campus
  • the lesion position display that displays the observed area where the lesion exists on the map that imitates the observation campus
  • the lesion At least one of the diagnosis result display displaying the malignancy and type of the lesion in the existing observed area and the display of the subject's chart information may be displayed on the display screen of the display device. In this way, the observation result and the diagnosis result can be confirmed on the display screen.
  • the present invention can also be grasped as a category of endoscopic diagnosis support system.
  • FIG. 1 It is a figure which shows the flowchart which shows the outline when the endoscopic diagnosis support method of this invention is carried out using a computer. It is a figure which shows the flowchart which shows the algorithm of the observation recording step. It is a figure which shows an example of the observation campus when the bladder is the observation target. It is a figure which shows the observation campus data in the form of a matrix. It is a figure which shows the provisional marking of the first key frame position data on the observation campus data.
  • (A) to (D) are diagrams showing an endoscopic image showing an anatomical structure in the bladder which is a key frame.
  • (A) and (B) are diagrams showing examples of key points calculated from a front frame and a rear frame, respectively.
  • FIGS. (A) to (C) are diagrams used to explain an example of provisional marking of position data of a plurality of rear frames.
  • (A) to (C) are used to explain that the relative spacing of the plurality of rear frames during this period when the next key frame position data is determined is determined.
  • It is a figure which shows an example of observation campus data. It is a figure which shows the marking state of the observation campus corresponding to the observation campus data. It is a figure which shows the basic structure of a diagnostic imaging support system. It is a figure which shows the structure of the image diagnosis support system by annotation extension. It is a figure which shows the flow chart of learning of the annotation information extension model.
  • (A) and (B) are diagrams showing annotation information corresponding to a bladder endoscopic image and extended annotation information.
  • FIG. 1 It is a figure comparing the diagnostic accuracy before and after applying the annotation extension. It is a figure which shows the flowchart in the case of making the lesion classification image diagnosis model by the image diagnosis model which limited the lesion area.
  • (A) and (B) are diagrams showing the results of lesion classification before and after using the lesion classification diagnostic imaging model in the lesion region limited diagnostic imaging model. It is a figure which shows an example of the display screen which displayed the observation result and the diagnosis result. It is a figure which shows the other example of the display screen which displayed the observation result and the diagnosis result. It is a figure which shows an example of an output report.
  • the endoscopic diagnosis support method and system of the present invention include an endoscopic image taken by an image pickup device by inserting an image pickup device provided at the tip of the endoscope inside a cavity in a subject's organ. Based on multiple frames, we will support the diagnosis of the presence or absence of organ lesions using a computer.
  • FIG. 1 is a flowchart showing an outline of a plurality of steps to be performed when the endoscopic diagnosis support method of the present invention is realized by using a computer. As shown in FIG. 1, the endoscopic image EI obtained from the existing endoscopic system ES is processed by the observation recording step ORS and the diagnostic imaging support step IDS.
  • an observation record is obtained from the endoscopic image EI and stored as observation record information ORI in a storage means of a computer.
  • image diagnosis support step IDS support information for diagnosing the presence or absence of an organ lesion from the endoscopic image EI is stored in a computer storage means as an image diagnosis result IDR.
  • the diagnosis support information display step unit SID realized by a computer outputs a diagnosis report including at least one of the observation record information ORI and the image diagnosis result IDR on the screen of the display device, a medical record, or the like.
  • the form of output is arbitrary. For example, a moving image displaying the image diagnosis result IDR on the screen may be output.
  • FIG. 2 shows a specific processing flow in the observation recording step ORS in the embodiment of the endoscopic diagnosis support method of the present invention.
  • the preparatory step (first step) S1 of the observation campus is performed in advance, and then the frame marking step (second step) S2, Observation recording is performed by performing the key point calculation step (third step) S3, the front-rear frame displacement amount calculation step (fourth step) S4, and the front-rear frame marking step (fifth step) S5.
  • a computer program for performing these steps is installed in the computer to realize a plurality of means for performing each step inside the computer. ..
  • a computer program for an endoscopic diagnosis support system is also configured to include algorithms that perform these steps.
  • step S1 the observation campus data about the observation campus for the endoscopic image of the cavity of the organ is prepared as electronic data in the memory of the computer.
  • the observation campus data is an electronic data of the observation campus.
  • a simulated deployment observation campus SOC in which the positions of a plurality of openings and the apex of the cavity of the organ are generally specified and one opening is arranged in the central portion can be used.
  • FIG. 3 shows an example of a simulated deployment observation campus when the bladder is used as the organ to be observed.
  • the bladder is assumed to be a sphere, and two hemispheres, the anterior wall side (ventral) and the posterior wall side (back) of the bladder, are prepared as circles. ..
  • the left and right ureteral openings as openings (for example, 3/8 from the bottom of the upper circle and 1/4 left and right), the interureteral ligaments between them, and the urethral openings as openings (2).
  • the center of the joint between the two circles) and the top are drawn.
  • FIG. 4 is a conceptual diagram when the simulated deployment observation campus SOC of FIG. 3 is used as observation campus data.
  • a symbol indicating the existence and type of position data is displayed in the matrix MX formed by arranging a plurality of segments (square segments in this example) of the same size and shape assumed on the simulated deployment observation campus.
  • the attached data will be used as observation campus data.
  • ellipses instead of hemispheres to make a simulated deployment observation campus. As shown in FIG.
  • a flag (0) indicating that there is no unobserved or position data is set as an initial value in the region of all the segments sg of the matrix MX of the observed campus data.
  • the position information (coordinates) of the two-dimensional array with the urinary meatus as the origin in the simulated development observation campus SOC is individually attached to each segment sg.
  • a flag (1) indicating that the left ureteral opening is observed but uncertain is attached to the corresponding segment.
  • a key frame containing one or more anatomical structures capable of locating the organ in the cavity in the frame is determined and keyed to the observed campus data.
  • Mark the keyframe position data of the frame is one or more anatomical structures that serve as a reference point when determining a relative position in a cavity (in the case of a bladder, two ureteral meatus, a urethral meatus, and a top where air bubbles collect).
  • the position data is the absolute position information with respect to the origin or the position information relative to the reference point and the frame number in the observation campus data.
  • Key frame position data is data relating to the position of one or more anatomical structures that serve as reference points on the observation campus. Specifically, if the observation campus is a simulated deployment observation campus, the data are related to the positions of one or more anatomical structures determined by the position coordinates on the simulated deployment observation campus.
  • the marking of the key frame position data of the key frame means that the position information (coordinates of the segment sg) and the frame number of the image are stored in association with the observation campus data.
  • the frame in which either the left or right ureteral ostium is reflected in the image of the frame taken by the bladder endoscope shown in FIG. 6 is determined as the start key frame, and the corresponding area on the observation campus is the start key frame.
  • the marking is a flag (1) indicating that the flag of the corresponding area (segment) on the observation campus is an observed candidate, and the position information is associated with the frame image. That is.
  • the initial value [flag (1)] of the marking area is set in a circle having a size of 1/10 of the circle of the observation campus, with the size that is always in the field of view when observing the bladder endoscope as a guide. Given to the incoming segment.
  • the start key frame is set as the first front frame, and three or more key points existing on the front frame and the rear frame in the plurality of frames are determined and the key points are determined.
  • the key point is a pixel indicating the same place on the inner wall of the organ reflected in the continuous front and rear frames.
  • the calculation of the coordinates in the endoscopic image of the key point is a known self-position as disclosed in Visual SLAM (Simultaneous Localization and Mapping: map construction / self-position estimation) applied in automatic driving and robot vision. It is possible to use the image feature points used in the estimation technique. Many characteristic parts reflected in the frame are recognized as feature points, and the coordinates of the key points in the endoscopic image are calculated with the feature points as common parts.
  • the displacement amount calculation step (fourth step) S4 three or more key points in the front frame and three or more key points in the rear frame are based on the coordinates in the endoscopic image of the three or more key points. Calculate the amount of displacement between the key points.
  • the displacement amount includes the direction and angle in which the three or more key points in the front frame move, and the distance between the three or more key points in the front frame and the rear frame.
  • the relative position information of the rear frame calculated from the position information of the front frame marked on the observation campus is calculated, the position information and the frame image are linked, and the rear frame is continuous with the front frame. Mark as the next rear frame.
  • the observed candidate flag (1) is marked on the observation campus while repeating the above process until the next key frame is detected.
  • FIG. 7 (A) and 7 (B) show endoscopic images of the anterior and posterior frames imaged on the inner wall of the bladder.
  • the three points A, B, and C in the front frame correspond to the three points A', B', C'in the rear frame.
  • the coordinates of the three points A, B, and C are A (x A , y A ), B (x B , y B ), and C (x C , y C ), and the three points A', B', C'
  • the moving distance and direction of the front and rear frames Is the difference between the center of gravity G of the three points A, B, C in the front frame and the center of gravity G'of the three points A', B', C'in the rear frame obtained by the following equation (1) of the center of gravity G. It can be obtained as a vector of G'-G).
  • the displacement of the size from the front frame to the rear frame can be calculated by the average difference of the distances from the three points to the center of gravity as shown in the following equation (2).
  • the rotation can be calculated from the average of the angles formed by the vectors from the three points to the center of gravity, as shown in the following equation (3).
  • the front-back frame marking step (fifth step) S5 at least the displacement amount and the first keyframe position data marked first in the second step and the next keyframe position data marked later in the second step.
  • the observed campus data is marked with fixed position data for multiple posterior frames.
  • the provisional position data of the plurality of rear frames is marked as the provisional position data of the plurality of rear frames until the next key frame position data is determined.
  • the flag of each segment indicating the relative position of each frame remains the observed candidate (1).
  • FIG. 8B and 8C the flag of each segment indicating the relative position of each frame remains the observed candidate (1).
  • the relative information from the start key frame that has been marked up to that point is the relative position of the frame with the observation candidate flag (1) on the observation campus so that the marking area size and travel distance are halved.
  • the coefficient and area size of the travel distance calculation formula are halved, and space is provided on the observation campus so that the marking step can be continued thereafter.
  • the coefficient of "1/2" is for convenience, and is not limited to this value, as it is determined so that a plurality of rear frames as observed candidates do not appear on the matrix.
  • the first key frame position data position data of the left urinary tract opening
  • the next key are determined. Adjust the relative positions of the multiple provisional rear frames so that the position data of the multiple provisional rear frames (as observed candidates) fit between the frame position data and confirm the marking of the rear frame position data. do.
  • the relative positions of the plurality of rear frames between the two key frame positions are determined, and the absolute position is determined. Will be done. As shown in FIGS.
  • the position data of each frame whose observation is confirmed includes the absolute position information (coordinates) and the frame number of the plurality of segments sg of the observed position.
  • the absolute position information is a row of an array with the urinary meatus as the origin in the matrix MX formed by arranging a plurality of segments sg of the same size and shape assumed on the simulated deployment observation campus. It is represented by the coordinates determined by the column.
  • the flags in the plurality of segments of the observation campus data are displayed. , It becomes either a flag (0) indicating that there is no marking or a flag (2) indicating that there is marking.
  • FIG. 10B the area of the plurality of segments of the flag (0) is set to black, the area of the plurality of segments of the flag (2) is set to gray, and the area of the observation campus is displayed in different colors. Then, it is possible to clearly indicate the presence / absence and location of the area (gray color area) that is not observed by the endoscope.
  • the anterior-posterior frame marking step (fifth step) S5 for a frame diagnosed as having a possibility of being a frame containing a lesion, in the anterior-posterior frame marking step (fifth step) S5.
  • the absolute position information and frame number of the segment corresponding to each frame can be used to identify the imaging position of the frame containing the lesion. This makes it possible to inform the proper location of the lesion when performing a subsequent work-up or surgery.
  • the diagnostic imaging support step IDS (sixth step) of FIG. 1 is performed for a plurality of frames in parallel with the execution of the second step to the fifth step, and is marked with respect to the observation campus data. Based on the position data of the organ and the endoscopic images in multiple frames, we support the image diagnosis of the presence or absence of lesions in organs. However, after performing the second step to the fifth step, the presence or absence of organ lesions is imaged based on the plurality of position data marked with respect to the observation campus data and the endoscopic images in the plurality of frames. You may try to assist in the diagnosis.
  • image diagnosis support is performed using the trained image diagnosis model as follows.
  • the trained diagnostic imaging model is realized in a computer and constitutes so-called artificial intelligence together with a database.
  • the image diagnosis support step IDS (sixth step) has been trained and generated by the image diagnosis model DM using the data recorded in the endoscopic image database DB as learning data. It can be realized by an image diagnosis support system having artificial intelligence using an image diagnosis model TDM.
  • the doctor shows normal normal endoscopic image data and lesion endoscopic image data including lesions, and whether or not there is a lesion in these images. Annotation information data indicating information is recorded.
  • a sixth step (support system) is realized in order to observe the endoscopic image EI by using the trained diagnostic imaging model TDM obtained by learning the diagnostic imaging model DM using these data. ..
  • a deep learning model used for image classification and object detection such as GoogleNet, Inception model, U-Net, ResNet, YOLO, SSD can also be used.
  • Artificial intelligence improves its diagnostic accuracy depending on the quality and quantity of learning data.
  • the image quality is good, but accurate annotation information by a doctor is set. Therefore, in this example, normal and lesion endoscopic images and annotation information are recorded in the endoscopic image database.
  • FIG. 12 shows a configuration of an image diagnosis support system that implements an image diagnosis support step IDS (sixth step) using an annotation extended model AEM in order to solve this problem.
  • the annotation extended model AEM is provided in the endoscope image database DB to create extended annotation information.
  • FIG. 13 shows a specific flow for learning the annotation extension model AEM.
  • the annotation extension model AEM shown in FIG. 13 is an autoencoder-based annotation extension model composed of an encoder E and a decoder D. The autoencoder learns parameters so that even if the dimension of the input information is restored by the decoder D using the latent variable once compressed by the encoder E, the input information and the output information return to the same information.
  • This annotation extension model uses the diagnostic imaging model DM as a feature extractor FE and inputs each pixel from the intermediate layer of the diagnostic imaging model DM by inputting the lesion endoscopic image LEI recorded in the endoscopic image database.
  • the feature amount (H, W, M) corresponding to the above is obtained, input to the encoder E together with the annotation information (H, W, C) corresponding to the lesion endoscopic image LEI, and output from the encoder E.
  • Extended annotation information (H, W, C') as new encoder information by inversely calculating the variables (1, 1, L) and the feature quantities (H, W, M) obtained from the feature extractor FE with the decoder D. Is configured to generate.
  • the latent variable is a variable that influences the interpretation of the relationship between the variables, and is, for example, a variable that influences the habit of annotating the endoscope image in the endoscope image database.
  • the feature amount H is "Feature Map Height”, which is a feature amount in the height direction of the pixel array in the feature map of the convolutional neural network.
  • W is "Feature Map Width”, which is a feature amount in the width direction of the pixel array in the feature map of the convolutional neural network.
  • M is “Feature Map Depth”, which is a feature amount in the depth direction of the pixel in the feature map of the convolutional neural network.
  • C is "Number of Classes", which is the number of classes assigned to each pixel in the annotation information.
  • L is "Latent Vector Length", which is the latent vector length of the latent variable.
  • annotation extension model AEM useful extended annotation information can be provided to the doctor from the endoscopic image in the original endoscopic image database even if the training data is small, without newly increasing the annotation information. You can get a new one without forcing it.
  • GAN Geneative Adversarial Network
  • VAE Virtual Autoencoder
  • 14 (A) and 14 (B) show examples of a plurality of extended annotation information generated by the trained annotation extended model from the target endoscopic images, respectively. As can be seen in these figures, it is possible to generate multiple extended annotation information from the same endoscopic image that is close to the original annotation information given by the doctor.
  • the annotation extension model AEM randomly expands the extension annotation information.
  • the extended annotation information is generated according to the probability distribution defined by the latent variable in the learned annotation extended model. Random expansion means that the latent variables are randomly selected to generate the extended annotation information, instead of generating all the extended annotation information according to the probability distribution. Specifically, as described in the examples of FIGS. 14A and 14B, it means that, for example, one extended annotation information is randomly generated from the five extended annotation information that can be generated. By doing so, it is possible to obtain the extended annotation information without biasing without increasing the extended annotation information more than necessary.
  • the existing data expansion method if M times the existing data expansion and L times the annotation expansion are performed for N data sets, the extended data set will be L ⁇ M ⁇ N data sets. Is extended to.
  • FIG. 15 shows a case where the expansion model is trained using the training data obtained by adding the expansion data expanded by using the existing data expansion to the existing training data, and the case where the expansion data obtained by the existing data expansion and the annotation expansion are obtained.
  • the diagnostic accuracy F when the extended model is trained by adding the data to the existing training data as the training data is shown.
  • the horizontal axis is the ratio of training data
  • baseline 1.0 is the case where 100% of the training data in the endoscopic image database is used for training
  • student 1.0 is the case where the extended data obtained by existing data expansion is used for training.
  • This is a case where the extended data obtained by the existing data expansion and the extended data obtained by the annotation expansion are used for training for 100% of the training data in the spectroscopic image database. From FIG.
  • the diagnostic accuracy F when the annotation extension used for learning is used is improved.
  • the accuracy is better than when only data expansion with 100% of the training data amount is used, and learning accuracy with data with few annotation expansion methods. It can be seen that it is improving.
  • the annotation extension model AEM trained by the training data set is used.
  • the learning accuracy of the diagnostic imaging model DM can be further improved.
  • the diagnostic imaging support system that implements the sixth step, it is possible to have lesions in the endoscopic image using a trained diagnostic imaging model that has been trained using the data recorded in the endoscopic image database as training data.
  • the diagnosis may be assisted by detecting a region with high sex and diagnosing whether the region with high possibility of lesion is a lesion.
  • the endoscopic image contains both the part that seems to be normal and the part that seems to be a lesion. Therefore, if a diagnosis of normality or lesion is made as a target for evaluating a region having a high possibility of lesion, the diagnostic accuracy can be improved rather than evaluating the whole.
  • FIG. 16 shows a specific example for creating a learned image diagnosis model (learned lesion area detection image diagnosis model and learned lesion classification image diagnosis model) for performing image diagnosis support by area-limited lesion classification in the sixth step.
  • the lesion area detection diagnostic imaging model LADM used in FIG. 16 is an diagnostic imaging model for extracting image feature quantities (H, W, M) in all pixels from the lesion endoscopic image LEI and the normal endoscopic image NEI. be.
  • the region with high lesion is identified from the endoscopic images LEI and NEI, and the feature of the region with high possibility of lesion is used by using the image features of multiple pixels in the region with high possibility of lesion.
  • the amount (region-limited feature amount: H, W, M ⁇ 0/1) is calculated.
  • the lesion candidate feature amount (1,1, avg (M ⁇ 1)) is obtained from this region-limited feature amount: H, W, M ⁇ 0/1).
  • This lesion candidate feature amount (1,1, avg (M ⁇ 1)) is an average value in the region where the feature amount M of each pixel (pixel) is 1 part of the lesion candidate mask (H, W, 0/1). Is.
  • the region with a high possibility of lesion is classified into normal and lesion based on the lesion candidate feature amount (1,1, avg (M ⁇ 1)).
  • a diagnostic imaging model for creating a trained diagnostic imaging model for diagnostic support is constructed.
  • the lesion area detection diagnostic imaging model LADM creates a lesion probability map (H, W, L) from the image features (H, W, M) of all the pixels in one image and the endoscopic image.
  • Resnet 50 which is a convolutional neural network having a depth of 50 layers
  • the binarization processing unit BP binarizes the lesion probability map (H, W, L) to create a lesion candidate mask (H, W, 0/1). Further, as the binarization processing unit BP, "Otsu's binarization method", which is an image binarization method, can be used.
  • the area-limited feature amount calculation unit ALFC multiplies the image feature amount (H, W, M) and the lesion candidate mask (H, W, 0/1) to limit the area-limited feature amount to the area with a high possibility of lesion. Find (H, W, M ⁇ 0/1).
  • the lesion candidate feature amount calculation unit LFC averages the portion of the limited region (M ⁇ 1) of the region-limited feature quantity (H, W, M ⁇ 0/1) to form a lesion candidate in a region with a high possibility of lesion.
  • the feature amount (1,1, avg (M ⁇ 1)) is calculated.
  • the lesion classification diagnostic imaging model LCDM classifies the region having a high possibility of lesion into normal and lesion based on the lesion candidate feature amount (1,1, avg (M ⁇ 1)).
  • a multi-layer perceptron method (MLP method) including a softmax function (Softmax), which is an activation function, can be used for the lesion classification diagnostic imaging model LCDM.
  • Softmax softmax function
  • the image feature amounts (H, W, M) of each pixel are obtained from the intermediate layer of the lesion region detection image diagnosis model LADM.
  • the learned lesion area detection image diagnosis model and the learned lesion obtained by learning the lesion area detection image diagnosis model LADM and the lesion classification image diagnosis model LCDM shown in FIG. 16 A trained diagnostic imaging model using a classified diagnostic imaging model is used. By using such a trained diagnostic imaging model, it is possible to improve the determination accuracy of a region having a high possibility of a lesion.
  • FIGS. 17A and 17B show the lesion determination result when the region is not limited and the lesion determination result when the region is limited.
  • the vertical axis is the evaluation index [IoU]
  • the horizontal axis is the size of the lesion area.
  • IoU ⁇ 0.4 is correctly determined as a lesion
  • IoU ⁇ 0.4 is an oversight of the lesion. Comparing FIGS. 17A and 17B, the number of oversights of microlesions (area: 0-100) was 11 when the area was not limited, but the number of oversights was 6 when the area was limited. .. From this result, it can be seen that the determination accuracy can be improved by detecting the region having a high possibility of lesion in the endoscopic image and diagnosing whether the region having a high possibility of lesion is a lesion.
  • FIG. 18 shows an example of a display screen of a display device of an image diagnosis support system that implements an image diagnosis support method.
  • the patient's chart information D1 the observation position display D2 that displays the positions of multiple observed areas and the detected lesions on a diagram that imitates the observation campus, and the lesions in the observed area where the lesions are present.
  • An endoscope in which the diagnosis result display D3 that displays the malignancy and type of the lesion, the original endoscopic image D4 with the lesion, and the result of image diagnosis support when the lesion is determined are superimposed on the endoscope image.
  • the image diagnosis support image D5 is displayed on the display screen. By doing so, the observation result and the diagnosis result can be confirmed on the display screen.
  • FIG. 19 shows another example of the display screen of the display device.
  • the patient's chart information D1 the observation position display D2 that displays the positions of a plurality of observed areas and the detected lesions on a diagram that imitates the observation campus, and the observed areas where the lesions are present.
  • Diagnosis result display D3 that displays the malignancy and type of the lesion, the original endoscopic image D4 with the lesion, and the endoscopic image that superimposes the result of image diagnosis support when the lesion is judged to be on the endoscopic image.
  • the mirror image diagnosis support image D5 is displayed on the display screen.
  • the processing status display D6 and the lesion candidate thumbnail image D7 that further display the processing status are displayed.
  • the treatment status display D6 sequentially displays the observation time and the presence or absence of lesions after the treatment. Therefore, when the vertical line in the processing status display D6 is clicked, the endoscopic image diagnosis support image at that time is displayed as the lesion candidate thumbnail image D7.
  • the image displayed on the endoscopic image diagnosis support image D5 obtained as a diagnosis result at the observation time is displayed as a thumbnail as a lesion candidate.
  • the display of D1, D2, and D3 changes according to the selected thumbnail.
  • FIG. 20 shows an example of an output report. An image corresponding to the check status of the check box of the lesion candidate thumbnail image D7 in FIG. 19 is displayed.
  • the example of the output report is not limited to the example of FIG.
  • An image pickup device provided at the tip of an endoscope is inserted into a cavity inside a subject's organ, and the organ is based on a plurality of frames including an endoscope image captured by the image pickup device. It is an endoscopic diagnosis support system that diagnoses the presence or absence of lesions using a computer.
  • the computer The first step of preparing observation campus data for the observation campus of the endoscopic image of the cavity, A second that determines a keyframe in which the frame contains one or more tissues capable of locating the organ within the cavity and marks the keyframe position data of the keyframe against the observation campus data.
  • With respect to the observed campus data at least based on the displacement and the first keyframe position data first marked in the second step and the next keyframe position data later marked in the second step.
  • the fifth step of marking the fixed position data of the plurality of rear frames Marking on the observation campus data for the plurality of frames in parallel with performing the second step to the fifth step or after performing the second step to the fifth step.
  • the endoscopy is configured to perform a sixth step to assist in diagnostic imaging of the presence or absence of a lesion in the organ based on the plurality of confirmed position data and the plurality of frames.
  • Mirror diagnosis support system is configured to perform a sixth step
  • An observation position display that displays a plurality of observed areas on a diagram that imitates the observation campus, and an observation position display.
  • a lesion position display that displays the observed area where the lesion is present on a diagram that imitates the observation campus, and a lesion position display.
  • a diagnostic result display showing the malignancy and type of the lesion in the observed area where the lesion is present, and The endoscopic diagnosis support system according to the above [1], wherein at least one of the display of the medical record information of the subject is displayed on the display screen of the display device.
  • An image pickup device provided at the tip of the endoscope is inserted into the cavity inside the organ of the subject, and the organ is based on a plurality of frames including an endoscope image captured by the image pickup device.
  • It is an endoscopic diagnosis support system that supports the diagnosis of the presence or absence of lesions using a computer.
  • the trained diagnostic imaging model trained using the data recorded in the endoscopic image database as training data the data recorded in the endoscopic image database was used as training data.
  • An endoscopic diagnosis support system characterized by detecting a region having a high possibility of a lesion in an endoscopic image and supporting the region by diagnosing whether or not the region having a high possibility of a lesion is a lesion.
  • An image pickup device provided at the tip of an endoscope is inserted into the cavity inside the subject's organ, and the organ is based on a plurality of frames including an endoscope image captured by the image pickup device.
  • the installed computer The first step of preparing observation campus data for the observation campus of the endoscopic image of the cavity, Determine a keyframe in which the frame contains one or more anatomical structures capable of locating the organ within the cavity and mark the keyframe position data of the keyframe against the observation campus data.
  • a sixth step is performed to support diagnostic imaging of the presence or absence of lesions in the organ based on the plurality of confirmed position data and the endoscopic images in the plurality of frames.
  • the first support system that provides diagnostic support using a trained diagnostic imaging model that has been trained using the data recorded in the endoscopic image database including image data with annotation information as training data.
  • a region in the endoscopic image that is likely to be a lesion is detected, and the lesion is detected.
  • a computer for endoscopic diagnosis support characterized in that it is configured to realize at least one of a second support systems that provide diagnostic support by diagnosing whether an area with a high probability is a lesion. program.
  • the observation campus data of the inner wall in the target organ is marked, it is possible to clearly determine the area inspected and the area not inspected, and the inside of the target organ is observed all over. Moreover, it is possible to correctly record where the captured image was taken.
  • the plurality of position data marked on the observation campus data and the endoscopic images in the plurality of frames it is possible to support the image diagnosis of the presence or absence of lesions in the organs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

検査をした領域と検査をしていない領域を明確に判断することができる内視鏡診断支援方法を提供する。観察キャンパスの準備ステップＳ１を事前に実施した上で、フレームマーキングステップＳ２、キーポイント算出ステップＳ３、前後フレーム変位量算出ステップＳ４、前後フレームマーキングステップＳ５を実施することにより、観察記録を行う。画像診断支援ステップＩＤＳでは、複数のフレームについて、観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器の病変の有無を画像診断する際の支援をする。

Description

内視鏡診断支援方法及び内視鏡診断支援システム
　本発明は、膀胱等の空洞を有する臓器を対象とした内視鏡診断支援方法及び内視鏡診断支援システムに関するものである。
　例えば、膀胱がんは、TUBRT手術後の２年後再発率は５０％と言われている。これは小さな病変や隆起性病変の周囲に付随する平坦病変が取り切れていないためである。検査時に、観察すべき膀胱を観察できていない「見落とし」と、観察しているが病変と認識できていない「見逃し」が起きていることが大きな原因となっている。そして検査の精度は、検査者の技量や経験に依存しているのが実情である。再発率を減少させるためには、膀胱鏡検査における病変の検出精度を高めることが重要で、デジタル化技術によるサポートにより技量や経験を補い、診断精度を向上させることが必要になっている。
　そこで従来、内視鏡検査の状況を記録する技術としては、特許第５７７１７５７号公報（特許文献１）に開示される臓器のモデル画像上に内視鏡先端部に取り付けられたセンサで取得した位置と方向の情報に基づいて内視鏡画像を張り付けて記録するシステムや、特許第６７０４０９５号公報（特許文献２）に開示される内視鏡画像から導出した距離情報や体内部位の画像に基づき３次元テクスチャマッピングにより生成されたマップデータと過去のマップデータとの劣化量から対象部位の将来状態を推定するプログラムや、特表２０１７－５３４３２２号公報（特許文献３）に開示される内視鏡画像をつなぎ合わせて対象臓器の内腔のパノラママップを生成する方法が知られている。画像診断を人工知能により支援する技術としては、特開２０１９－１８０９６６号公報（特許文献４）に開示される内視鏡画像に基づいて所定の病変を検出・追尾する内視鏡観察支援装置や、特開２０２０－７３０８１号公報（特許文献５）に開示される、消化器内視鏡画像内に存在する病変の名称と位置及び確度の情報を複数の消化器腫瘍内視鏡画像内においてあらかじめ判定された病変を教師データとして学習した畳み込みニューラルネットワークによって推定し、その推定結果を内視鏡画像上に表示させる画像診断支援装置が知られている。さらに非特許文献１には、移動体のカメラやセンサの情報から地図を作成し、自身がその地図のどこにいるかを推定するために用いる自己位置推定技術が開示されている。
特許第５７７１７５７号公報 特許第６７０４０９５号公報 特表２０１７－５３４３２２号公報 特開２０１９－１８０９６６号公報 特開２０２０－７３０８１号公報
Sumikura, S., Shibuya, M., & Sakurada, K.: OpenVSLAM: A Versatile Visual SLAM Framework. Proceedings of the 27th ACM International Conference on Multimedia: 2292-2295, 2019.
　従来の内視鏡検査では、術者である医師が内視鏡を操作しながら、対象臓器内を直接的な観察による診断により病変の判断を行い、疑わしい箇所の内視鏡画像を撮影して、検査レポートとして記録している。この検査レポートを元に手術や治療などが行われるのだが、対象臓器内をくまなく観察し、撮影した画像がどこで撮影されたのかが正しく記録されていることが前提となっている。しかし、現状の内視鏡システムでは、対象臓器の観察すべき部位のすべてを観察できているかどうか、撮影した画像はどこで撮影したのかは、医師の検査時の記憶やメモなどを頼りにレポートに記録されており、医師の技量や経験に依存してその精度はばらついている。また人工知能は、一般的に学習データの質と量に依存して、その診断精度が向上するが、質の良い医用画像の学習データを収集するコストは膨大である。医用画像の質とは、画質が良い事と共に、医師による正確なアノテーション情報がセットになっていることである。そのため、膨大な画像収集と共に、画像１枚１枚に正確なアノテーション情報を付加することが必要不可欠となる。しかし、医用画像には、日本国内において健康診断などの対象になっている消化器内視鏡やレントゲンなど比較的検査数の多い検査のほか、例えば、膀胱内視鏡検査のように、検査数患者数共に消化器内視鏡検査と比較して桁違いに少なく、画像を収集することが困難な検査がある。そのため、たとえ、学習用に大量の医用画像とアノテーション情報を揃えることで、画像内の病変の有無を高精度で判別可能な診断支援人工知能ができたとしても、膀胱内視鏡などの学習データの収集が難しい臓器の検査にはこの人工知能技術を適用することはできない。また、適用できたとしても、取得した画像が臓器内のどこで撮影されたか、臓器内すべてを撮影したのかを正しく記録に残すことができなければ、患者のすべての病変を検査において明らかにし、その検査結果を手術時の情報として正しく伝達することができない。実際の内視鏡検査において高精度の人工知能による診断支援を実現するためには、観察したことを正しく記録すると共に、人工知能の学習に必要な十分な量の学習データが集まらない場合でも高精度の人工知能を実現することの２つを解決しなければならない。
　本発明の目的は、検査をした領域と検査をしていない領域を明確に判断することができる内視鏡診断支援方法及びシステムを提供することにある。
　本発明の他の目的は、上記目的に加えて、学習データが少なくても、学習データを新たに増やすことなく診断精度を高めることができる内視鏡診断支援方法及びシステムを提供することにある。
　本発明は、被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、臓器の病変の有無をコンピュータを用いて診断する際の支援を行う内視鏡診断支援方法を対象とする。本発明においては、コンピュータが、インストールされたコンピュータ・プログラムによって以下の第１のステップ乃至第６のステップを実行する。
　第１のステップでは、臓器の空洞の内視鏡画像のための観察キャンパスについての観察キャンパスデータを準備する。観察キャンパスとしては、臓器の空洞の１以上の開口部及び頂部（解剖学的構造）の位置を一般的に特定し中央部に一つの開口部を配置した模擬展開観察キャンパスを用いることができる。観察キャンパスデータは、観察キャンパスを電子データ化したものである。
　第２のステップでは、フレーム中に臓器の空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ観察キャンパスデータに対してキーフレームのキーフレーム位置データをマーキングする。ここでキーフレームとは、空洞内の相対的な位置を決定する場合の基準点となる１以上の組織（膀胱であれば、二つの尿管口、尿道口、または気泡が溜まる頂部）である。キーフレーム位置データは、観察キャンパス上で基準点となる１以上の組織の位置に関するデータである。具体的には、観察キャンパスが模擬展開観察キャンパスであれば、この模擬展開観察キャンパス上に位置座標で定まる１以上の組織の位置に関するデータである。キーフレームのキーフレーム位置データのマーキングとは、位置の情報とフレーム番号を観察キャンパスデータと紐付けして記憶することを意味する。
　第３のステップでは、キーフレームを最初の前フレームとして、複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの内視鏡画像中の座標を算出する。ここでキーポイントの内視鏡画像中の座標の算出は、非特許文献１に開示されているような公知の自己位置推定技術内で用いられている画像特徴点を用いて行う。
　第４のステップでは、３つ以上のキーポイントの内視鏡画像中の座標に基づいて、前フレームと後フレームとの間の変位量を算出する。ここで変位量には、前フレーム中の３つ以上のキーポイントが移動する方向と角度、前フレームと後フレーム中の３つ以上のキーポイント間の距離が含まれる。
　第５のステップでは、少なくとも変位量並びに第２のステップで最初にマーキングされた最初のキーフレーム位置データと第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、観察キャンパスデータに対して複数の後フレームの確定した位置データをマーキングする。このステップでは、複数の後フレームの位置データを次のキーフレーム位置データが定まるまで複数の後フレームの暫定の位置データを用い、次のキーフレーム位置データが定まると最初のキーフレーム位置データと次のキーフレーム位置データとの間に複数の後フレームの暫定の位置データが収まるように、後フレームの確定した位置データのマーキングを行う。ここで確定した位置データとは、観察キャンパスの中心を原点とする絶対的な位置情報とフレーム番号である。これは最初のキーフレーム位置データと次のキーフレーム位置データとが定まることにより、二つのキーフレーム位置間にある複数の後フレームの相対的な間隔が定まることになるからである。後フレームの暫定の位置データには、最初のキーフレーム位置データに対する相対的な位置情報とフレーム番号が含まれている。例えば、相対的な位置情報は、模擬展開観察キャンパス上に想定した同寸法及び同形状の複数のセグメントを整列して形成したマトリックスにおけるキーフレームとなる１つの解剖学的構造が位置するセグメントの座標位置を基準点として定めた座標位置データとその種類を示す記号を付したものとすることができる。このようなマトリックスを用いると、相対的な位置情報を展開図上に連続的に図示することが容易であるため、観察画像をつなぎ合わせたり、３次元上にマッピングしたりするなどの複雑な処理を行うことなく、臓器中のどこを観察したのかどうかを記録することが容易にできるという利点が得られる。そして対象臓器内の内壁の観察キャンパスデータに対して確定した位置データのマーキングを施せば、検査をした領域と検査をしていない領域を明確に判断することができるので、対象臓器内をくまなく観察することが可能となり、しかも撮影した画像がどこで撮影されたのかを正しく記録することができる。
　第６のステップでは、複数のフレームについて、第２のステップ乃至第５のステップの実施と並行しながらまたは第２のステップ乃至前記第５のステップを実施した後に、観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器内の病変の有無を画像診断する際の支援をする。
　例えば、第６のステップは、以下の学習済み画像診断モデルの少なくとも１つを用いて実現できる。具体的には、第６のステップでは、内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて実行できる。内視鏡画像データベースが、アノテーション情報付きの画像データを含む内視鏡画像データベースであれば、内視鏡画像データベースに、アノテーション情報をアノテーション拡張モデルを用いて拡張した拡張アノテーション情報を含めると、学習データが少なくても、学習データを新たに増やすことなく診断精度を高めることができる。
　アノテーション拡張モデルとしては、エンコーダとデコーダで構成されるオートエンコーダベースのアノテーション拡張モデルを用いるのが好ましい。アノテーション拡張モデルは、画像診断モデルを特徴抽出器として用いて内視鏡画像データベースに記録されている病変内視鏡画像を入力として画像診断モデルの中間層から抽出した特徴量と、病変内視鏡画像に対応するアノテーション情報のセットをエンコーダに入力し、エンコーダから出力される潜在変数と特徴量をデコーダで逆演算することにより拡張アノテーション情報を推定するように学習したものである。このようなアノテーション拡張モデルを用いれば、新たにアノテーション情報を増やすことなく、学習データが少なくても元の内視鏡画像データベース内の内視鏡画像から有用な拡張アノテーション情報を新たに得ることができる。
　アノテーション拡張モデルを作成する際には、エンコーダに入力するアノテーション情報と拡張アノテーション情報の交差エントロピーが小さくなるように学習するのが好ましい。このようにすると元の内視鏡画像データベースのアノテーション情報をなるべく再現するような曖昧なアノテーション基準を学習することができ、生成される拡張アノテーション情報にも病変と正常の境界の曖昧さを再現することができるという利点が得られる。
　アノテーション拡張モデルは、拡張アノテーション情報をランダムに拡張するのが好ましい。ランダムに拡張するとは、得られた拡張アノテーション情報をすべて採用するのではなく、得られた拡張アノテーション情報からランダムに選択した拡張アノテーション情報を採用いることを意味する。このようにすると必要以上に拡張アノテーション情報を増やすことなくしかも偏りのない拡張アノテーション情報を得ることができる。
　内視鏡画像データベースは、内視鏡画像データベースに記録されている病変内視鏡画像のデータをデータ拡張技術を用いて拡張して得た拡張データと拡張アノテーション情報の拡張データセットをさらに含んでいる。拡張データセットを内視鏡画像データベースに含めれば、学習データを新たに増やすことなく少ないデータで学習精度をさらに高めることができる。
　第６のステップでは、内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて、内視鏡画像内の病変の可能性が高い領域を検出し、病変の可能性が高い領域が病変かどうかの診断をすることにより診断を支援するようにしてもよい。内視鏡画像中には正常であると思われる部分と病変ではないかと思われる部分の両方が含まれる。そこで病変の可能性が高い領域を評価する対象として、正常か病変かの診断をすれば、全体を評価するより診断精度を高めることができる。
　この場合に用いる学習済み画像診断モデルは、内視鏡画像からすべての画素における画像特徴量を抽出し、且つ内視鏡画像から病変の高い領域を特定し、病変の可能性が高い領域にある複数の画素の画像特徴量を用いて病変の可能性が高い領域の病変特徴量を求め、病変特徴量から病変の可能性が高い領域を正常と病変に分類するように構成されているものを用いるのが好ましい。学習済み病変領域検出画像診断モデルと、病変確度マップを二値化処理して病変候補マスクを作成する二値化処理部と、画像特徴量と病変候補マスクに基づいて病変の可能性が高い領域に限定して領域限定特徴量を求める領域限定特徴量演算部と、領域限定特徴量を平均化して病変の可能性が高い領域の病変候補特徴量を演算する病変候補特徴量演算部と、病変候補特徴量に基づいて病変の可能性が高い領域を正常と病変に分類する病変分類画像診断モデルとを備えて構成されているのが好ましい。このような学習済み画像診断モデルを用いると、病変の可能性の高い領域の判定精度を高めることができる。なおこの場合の画像特徴量は、病変領域検出画像診断モデルの中間層から得たものであるのが好ましい。
　また観察キャンパスを模した図上に、複数の観察済み領域を表示する観察位置表示と、観察キャンパスを模した図上に、病変が存在する観察済みの領域を表示する病変位置表示と、病変が存在する観察済みの領域の病変の悪性度及び種類を表示する診断結果表示と、被験者のカルテ情報の表示の少なくとも一つを表示装置の表示画面に表示するようにしてもよい。このようにすると観察結果と診断結果を表示画面で確認することができる。
　なお本発明は、内視鏡診断支援システムのカテゴリとしても把握することができる。
本発明の内視鏡診断支援方法を、コンピュータを用いて実施する場合の概略を示すフローチャートを表す図である。 観察記録ステップのアルゴリズムを示すフローチャートを表す図である。 膀胱を観察対象とする場合の観察キャンパスの一例を表す図である。 マトリックス状の観察キャンパスデータを表す図である。 観察キャンパスデータ上に最初のキーフレーム位置データの暫定的なマーキングを表す図である。 （Ａ）乃至（Ｄ）は、キーフレームとなる膀胱内の解剖学的構造が映る内視鏡画像を表す図である。 （Ａ）及び（Ｂ）は、前フレームと後フレームから算出されたキーポイントの例をそれぞれ表す図である。 （Ａ）乃至（Ｃ）は、複数の後フレームの位置データの暫定的なマーキングの例を説明するために用いる図である。 （Ａ）乃至（Ｃ）は、次のキーフレーム位置データが定まった際のこの間の複数の後フレームの相対的な間隔が定まったことを説明するために用いるである。 観察キャンパスデータの一例を表す図である。 観察キャンパスデータと対応する観察キャンパスのマーキング状態を表す図である。 画像診断支援システムの基本構成を表す図である。 アノテーション拡張による画像診断支援システムの構成を表す図である。 アノテーション情報拡張モデルの学習のフローチャートを表す図である。 （Ａ）及び（Ｂ）は、膀胱内視鏡画像と対応するアノテーション情報及び拡張したアノテーション情報を表す図である。 アノテーション拡張の適用前と適用後の診断精度を比較した図である 病変領域を限定した画像診断モデルで病変分類画像診断モデルを作成する場合のフローチャートを表す図である。 （Ａ）及び（Ｂ）は、病変領域限定の画像診断モデルで病変分類画像診断モデルを用いる前と用いた後の病変分類の結果を表す図である。 観察結果と診断結果を表示した表示画面の一例を表す図である。 観察結果と診断結果を表示した表示画面の他の例を表す図である。 出力レポートの一例を示す図である。
　以下図面を参照して、本発明の内視鏡診断支援方法及び内視鏡診断支援システムの実施の形態について説明する。本発明の内視鏡診断支援方法及びシステムは、被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、臓器の病変の有無をコンピュータを用いて診断する際の支援を行う。図１は、本発明の内視鏡診断支援方法をコンピュータを用いて実現する場合に実施される複数のステップの概略を示すフローチャートである。図１に示すように、既存の内視鏡システムＥＳから得られた内視鏡画像ＥＩは、観察記録ステップＯＲＳと画像診断支援ステップＩＤＳで処理される。観察記録ステップＯＲＳでは、内視鏡画像ＥＩから観察記録を得て観察記録情報ＯＲＩとしてコンピュータの記憶手段に記憶する。また画像診断支援ステップＩＤＳでは、内視鏡画像ＥＩから臓器の病変の有無を診断する際の支援情報を画像診断結果ＩＤＲとしてコンピュータの記憶手段に記憶する。コンピュータによって実現される診断支援情報表示ステップ部ＳＩＤでは、観察記録情報ＯＲＩと画像診断結果ＩＤＲの少なくとも一方を含む診断レポートを表示装置の画面またはカルテ等に出力する。出力の形態は任意である。例えば、画面上に画像診断結果ＩＤＲを表示する動画で出力するようにしてもよい。
　［観察記録ステップ］
　図２は、本発明の内視鏡診断支援方法の実施の形態中の観察記録ステップＯＲＳにおける具体的な処理フローを示している。本実施の形態における、内視鏡診断支援方法における観察記録ステップＯＲＳでは、観察キャンパスの準備ステップ（第１のステップ）Ｓ１を事前に実施した上で、フレームマーキングステップ（第２のステップ）Ｓ２、キーポイント算出ステップ（第３のステップ）Ｓ３、前後フレーム変位量算出ステップ（第４のステップ）Ｓ４、前後フレームマーキングステップ（第５のステップ）Ｓ５を実施することにより、観察記録を行う。本発明の内視鏡診断支援システムの実施の形態では、これらのステップを実施するためのコンピュータ・プログラムをコンピュータにインストールして、コンピュータの内部に各ステップを実施するための複数の手段を実現する。また内視鏡診断支援システム用コンピュータ・プログラムは、これらのステップを実施するアルゴリズムを含んで構成される。
　観察キャンパスの準備ステップＳ１（第１のステップ）では、臓器の空洞の内視鏡画像のための観察キャンパスについての観察キャンパスデータを電子データとしてコンピュータのメモリ内に準備する。観察キャンパスデータは、観察キャンパスを電子データ化したものである。観察キャンパスとしては、臓器の空洞の複数の開口部及び頂部の位置を一般的に特定し中央部に一つの開口部を配置した模擬展開観察キャンパスＳＯＣを用いることができる。
　図３は、観察対象の臓器として膀胱を用いる場合の模擬展開観察キャンパスの一例を示している。膀胱内視鏡で観察する膀胱内壁に対応した仮想的な膀胱として、膀胱を球と仮定し、膀胱の前壁側（腹）と後壁側（背）の２つの半球をそれぞれ円として準備する。この観察キャンパスには、開口部としての左右の尿管口（例えば、上円の下から３／８且つ左右１／４の位置）、その間の尿管間靭帯、開口部としての尿道口（２つの円のつなぎ目の中心）、頂部（上円の最上部、下円の最下部）が描かれている。
　図４は、図３の模擬展開観察キャンパスＳＯＣを観察キャンパスデータとする場合の概念図である。図４の例では、模擬展開観察キャンパス上に想定した同寸法及び同形状の複数のセグメント（本例では正方形のセグメント）を整列して形成したマトリックスＭＸに位置データの存在と種類を示す記号を付したものを観察キャンパスデータとする。なお２つの半球を横に並べた模擬展開観察キャンパスを用いることもできる。さらに半球ではなく楕円を並べて模擬展開観察キャンパスとすることも可能である。図５に示すように、観察キャンパスデータのマトリックスＭＸのすべてのセグメントｓｇの領域には、初期値として未観察または位置データがないことを示すフラグ（０）が設定されている。なお各セグメントｓｇには、模擬展開観察キャンパスＳＯＣ中における尿道口を原点とする２次元配列の位置情報（座標）が個々に付されている。図５の例では、左尿管口を観察したが未確定であることを示すフラグ（１）が対応するセグメントに付されている。
　フレームマーキングステップ（第２のステップ）Ｓ２では、フレーム中に臓器の空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ観察キャンパスデータに対してキーフレームのキーフレーム位置データをマーキングする。ここでキーフレームとは、空洞内の相対的な位置を決定する場合の基準点となる１以上の解剖学的構造（膀胱であれば、二つの尿管口、尿道口、気泡が溜まる頂部）が写ったフレームである。ここで位置データとは、観察キャンパスデータにおける原点に対しての絶対的な位置情報又は基準点に対しての相対的な位置情報とフレーム番号のことである。
　図６（Ａ）乃至（Ｄ）は、左右の尿管口、尿道口、気泡が溜まる頂部を映したフレーム中の内視鏡画像の実例を示している。キーフレーム位置データは、観察キャンパス上で基準点となる１以上の解剖学的構造の位置に関するデータである。具体的には、観察キャンパスが模擬展開観察キャンパスであれば、この模擬展開観察キャンパス上に位置座標で定まる１以上の解剖学的構造の位置に関するデータである。キーフレームのキーフレーム位置データのマーキングとは、位置情報（セグメントｓｇの座標）と画像のフレーム番号を観察キャンパスデータと紐付けして記憶することを意味する。
　例えば、図６に示した膀胱内視鏡で撮影されるフレームの画像に左右どちらかの尿管口が映っているフレームをスタートキーフレームとして決定し、観察キャンパス上の該当する領域をスタートキーフレーム位置［図５のフラグ（１）が付されたセグメントｓｇの座標］としてマーキングする。ここでマーキングとは、図５に示すように、観察キャンパス上の該当領域（セグメント）のフラグを観察済み候補であることを示すフラグ（１）にするとともに、その位置情報をフレーム画像と紐づけることである。図５の例では、マーキングする領域の初期値［フラグ（１）］は、膀胱内視鏡観察時に必ず視野に入るサイズを目安として観察キャンパスの円の１／１０の大きさの円の中に入るセグメントに与えられている。
　キーポイント算出ステップ（第３のステップ）Ｓ３では、スタートキーフレームを最初の前フレームとして、複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの内視鏡画像中の座標を算出する。ここでキーポイントとは、連続する前後フレームに映っている臓器内壁上の同じ場所を示す画素のことである。キーポイントの内視鏡画像中の座標の算出は、自動運転やロボットビジョンで応用されているVisual SLAM（Simultaneous Localization and Mapping：地図構築・自己位置推定）に開示されているような公知の自己位置推定技術で用いられる画像特徴点を用いて行うことが可能である。フレーム内に映る多数の特徴的な部分を特徴点として認識し、その特徴点を共通の部分としてキーポイントの内視鏡画像中の座標を算出する。
　前後フレーム変位量算出ステップ（第４のステップ）Ｓ４では、３つ以上のキーポイントの内視鏡画像中の座標に基づいて、前フレームの３つ以上のキーポイントと後フレームの３つ以上のキーポイントとの間の変位量を算出する。ここで変位量には、前フレーム中の３つ以上のキーポイントが移動する方向と角度、前フレームと後フレーム中の３つ以上のキーポイント間の距離が含まれる。この変位量に従って、観察キャンパス上にマーキングされた前フレームの位置情報から算出した後フレームの相対的な位置情報を算出し、その位置情報とフレーム画像を紐づけ、後フレームを前フレームに連続する次の後フレームとしてマーキングする。次のキーフレームが検出されるまで、上記処理を繰り返しながら、観察キャンパスに観察済み候補フラグ（１）をマーキングしていく。
　図７（Ａ）及び（Ｂ）は、膀胱の内壁上について撮像した前フレームと後フレームの内視鏡画像を示している。この例では、前フレーム中の３点Ａ，Ｂ，Ｃが後フレームの３点Ａ´，Ｂ´，Ｃ´に対応する。ここで３点Ａ，Ｂ，Ｃの座標をＡ（ｘA，ｙA），Ｂ（ｘB，ｙB），Ｃ（ｘC，ｙC）とし、３点Ａ´，Ｂ´，Ｃ´の座標をＡ´（ｘA´，ｙA´），Ｂ´（ｘB´，ｙB´），Ｃ´（ｘC´，ｙC´）としたときに、前後フレームの移動距離と方向は、下記の重心Ｇの式（１）により求めた前フレーム中の３点Ａ，Ｂ，Ｃの重心Ｇと後フレーム中の３点Ａ´，Ｂ´，Ｃ´の重心Ｇ´の差分（Ｇ´－Ｇ）のベクトルとして求めることができる。
Figure JPOXMLDOC01-appb-M000001
 　また前フレームから後フレームへのサイズの変位は、下記式（２）に示すように、３点から重心までの距離の平均の差で算出することができる。
Figure JPOXMLDOC01-appb-M000002
 　さらに回転は、下記式（３）に示すように、３点から重心までのベクトル同士のなす角の平均から算出できる。
Figure JPOXMLDOC01-appb-M000003
 　前後フレームマーキングステップ（第５のステップ）Ｓ５では、少なくとも変位量並びに第２のステップで最初にマーキングされた最初のキーフレーム位置データと第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、観察キャンパスデータに対して複数の後フレームの確定した位置データをマーキングする。図８（Ａ）乃至（Ｃ）に示すように、このステップでは、複数の後フレームの暫定の位置データを次のキーフレーム位置データが定まるまで複数の後フレームの暫定の位置データとしてマーキングする。図８（Ｂ）及び（Ｃ）では、各フレームの相対的な位置を示す各セグメントのフラグが観察済み候補（１）のままである。図８の具体的な例では、観察キャンパス上で、キーフレームではない後フレームをマーキングした領域が、いずれかのキーフレーム領域に重なった場合、まだキーフレームに到達していないと判断して、それまでマーキングしてきたスタートキーフレームからの相対的な情報を、マーキング領域サイズ及び移動距離が１／２となるように、観察キャンパス上の観察候補フラグ（１）が付されたフレームの相対的位置を修正する。また移動距離の計算式の係数と領域サイズを１／２にし、その後もマーキングステップを継続できるように観察キャンパスのスペースを空けるようにしている。ここで「１／２」の係数は、マトリックス上から観察済み候補としての複数の後フレームが出ないようにするために定める便宜的なものであり、この値に限定されるものではない。
　そして図９（Ａ）乃至（Ｃ）に示すように、次のキーフレーム位置データ（頂部の位置データ）が定まると、最初のキーフレーム位置データ（左尿管口の位置データ）と次のキーフレーム位置データとの間に複数の暫定の（観察済み候補としての）後フレームの位置データが収まるように、複数の暫定の後フレームの相対位置を調整して後フレームの位置データのマーキングを確定する。このように最初のキーフレーム位置データと次のキーフレーム位置データとが定まることにより、二つのキーフレーム位置間にある複数の後フレームの相対的な位置が確定して、絶対的な位置が確定することになる。図９（Ｂ）及び（Ｃ）に示すように、相対的な位置を定めるために、最初のキーフレームから次のキーフレームまでの連続する複数のフレームのマーキング情報を、観察キャンパスのキーフレーム間に配置されるように補正し、観察キャンパスの絶対的な位置に対応するセグメントのフラグを観察済み候補（１）から観察済み（２）とする。本実施の形態では、観察が確定した各フレームの位置データには、観察した位置の複数のセグメントｓｇの絶対的な位置情報（座標）とフレーム番号が含まれている。本実施の形態では、絶対的な位置情報は、模擬展開観察キャンパス上に想定した同寸法及び同形状の複数のセグメントｓｇを整列して形成したマトリックスＭＸにおいて、尿道口を原点とする配列の行と列で定まる座標で表している。
　臓器の内壁に対して、内視鏡の位置を変えながら上記第２のステップ～第５のステップを繰り返すと、図１０（Ａ）に示すように、観察キャンパスデータの複数のセグメント中のフラグが、マーキングがないことを示すフラグ（０）とマーキングがあることを示すフラグ（２）のいずれかになる。その結果、図１０（Ｂ）に示すようにフラグ（０）の複数のセグメントの領域を黒とし、フラグ（２）の複数のセグメントの領域をグレー色にして観察キャンパスの領域を色分けして表示すると、内視鏡により観察していない領域（グレー色の領域）の有無と場所を明確に示すことができる。
　また後に説明する画像診断支援ステップ（第６のステップ）で、病変が含まれているフレームである可能性があることが診断されたフレームについては、前後フレームマーキングステップ（第５のステップ）Ｓ５で各フレームに対応するセグメントの絶対的な位置情報とフレーム番号を利用して、病変が含まれているフレームの撮影位置を特定することができる。これによって後の精密検査や手術を実施する場合に、病変の適格な位置を伝えることが可能になる。
　［画像診断支援ステップ（第６のステップ）］
　図１の画像診断支援ステップＩＤＳ（第６のステップ）は、複数のフレームについて、第２のステップ乃至第５のステップの実施と並行して実施されて、観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器の病変の有無を画像診断する際の支援をする。しかしながら第２のステップ乃至前記第５のステップを実施した後に、観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器の病変の有無を画像診断する際の支援をするようにしてもよい。
　図１の画像診断支援ステップＩＤＳ（第６のステップ）では、以下のように学習済み画像診断モデルを用いて画像診断支援を実施する。学習済み画像診断モデルは、コンピュータ内に実現されて、データベースと共にいわゆる人工知能を構成する。
　［学習済み画像診断モデルを用いる画像診断支援システム］
　図１１に示すように、画像診断支援ステップＩＤＳ（第６のステップ）は、内視鏡画像データベースＤＢに記録されているデータを学習データとして画像診断モデルＤＭが学習をして生成された学習済み画像診断モデルＴＤＭを用いた人工知能を有する画像診断支援システムにより実現できる。図１１の例では、内視鏡画像データベースＤＢには、正常の正常内視鏡画像データ及び病変を含む病変内視鏡画像データと、これらの画像内に病変があるかどうかを医師が示した情報を示すアノテーション情報データが記録されている。そしてこれらのデータを用いて画像診断モデルＤＭを学習して得た学習済み画像診断モデルＴＤＭを用いて、内視鏡画像ＥＩを観察するために、第６のステップ（支援システム）が実現される。一般的に画像診断モデルとしては、GoogleNet、Inceptionモデル、U-Net、ResNet、YOLO、SSDなどの画像分類や物体検出に用いられる深層学習モデルを用いることもできる。人工知能は、学習データの質と量に依存して、その診断精度が向上する。質の良い医用画像の学習データを収集するためには、画質が良いことは勿論であるが、医師による正確なアノテーション情報がセットになっていることが好ましい。そのため、この例では、正常および病変の内視鏡画像とアノテーション情報が内視鏡画像データベースに記録されていている。
　［アノテーション拡張による画像診断支援］
　膀胱内視鏡検査のように、検査数患者数共に消化器内視鏡検査と比較して桁違いに少なく、診断支援の対象とする検査画像を学習用データとして収集することが困難な検査が多くある。そのため学習用に大量の医用画像とアノテーション情報を揃えることで、画像内の病変の有無を高精度で判別可能な診断支援人工知能ができたとしても、膀胱内視鏡などの学習データの収集が難しい臓器や症例の検査にはその診断支援人工知能をそのまま適用することはできない。実際の検査における高精度の人工知能による画像診断支援を実現するためには、この問題を解決しなければならない。
　図１２は、この問題を解決するために、アノテーション拡張モデルＡＥＭを用いる画像診断支援ステップＩＤＳ（第６のステップ）を実施する画像診断支援システムの構成を示している。このシステムでは、内視鏡画像データベースＤＢ内にアノテーション拡張モデルＡＥＭを設けて拡張アノテーション情報を作成している。図１３は、アノテーション拡張モデルＡＥＭを学習する具体的なフローを示している。図１３に示すアノテーション拡張モデルＡＥＭは、エンコーダＥとデコーダＤで構成されるオートエンコーダベースのアノテーション拡張モデルである。オートエンコーダは、入力情報の次元を一度エンコーダＥで圧縮した潜在変数を用いてデコーダＤで復元しても、入力情報と出力情報が同じ情報に戻るようにパラメータを学習するものである。このアノテーション拡張モデルは、画像診断モデルＤＭを特徴抽出器ＦＥとして用いて内視鏡画像データベースに記録されている病変内視鏡画像ＬＥＩを入力として画像診断モデルＤＭの中間層から各ピクセル（画素）に対応した特徴量（Ｈ，Ｗ，Ｍ）を求め、病変内視鏡画像ＬＥＩに対応するアノテーション情報（Ｈ，Ｗ，Ｃ）とセットでエンコーダＥに入力して、エンコーダＥから出力される潜在変数（１，１，Ｌ）と特徴抽出器ＦＥから得た特徴量（Ｈ，Ｗ，Ｍ）をデコーダＤで逆演算することにより新たなアノテーション情報として拡張アノテーション情報（Ｈ，Ｗ，Ｃ´）を生成するように構成したものである。ここで潜在変数は、変数間の関係の解釈に影響する変数であり、例えば、内視鏡画像データベース内の内視鏡画像に対してのアノテーション操作の癖等に影響する変数である。また特徴量Ｈは「Feature Map Height」であり、これは畳み込みニューラルネットワークの特徴マップにおける画素配列の高さ方向の特徴量である。Ｗは「Feature Map Width」であり、これは畳み込みニューラルネットワークの特徴マップにおける画素配列の幅方向の特徴量である。Ｍは「Feature Map Depth」であり、これは畳み込みニューラルネットワークの特徴マップにおける画素の深さ方向の特徴量である。Ｃは「Number of Classes」であり、これはアノテーション情報における各ピクセルに割り当てられるクラス数である。Ｌは「Latent Vector Length」であり、これは潜在変数の潜在ベクトル長である。なおアノテーション拡張モデルＡＥＭを作成する際には、エンコーダＥに入力するアノテーション情報とデコーダＤから出力される拡張アノテーション情報の交差エントロピーが小さくなるように学習するのが好ましい。すなわち本実施の形態では、アノテーション情報（Ｈ，Ｗ，Ｃ）の確率分布と拡張アノテーション情報（Ｈ，Ｗ，Ｃ´）の確率分布の間の交差エントロピーが小さくなるようにアノテーション拡張モデルＡＥＭを学習する。
　このようなアノテーション拡張モデルＡＥＭを用いれば、新たにアノテーション情報を増やすことなく、学習データが少なくても元の内視鏡画像データベース内の内視鏡画像から有用な拡張アノテーション情報を医師に作業を強いることなく新たに得ることができる。アノテーション拡張モデルＡＥＭとしては、GAN（敵対的生成ネットワーク）を使用することもできる。本実施の形態では、潜在変数に確率分布を用いるVAE（変分オートエンコーダ）ベースのアノテーション拡張モデルＡＥＭを用いている。図１４（Ａ）及び（Ｂ）は、それぞれ対象となる内視鏡画像から、学習済みのアノテーション拡張モデルにより生成された複数の拡張アノテーション情報の例をそれぞれ示している。これらの図に見られるように、同じ内視鏡画像から医師の付けた元のアノテーション情報に近い、複数の拡張アノテーション情報を生成することが可能である。
　アノテーション拡張モデルＡＥＭは、拡張アノテーション情報をランダムに拡張するのが好ましい。拡張アノテーション情報は、学習したアノテーション拡張モデルにおいて潜在変数で定義される確率分布に従い生成される。ランダムに拡張するとは、拡張アノテーション情報を確率分布に従いすべて生成するのではなく、潜在変数をランダムに選択して拡張アノテーション情報を生成することを意味する。具体的には、図１４（Ａ）及び（Ｂ）の例で説明すれば生成可能な５枚の拡張アノテーション情報から例えば１枚の拡張アノテーション情報がランダムに生成されることを意味する。このようにすると必要以上に拡張アノテーション情報を増やすことなくしかも偏りのない拡張アノテーション情報を得ることができる。また既存のデータ拡張手法と合わせることで、Ｎ個のデータセットに対し、Ｍ倍の既存のデータ拡張とＬ倍のアノテーション拡張を実施すると、拡張データセットは、Ｌ×Ｍ×Ｎ個のデータセットに拡張される。
　図１５は、既存のデータ拡張を用いて拡張した拡張データを既存の学習データに追加した学習データを用いて拡張モデルを学習した場合と、既存のデータ拡張で得た拡張データとアノテーション拡張で得たデータを既存の学習データに追加したものを学習データとして拡張モデルを学習した場合の診断精度Ｆを示している。横軸は、学習データの割合で、baseline 1.0は内視鏡画像データベース内の学習データの１００％に対し既存のデータ拡張で得た拡張データを学習に用いた場合であり、student 1.0は、内視鏡画像データベース内の学習データの１００%に対し既存のデータ拡張で得た拡張データとアノテーション拡張で得た拡張データを学習に用いた場合である。図１５からは、学習に用いたアノテーション拡張を用いた方場合の診断精度Ｆが上がることが分かる。また、元の学習データの量を１０％に減らしてアノテーション拡張をした場合は、学習データの量１００％でのデータ拡張のみの場合よりも精度が良く、アノテーション拡張手法が少ないデータでの学習精度を向上させていることがわかる。
　本実施の形態によれば、学習用のデータを増やさずに、その限られた学習用データセットを有効活用して診断精度を向上させるため、学習用データセットで学習したアノテーション拡張モデルＡＥＭを用い、学習用データセットの内視鏡画像に対し、医師を介さずにあらたにアノテーション情報を生成し、拡張アノテーション情報として、元のアノテーション情報と合わせて、拡張したデータセットとして使うことで少ないデータで画像診断モデルＤＭの学習精度をさらに高めることができる。
　［領域限定病変判定による画像診断支援］
　第６のステップを実施する画像診断支援システムでは、内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて、内視鏡画像内の病変の可能性が高い領域を検出し、病変の可能性が高い領域が病変かどうかの診断をすることにより診断を支援するようにしてもよい。内視鏡画像中には正常であると思われる部分と病変ではないかと思われる部分の両方が含まれる。そこで病変の可能性が高い領域を評価する対象として、正常か病変かの診断をすれば、全体を評価するより診断精度を高めることができる。
　図１６は、第６のステップで領域限定病変分類による画像診断支援を行うための学習済み画像診断モデル（学習済み病変領域検出画像診断モデルと学習済み病変分類画像診断モデル）を作成するための具体的な例を示している。図１６で用いる病変領域検出画像診断モデルＬＡＤＭは、病変内視鏡画像ＬＥＩ及び正常内視鏡画像ＮＥＩからすべての画素における画像特徴量（Ｈ，Ｗ，Ｍ）を抽出するための画像診断モデルである。この画像診断モデルでは、内視鏡画像ＬＥＩ及びＮＥＩから病変の高い領域を特定し、病変の可能性が高い領域にある複数の画素の画像特徴量を用いて病変の可能性が高い領域の特徴量（領域限定特徴量：Ｈ，Ｗ，Ｍ×0/1）を求める。次にこの領域限定特徴量：Ｈ，Ｗ，Ｍ×0/1）から病変候補特徴量（１，１，avg（Ｍ×1））を求める。この病変候補特徴量（１，１，avg（Ｍ×1））は、各ピクセル（画素）の特徴量Ｍが病変候補マスク（Ｈ，Ｗ，０／１）の１の部分の領域における平均値である。そして病変分類画像診断モデルＬＣＤＭを用いて、病変候補特徴量（１，１，avg（Ｍ×1））から病変の可能性が高い領域を正常と病変にクラス分類する。
　より具体的には、病変領域検出画像診断モデルＬＡＤＭと、二値化処理部ＢＰと、領域限定特徴量演算部ＡＬＦＣと、病変候補特徴量演算部ＬＦＣと、病変分類画像診断モデルＬＣＤＭとから画像診断支援を行うための学習済み画像診断モデルを作成するための画像診断モデルを構成する。
　病変領域検出画像診断モデルＬＡＤＭは、１枚の画像中のすべての画素の画像特徴量（Ｈ，Ｗ，Ｍ）と内視鏡画像から病変確度マップ（Ｈ，Ｗ，Ｌ）を作製する。なお病変領域検出画像診断モデルＬＡＤＭには、深さが５０層の畳み込みニューラルネットワークであるResnet50を用いることができる。二値化処理部ＢＰは、病変確度マップ（Ｈ，Ｗ，Ｌ）を二値化処理して病変候補マスク（Ｈ，Ｗ，0/1）を作成する。また二値化処理部ＢＰとしては、画像二値化手法である「大津の2値化手法」を用いることができる。領域限定特徴量演算部ＡＬＦＣは、画像特徴量（Ｈ，Ｗ，Ｍ）と病変候補マスク（Ｈ，Ｗ，0/1）を掛け合わせて病変の可能性が高い領域に限定した領域限定特徴量（Ｈ，Ｗ，Ｍ×0/1）を求める。病変候補特徴量演算部ＬＦＣは、領域限定特徴量（Ｈ，Ｗ，Ｍ×0/1）の限定された領域（Ｍ×1）の部分を平均化して病変の可能性が高い領域の病変候補特徴量（１，１，avg（Ｍ×1））を演算する。そして病変分類画像診断モデルＬＣＤＭは、病変候補特徴量（１，１，avg（Ｍ×1））に基づいて病変の可能性が高い領域を正常と病変に分類する。病変分類画像診断モデルＬＣＤＭには、活性化関数であるソフトマックス関数（Softmax）を具備した多層パーセプトロン手法（MLP手法）を用いることができる。なおこの例では、各画素の画像特徴量（Ｈ，Ｗ，Ｍ）は、病変領域検出画像診断モデルＬＡＤＭの中間層から得たものである。
　第６のステップを実施する画像診断支援システムでは、図１６に示した病変領域検出画像診断モデルＬＡＤＭと病変分類画像診断モデルＬＣＤＭを学習して得た学習済み病変領域検出画像診断モデルと学習済み病変分類画像診断モデルを用いた学習済み画像診断モデルを用いる。このような学習済み画像診断モデルを用いると、病変の可能性の高い領域の判定精度を高めることができる。
　図１７（Ａ）及び（Ｂ）は、領域限定をしない場合の病変判定結果と領域限定をした場合の病変判定結果を示している。図１７（Ａ）及び（Ｂ）において縦軸は評価指標［ＩｏＵ］であり、横軸は病変領域の大きさである。そしてＩｏＵ≧０．４が病変として正しく判定され、ＩｏＵ＜０．４が病変を見落としたものである。図１７（Ａ）及び（Ｂ）を比較すると、領域限定をしない場合に微小病変（area:0-100）の見落としは１１個であったが、領域限定をすると見落としは６個と少なくなった。この結果から、内視鏡画像内の病変の可能性が高い領域を検出し、病変の可能性が高い領域が病変かどうかの診断をすれば、判定精度を高めることができることが分かる。
　［表示装置の表示画面］
　図１８は、画像診断支援方法を実施する画像診断支援システムの表示装置の表示画面の一例を示している。この例では、患者のカルテ情報Ｄ１と、観察キャンパスを模した図上に、複数の観察済み領域と検出した病変の位置を表示する観察位置表示Ｄ２と、病変が存在する観察済みの領域の病変の悪性度及び種類を表示する診断結果表示Ｄ３と、その病変のある元の内視鏡画像Ｄ４と、その病変と判断した際の画像診断支援の結果を内視鏡画像に重ねた内視鏡画像診断支援画像Ｄ５を表示画面に表示している。このようにすると観察結果と診断結果を表示画面で確認することができる。
　図１９は、表示装置の表示画面の他の例を示している。この例においても、患者のカルテ情報Ｄ１と、観察キャンパスを模した図上に、複数の観察済み領域と検出した病変の位置を表示する観察位置表示Ｄ２と、病変が存在する観察済みの領域の病変の悪性度及び種類を表示する診断結果表示Ｄ３と、その病変のある元の内視鏡画像Ｄ４と、その病変と判断した際の画像診断支援の結果を内視鏡画像に重ねた内視鏡画像診断支援画像Ｄ５を表示画面に表示している。この例では、さらに処理状況を表示する処理状況表示Ｄ６と病変候補サムネイル画像Ｄ７が表示されている。処理状況表示Ｄ６には、処理が行われたきの観察時期と病変の有無が順次表示される。したがって処理状況表示Ｄ６中の縦線をクリックすると、その時の内視鏡画像診断支援画像が病変候補サムネイル画像Ｄ７として表示される。病変候補サムネイル画像Ｄ７には、観察時期に診断結果として得られた内視鏡画像診断支援画像Ｄ５に表示された画像が病変候補としてサムネイルで表示される。サムネイルを選択することにより、選択したサムネイルに応じてＤ１、Ｄ２、Ｄ３の表示が変わる。図２０は、出力レポートの一例を示している。図１９の病変候補サムネイル画像Ｄ７のチェックボックスのチェック状況に対応した画像が表示される。なお出力レポートの例は、図２０の例に限定されるものではない。
　以下本願明細書に開示された複数の発明の構成の構成要件について列挙する。
　［１］被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、前記撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、前記臓器の病変の有無をコンピュータを用いて診断する内視鏡診断支援システムであって、
　前記コンピュータは、
　前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップと、
　フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の組織が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップと、
　前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップと、
　前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップと、
　少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップと、
　前記複数のフレームについて、前記第２のステップ乃至前記第５のステップを実施するのと並行してまたは前記第２のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレームに基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施するように構成されていることを特徴とする内視鏡診断支援システム。
　［２］前記観察キャンパスを模した図上に、複数の観察済み領域を表示する観察位置表示と、
　前記観察キャンパスを模した図上に、病変が存在する前記観察済みの領域を表示する病変位置表示と、
　前記病変が存在する前記観察済みの領域の病変の悪性度及び種類を表示する診断結果表示と、
　前記被験者のカルテ情報の表示の少なくとも一つを表示装置の表示画面に表示することを特徴とする上記［１］に記載の内視鏡診断支援システム。
　［３］被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、前記撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、前記臓器の病変の有無をコンピュータを用いて診断する際の支援を行う内視鏡診断支援システムであって、
　内視鏡画像データベースに記録されているデータを学習データとして学習がなされた内視鏡画像データベースに記録されているデータを学習データとして学習がなされた前記学習済み画像診断モデルを用いて、前記内視鏡画像内の病変の可能性が高い領域を検出し、前記病変の可能性が高い領域が病変かどうかの診断をすることにより支援することを特徴とする内視鏡診断支援システム。
　［４］被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、前記撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、前記臓器の病変の有無をコンピュータを用いて診断する際の支援を行う内視鏡診断支援システムを実現するための内視鏡診断支援システム用コンピュータ・プログラムで、コンピュータ読み取り可能な記録媒体に記録されたものであって、
　インストールされた前記コンピュータが、
前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップと、
　フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップと、
　前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップと、
　前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップと、
　少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップと、
　前記複数のフレームについて、前記第２のステップ乃至前記第５のステップの実施と並行しながらまたは前記第２のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレーム中の前記内視鏡画像に基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施し、
　前記第６のステップでは、
　アノテーション情報付きの画像データを含む内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて診断支援を行う第１の支援システムと、
　内視鏡画像データベースに記録されているデータを学習データとして学習がなされた前記学習済み画像診断モデルを用いて、前記内視鏡画像内の病変の可能性が高い領域を検出し、前記病変の可能性が高い領域が病変かどうかの診断をすることにより診断支援を行う第２の支援システムの少なくとも一つを実現するように構成されていることを特徴とする内視鏡診断支援用コンピュータ・プログラム。
　本発明によれば、対象臓器内の内壁の観察キャンパスデータに対してマーキングを施すので、検査をした領域と検査をしていない領域を明確に判断することができ、対象臓器内をくまなく観察することが可能となり、しかも撮影した画像がどこで撮影されたのかを正しく記録することができる。また観察キャンパスデータに対してマーキングされた複数の位置データと複数のフレーム中の内視鏡画像に基づいて、臓器の病変の有無を画像診断する際の支援をすることができる。
　ＥＳ　内視鏡システム
　ＥＩ　内視鏡画像
　ＩＤＳ　画像診断支援ステップ
　ＯＲＳ　観察記録ステップ
　ＳＩＤ　診断支援情報表部
　ＳＯＣ　模擬展開観察キャンパス
　ＭＸ　マトリックス
　ＤＢ　内視鏡画像データベース
　ＤＭ　画像診断モデル
　ＴＤＭ　学習済み画像診断モデル
　ＡＥＭ　アノテーション拡張モデル
　Ｅ　エンコーダ
　Ｄ　デコーダ
　ＴＡＤＭ　学習済み正常追加学習型画像診断モデル
　ＴＤＭ１　学習済み画像診断モデル
　ＤＭ１　画像診断モデル
　ＴＤＭ２　学習済み画像診断モデル
　ＬＡＤＭ　病変領域検出画像診断モデル
　ＬＣＤＭ　病変分類画像診断モデル
　ＢＰ　二値化処理部
　ＡＬＦＣ　領域限定特徴量演算部
　ＬＦＣ　病変候補特徴量演算部
　ＬＳＥＤＭ　類似画像判断モデル

Claims (15)

  1. 　被験者の臓器内の空洞の内部に、内視鏡の先端部に設けた撮像装置を挿入し、前記撮像装置によって撮像された内視鏡画像を含む複数のフレームに基づいて、前記臓器の病変の有無をコンピュータを用いて診断する際の支援を、コンピュータを用いて行う内視鏡診断支援方法であって、
    　前記コンピュータは、
    　前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップと、
    　フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップと、
    　前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップと、
    　前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップと、
    　少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップと、
    　前記複数のフレームについて、前記第２のステップ乃至前記第５のステップの実施と並行しながらまたは前記第２のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレーム中の前記内視鏡画像に基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施することを特徴とする内視鏡診断支援方法。
  2. 　前記後フレームの位置データには、前記キーフレーム位置データに対する相対的な位置情報とフレーム番号が含まれている請求項１に記載の内視鏡診断支援方法。
  3. 　前記観察キャンパスは、前記臓器の前記空洞の複数の開口部及び頂部の位置を一般的に特定し中央部に１つの前記開口部を配置した模擬展開観察キャンパスであり、
    　前記第５のステップでは、前記次のキーフレーム位置データが定まるまで前記複数の後フレームの位置データとして複数の暫定の位置データを用い、前記次のキーフレーム位置データが定まると前記最初のキーフレーム位置データと前記次のキーフレーム位置データとの間に前記複数の後フレームの前記複数の暫定の位置データが収まるようにして、前記複数の後フレームの前記確定した位置データのマーキングを行うことを特徴とする請求項１または２に記載の内視鏡診断支援方法。
  4. 　前記相対的な位置情報は、前記模擬展開観察キャンパス上に想定した同寸法及び同形状の複数のセグメントを整列して形成したマトリックスにおける前記１つの解剖学的構造が位置するセグメントの座標位置を基準点として定めた座標位置データと種類を示す記号を付したものである請求項２３に記載の内視鏡診断支援方法。
  5. 　前記第２のステップと前記第３のステップは、自己位置推定技術を用いて実現される請求項１に記載の内視鏡診断支援方法。
  6. 　前記第６のステップでは、
    　アノテーション情報付きの画像データを含む内視鏡画像データベースに記録されているデータを学習データとして学習がなされた学習済み画像診断モデルを用いて診断支援を行う第１の支援方法と、
    　前記内視鏡画像データベースに記録されているデータを学習データとして学習がなされた前記学習済み画像診断モデルを用いて、前記内視鏡画像内の病変の可能性が高い領域を検出し、前記病変の可能性が高い領域が病変かどうかの診断をすることにより診断支援を行う第２の支援方法の少なくとも一つを実行する請求項１に記載の内視鏡診断支援方法。
  7. 　前記内視鏡画像データベースは、アノテーション情報をアノテーション拡張モデルを用いて拡張した拡張アノテーション情報をさらに含んでいる請求項６に記載の内視鏡診断支援方法。
  8. 　前記アノテーション拡張モデルは、エンコーダとデコーダで構成されるオートエンコーダベースのアノテーション拡張モデルであり、
    　前記アノテーション拡張モデルは、
    　前記画像診断モデルを特徴抽出器として用いて前記内視鏡画像データベースに記録されている病変内視鏡画像を入力として前記画像診断モデルの中間層から抽出した特徴量と、前記病変内視鏡画像に対応する前記アノテーション情報のセットを前記エンコーダに入力し、
    　前記エンコーダから出力される潜在変数と前記特徴量を前記デコーダに逆演算することにより前記拡張アノテーション情報を推定するように学習したものであることを特徴とする請求項７に記載の内視鏡診断支援方法。
  9. 　前記エンコーダに入力する前記アノテーション情報と前記拡張アノテーション情報の交差エントロピーが小さくなるように学習する請求項８に記載の内視鏡診断支援方法。
  10. 　前記アノテーション拡張モデルは、前記拡張アノテーション情報をランダムに拡張する請求項８に記載の内視鏡診断支援方法。
  11. 　前記内視鏡画像データベースは、前記内視鏡画像データベースに記録されている前記病変内視鏡画像のデータをデータ拡張技術を用いて拡張して得た拡張データと拡張アノテーション情報の拡張データセットをさらに含んでいる請求項７に記載の内視鏡診断支援方法。
  12. 　前記第２の支援方法で用いる前記学習済み画像診断モデルは、
    　前記内視鏡画像からすべての画素における画像特徴量を抽出し、且つ前記内視鏡画像から前記病変の高い領域を特定し、
    　前記病変の可能性が高い領域にある複数の前記画素の前記画像特徴量を用いて前記病変の可能性が高い領域の病変候補特徴量を求め、
    　前記病変候補特徴量から前記病変の可能性が高い領域を正常と病変に分類するように構成されている請求項１１に記載の内視鏡診断支援方法。
  13. 　前記学習済み画像診断モデルは、
    　前記画像特徴量と内視鏡画像から病変確度マップを作製する病変領域検出画像診断モデルと、
    　前記病変確度マップを二値化処理して病変候補マスクを作成する二値化処理部と、
    　前記画像特徴量と前記病変候補マスクに基づいて前記病変の可能性が高い領域に限定して領域限定特徴量を求める領域限定特徴量演算部と、
    　前記領域限定特徴量を平均化して前記病変の可能性が高い領域の病変候補特徴量を演算する病変候補特徴量演算部と、
    　前記病変候補特徴量に基づいて前記病変の可能性が高い領域を正常と病変に分類する病変分類画像診断モデルとを備えて構成されている請求項１２に記載の内視鏡診断支援方法。
  14. 　前記観察キャンパスを模した図上に、複数の観察済み領域を表示する観察位置表示と、
    　前記観察キャンパスを模した図上に、病変が存在する前記観察済みの領域を表示する病変位置表示と、
    　前記病変が存在する前記観察済みの領域の病変の悪性度及び種類を表示する診断結果表示と、
    　前記被験者のカルテ情報の表示の少なくとも一つを表示装置の表示画面に表示するステップを更に含んでいることを特徴とする請求項１に記載の内視鏡診断支援方法。
  15. 　請求項１の内視鏡診断支援方法を実施するための手段を有するコンピュータを備えた内視鏡診断支援システムであって、
    　前記コンピュータは、
    　前記空洞の前記内視鏡画像の観察キャンパスについての観察キャンパスデータを準備する第１のステップを実施する第１の手段と、
    　フレーム中に前記臓器の前記空洞内の位置を特定可能な１以上の解剖学的構造が含まれているキーフレームを決定し且つ前記観察キャンパスデータに対して前記キーフレームのキーフレーム位置データをマーキングする第２のステップを実施する第２の手段と、
    　前記キーフレームを最初の前フレームとして、前記複数のフレーム中の前フレームと後フレーム上にそれぞれ存在する３つ以上のキーポイントを決定してキーポイントの前記内視鏡画像中の座標を算出する第３のステップを実施する第３の手段と、
    　前記３つ以上のキーポイントの前記内視鏡画像中の座標に基づいて、前記前フレームと前記後フレームとの間の変位量を算出する第４のステップを実施する第４の手段と、
    　少なくとも前記変位量並びに前記第２のステップで最初にマーキングされた最初の前記キーフレーム位置データと前記第２のステップで後にマーキングされた次のキーフレーム位置データに基づいて、前記観察キャンパスデータに対して複数の前記後フレームの確定した位置データをマーキングする第５のステップを実施する第５の手段と、
    　前記複数のフレームについて、前記第２のステップ乃至前記第５のステップの実施と並行しながら前記第３のステップ乃至前記第５のステップを実施した後に、前記観察キャンパスデータに対してマーキングされた複数の前記確定した位置データと前記複数のフレーム中の前記内視鏡画像に基づいて、前記臓器の病変の有無の画像診断を支援する第６のステップを実施する第６の手段を備えて構成されていることを特徴とする内視鏡診断支援システム。
PCT/JP2021/045003 2020-12-08 2021-12-07 内視鏡診断支援方法及び内視鏡診断支援システム WO2022124315A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022568297A JP7388648B2 (ja) 2020-12-08 2021-12-07 内視鏡診断支援方法及び内視鏡診断支援システム
CN202180093283.7A CN116916807A (zh) 2020-12-08 2021-12-07 用于内窥镜诊断支持的方法和用于内窥镜诊断支持的系统
US18/256,083 US20240038391A1 (en) 2020-12-08 2021-12-07 Method and system for endoscopic diagnosis support

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-203765 2020-12-08
JP2020203765 2020-12-08

Publications (1)

Publication Number Publication Date
WO2022124315A1 true WO2022124315A1 (ja) 2022-06-16

Family

ID=81974510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045003 WO2022124315A1 (ja) 2020-12-08 2021-12-07 内視鏡診断支援方法及び内視鏡診断支援システム

Country Status (4)

Country Link
US (1) US20240038391A1 (ja)
JP (1) JP7388648B2 (ja)
CN (1) CN116916807A (ja)
WO (1) WO2022124315A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173075A (zh) * 2022-05-24 2023-12-05 鸿海精密工业股份有限公司 医学图像检测方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017205343A (ja) * 2016-05-19 2017-11-24 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
JP2018050890A (ja) * 2016-09-28 2018-04-05 富士フイルム株式会社 画像表示装置及び画像表示方法並びにプログラム
CN109146884A (zh) * 2018-11-16 2019-01-04 青岛美迪康数字工程有限公司 内窥镜检查监控方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017205343A (ja) * 2016-05-19 2017-11-24 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
JP2018050890A (ja) * 2016-09-28 2018-04-05 富士フイルム株式会社 画像表示装置及び画像表示方法並びにプログラム
CN109146884A (zh) * 2018-11-16 2019-01-04 青岛美迪康数字工程有限公司 内窥镜检查监控方法及装置

Also Published As

Publication number Publication date
CN116916807A (zh) 2023-10-20
JP7388648B2 (ja) 2023-11-29
US20240038391A1 (en) 2024-02-01
JPWO2022124315A1 (ja) 2022-06-16

Similar Documents

Publication Publication Date Title
JP6080248B2 (ja) ３次元画像表示装置および方法並びにプログラム
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
CN111214255B (zh) 一种医学超声图像计算机辅助方法
CN100399978C (zh) 内窥镜系统
US11918178B2 (en) Detecting deficient coverage in gastroenterological procedures
JP5584006B2 (ja) 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
CN111179227B (zh) 基于辅助诊断和主观美学的乳腺超声图像质量评价方法
CN111161290A (zh) 一种图像分割模型的构建方法、图像分割方法及系统
CN108140242A (zh) 视频摄像机与医学成像的配准
CN107909585A (zh) 一种血管内超声影像的血管中内膜分割方法
US20110187707A1 (en) System and method for virtually augmented endoscopy
CN113052956B (zh) 基于胶囊内窥镜构建阅片模型的方法、设备及介质
KR20210104190A (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
JPH11104072A (ja) 医療支援システム
CN116958147B (zh) 基于深度图像特征的目标区域确定方法、装置和设备
JP2017522072A (ja) 信頼度マッチング付き生体内マルチカメラカプセルからの画像の再構築
WO2022124315A1 (ja) 内視鏡診断支援方法及び内視鏡診断支援システム
CN107204045A (zh) 基于ct图像的虚拟内窥镜系统
US7881512B2 (en) Method and apparatus for determining the spatial profile of a vessel axis in volume data records for medical imaging
JP2007105352A (ja) 差分画像表示装置、差分画像表示方法およびそのプログラム
CN116324897A (zh) 用于重建管状器官的三维表面的方法和系统
CN117522712A (zh) 一种三维实景医学影像与路径图融合方法及系统
CN116051553B (zh) 一种在三维医学模型内部进行标记的方法和装置
CN116580819B (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
JPWO2022124315A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903414

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022568297

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202180093283.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18256083

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 21903414

Country of ref document: EP

Kind code of ref document: A1