WO2023144936A1 - 画像判定装置、画像判定方法、及び、記録媒体 - Google Patents
画像判定装置、画像判定方法、及び、記録媒体 Download PDFInfo
- Publication number
- WO2023144936A1 WO2023144936A1 PCT/JP2022/002920 JP2022002920W WO2023144936A1 WO 2023144936 A1 WO2023144936 A1 WO 2023144936A1 JP 2022002920 W JP2022002920 W JP 2022002920W WO 2023144936 A1 WO2023144936 A1 WO 2023144936A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- lesion
- area
- lesion candidate
- determination
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 15
- 230000003902 lesion Effects 0.000 claims abstract description 277
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000003745 diagnosis Methods 0.000 description 15
- 238000001839 endoscopy Methods 0.000 description 15
- 230000015654 memory Effects 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
Definitions
- the present disclosure relates to the determination of images obtained by endoscopy.
- Patent Literature 1 proposes to provide a medical imaging apparatus and an endoscope apparatus capable of efficiently evaluating continuously input imaging signals.
- Patent Document 1 Even with Patent Document 1, it is not always possible to efficiently select endoscopic images to be used for diagnosis.
- One object of the present disclosure is to provide an image determination device capable of determining whether or not an endoscopic image captured in an endoscopic examination can be used for diagnosis.
- an image determination device includes an acquisition means for acquiring an endoscopic image; detection means for detecting a lesion candidate from the endoscopic image and outputting a lesion candidate image containing the lesion candidate; setting means for setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; blur determination means for determining blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area; image determination means for determining suitability of the lesion candidate image based on blur determination results; Prepare.
- an image determination method includes: Acquiring endoscopic images, detecting a lesion candidate from the endoscopic image, outputting a lesion candidate image containing the lesion candidate; setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; Determining the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area; The suitability of the lesion candidate image is determined based on the blur determination result.
- the recording medium comprises Acquiring endoscopic images, detecting a lesion candidate from the endoscopic image, outputting a lesion candidate image containing the lesion candidate; setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; Determining the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area; A program is recorded that causes a computer to execute a process of judging whether the lesion candidate image is appropriate based on the blur judgment result.
- FIG. 1 is a block diagram showing a schematic configuration of an endoscopy system
- FIG. 2 is a block diagram showing the hardware configuration of the image processing device
- FIG. 2 is a block diagram showing the functional configuration of the image processing device
- FIG. FIG. 4 is a diagram showing an example of corresponding regions; It is a figure which shows the calculation method of the power of a high frequency component. It is a figure which shows an example of a determination result. It is a figure which shows the example of a display of a determination result.
- 4 is a flowchart of determination processing by an image determination device
- FIG. 11 is a block diagram showing the functional configuration of an image determination device according to a second embodiment
- FIG. 9 is a flowchart of processing by the image determination device of the second embodiment
- FIG. 1 shows a schematic configuration of an endoscopy system 100.
- the endoscopy system 100 detects a lesion-like portion (hereinafter referred to as a “lesion candidate”) during an examination (including treatment) using an endoscope, and includes the detected lesion candidate.
- An endoscopic image (hereinafter referred to as a “lesion candidate image”) is output.
- the endoscopy system 100 determines whether the lesion candidate image can be used for diagnosis by a doctor or AI (Artificial Intelligence), and displays the result. This makes it possible to select lesion candidate images that can be used for diagnosis and to efficiently diagnose lesion candidates.
- AI Artificial Intelligence
- the endoscopy system 100 mainly includes an image processing device 1, a display device 2, and an endoscope 3 connected to the image processing device 1.
- the image processing apparatus 1 acquires from the endoscope 3 an image (i.e., moving image, hereinafter also referred to as an "endoscopic image Ic") captured by the endoscope 3 during an endoscopy.
- the display device 2 is caused to display display data for confirmation by the examiner of the endoscopic examination.
- the image processing apparatus 1 acquires, as an endoscopic image Ic, a moving image of the interior of an organ captured by the endoscope 3 during an endoscopy.
- the examiner finds a lesion during the endoscopy, the examiner operates the endoscope 3 to input an instruction to photograph the lesion position.
- the image processing apparatus 1 generates a lesion image showing a lesion position based on an imaging instruction from an examiner.
- the image processing apparatus 1 generates a lesion image, which is a still image, from the endoscopic image Ic, which is a moving image, based on the imaging instruction of the examiner.
- the display device 2 is a display or the like that performs a predetermined display based on a display signal supplied from the image processing device 1 .
- the endoscope 3 mainly includes an operation unit 36 for inputting air supply, water supply, angle adjustment, imaging instruction, etc. by the examiner, and a flexible endoscope which is inserted into an organ to be examined of the examinee.
- a flexible shaft 37 a flexible shaft 37 , a distal end portion 38 containing an imaging unit such as an ultra-compact imaging device, and a connecting portion 39 for connecting to the image processing apparatus 1 .
- FIG. 2 shows the hardware configuration of the image processing apparatus 1.
- the image processing apparatus 1 mainly includes a processor 11, a memory 12, an interface 13, an input section 14, a light source section 15, a sound output section 16, and a database (hereinafter referred to as "DB") 17. ,including.
- DB database
- the processor 11 executes a predetermined process by executing a program or the like stored in the memory 12.
- the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit). Note that the processor 11 may be composed of a plurality of processors. Processor 11 is an example of a computer.
- the memory 12 is composed of various volatile memories used as working memory, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memory for storing information necessary for processing of the image processing apparatus 1. be done.
- the memory 12 may include an external storage device such as a hard disk connected to or built into the image processing apparatus 1, or may include a storage medium such as a detachable flash memory or disk medium.
- the memory 12 stores a program for the image processing apparatus 1 to execute each process in this embodiment.
- the memory 12 temporarily stores a series of endoscope images Ic captured by the endoscope 3 during endoscopy.
- the memory 12 temporarily stores lesion images captured based on imaging instructions from the examiner during the endoscopy. These images are stored in the memory 12 in association with, for example, subject identification information (for example, patient ID), time stamp information, and the like.
- the interface 13 performs an interface operation between the image processing device 1 and an external device.
- the interface 13 supplies the display data Id generated by the processor 11 to the display device 2 .
- the interface 13 supplies illumination light generated by the light source unit 15 to the endoscope 3 .
- the interface 13 also supplies the processor 11 with an electrical signal indicating the endoscopic image Ic supplied from the endoscope 3 .
- the interface 13 may be a communication interface such as a network adapter for performing wired or wireless communication with an external device, and may be a hardware interface conforming to USB (Universal Serial Bus), SATA (Serial AT Attachment), or the like. may
- the input unit 14 generates an input signal based on the operation of the inspector.
- the input unit 14 is, for example, a button, touch panel, remote controller, voice input device, or the like.
- the light source unit 15 generates light to be supplied to the distal end portion 38 of the endoscope 3 .
- the light source unit 15 may also incorporate a pump or the like for sending out water or air to be supplied to the endoscope 3 .
- the sound output unit 16 outputs sound under the control of the processor 11 .
- the DB 17 stores endoscopic images and lesion information acquired by the subject's past endoscopic examinations.
- the lesion information includes lesion images and related information.
- the DB 17 may include an external storage device such as a hard disk connected to or built into the image processing apparatus 1, or may include a storage medium such as a detachable flash memory. Note that instead of providing the DB 17 in the endoscopy system 100, the DB 17 may be provided in an external server or the like, and related information may be acquired from the server through communication.
- FIG. 3 is a block diagram showing the functional configuration of the image processing apparatus 1. As shown in FIG.
- the image processing apparatus 1 functionally includes an interface 13, a lesion candidate detection unit 21, a corresponding position setting unit 22, a blur calculation unit 23, a light amount calculation unit 24, a determination unit 25, and a display device 2. ,including.
- An endoscope image Ic is input from the endoscope 3 to the image processing device 1 .
- the endoscope image Ic is input to the interface 13 .
- the interface 13 outputs the input endoscopic image Ic to the lesion candidate detection section 21 .
- the lesion candidate detection unit 21 detects lesion candidates from the endoscopic image Ic and generates lesion candidate images including the detected lesion candidates.
- the lesion candidate detection unit 21 may detect a lesion candidate included in the endoscopic image Ic using AI image analysis to generate a lesion candidate image, or may generate a lesion candidate image.
- a lesion candidate image may be generated based on the imaging instruction.
- the lesion candidate detection unit 21 outputs the generated lesion candidate image to the corresponding position setting unit 22 .
- the corresponding position setting unit 22 encloses the lesion candidate on the lesion candidate image with a rectangle or the like, and sets the area surrounded by the rectangle or the like as the lesion area. Also, the corresponding position setting unit 22 sets a corresponding region on the lesion candidate image. The corresponding area is set at a position corresponding to the lesion area on the lesion candidate image.
- an endoscopic image is often such that the upper part is the front and the lower part is the back, or the upper part is the back and the lower part is the front. Also, when taking pictures while inserting or removing an endoscope, the images have depth, making it difficult to focus on the entire image or apply light evenly.
- An endoscopic image is generated in which the image quality is blurred, or the image quality in the foreground is blurred but the image quality in the background is good.
- the corresponding position setting unit 22 sets one or more corresponding areas below the lesion candidate image. Also, the corresponding position setting unit 22 sets one or more corresponding regions above the lesion candidate image when there is a lesion area below the lesion candidate image.
- the lesion candidate image in which the lesion area and the corresponding area are thus set is used for image determination, which will be described later.
- FIG. 4 shows an example of corresponding regions set on a certain lesion candidate image.
- the dashed line in the center divides the image into an upper portion and a lower portion, and is indicated for convenience.
- the corresponding position setting unit 22 sets one or more corresponding regions 43a (gray rectangles) under the lesion candidate image 41a.
- the corresponding position setting unit 22 sets one or more corresponding regions 43b (gray rectangles) above the lesion candidate image 41b.
- the corresponding position setting unit 22 may set a corresponding region at a position that is vertically symmetrical with the lesion region, or may set one or a plurality of corresponding regions at positions that are horizontally shifted from the position that is vertically symmetrical with the lesion region. A region may be set.
- the corresponding position setting unit 22 may set a plurality of corresponding regions on a circular arc in consideration of the shape of the inside of the tubular tissue.
- the corresponding position setting unit 22 outputs the lesion candidate image in which the lesion area and the corresponding area are set as described above to the blur calculation unit 23 and the light amount calculation unit 24 .
- the blur calculation unit 23 performs Fourier transform on each of the lesion area image and the corresponding area image set by the corresponding position setting unit 22, and calculates the power of the high frequency component. The blur calculation unit 23 then outputs the calculation result to the determination unit 25 .
- FIG. 5 shows a method of calculating the power of high frequency components by the blur calculator 23 .
- the lesion area image 42 and the corresponding area image 43 are respectively Fourier transformed to obtain two-dimensional arrays 52 and 53 .
- Each element of the two-dimensional array contains the power of the frequency component (complex number norm).
- the frequency increases toward the right (X direction) and upward (Y direction). Therefore, the blur calculation unit 23 sets the upper right regions (black regions) of the two-dimensional arrays 52 and 53 having large X and Y values as the high frequency regions 52a and 53a, and calculates the power of the high frequency regions 52a and 53a.
- a result is output to the determination part 25.
- FIG. instead, as shown in FIG.
- the blur calculation unit 23 sets black regions other than the lower left corner as high-frequency regions 52b and 53b where the value of either X or Y is large.
- the power of 53 b may be calculated, and the calculation result may be output to the determination section 25 .
- the light amount calculation unit 24 calculates the light amount for each of the lesion area image and the corresponding area image set by the corresponding position setting unit 22 and outputs the calculation result to the determination unit 25 .
- the light amount calculator 24 converts the RGB values of the lesion area image, which is an RGB image, into HSV values. Then, the light amount calculation unit 24 outputs the obtained brightness value (V value) to the determination unit 25 as the light amount.
- the light intensity calculation unit 24 performs the same processing on the corresponding area image, and outputs the brightness value (V value) to the determination unit 25 .
- the method for calculating the amount of light is not limited to this, and for example, the amount of light may be calculated using another color space conversion method.
- the determination unit 25 determines whether or not the lesion candidate image is an appropriate image that can be used for diagnosis based on the results of the blur calculation unit 23 and the light intensity calculation unit 24 . Specifically, first, the determination unit 25 performs power determination of high-frequency components based on the output of the blur calculation unit 23, and determines whether the lesion area image is in focus or blurred. Then, when the lesion area image is in focus, the determination unit 25 determines that the lesion candidate image is an appropriate image. On the other hand, when the lesion area image is blurred, the determination unit 25 determines that the lesion candidate image is an inappropriate image.
- the determination unit 25 determines the amount of light (brightness) based on the output of the light amount calculation unit 24, and determines the brightness of the lesion area image and the corresponding area image. Then, the determination unit 25 estimates the cause of the inappropriateness of the lesion candidate image based on the results of the power determination and the light amount determination of the high frequency component.
- High-frequency component power determination means that the determining unit 25 determines whether or not the lesion area image and the corresponding area image are in focus.
- the determination unit 25 compares the power of the high frequency component of the lesion area image calculated by the blur calculation unit 23 and the power of the high frequency component of the corresponding area image with a predetermined threshold value TH1.
- the predetermined threshold TH1 is a threshold value that determines whether the image is in focus.
- the determination unit 25 determines that the lesion area image is “high” when the power of the high-frequency component is equal to or greater than the predetermined threshold TH1, that is, the image is in focus, and when the power of the high-frequency component is less than the predetermined threshold TH1. In this case, the image is determined to be "small", that is, the image is blurred.
- the determination unit 25 determines that the power of the high-frequency component of the corresponding region image is “high” if it is equal to or greater than the predetermined threshold TH1, and “low” if it is less than the predetermined threshold TH1. .
- the determination unit 25 uses one of the plurality of corresponding regions with the largest difference in power of the high-frequency component from the lesion region for determination. may be performed.
- the determination unit 25 When it is determined that the lesion area image is in focus by the high-frequency component power determination, the determination unit 25 outputs a result that the lesion candidate image is an appropriate image that can be used for diagnosis. On the other hand, when it is determined that the lesion area image is blurred, the determination unit 25 outputs the result that the lesion candidate image is an inappropriate image that cannot be used for diagnosis.
- the determination unit 25 may determine whether or not the subject is in focus by providing a predetermined threshold TH2 in addition to the predetermined threshold TH1.
- the predetermined threshold TH2 is a threshold value that determines whether the image is blurred or not. For each of the lesion area image and the corresponding area image, the determination unit 25 determines "large” when the power of the high frequency component is equal to or greater than a predetermined threshold TH1, and determines "high” when the power of the high frequency component is equal to or less than the predetermined threshold TH2. small”.
- the determination unit 25 may determine that it is "high", or the power of the high-frequency component of the lesion area image may be determined to be "high”. The inspector may be allowed to choose whether or not to
- Light amount (brightness) determination means that the determining unit 25 determines the brightness of each of the lesion area image and the corresponding area image.
- the determination unit 25 compares the light amount of the lesion area image and the light amount of the corresponding area image calculated by the light amount calculation unit 24 with a predetermined threshold value TH3. Then, when the light amount of the lesion area image is equal to or greater than the predetermined threshold TH3, the determination unit 25 determines that the light amount is "large”, that is, the light amount is large. On the other hand, when the light amount of the lesion area image is less than the predetermined threshold TH3, it is determined to be "small”, that is, the light amount is small. Similarly, the determination unit 25 determines that the corresponding area image is "high” when the light amount is equal to or greater than the predetermined threshold TH3, and "low” when the light amount is less than the predetermined threshold TH3.
- the determination unit 25 may determine the brightness by providing a predetermined threshold TH4.
- the predetermined threshold TH3 is set to a boundary value indicating whether the light amount is large
- the predetermined threshold TH4 is set to a boundary value indicating whether the light amount is small. Then, for each of the lesion area image and the corresponding area image, if the light amount is equal to or greater than a predetermined threshold TH3, it is determined to be "large”, and if the light amount is equal to or less than a predetermined threshold TH4, it is determined to be "small”. Further, when the amount of light is less than the predetermined threshold TH3 and greater than the predetermined threshold TH4, the determination unit 25 determines that "the amount of light is appropriate.”
- FIG. 6 shows an example of the determination result when the determination unit 25 determines that the lesion candidate image is inappropriate.
- the determination unit 25 outputs determination results including "high-frequency component power determination”, “light amount (brightness) determination”, and "cause estimation”.
- High-frequency component power determination indicates the determination result of the high-frequency component power of the lesion area and the corresponding area.
- a determination result of "large” indicates that the image is in focus, and a determination result of "small” indicates that the image is blurred.
- the lesion area images are blurred in all the examples.
- Light intensity (brightness) determination indicates the light intensity (brightness) determination results of the lesion area and the corresponding area. A judgment result of "high” indicates that the amount of light is large, and a judgment result of "small” indicates that the amount of light is small.
- the determination unit 25 estimates the reason why the lesion area image is out of focus based on the results of the "high-frequency component power determination" and the "light amount (brightness) determination". For example, in Example 1 of FIG. 6, the amount of light in both the lesion area and the corresponding area is large. I'm assuming that. In example 2, since the lesion area has a large amount of light, the determining unit 25 presumes that the cause of the inappropriate lesion candidate image is "the large amount of light in the lesion candidate area".
- the determining unit 25 estimates that the reason why the lesion candidate image is inappropriate is "the endoscope camera is too close, etc.”.
- the determining unit 25 since the amount of light in both the lesion area and the corresponding area is small, the determining unit 25 presumes that the reason why the lesion candidate image is inappropriate is "the overall amount of light in the lesion candidate image is small.” there is In Example 5, the amount of light in both the lesion area and the corresponding area is large, and the images are blurred in both the lesion area and the corresponding area. , that "the entire lesion candidate image is out of focus".
- the determination unit 25 makes determinations such as those described above, and outputs the determination results to the display device 2 .
- the display device 2 displays the determination result input from the determination section 25 .
- FIG. 7 shows an example of display by the display device 2.
- a lesion candidate image 71 in the display area 70 of the display device 2, a lesion candidate image 71, a lesion area 72, basic information such as the patient name and examination date and time, and related information 73 representing the judgment result and cause of the image.
- a message 74 prompting adjustment of the amount of light are displayed.
- a lesion candidate image 71 is an endoscopic image of an organ site where a lesion candidate is detected.
- a lesion area 72 indicates a lesion candidate included in the lesion candidate image 71 surrounded by a rectangle.
- the related information 73 is the result of determining whether the lesion candidate image 71 is an appropriate image that can be used for diagnosis. If the lesion candidate image 71 is determined to be an inappropriate image, the related information 73 also indicates the cause of the inappropriate image.
- a message 74 is a message prompting a response such as light amount adjustment, and is displayed when the lesion candidate image 71 is determined to be an inappropriate image.
- FIG. 8 is a flow chart of determination processing by the image processing apparatus 1 . This processing is realized by executing a program prepared in advance by the processor 11 shown in FIG. 2 and operating as each element shown in FIG.
- the interface 13 acquires the endoscopic image Ic (step S11).
- the lesion candidate detection unit 21 detects a lesion candidate from the endoscopic image Ic and generates a lesion candidate image (step S12).
- the corresponding position setting unit 22 sets a lesion area including the lesion candidate for the lesion candidate image, and further sets a corresponding area corresponding to the lesion area (step S13). If there is a lesion area in the upper part of the lesion candidate image, the corresponding area is set in the lower part of the lesion candidate image, and if there is a lesion area in the lower part of the lesion candidate image, the corresponding area is set in the upper part of the lesion candidate image. be done.
- the blur calculation unit 23 performs Fourier transform on each of the lesion area image and the corresponding area image, and calculates the power of the high frequency component (step S14).
- the light amount calculator 24 converts the RGB values of the lesion area image and the corresponding area image into HSV values, and calculates the respective light amounts (V values) (step S15).
- the determination unit 25 determines whether or not the focus is achieved by comparing the power of the high frequency component of the lesion area image and the power of the high frequency component of the corresponding area image with a predetermined threshold value TH1. Further, the determination unit 25 determines the brightness of the image by comparing the light amount of the lesion area image and the light amount of the corresponding area image with a predetermined threshold value TH3. Then, the determination unit 25 determines whether or not the lesion candidate image is suitable for diagnosis based on the above determination result (step S16). If the lesion candidate image is not suitable for diagnosis, the determination unit 25 estimates the cause.
- step S17 the display device 2 displays the determination result of the determination unit 25 (step S17).
- step S15 may be executed before step S14 or may be executed simultaneously with step S15.
- the endoscopy system 100 can select an image in which the lesion candidate is in focus from among the captured endoscopic images. This enables a doctor or AI to perform image diagnosis efficiently. In addition, even if the lesion candidate is blurred and cannot be used for image diagnosis, it is possible to encourage improvement of settings by displaying the cause.
- FIG. 9 is a block diagram showing the functional configuration of the image determination device of the second embodiment.
- the image determination device 80 includes acquisition means 81 , detection means 82 , setting means 83 , blur determination means 84 , and image determination means 85 .
- FIG. 10 is a flowchart of processing by the image determination device of the second embodiment.
- Acquisition means 81 acquires an endoscopic image (step S81).
- the detecting means 82 detects a lesion candidate from the endoscopic image and outputs a lesion candidate image including the lesion candidate (step S82).
- the setting means 83 sets a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image (step S83).
- the blur determining means 84 determines the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area (step S84).
- the image determination means 85 determines whether the lesion candidate image is appropriate based on the blur determination result (step S85).
- the image determination device 80 of the second embodiment it is possible to determine whether or not an endoscopic image showing a lesion candidate can be used for diagnosis.
- An image determination device comprising:
- (Appendix 2) The image determination apparatus according to Supplementary Note 1, wherein the blur determination means determines the blur of the image of the lesion area based on the power of the high-frequency component for each of the image of the lesion area and the image of the corresponding area.
- the setting means sets one or a plurality of corresponding regions below the lesion candidate image when the lesion candidate is above the lesion candidate image, and when the lesion candidate is below the lesion candidate image. 2.
- the image determination apparatus according to Supplementary note 2, wherein one or more corresponding regions are set on the lesion candidate image.
- the blur determination means determines the blur of the image of the lesion area using the corresponding area with the largest difference in power of the high-frequency component from the lesion area.
- appendix 6 The image determination apparatus according to appendix 5, comprising display means for displaying an inappropriate lesion candidate image and a message indicating the reason why the lesion candidate image is inappropriate.
- (Appendix 7) Acquiring endoscopic images, detecting a lesion candidate from the endoscopic image, outputting a lesion candidate image containing the lesion candidate; setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; Determining the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area; An image determination method for determining suitability of the lesion candidate image based on blur determination results.
- (Appendix 8) Acquiring endoscopic images, detecting a lesion candidate from the endoscopic image, outputting a lesion candidate image containing the lesion candidate; setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; Determining the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area;
- a recording medium recording a program for causing a computer to execute a process of judging suitability of the candidate lesion image based on a blur judgment result.
- Reference Signs List 1 image processing device 2 display device 3 endoscope 11 processor 12 memory 13 interface 17 database (DB) 21 lesion candidate detection unit 22 corresponding position setting unit 23 blur calculation unit 24 light amount calculation unit 25 determination unit 100 endoscopy system
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
画像判定装置において、取得手段は、内視鏡画像を取得する。検出手段は、内視鏡画像から病変候補を検出し、病変候補を含む病変候補画像を出力する。設定手段は、病変候補画像において、病変候補に対応する病変領域と、病変領域に対応する対応領域とを設定する。ぼけ判定手段は、病変領域の画像及び対応領域の画像に基づいて、病変領域の画像のぼけを判定する。画像判定手段は、ぼけの判定結果に基づいて、病変候補画像の適否を判定する。
Description
本開示は、内視鏡検査により得られた画像の判定に関する。
内視鏡検査において、管状の体内組織で病変候補がある部分に光を照射して撮影する。レンズの光学特性上、光を強く照射した時は細部が詳細に判別可能な範囲が狭くなり、進行方向への撮影の場合、病変候補の部分がぼけて、相対的に暗い部分に合焦した、いわゆる後ピン画像になることがある。また、レンズが病変候補に近づきすぎて病変候補の部分がぼけ、後ピン画像になることもある。このような場合、病変候補の判別が難しくなるため、診断が困難な不適切画像になる。特許文献1は、連続して入力される撮像信号を効率的に評価することができる医療用撮像装置及び内視鏡装置を提供することを提案している。
しかし、特許文献1によっても、診断に使用する内視鏡画像を効率的に選別できるとは限らない。
本開示の1つの目的は、内視鏡検査において撮影した内視鏡画像が、診断に使用できるか否かを判定することが可能な画像判定装置を提供することにある。
本開示の一つの観点では、画像判定装置は、
内視鏡画像を取得する取得手段と、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する検出手段と、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する設定手段と、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定するぼけ判定手段と、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定手段と、
を備える。
内視鏡画像を取得する取得手段と、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する検出手段と、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する設定手段と、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定するぼけ判定手段と、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定手段と、
を備える。
本開示の他の観点では、画像判定方法は、
内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する。
内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する。
本開示のさらに他の観点では、記録媒体は、
内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する処理をコンピュータに実行させるプログラムを記録する。
内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する処理をコンピュータに実行させるプログラムを記録する。
本開示によれば、病変候補を写した内視鏡画像が、診断に使用できるか否かを判定することが可能となる。
以下、図面を参照して、本開示の好適な実施形態について説明する。
<第1実施形態>
[システム構成]
図1は、内視鏡検査システム100の概略構成を示す。内視鏡検査システム100は、内視鏡を利用した検査(治療を含む)の際に、病変らしい箇所(以下、「病変候補」と呼ぶ。)の検出を行い、検出された病変候補を含む内視鏡画像(以下、「病変候補画像」と呼ぶ。)を出力する。そして、内視鏡検査システム100は、病変候補画像が、医師またはAI(Artificial Intelligence)の診断に用いることができるか否かを判定し、結果を表示する。これにより、診断に用いることのできる病変候補画像を選別し、病変候補を効率的に診断することが可能となる。
<第1実施形態>
[システム構成]
図1は、内視鏡検査システム100の概略構成を示す。内視鏡検査システム100は、内視鏡を利用した検査(治療を含む)の際に、病変らしい箇所(以下、「病変候補」と呼ぶ。)の検出を行い、検出された病変候補を含む内視鏡画像(以下、「病変候補画像」と呼ぶ。)を出力する。そして、内視鏡検査システム100は、病変候補画像が、医師またはAI(Artificial Intelligence)の診断に用いることができるか否かを判定し、結果を表示する。これにより、診断に用いることのできる病変候補画像を選別し、病変候補を効率的に診断することが可能となる。
図1に示すように、内視鏡検査システム100は、主に、画像処理装置1と、表示装置2と、画像処理装置1に接続された内視鏡スコープ3と、を備える。
画像処理装置1は、内視鏡検査中に内視鏡スコープ3が撮影する映像(即ち、動画。以下、「内視鏡映像Ic」とも呼ぶ。)を内視鏡スコープ3から取得し、内視鏡検査の検査者が確認するための表示データを表示装置2に表示させる。具体的に、画像処理装置1は、内視鏡検査中に、内視鏡スコープ3により撮影された臓器内の動画を内視鏡映像Icとして取得する。また、検査者は、内視鏡検査中に病変を見つけると、内視鏡スコープ3を操作して病変位置の撮影指示を入力する。画像処理装置1は、検査者による撮影指示に基づいて、病変位置を写した病変画像を生成する。具体的には、画像処理装置1は、動画である内視鏡映像Icから、検査者の撮影指示に基づいて静止画である病変画像を生成する。
表示装置2は、画像処理装置1から供給される表示信号に基づき所定の表示を行うディスプレイ等である。
内視鏡スコープ3は、主に、検査者が送気、送水、アングル調整、撮影指示などの入力を行うための操作部36と、被検者の検査対象となる臓器内に挿入され、柔軟性を有するシャフト37と、超小型撮影素子などの撮影部を内蔵した先端部38と、画像処理装置1と接続するための接続部39とを有する。
[ハードウェア構成]
図2は、画像処理装置1のハードウェア構成を示す。画像処理装置1は、主に、プロセッサ11と、メモリ12と、インターフェース13と、入力部14と、光源部15と、音出力部16と、データベース(以下、「DB」と記す。)17と、を含む。これらの各要素は、データバス19を介して接続されている。
図2は、画像処理装置1のハードウェア構成を示す。画像処理装置1は、主に、プロセッサ11と、メモリ12と、インターフェース13と、入力部14と、光源部15と、音出力部16と、データベース(以下、「DB」と記す。)17と、を含む。これらの各要素は、データバス19を介して接続されている。
プロセッサ11は、メモリ12に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ11は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)などのプロセッサである。なお、プロセッサ11は、複数のプロセッサから構成されてもよい。プロセッサ11は、コンピュータの一例である。
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置1の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ12は、画像処理装置1に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリやディスク媒体などの記憶媒体を含んでもよい。メモリ12には、画像処理装置1が本実施形態における各処理を実行するためのプログラムが記憶される。
また、メモリ12は、プロセッサ11の制御に基づき、内視鏡検査において内視鏡スコープ3が撮影した一連の内視鏡映像Icを一時的に記憶する。また、メモリ12は、内視鏡検査中に検査者の撮影指示に基づいて撮影された病変画像を一時的に記憶する。これらの画像は、例えば、被検者の識別情報(例えば患者ID)、及び、タイムスタンプの情報等と関連付けられてメモリ12に記憶される。
インターフェース13は、画像処理装置1と外部装置とのインターフェース動作を行う。例えば、インターフェース13は、プロセッサ11が生成した表示データIdを表示装置2に供給する。また、インターフェース13は、光源部15が生成する照明光を内視鏡スコープ3に供給する。また、インターフェース13は、内視鏡スコープ3から供給される内視鏡映像Icを示す電気信号をプロセッサ11に供給する。インターフェース13は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、USB(Universal Serial Bus)、SATA(Serial AT Attachment)などに準拠したハードウェアインターフェースであってもよい。
入力部14は、検査者の操作に基づく入力信号を生成する。入力部14は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部15は、内視鏡スコープ3の先端部38に供給するための光を生成する。また、光源部15は、内視鏡スコープ3に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部16は、プロセッサ11の制御に基づき音を出力する。
DB17は、被検者の過去の内視鏡検査により取得された内視鏡映像、及び、病変情報を記憶している。病変情報は、病変画像と、関連情報とを含む。DB17は、画像処理装置1に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、DB17を内視鏡検査システム100内に備える代わりに、外部のサーバなどにDB17を設け、通信により当該サーバから関連情報を取得するようにしてもよい。
[機能構成]
図3は、画像処理装置1の機能構成を示すブロック図である。画像処理装置1は、機能的には、インターフェース13と、病変候補検出部21と、対応位置設定部22と、ぼけ計算部23と、光量計算部24と、判定部25と、表示装置2と、を含む。
図3は、画像処理装置1の機能構成を示すブロック図である。画像処理装置1は、機能的には、インターフェース13と、病変候補検出部21と、対応位置設定部22と、ぼけ計算部23と、光量計算部24と、判定部25と、表示装置2と、を含む。
画像処理装置1には、内視鏡スコープ3から内視鏡映像Icが入力される。内視鏡映像Icは、インターフェース13へ入力される。インターフェース13は、入力された内視鏡映像Icを病変候補検出部21へ出力する。
病変候補検出部21は、内視鏡映像Icから病変候補を検出し、検出した病変候補を含む病変候補画像を生成する。ここで、病変候補検出部21は、AI画像解析を用いて、内視鏡映像Icに含まれる病変候補を検出し、病変候補画像を生成してもよいし、内視鏡検査中に検査者の撮影指示に基づいて病変候補画像を生成してもよい。病変候補検出部21は、生成した病変候補画像を、対応位置設定部22へ出力する。
対応位置設定部22は、病変候補画像上の病変候補を矩形などで囲い、矩形などで囲われた領域を病変領域として設定する。また、対応位置設定部22は、病変候補画像上に対応領域を設定する。対応領域は、病変候補画像上で、病変領域に対応する位置に設定される。
ここで、対応位置設定部22による対応領域の設定方法について説明する。内視鏡は管状の体内組織を撮影するため、内視鏡画像は上部が手前、下部が奥、もしくは上部が奥、下部が手前になることが多い。また、内視鏡を挿入または抜去しながら撮影する場合は、奥行がある画像になるため、画像全体に焦点を合わせることや、光を均等に当てることが難しく、手前の画質は良好だが奥の画質はぼけている、または、手前の画質はぼけているが奥の画質は良好である内視鏡画像が生成される。
そのため、対応位置設定部22は、病変候補画像の上部に病変領域がある場合には、病変候補画像の下部に1又は複数の対応領域を設定する。また、対応位置設定部22は、病変候補画像の下部に病変領域がある場合に、病変候補画像の上部に1又は複数の対応領域を設定する。こうして病変領域及び対応領域が設定された病変候補画像は、後述の画像判定に使用する。
具体的に、図4は、ある病変候補画像上に設定された対応領域の一例を示す。なお、図4(A)及び図4(B)において、中央の破線は、画像を上部と下部に分けるため、便宜的に記している。図4(A)の例では、病変候補画像41aの上部に病変領域42a(斜線の矩形)がある。このとき、対応位置設定部22は、病変候補画像41aの下部に対応領域43a(グレーの矩形)を1又は複数設定する。また、図4(B)の例では、病変候補画像41bの下部に病変領域42b(斜線の矩形)がある。このとき、対応位置設定部22は、病変候補画像41bの上部に対応領域43b(グレーの矩形)を1又は複数設定する。なお、対応位置設定部22は、病変領域と上下対象となる位置に対応領域を設定してもよいし、病変領域と上下対象となるような位置から左右にずらした位置に1又複数の対応領域を設定してもよい。また、管状の組織内を撮影した場合は、対応位置設定部22は、管状内の形を考慮し、対応領域を円弧上に複数設定してもよい。
対応位置設定部22は、上記のように病変領域と対応領域を設定した病変候補画像をぼけ計算部23と、光量計算部24へ出力する。
ぼけ計算部23は、対応位置設定部22が設定した、病変領域の画像と対応領域の画像のそれぞれについてフーリエ変換を行い、高周波成分のパワーを計算する。そして、ぼけ計算部23は、計算結果を判定部25へ出力する。
ここで、ぼけ計算部23による高周波成分のパワーの計算方法について説明する。ある画像データについて、焦点が合っている鮮鋭な画像は高周波成分のパワーが大きくなり、ぼけた画像は高周波成分のパワーが小さくなる。そのため、画像の高周波成分のパワーを計算することで、焦点が合っている画像か、ぼけている画像かを判定することができる。図5は、ぼけ計算部23による高周波成分のパワーの計算方法を示す。
図5(A)では、病変領域画像42および対応領域画像43をそれぞれフーリエ変換し、二次元配列52、53を取得している。二次元配列の各要素には、周波数成分のパワー(複素数のノルム)が入っている。また、二次元配列52、53は、右方向(X方向)へ行くほど、また、上方向(Y方向)へ行くほど周波数が高くなる。そこで、ぼけ計算部23は、二次元配列52、53のXおよびYの値が大きい右上の領域(黒い領域)を高周波領域52a、53aとし、高周波領域52a、53aのパワーをそれぞれ計算し、計算結果を判定部25へ出力する。その代わりに、ぼけ計算部23は、図5(B)のように、XまたはYのどちらかの値が大きい領域、即ち、左下以外の黒い領域を高周波領域52b、53bとし、高周波領域52b、53bのパワーをそれぞれ計算し、計算結果を判定部25へ出力してもよい。
光量計算部24は、対応位置設定部22が設定した、病変領域画像と対応領域画像のそれぞれについて、光量を計算し、計算結果を判定部25へ出力する。具体的には、光量計算部24は、RGB画像である病変領域画像について、そのRGB値をHSV値へ変換する。そして、光量計算部24は、得られた明度の値(V値)を光量として判定部25へ出力する。光量計算部24は、対応領域画像についても同様の処理を行い、明度の値(V値)を判定部25へ出力する。なお、光量の算出方法はこれに限定されるものではなく、例えば、他の色空間変換方式などを用いて光量を算出してもよい。
判定部25は、ぼけ計算部23と、光量計算部24との結果を基に、病変候補画像が診断に用いることができる適切な画像であるか否かを判定する。具体的に、まず、判定部25は、ぼけ計算部23の出力に基づいて高周波成分のパワー判定を行い、病変領域画像は焦点が合っているか、ぼけているかを判定する。そして、判定部25は、病変領域画像の焦点が合っている場合、病変候補画像は適切な画像であると判定する。一方、判定部25は、病変領域画像がぼけている場合、病変候補画像は不適切な画像であると判定する。さらに、判定部25は、光量計算部24の出力に基づいて光量(明度)判定を行い、病変領域画像と対応領域画像の明暗を判定する。そして、判定部25は、高周波成分のパワー判定及び光量判定の結果に基づいて、病変候補画像が不適切となっている原因を推測する。
まず、高周波成分のパワー判定について詳しく説明する。高周波成分のパワー判定とは、判定部25が、病変領域画像と対応領域画像のそれぞれの画像について、焦点が合っているか否かを判定することをいう。
具体的に、判定部25は、ぼけ計算部23が算出した病変領域画像の高周波成分のパワーと対応領域画像の高周波成分のパワーを、予め決められた所定の閾値TH1と比較する。所定の閾値TH1は、画像に焦点が合っているか否かの境目となる値である。判定部25は、病変領域画像について、高周波成分のパワーが所定の閾値TH1以上の場合は「大」、即ち、焦点が合っている画像と判定し、高周波成分のパワーが所定の閾値TH1未満の場合は「小」、即ち、ぼけている画像と判定する。同様に、判定部25は、対応領域画像についても、高周波成分のパワーが所定の閾値TH1以上の場合は「大」と判定し、所定の閾値TH1未満の場合は「小」と判定していく。
病変候補画像上に対応領域が複数設定されている場合は、判定部25は、複数の対応領域のうち、病変領域との高周波成分のパワーの差が最大となる1つの対応領域を用いて判定を行ってもよい。
高周波成分のパワー判定によって、病変領域画像に焦点が合っていると判定された場合、判定部25は、当該病変候補画像は診断に用いることができる適切な画像であるとの結果を出力する。一方、病変領域画像がぼけていると判定された場合、判定部25は、当該病変候補画像は診断に用いることができない不適切な画像であるとの結果を出力する。
なお、判定部25は、所定の閾値TH1に加え、所定の閾値TH2を設けて、焦点が合っているか否かを判定してもよい。所定の閾値TH2は、画像がぼけているか否かの境目となる値である。判定部25は、病変領域画像と対応領域画像のそれぞれについて、高周波成分のパワーが所定の閾値TH1以上の場合は「大」と判定し、高周波成分のパワーが所定の閾値TH2以下の場合は「小」と判定する。また、判定部25は、病変領域画像の高周波成分のパワーが所定の閾値TH1未満であり、かつ、所定の閾値TH2より大きい場合は「大」と判定してもよいし、診断に用いる画像とするか否かを検査者に選択させてもよい。
次に、光量(明度)判定について詳しく説明する。光量(明度)判定とは、判定部25が、病変領域画像と対応領域画像のそれぞれの画像について、明暗を判定することをいう。
具体的に、判定部25は、光量計算部24が算出した病変領域画像の光量と対応領域画像の光量を、予め決められた所定の閾値TH3と比較する。そして、判定部25は、病変領域画像の光量が所定の閾値TH3以上の場合は「大」、即ち、光量が多いと判定する。一方、病変領域画像の光量が所定の閾値TH3未満の場合は「小」、即ち、光量が少ないと判定する。同様に、判定部25は、対応領域画像についても、光量が所定の閾値TH3以上の場合は「大」、所定の閾値TH3未満の場合は「小」と判定していく。
なお、判定部25は、所定の閾値TH3に加え、所定の閾値TH4を設けて、明暗を判定してもよい。例えば、所定の閾値TH3には、光量が多いか否かの境目となる値を設定し、所定の閾値TH4には、光量が少ないか否かの境目となる値を設定する。そして、病変領域画像と対応領域画像のそれぞれについて、光量が所定の閾値TH3以上の場合は「大」と判定し、光量が所定の閾値TH4以下の場合は「小」と判定する。また、判定部25は、光量が所定の閾値TH3未満であり、かつ、所定の閾値TH4より大きい場合は、「光量は適切」と判定する。
図6は、判定部25により病変候補画像が不適切と判定された場合の判定結果の一例を示したものである。図示のように、判定部25は、「高周波成分のパワー判定」、「光量(明度)判定」、「原因の推測」を含む判定結果を出力する。
「高周波成分のパワー判定」は、病変領域と対応領域の高周波成分のパワーの判定結果を示す。判定結果「大」は、画像の焦点が合っていることを示し、判定結果「小」は画像がぼけていることを示す。図6の例では、全ての例において病変領域画像がぼけている。
「光量(明度)判定」は、病変領域と対応領域の光量(明度)の判定結果を示す。判定結果「大」は光量が多いことを示し、判定結果「小」は光量が少ないことを示す。
「原因の推測」は、病変候補画像が不適切な画像とされた原因を示す。判定部25は、「高周波成分のパワー判定」と「光量(明度)判定」の結果を基に病変領域画像の焦点が合わなかった原因を推測する。例えば、図6の例1では、病変領域と対応領域のいずれも光量が多いため、判定部25は、病変候補画像が不適切となった原因を、「病変候補画像の全体の光量が多い」ことと推測している。例2では、病変領域の光量が多いため、判定部25は、病変候補画像が不適切となった原因を、「病変候補領域の光量が多い」ことと推測している。例3では、対応領域の光量が多いため、判定部25は、病変候補画像が不適切となった原因を、「内視鏡カメラの近づきすぎ等」と推測している。例4では、病変領域と対応領域の両方の光量が少ないため、判定部25は、病変候補画像が不適切となった原因を、「病変候補画像の全体の光量が少ない」ことと推測している。例5では、病変領域と対応領域の両方の光量が多く、かつ、病変領域と対応領域のいずれにおいても画像がぼけているため、判定部25は、病変候補画像が不適切となった原因を、「病変候補画像の全体がぴんぼけしている」ことと推測している。
判定部25は、以上のような判定を行い、判定結果を表示装置2へ出力する。表示装置2は、判定部25から入力された判定結果を表示する。
[表示例]
次に、表示装置2による表示例を説明する。図7は表示装置2による表示の一例である。図7の例では、表示装置2の表示エリア70内に、病変候補画像71と、病変領域72と、患者名、検査日時などの基本情報と、画像の判定結果および原因を表す関連情報73と、光量の調整を促すメッセージ74と、が表示されている。
次に、表示装置2による表示例を説明する。図7は表示装置2による表示の一例である。図7の例では、表示装置2の表示エリア70内に、病変候補画像71と、病変領域72と、患者名、検査日時などの基本情報と、画像の判定結果および原因を表す関連情報73と、光量の調整を促すメッセージ74と、が表示されている。
病変候補画像71は、病変候補が検出された臓器部位の内視鏡画像である。病変領域72は、病変候補画像71に含まれる病変候補を矩形で囲んで示している。関連情報73は、病変候補画像71が診断に用いることができる適切な画像であるか否かを判定した結果である。病変候補画像71が不適切な画像であると判定された場合は、関連情報73には不適切な画像となった原因も示される。また、メッセージ74は、光量調整などの対応を促すメッセージであり、病変候補画像71が不適切な画像であると判定された場合に示される。このように、本実施形態では、関連情報73およびメッセージ74を見ることにより、病変候補画像が診断に適している画像か否かを容易に把握することができる。
[判定処理]
次に、上記のような表示を行う表示処理について説明する。図8は、画像処理装置1による判定処理のフローチャートである。この処理は、図2に示すプロセッサ11が予め用意されたプログラムを実行し、図3に示す各要素として動作することにより実現される。
次に、上記のような表示を行う表示処理について説明する。図8は、画像処理装置1による判定処理のフローチャートである。この処理は、図2に示すプロセッサ11が予め用意されたプログラムを実行し、図3に示す各要素として動作することにより実現される。
まず、インターフェース13は内視鏡映像Icを取得する(ステップS11)。次に、病変候補検出部21は、内視鏡映像Icから病変候補を検出し、病変候補画像を生成する(ステップS12)。次に、対応位置設定部22は、病変候補画像に対して病変候補を含む病変領域を設定し、さらに病変領域に対応する対応領域を設定する(ステップS13)。なお、病変候補画像の上部に病変領域がある場合は、対応領域は病変候補画像の下部に設定され、病変候補画像の下部に病変領域がある場合は、対応領域は病変候補画像の上部に設定される。
次に、ぼけ計算部23は、病変領域画像と対応領域画像のそれぞれについて、フーリエ変換を行い、高周波成分のパワーを計算する(ステップS14)。また、光量計算部24は、病変領域画像と対応領域画像のRGB値をHSV値へ変換し、それぞれの光量(V値)を計算する(ステップS15)。そして、判定部25は、病変領域画像の高周波成分のパワーと対応領域画像の高周波成分のパワーを、所定の閾値TH1と比較することにより、焦点が合っているか否かを判定する。また、判定部25は、病変領域画像の光量と対応領域画像の光量を、所定の閾値TH3と比較することにより、画像の明暗を判定する。そして、判定部25は、上記の判定結果に基づいて、病変候補画像が診断に適切な画像か否かを判定する(ステップS16)。なお、判定部25は、病変候補画像が診断に適切な画像でない場合は、その原因を推測する。
そして、表示装置2は、判定部25の判定結果を表示する(ステップS17)。こうして、図7に示すような表示が行われる。なお、ステップS15は、ステップS14よりも前に実行されてもよく、ステップS15と同時に実行されてもよい。
上記のように、本実施形態では、内視鏡検査システム100は、撮影した内視鏡画像の中から、病変候補に焦点が合っている画像を選別することができる。これにより、医師またはAIは、画像診断を効率的に行うことが可能となる。また、病変候補がぼやけていて、画像診断に用いることができない場合でも、原因を表示することで、設定の改善を促すことが可能となる。
<第2実施形態>
図9は、第2実施形態の画像判定装置の機能構成を示すブロック図である。画像判定装置80は、取得手段81と、検出手段82と、設定手段83と、ぼけ判定手段84と、画像判定手段85と、を備える。
図9は、第2実施形態の画像判定装置の機能構成を示すブロック図である。画像判定装置80は、取得手段81と、検出手段82と、設定手段83と、ぼけ判定手段84と、画像判定手段85と、を備える。
図10は、第2実施形態の画像判定装置による処理のフローチャートである。取得手段81は、内視鏡画像を取得する(ステップS81)。検出手段82は、前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する(ステップS82)。設定手段83は、前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する(ステップS83)。ぼけ判定手段84は、前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定する(ステップS84)。画像判定手段85は、ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する(ステップS85)。
第2実施形態の画像判定装置80によれば、病変候補を写した内視鏡画像が、診断に使用できるか否かを判定することができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
内視鏡画像を取得する取得手段と、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する検出手段と、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する設定手段と、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定するぼけ判定手段と、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定手段と、
を備える画像判定装置。
内視鏡画像を取得する取得手段と、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する検出手段と、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する設定手段と、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定するぼけ判定手段と、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定手段と、
を備える画像判定装置。
(付記2)
前記ぼけ判定手段は、前記病変領域の画像及び前記対応領域の画像のそれぞれについての高周波成分のパワーに基づいて、前記病変領域の画像のぼけを判定する付記1に記載の画像判定装置。
前記ぼけ判定手段は、前記病変領域の画像及び前記対応領域の画像のそれぞれについての高周波成分のパワーに基づいて、前記病変領域の画像のぼけを判定する付記1に記載の画像判定装置。
(付記3)
前記設定手段は、前記病変候補が前記病変候補画像の上部にある場合に、前記病変候補画像の下部に1又は複数の対応領域を設定し、前記病変候補が前記病変候補画像の下部にある場合に、前記病変候補画像の上部に1又は複数の対応領域を設定する付記2に記載の画像判定装置。
前記設定手段は、前記病変候補が前記病変候補画像の上部にある場合に、前記病変候補画像の下部に1又は複数の対応領域を設定し、前記病変候補が前記病変候補画像の下部にある場合に、前記病変候補画像の上部に1又は複数の対応領域を設定する付記2に記載の画像判定装置。
(付記4)
前記ぼけ判定手段は、前記対応領域が複数ある場合には、前記病変領域との高周波成分のパワーの差が最大となる対応領域を用いて、前記病変領域の画像のぼけを判定する付記3に記載の画像判定装置。
前記ぼけ判定手段は、前記対応領域が複数ある場合には、前記病変領域との高周波成分のパワーの差が最大となる対応領域を用いて、前記病変領域の画像のぼけを判定する付記3に記載の画像判定装置。
(付記5)
前記病変領域の画像及び前記対応領域の画像の光量を計算する光量計算手段を備え、
前記画像判定手段は、前記ぼけの判定結果及び前記光量の判定結果に基づいて、前記病変候補画像が不適切である原因を判定する付記1乃至4のいずれか一項に記載の画像判定装置。
前記病変領域の画像及び前記対応領域の画像の光量を計算する光量計算手段を備え、
前記画像判定手段は、前記ぼけの判定結果及び前記光量の判定結果に基づいて、前記病変候補画像が不適切である原因を判定する付記1乃至4のいずれか一項に記載の画像判定装置。
(付記6)
不適切な病変候補画像と、当該病変候補画像が不適切である原因を示すメッセージとを表示する表示手段を備える付記5に記載の画像判定装置。
不適切な病変候補画像と、当該病変候補画像が不適切である原因を示すメッセージとを表示する表示手段を備える付記5に記載の画像判定装置。
(付記7)
内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定方法。
内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定方法。
(付記8)
内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する処理をコンピュータに実行させるプログラムを記録した記録媒体。
内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する処理をコンピュータに実行させるプログラムを記録した記録媒体。
以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 画像処理装置
2 表示装置
3 内視鏡スコープ
11 プロセッサ
12 メモリ
13 インターフェース
17 データベース(DB)
21 病変候補検出部
22 対応位置設定部
23 ぼけ計算部
24 光量計算部
25 判定部
100 内視鏡検査システム
2 表示装置
3 内視鏡スコープ
11 プロセッサ
12 メモリ
13 インターフェース
17 データベース(DB)
21 病変候補検出部
22 対応位置設定部
23 ぼけ計算部
24 光量計算部
25 判定部
100 内視鏡検査システム
Claims (8)
- 内視鏡画像を取得する取得手段と、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する検出手段と、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する設定手段と、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定するぼけ判定手段と、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定手段と、
を備える画像判定装置。 - 前記ぼけ判定手段は、前記病変領域の画像及び前記対応領域の画像のそれぞれについての高周波成分のパワーに基づいて、前記病変領域の画像のぼけを判定する請求項1に記載の画像判定装置。
- 前記設定手段は、前記病変候補が前記病変候補画像の上部にある場合に、前記病変候補画像の下部に1又は複数の対応領域を設定し、前記病変候補が前記病変候補画像の下部にある場合に、前記病変候補画像の上部に1又は複数の対応領域を設定する請求項2に記載の画像判定装置。
- 前記ぼけ判定手段は、前記対応領域が複数ある場合には、前記病変領域との高周波成分のパワーの差が最大となる対応領域を用いて、前記病変領域の画像のぼけを判定する請求項3に記載の画像判定装置。
- 前記病変領域の画像及び前記対応領域の画像の光量を計算する光量計算手段を備え、
前記画像判定手段は、前記ぼけの判定結果及び前記光量の判定結果に基づいて、前記病変候補画像が不適切である原因を判定する請求項1乃至4のいずれか一項に記載の画像判定装置。 - 不適切な病変候補画像と、当該病変候補画像が不適切である原因を示すメッセージとを表示する表示手段を備える請求項5に記載の画像判定装置。
- 内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定方法。 - 内視鏡画像を取得し、
前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する処理をコンピュータに実行させるプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/002920 WO2023144936A1 (ja) | 2022-01-26 | 2022-01-26 | 画像判定装置、画像判定方法、及び、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/002920 WO2023144936A1 (ja) | 2022-01-26 | 2022-01-26 | 画像判定装置、画像判定方法、及び、記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023144936A1 true WO2023144936A1 (ja) | 2023-08-03 |
Family
ID=87471252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/002920 WO2023144936A1 (ja) | 2022-01-26 | 2022-01-26 | 画像判定装置、画像判定方法、及び、記録媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023144936A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013183836A (ja) * | 2012-03-07 | 2013-09-19 | Olympus Corp | 内視鏡装置及びフォーカス制御方法 |
WO2016170656A1 (ja) * | 2015-04-23 | 2016-10-27 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2017072853A1 (ja) * | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 撮像装置、内視鏡装置及び撮像装置の作動方法 |
WO2018011928A1 (ja) * | 2016-07-13 | 2018-01-18 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム |
US20180253839A1 (en) * | 2015-09-10 | 2018-09-06 | Magentiq Eye Ltd. | A system and method for detection of suspicious tissue regions in an endoscopic procedure |
JP2019162371A (ja) | 2018-03-20 | 2019-09-26 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用撮像装置及び内視鏡装置 |
WO2022014258A1 (ja) * | 2020-07-17 | 2022-01-20 | 富士フイルム株式会社 | プロセッサ装置、プロセッサ装置の作動方法 |
-
2022
- 2022-01-26 WO PCT/JP2022/002920 patent/WO2023144936A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013183836A (ja) * | 2012-03-07 | 2013-09-19 | Olympus Corp | 内視鏡装置及びフォーカス制御方法 |
WO2016170656A1 (ja) * | 2015-04-23 | 2016-10-27 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US20180253839A1 (en) * | 2015-09-10 | 2018-09-06 | Magentiq Eye Ltd. | A system and method for detection of suspicious tissue regions in an endoscopic procedure |
WO2017072853A1 (ja) * | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 撮像装置、内視鏡装置及び撮像装置の作動方法 |
WO2018011928A1 (ja) * | 2016-07-13 | 2018-01-18 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム |
JP2019162371A (ja) | 2018-03-20 | 2019-09-26 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用撮像装置及び内視鏡装置 |
WO2022014258A1 (ja) * | 2020-07-17 | 2022-01-20 | 富士フイルム株式会社 | プロセッサ装置、プロセッサ装置の作動方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5276225B2 (ja) | 医用画像処理装置及び医用画像処理装置の作動方法 | |
WO2019037676A1 (zh) | 图像处理方法及装置 | |
US9530205B2 (en) | Polyp detection apparatus and method of operating the same | |
WO2006123455A1 (ja) | 画像表示装置 | |
CN113164023B (zh) | 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质 | |
CN111127430A (zh) | 确定医学影像显示参数的方法及装置 | |
KR20200026135A (ko) | 달팽이관에서의 미세 혈류 측정 방법 및 장치 | |
CN109064468B (zh) | 一种应用matlab量化分析眼睑睑板腺形态及面积的方法 | |
JP6956853B2 (ja) | 診断支援装置、診断支援プログラム、及び、診断支援方法 | |
JP2004312434A (ja) | 画像処理装置及び方法及びシステム | |
JP2005109790A (ja) | 医用画像処理装置 | |
JP2014018251A (ja) | 眼科撮影装置及び眼科撮影プログラム | |
Ahmad et al. | 3D reconstruction of gastrointestinal regions using single-view methods | |
WO2023144936A1 (ja) | 画像判定装置、画像判定方法、及び、記録媒体 | |
JP2006280682A (ja) | ノイズ検出機能を備えた画像診断支援方法 | |
WO2023126999A1 (ja) | 画像処理装置、画像処理方法、及び、記憶媒体 | |
US20210241457A1 (en) | Endoscope system, and image processing apparatus and image processing method used in endoscope system | |
WO2013150419A1 (en) | Quality-check during medical imaging procedure | |
WO2024121886A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 | |
JP7264407B2 (ja) | 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム | |
US20220375089A1 (en) | Endoscope apparatus, information processing method, and storage medium | |
JP3754807B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 | |
US20240177313A1 (en) | Endoscopic examination support apparatus, endoscopic examination support method, and recording medium | |
EP4302681A1 (en) | Medical image processing device, medical image processing method, and program | |
WO2022208615A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22923803 Country of ref document: EP Kind code of ref document: A1 |