WO2023144936A1 - 画像判定装置、画像判定方法、及び、記録媒体 - Google Patents

画像判定装置、画像判定方法、及び、記録媒体 Download PDF

Info

Publication number
WO2023144936A1
WO2023144936A1 PCT/JP2022/002920 JP2022002920W WO2023144936A1 WO 2023144936 A1 WO2023144936 A1 WO 2023144936A1 JP 2022002920 W JP2022002920 W JP 2022002920W WO 2023144936 A1 WO2023144936 A1 WO 2023144936A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lesion
area
lesion candidate
determination
Prior art date
Application number
PCT/JP2022/002920
Other languages
English (en)
French (fr)
Inventor
敦 丸亀
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/002920 priority Critical patent/WO2023144936A1/ja
Publication of WO2023144936A1 publication Critical patent/WO2023144936A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present disclosure relates to the determination of images obtained by endoscopy.
  • Patent Literature 1 proposes to provide a medical imaging apparatus and an endoscope apparatus capable of efficiently evaluating continuously input imaging signals.
  • Patent Document 1 Even with Patent Document 1, it is not always possible to efficiently select endoscopic images to be used for diagnosis.
  • One object of the present disclosure is to provide an image determination device capable of determining whether or not an endoscopic image captured in an endoscopic examination can be used for diagnosis.
  • an image determination device includes an acquisition means for acquiring an endoscopic image; detection means for detecting a lesion candidate from the endoscopic image and outputting a lesion candidate image containing the lesion candidate; setting means for setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; blur determination means for determining blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area; image determination means for determining suitability of the lesion candidate image based on blur determination results; Prepare.
  • an image determination method includes: Acquiring endoscopic images, detecting a lesion candidate from the endoscopic image, outputting a lesion candidate image containing the lesion candidate; setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; Determining the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area; The suitability of the lesion candidate image is determined based on the blur determination result.
  • the recording medium comprises Acquiring endoscopic images, detecting a lesion candidate from the endoscopic image, outputting a lesion candidate image containing the lesion candidate; setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; Determining the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area; A program is recorded that causes a computer to execute a process of judging whether the lesion candidate image is appropriate based on the blur judgment result.
  • FIG. 1 is a block diagram showing a schematic configuration of an endoscopy system
  • FIG. 2 is a block diagram showing the hardware configuration of the image processing device
  • FIG. 2 is a block diagram showing the functional configuration of the image processing device
  • FIG. FIG. 4 is a diagram showing an example of corresponding regions; It is a figure which shows the calculation method of the power of a high frequency component. It is a figure which shows an example of a determination result. It is a figure which shows the example of a display of a determination result.
  • 4 is a flowchart of determination processing by an image determination device
  • FIG. 11 is a block diagram showing the functional configuration of an image determination device according to a second embodiment
  • FIG. 9 is a flowchart of processing by the image determination device of the second embodiment
  • FIG. 1 shows a schematic configuration of an endoscopy system 100.
  • the endoscopy system 100 detects a lesion-like portion (hereinafter referred to as a “lesion candidate”) during an examination (including treatment) using an endoscope, and includes the detected lesion candidate.
  • An endoscopic image (hereinafter referred to as a “lesion candidate image”) is output.
  • the endoscopy system 100 determines whether the lesion candidate image can be used for diagnosis by a doctor or AI (Artificial Intelligence), and displays the result. This makes it possible to select lesion candidate images that can be used for diagnosis and to efficiently diagnose lesion candidates.
  • AI Artificial Intelligence
  • the endoscopy system 100 mainly includes an image processing device 1, a display device 2, and an endoscope 3 connected to the image processing device 1.
  • the image processing apparatus 1 acquires from the endoscope 3 an image (i.e., moving image, hereinafter also referred to as an "endoscopic image Ic") captured by the endoscope 3 during an endoscopy.
  • the display device 2 is caused to display display data for confirmation by the examiner of the endoscopic examination.
  • the image processing apparatus 1 acquires, as an endoscopic image Ic, a moving image of the interior of an organ captured by the endoscope 3 during an endoscopy.
  • the examiner finds a lesion during the endoscopy, the examiner operates the endoscope 3 to input an instruction to photograph the lesion position.
  • the image processing apparatus 1 generates a lesion image showing a lesion position based on an imaging instruction from an examiner.
  • the image processing apparatus 1 generates a lesion image, which is a still image, from the endoscopic image Ic, which is a moving image, based on the imaging instruction of the examiner.
  • the display device 2 is a display or the like that performs a predetermined display based on a display signal supplied from the image processing device 1 .
  • the endoscope 3 mainly includes an operation unit 36 for inputting air supply, water supply, angle adjustment, imaging instruction, etc. by the examiner, and a flexible endoscope which is inserted into an organ to be examined of the examinee.
  • a flexible shaft 37 a flexible shaft 37 , a distal end portion 38 containing an imaging unit such as an ultra-compact imaging device, and a connecting portion 39 for connecting to the image processing apparatus 1 .
  • FIG. 2 shows the hardware configuration of the image processing apparatus 1.
  • the image processing apparatus 1 mainly includes a processor 11, a memory 12, an interface 13, an input section 14, a light source section 15, a sound output section 16, and a database (hereinafter referred to as "DB") 17. ,including.
  • DB database
  • the processor 11 executes a predetermined process by executing a program or the like stored in the memory 12.
  • the processor 11 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit). Note that the processor 11 may be composed of a plurality of processors. Processor 11 is an example of a computer.
  • the memory 12 is composed of various volatile memories used as working memory, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memory for storing information necessary for processing of the image processing apparatus 1. be done.
  • the memory 12 may include an external storage device such as a hard disk connected to or built into the image processing apparatus 1, or may include a storage medium such as a detachable flash memory or disk medium.
  • the memory 12 stores a program for the image processing apparatus 1 to execute each process in this embodiment.
  • the memory 12 temporarily stores a series of endoscope images Ic captured by the endoscope 3 during endoscopy.
  • the memory 12 temporarily stores lesion images captured based on imaging instructions from the examiner during the endoscopy. These images are stored in the memory 12 in association with, for example, subject identification information (for example, patient ID), time stamp information, and the like.
  • the interface 13 performs an interface operation between the image processing device 1 and an external device.
  • the interface 13 supplies the display data Id generated by the processor 11 to the display device 2 .
  • the interface 13 supplies illumination light generated by the light source unit 15 to the endoscope 3 .
  • the interface 13 also supplies the processor 11 with an electrical signal indicating the endoscopic image Ic supplied from the endoscope 3 .
  • the interface 13 may be a communication interface such as a network adapter for performing wired or wireless communication with an external device, and may be a hardware interface conforming to USB (Universal Serial Bus), SATA (Serial AT Attachment), or the like. may
  • the input unit 14 generates an input signal based on the operation of the inspector.
  • the input unit 14 is, for example, a button, touch panel, remote controller, voice input device, or the like.
  • the light source unit 15 generates light to be supplied to the distal end portion 38 of the endoscope 3 .
  • the light source unit 15 may also incorporate a pump or the like for sending out water or air to be supplied to the endoscope 3 .
  • the sound output unit 16 outputs sound under the control of the processor 11 .
  • the DB 17 stores endoscopic images and lesion information acquired by the subject's past endoscopic examinations.
  • the lesion information includes lesion images and related information.
  • the DB 17 may include an external storage device such as a hard disk connected to or built into the image processing apparatus 1, or may include a storage medium such as a detachable flash memory. Note that instead of providing the DB 17 in the endoscopy system 100, the DB 17 may be provided in an external server or the like, and related information may be acquired from the server through communication.
  • FIG. 3 is a block diagram showing the functional configuration of the image processing apparatus 1. As shown in FIG.
  • the image processing apparatus 1 functionally includes an interface 13, a lesion candidate detection unit 21, a corresponding position setting unit 22, a blur calculation unit 23, a light amount calculation unit 24, a determination unit 25, and a display device 2. ,including.
  • An endoscope image Ic is input from the endoscope 3 to the image processing device 1 .
  • the endoscope image Ic is input to the interface 13 .
  • the interface 13 outputs the input endoscopic image Ic to the lesion candidate detection section 21 .
  • the lesion candidate detection unit 21 detects lesion candidates from the endoscopic image Ic and generates lesion candidate images including the detected lesion candidates.
  • the lesion candidate detection unit 21 may detect a lesion candidate included in the endoscopic image Ic using AI image analysis to generate a lesion candidate image, or may generate a lesion candidate image.
  • a lesion candidate image may be generated based on the imaging instruction.
  • the lesion candidate detection unit 21 outputs the generated lesion candidate image to the corresponding position setting unit 22 .
  • the corresponding position setting unit 22 encloses the lesion candidate on the lesion candidate image with a rectangle or the like, and sets the area surrounded by the rectangle or the like as the lesion area. Also, the corresponding position setting unit 22 sets a corresponding region on the lesion candidate image. The corresponding area is set at a position corresponding to the lesion area on the lesion candidate image.
  • an endoscopic image is often such that the upper part is the front and the lower part is the back, or the upper part is the back and the lower part is the front. Also, when taking pictures while inserting or removing an endoscope, the images have depth, making it difficult to focus on the entire image or apply light evenly.
  • An endoscopic image is generated in which the image quality is blurred, or the image quality in the foreground is blurred but the image quality in the background is good.
  • the corresponding position setting unit 22 sets one or more corresponding areas below the lesion candidate image. Also, the corresponding position setting unit 22 sets one or more corresponding regions above the lesion candidate image when there is a lesion area below the lesion candidate image.
  • the lesion candidate image in which the lesion area and the corresponding area are thus set is used for image determination, which will be described later.
  • FIG. 4 shows an example of corresponding regions set on a certain lesion candidate image.
  • the dashed line in the center divides the image into an upper portion and a lower portion, and is indicated for convenience.
  • the corresponding position setting unit 22 sets one or more corresponding regions 43a (gray rectangles) under the lesion candidate image 41a.
  • the corresponding position setting unit 22 sets one or more corresponding regions 43b (gray rectangles) above the lesion candidate image 41b.
  • the corresponding position setting unit 22 may set a corresponding region at a position that is vertically symmetrical with the lesion region, or may set one or a plurality of corresponding regions at positions that are horizontally shifted from the position that is vertically symmetrical with the lesion region. A region may be set.
  • the corresponding position setting unit 22 may set a plurality of corresponding regions on a circular arc in consideration of the shape of the inside of the tubular tissue.
  • the corresponding position setting unit 22 outputs the lesion candidate image in which the lesion area and the corresponding area are set as described above to the blur calculation unit 23 and the light amount calculation unit 24 .
  • the blur calculation unit 23 performs Fourier transform on each of the lesion area image and the corresponding area image set by the corresponding position setting unit 22, and calculates the power of the high frequency component. The blur calculation unit 23 then outputs the calculation result to the determination unit 25 .
  • FIG. 5 shows a method of calculating the power of high frequency components by the blur calculator 23 .
  • the lesion area image 42 and the corresponding area image 43 are respectively Fourier transformed to obtain two-dimensional arrays 52 and 53 .
  • Each element of the two-dimensional array contains the power of the frequency component (complex number norm).
  • the frequency increases toward the right (X direction) and upward (Y direction). Therefore, the blur calculation unit 23 sets the upper right regions (black regions) of the two-dimensional arrays 52 and 53 having large X and Y values as the high frequency regions 52a and 53a, and calculates the power of the high frequency regions 52a and 53a.
  • a result is output to the determination part 25.
  • FIG. instead, as shown in FIG.
  • the blur calculation unit 23 sets black regions other than the lower left corner as high-frequency regions 52b and 53b where the value of either X or Y is large.
  • the power of 53 b may be calculated, and the calculation result may be output to the determination section 25 .
  • the light amount calculation unit 24 calculates the light amount for each of the lesion area image and the corresponding area image set by the corresponding position setting unit 22 and outputs the calculation result to the determination unit 25 .
  • the light amount calculator 24 converts the RGB values of the lesion area image, which is an RGB image, into HSV values. Then, the light amount calculation unit 24 outputs the obtained brightness value (V value) to the determination unit 25 as the light amount.
  • the light intensity calculation unit 24 performs the same processing on the corresponding area image, and outputs the brightness value (V value) to the determination unit 25 .
  • the method for calculating the amount of light is not limited to this, and for example, the amount of light may be calculated using another color space conversion method.
  • the determination unit 25 determines whether or not the lesion candidate image is an appropriate image that can be used for diagnosis based on the results of the blur calculation unit 23 and the light intensity calculation unit 24 . Specifically, first, the determination unit 25 performs power determination of high-frequency components based on the output of the blur calculation unit 23, and determines whether the lesion area image is in focus or blurred. Then, when the lesion area image is in focus, the determination unit 25 determines that the lesion candidate image is an appropriate image. On the other hand, when the lesion area image is blurred, the determination unit 25 determines that the lesion candidate image is an inappropriate image.
  • the determination unit 25 determines the amount of light (brightness) based on the output of the light amount calculation unit 24, and determines the brightness of the lesion area image and the corresponding area image. Then, the determination unit 25 estimates the cause of the inappropriateness of the lesion candidate image based on the results of the power determination and the light amount determination of the high frequency component.
  • High-frequency component power determination means that the determining unit 25 determines whether or not the lesion area image and the corresponding area image are in focus.
  • the determination unit 25 compares the power of the high frequency component of the lesion area image calculated by the blur calculation unit 23 and the power of the high frequency component of the corresponding area image with a predetermined threshold value TH1.
  • the predetermined threshold TH1 is a threshold value that determines whether the image is in focus.
  • the determination unit 25 determines that the lesion area image is “high” when the power of the high-frequency component is equal to or greater than the predetermined threshold TH1, that is, the image is in focus, and when the power of the high-frequency component is less than the predetermined threshold TH1. In this case, the image is determined to be "small", that is, the image is blurred.
  • the determination unit 25 determines that the power of the high-frequency component of the corresponding region image is “high” if it is equal to or greater than the predetermined threshold TH1, and “low” if it is less than the predetermined threshold TH1. .
  • the determination unit 25 uses one of the plurality of corresponding regions with the largest difference in power of the high-frequency component from the lesion region for determination. may be performed.
  • the determination unit 25 When it is determined that the lesion area image is in focus by the high-frequency component power determination, the determination unit 25 outputs a result that the lesion candidate image is an appropriate image that can be used for diagnosis. On the other hand, when it is determined that the lesion area image is blurred, the determination unit 25 outputs the result that the lesion candidate image is an inappropriate image that cannot be used for diagnosis.
  • the determination unit 25 may determine whether or not the subject is in focus by providing a predetermined threshold TH2 in addition to the predetermined threshold TH1.
  • the predetermined threshold TH2 is a threshold value that determines whether the image is blurred or not. For each of the lesion area image and the corresponding area image, the determination unit 25 determines "large” when the power of the high frequency component is equal to or greater than a predetermined threshold TH1, and determines "high” when the power of the high frequency component is equal to or less than the predetermined threshold TH2. small”.
  • the determination unit 25 may determine that it is "high", or the power of the high-frequency component of the lesion area image may be determined to be "high”. The inspector may be allowed to choose whether or not to
  • Light amount (brightness) determination means that the determining unit 25 determines the brightness of each of the lesion area image and the corresponding area image.
  • the determination unit 25 compares the light amount of the lesion area image and the light amount of the corresponding area image calculated by the light amount calculation unit 24 with a predetermined threshold value TH3. Then, when the light amount of the lesion area image is equal to or greater than the predetermined threshold TH3, the determination unit 25 determines that the light amount is "large”, that is, the light amount is large. On the other hand, when the light amount of the lesion area image is less than the predetermined threshold TH3, it is determined to be "small”, that is, the light amount is small. Similarly, the determination unit 25 determines that the corresponding area image is "high” when the light amount is equal to or greater than the predetermined threshold TH3, and "low” when the light amount is less than the predetermined threshold TH3.
  • the determination unit 25 may determine the brightness by providing a predetermined threshold TH4.
  • the predetermined threshold TH3 is set to a boundary value indicating whether the light amount is large
  • the predetermined threshold TH4 is set to a boundary value indicating whether the light amount is small. Then, for each of the lesion area image and the corresponding area image, if the light amount is equal to or greater than a predetermined threshold TH3, it is determined to be "large”, and if the light amount is equal to or less than a predetermined threshold TH4, it is determined to be "small”. Further, when the amount of light is less than the predetermined threshold TH3 and greater than the predetermined threshold TH4, the determination unit 25 determines that "the amount of light is appropriate.”
  • FIG. 6 shows an example of the determination result when the determination unit 25 determines that the lesion candidate image is inappropriate.
  • the determination unit 25 outputs determination results including "high-frequency component power determination”, “light amount (brightness) determination”, and "cause estimation”.
  • High-frequency component power determination indicates the determination result of the high-frequency component power of the lesion area and the corresponding area.
  • a determination result of "large” indicates that the image is in focus, and a determination result of "small” indicates that the image is blurred.
  • the lesion area images are blurred in all the examples.
  • Light intensity (brightness) determination indicates the light intensity (brightness) determination results of the lesion area and the corresponding area. A judgment result of "high” indicates that the amount of light is large, and a judgment result of "small” indicates that the amount of light is small.
  • the determination unit 25 estimates the reason why the lesion area image is out of focus based on the results of the "high-frequency component power determination" and the "light amount (brightness) determination". For example, in Example 1 of FIG. 6, the amount of light in both the lesion area and the corresponding area is large. I'm assuming that. In example 2, since the lesion area has a large amount of light, the determining unit 25 presumes that the cause of the inappropriate lesion candidate image is "the large amount of light in the lesion candidate area".
  • the determining unit 25 estimates that the reason why the lesion candidate image is inappropriate is "the endoscope camera is too close, etc.”.
  • the determining unit 25 since the amount of light in both the lesion area and the corresponding area is small, the determining unit 25 presumes that the reason why the lesion candidate image is inappropriate is "the overall amount of light in the lesion candidate image is small.” there is In Example 5, the amount of light in both the lesion area and the corresponding area is large, and the images are blurred in both the lesion area and the corresponding area. , that "the entire lesion candidate image is out of focus".
  • the determination unit 25 makes determinations such as those described above, and outputs the determination results to the display device 2 .
  • the display device 2 displays the determination result input from the determination section 25 .
  • FIG. 7 shows an example of display by the display device 2.
  • a lesion candidate image 71 in the display area 70 of the display device 2, a lesion candidate image 71, a lesion area 72, basic information such as the patient name and examination date and time, and related information 73 representing the judgment result and cause of the image.
  • a message 74 prompting adjustment of the amount of light are displayed.
  • a lesion candidate image 71 is an endoscopic image of an organ site where a lesion candidate is detected.
  • a lesion area 72 indicates a lesion candidate included in the lesion candidate image 71 surrounded by a rectangle.
  • the related information 73 is the result of determining whether the lesion candidate image 71 is an appropriate image that can be used for diagnosis. If the lesion candidate image 71 is determined to be an inappropriate image, the related information 73 also indicates the cause of the inappropriate image.
  • a message 74 is a message prompting a response such as light amount adjustment, and is displayed when the lesion candidate image 71 is determined to be an inappropriate image.
  • FIG. 8 is a flow chart of determination processing by the image processing apparatus 1 . This processing is realized by executing a program prepared in advance by the processor 11 shown in FIG. 2 and operating as each element shown in FIG.
  • the interface 13 acquires the endoscopic image Ic (step S11).
  • the lesion candidate detection unit 21 detects a lesion candidate from the endoscopic image Ic and generates a lesion candidate image (step S12).
  • the corresponding position setting unit 22 sets a lesion area including the lesion candidate for the lesion candidate image, and further sets a corresponding area corresponding to the lesion area (step S13). If there is a lesion area in the upper part of the lesion candidate image, the corresponding area is set in the lower part of the lesion candidate image, and if there is a lesion area in the lower part of the lesion candidate image, the corresponding area is set in the upper part of the lesion candidate image. be done.
  • the blur calculation unit 23 performs Fourier transform on each of the lesion area image and the corresponding area image, and calculates the power of the high frequency component (step S14).
  • the light amount calculator 24 converts the RGB values of the lesion area image and the corresponding area image into HSV values, and calculates the respective light amounts (V values) (step S15).
  • the determination unit 25 determines whether or not the focus is achieved by comparing the power of the high frequency component of the lesion area image and the power of the high frequency component of the corresponding area image with a predetermined threshold value TH1. Further, the determination unit 25 determines the brightness of the image by comparing the light amount of the lesion area image and the light amount of the corresponding area image with a predetermined threshold value TH3. Then, the determination unit 25 determines whether or not the lesion candidate image is suitable for diagnosis based on the above determination result (step S16). If the lesion candidate image is not suitable for diagnosis, the determination unit 25 estimates the cause.
  • step S17 the display device 2 displays the determination result of the determination unit 25 (step S17).
  • step S15 may be executed before step S14 or may be executed simultaneously with step S15.
  • the endoscopy system 100 can select an image in which the lesion candidate is in focus from among the captured endoscopic images. This enables a doctor or AI to perform image diagnosis efficiently. In addition, even if the lesion candidate is blurred and cannot be used for image diagnosis, it is possible to encourage improvement of settings by displaying the cause.
  • FIG. 9 is a block diagram showing the functional configuration of the image determination device of the second embodiment.
  • the image determination device 80 includes acquisition means 81 , detection means 82 , setting means 83 , blur determination means 84 , and image determination means 85 .
  • FIG. 10 is a flowchart of processing by the image determination device of the second embodiment.
  • Acquisition means 81 acquires an endoscopic image (step S81).
  • the detecting means 82 detects a lesion candidate from the endoscopic image and outputs a lesion candidate image including the lesion candidate (step S82).
  • the setting means 83 sets a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image (step S83).
  • the blur determining means 84 determines the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area (step S84).
  • the image determination means 85 determines whether the lesion candidate image is appropriate based on the blur determination result (step S85).
  • the image determination device 80 of the second embodiment it is possible to determine whether or not an endoscopic image showing a lesion candidate can be used for diagnosis.
  • An image determination device comprising:
  • (Appendix 2) The image determination apparatus according to Supplementary Note 1, wherein the blur determination means determines the blur of the image of the lesion area based on the power of the high-frequency component for each of the image of the lesion area and the image of the corresponding area.
  • the setting means sets one or a plurality of corresponding regions below the lesion candidate image when the lesion candidate is above the lesion candidate image, and when the lesion candidate is below the lesion candidate image. 2.
  • the image determination apparatus according to Supplementary note 2, wherein one or more corresponding regions are set on the lesion candidate image.
  • the blur determination means determines the blur of the image of the lesion area using the corresponding area with the largest difference in power of the high-frequency component from the lesion area.
  • appendix 6 The image determination apparatus according to appendix 5, comprising display means for displaying an inappropriate lesion candidate image and a message indicating the reason why the lesion candidate image is inappropriate.
  • (Appendix 7) Acquiring endoscopic images, detecting a lesion candidate from the endoscopic image, outputting a lesion candidate image containing the lesion candidate; setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; Determining the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area; An image determination method for determining suitability of the lesion candidate image based on blur determination results.
  • (Appendix 8) Acquiring endoscopic images, detecting a lesion candidate from the endoscopic image, outputting a lesion candidate image containing the lesion candidate; setting a lesion area corresponding to the lesion candidate and a corresponding area corresponding to the lesion area in the lesion candidate image; Determining the blur of the image of the lesion area based on the image of the lesion area and the image of the corresponding area;
  • a recording medium recording a program for causing a computer to execute a process of judging suitability of the candidate lesion image based on a blur judgment result.
  • Reference Signs List 1 image processing device 2 display device 3 endoscope 11 processor 12 memory 13 interface 17 database (DB) 21 lesion candidate detection unit 22 corresponding position setting unit 23 blur calculation unit 24 light amount calculation unit 25 determination unit 100 endoscopy system

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

画像判定装置において、取得手段は、内視鏡画像を取得する。検出手段は、内視鏡画像から病変候補を検出し、病変候補を含む病変候補画像を出力する。設定手段は、病変候補画像において、病変候補に対応する病変領域と、病変領域に対応する対応領域とを設定する。ぼけ判定手段は、病変領域の画像及び対応領域の画像に基づいて、病変領域の画像のぼけを判定する。画像判定手段は、ぼけの判定結果に基づいて、病変候補画像の適否を判定する。

Description

画像判定装置、画像判定方法、及び、記録媒体
　本開示は、内視鏡検査により得られた画像の判定に関する。
　内視鏡検査において、管状の体内組織で病変候補がある部分に光を照射して撮影する。レンズの光学特性上、光を強く照射した時は細部が詳細に判別可能な範囲が狭くなり、進行方向への撮影の場合、病変候補の部分がぼけて、相対的に暗い部分に合焦した、いわゆる後ピン画像になることがある。また、レンズが病変候補に近づきすぎて病変候補の部分がぼけ、後ピン画像になることもある。このような場合、病変候補の判別が難しくなるため、診断が困難な不適切画像になる。特許文献１は、連続して入力される撮像信号を効率的に評価することができる医療用撮像装置及び内視鏡装置を提供することを提案している。
特開２０１９－１６２３７１号公報
　しかし、特許文献１によっても、診断に使用する内視鏡画像を効率的に選別できるとは限らない。
　本開示の１つの目的は、内視鏡検査において撮影した内視鏡画像が、診断に使用できるか否かを判定することが可能な画像判定装置を提供することにある。
　本開示の一つの観点では、画像判定装置は、
　内視鏡画像を取得する取得手段と、
　前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する検出手段と、
　前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する設定手段と、
　前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定するぼけ判定手段と、
　ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定手段と、
　を備える。
　本開示の他の観点では、画像判定方法は、
　内視鏡画像を取得し、
　前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
　前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
　前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
　ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する。
　本開示のさらに他の観点では、記録媒体は、
　内視鏡画像を取得し、
　前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
　前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
　前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
　ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、病変候補を写した内視鏡画像が、診断に使用できるか否かを判定することが可能となる。
内視鏡検査システムの概略構成を示すブロック図である。 画像処理装置のハードウェア構成を示すブロック図である。 画像処理装置の機能構成を示すブロック図である。 対応領域の一例を示す図である。 高周波成分のパワーの計算方法を示す図である。 判定結果の一例を示す図である。 判定結果の表示例を示す図である。 画像判定装置による判定処理のフローチャートである。 第２実施形態の画像判定装置の機能構成を示すブロック図である。 第２実施形態の画像判定装置による処理のフローチャートである。
　以下、図面を参照して、本開示の好適な実施形態について説明する。
　＜第１実施形態＞
　［システム構成］
　図１は、内視鏡検査システム１００の概略構成を示す。内視鏡検査システム１００は、内視鏡を利用した検査（治療を含む）の際に、病変らしい箇所（以下、「病変候補」と呼ぶ。）の検出を行い、検出された病変候補を含む内視鏡画像（以下、「病変候補画像」と呼ぶ。）を出力する。そして、内視鏡検査システム１００は、病変候補画像が、医師またはＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）の診断に用いることができるか否かを判定し、結果を表示する。これにより、診断に用いることのできる病変候補画像を選別し、病変候補を効率的に診断することが可能となる。
　図１に示すように、内視鏡検査システム１００は、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。
　画像処理装置１は、内視鏡検査中に内視鏡スコープ３が撮影する映像（即ち、動画。以下、「内視鏡映像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、内視鏡検査の検査者が確認するための表示データを表示装置２に表示させる。具体的に、画像処理装置１は、内視鏡検査中に、内視鏡スコープ３により撮影された臓器内の動画を内視鏡映像Ｉｃとして取得する。また、検査者は、内視鏡検査中に病変を見つけると、内視鏡スコープ３を操作して病変位置の撮影指示を入力する。画像処理装置１は、検査者による撮影指示に基づいて、病変位置を写した病変画像を生成する。具体的には、画像処理装置１は、動画である内視鏡映像Ｉｃから、検査者の撮影指示に基づいて静止画である病変画像を生成する。
　表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。
　内視鏡スコープ３は、主に、検査者が送気、送水、アングル調整、撮影指示などの入力を行うための操作部３６と、被検者の検査対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮影素子などの撮影部を内蔵した先端部３８と、画像処理装置１と接続するための接続部３９とを有する。
　［ハードウェア構成］
　図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、データベース（以下、「ＤＢ」と記す。）１７と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。なお、プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリやディスク媒体などの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。
　また、メモリ１２は、プロセッサ１１の制御に基づき、内視鏡検査において内視鏡スコープ３が撮影した一連の内視鏡映像Ｉｃを一時的に記憶する。また、メモリ１２は、内視鏡検査中に検査者の撮影指示に基づいて撮影された病変画像を一時的に記憶する。これらの画像は、例えば、被検者の識別情報（例えば患者ＩＤ）、及び、タイムスタンプの情報等と関連付けられてメモリ１２に記憶される。
　インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示データＩｄを表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する照明光を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡映像Ｉｃを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。
　入力部１４は、検査者の操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。
　ＤＢ１７は、被検者の過去の内視鏡検査により取得された内視鏡映像、及び、病変情報を記憶している。病変情報は、病変画像と、関連情報とを含む。ＤＢ１７は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、ＤＢ１７を内視鏡検査システム１００内に備える代わりに、外部のサーバなどにＤＢ１７を設け、通信により当該サーバから関連情報を取得するようにしてもよい。
　［機能構成］
　図３は、画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、機能的には、インターフェース１３と、病変候補検出部２１と、対応位置設定部２２と、ぼけ計算部２３と、光量計算部２４と、判定部２５と、表示装置２と、を含む。
　画像処理装置１には、内視鏡スコープ３から内視鏡映像Ｉｃが入力される。内視鏡映像Ｉｃは、インターフェース１３へ入力される。インターフェース１３は、入力された内視鏡映像Ｉｃを病変候補検出部２１へ出力する。
　病変候補検出部２１は、内視鏡映像Ｉｃから病変候補を検出し、検出した病変候補を含む病変候補画像を生成する。ここで、病変候補検出部２１は、ＡＩ画像解析を用いて、内視鏡映像Ｉｃに含まれる病変候補を検出し、病変候補画像を生成してもよいし、内視鏡検査中に検査者の撮影指示に基づいて病変候補画像を生成してもよい。病変候補検出部２１は、生成した病変候補画像を、対応位置設定部２２へ出力する。
　対応位置設定部２２は、病変候補画像上の病変候補を矩形などで囲い、矩形などで囲われた領域を病変領域として設定する。また、対応位置設定部２２は、病変候補画像上に対応領域を設定する。対応領域は、病変候補画像上で、病変領域に対応する位置に設定される。
　ここで、対応位置設定部２２による対応領域の設定方法について説明する。内視鏡は管状の体内組織を撮影するため、内視鏡画像は上部が手前、下部が奥、もしくは上部が奥、下部が手前になることが多い。また、内視鏡を挿入または抜去しながら撮影する場合は、奥行がある画像になるため、画像全体に焦点を合わせることや、光を均等に当てることが難しく、手前の画質は良好だが奥の画質はぼけている、または、手前の画質はぼけているが奥の画質は良好である内視鏡画像が生成される。
　そのため、対応位置設定部２２は、病変候補画像の上部に病変領域がある場合には、病変候補画像の下部に１又は複数の対応領域を設定する。また、対応位置設定部２２は、病変候補画像の下部に病変領域がある場合に、病変候補画像の上部に１又は複数の対応領域を設定する。こうして病変領域及び対応領域が設定された病変候補画像は、後述の画像判定に使用する。
　具体的に、図４は、ある病変候補画像上に設定された対応領域の一例を示す。なお、図４（Ａ）及び図４（Ｂ）において、中央の破線は、画像を上部と下部に分けるため、便宜的に記している。図４（Ａ）の例では、病変候補画像４１ａの上部に病変領域４２ａ（斜線の矩形）がある。このとき、対応位置設定部２２は、病変候補画像４１ａの下部に対応領域４３ａ（グレーの矩形）を１又は複数設定する。また、図４（Ｂ）の例では、病変候補画像４１ｂの下部に病変領域４２ｂ（斜線の矩形）がある。このとき、対応位置設定部２２は、病変候補画像４１ｂの上部に対応領域４３ｂ（グレーの矩形）を１又は複数設定する。なお、対応位置設定部２２は、病変領域と上下対象となる位置に対応領域を設定してもよいし、病変領域と上下対象となるような位置から左右にずらした位置に１又複数の対応領域を設定してもよい。また、管状の組織内を撮影した場合は、対応位置設定部２２は、管状内の形を考慮し、対応領域を円弧上に複数設定してもよい。
　対応位置設定部２２は、上記のように病変領域と対応領域を設定した病変候補画像をぼけ計算部２３と、光量計算部２４へ出力する。
　ぼけ計算部２３は、対応位置設定部２２が設定した、病変領域の画像と対応領域の画像のそれぞれについてフーリエ変換を行い、高周波成分のパワーを計算する。そして、ぼけ計算部２３は、計算結果を判定部２５へ出力する。
　ここで、ぼけ計算部２３による高周波成分のパワーの計算方法について説明する。ある画像データについて、焦点が合っている鮮鋭な画像は高周波成分のパワーが大きくなり、ぼけた画像は高周波成分のパワーが小さくなる。そのため、画像の高周波成分のパワーを計算することで、焦点が合っている画像か、ぼけている画像かを判定することができる。図５は、ぼけ計算部２３による高周波成分のパワーの計算方法を示す。
　図５（Ａ）では、病変領域画像４２および対応領域画像４３をそれぞれフーリエ変換し、二次元配列５２、５３を取得している。二次元配列の各要素には、周波数成分のパワー（複素数のノルム）が入っている。また、二次元配列５２、５３は、右方向（Ｘ方向）へ行くほど、また、上方向（Ｙ方向）へ行くほど周波数が高くなる。そこで、ぼけ計算部２３は、二次元配列５２、５３のＸおよびＹの値が大きい右上の領域（黒い領域）を高周波領域５２ａ、５３ａとし、高周波領域５２ａ、５３ａのパワーをそれぞれ計算し、計算結果を判定部２５へ出力する。その代わりに、ぼけ計算部２３は、図５（Ｂ）のように、ＸまたはＹのどちらかの値が大きい領域、即ち、左下以外の黒い領域を高周波領域５２ｂ、５３ｂとし、高周波領域５２ｂ、５３ｂのパワーをそれぞれ計算し、計算結果を判定部２５へ出力してもよい。
　光量計算部２４は、対応位置設定部２２が設定した、病変領域画像と対応領域画像のそれぞれについて、光量を計算し、計算結果を判定部２５へ出力する。具体的には、光量計算部２４は、ＲＧＢ画像である病変領域画像について、そのＲＧＢ値をＨＳＶ値へ変換する。そして、光量計算部２４は、得られた明度の値（Ｖ値）を光量として判定部２５へ出力する。光量計算部２４は、対応領域画像についても同様の処理を行い、明度の値（Ｖ値）を判定部２５へ出力する。なお、光量の算出方法はこれに限定されるものではなく、例えば、他の色空間変換方式などを用いて光量を算出してもよい。
　判定部２５は、ぼけ計算部２３と、光量計算部２４との結果を基に、病変候補画像が診断に用いることができる適切な画像であるか否かを判定する。具体的に、まず、判定部２５は、ぼけ計算部２３の出力に基づいて高周波成分のパワー判定を行い、病変領域画像は焦点が合っているか、ぼけているかを判定する。そして、判定部２５は、病変領域画像の焦点が合っている場合、病変候補画像は適切な画像であると判定する。一方、判定部２５は、病変領域画像がぼけている場合、病変候補画像は不適切な画像であると判定する。さらに、判定部２５は、光量計算部２４の出力に基づいて光量（明度）判定を行い、病変領域画像と対応領域画像の明暗を判定する。そして、判定部２５は、高周波成分のパワー判定及び光量判定の結果に基づいて、病変候補画像が不適切となっている原因を推測する。
　まず、高周波成分のパワー判定について詳しく説明する。高周波成分のパワー判定とは、判定部２５が、病変領域画像と対応領域画像のそれぞれの画像について、焦点が合っているか否かを判定することをいう。
　具体的に、判定部２５は、ぼけ計算部２３が算出した病変領域画像の高周波成分のパワーと対応領域画像の高周波成分のパワーを、予め決められた所定の閾値ＴＨ１と比較する。所定の閾値ＴＨ１は、画像に焦点が合っているか否かの境目となる値である。判定部２５は、病変領域画像について、高周波成分のパワーが所定の閾値ＴＨ１以上の場合は「大」、即ち、焦点が合っている画像と判定し、高周波成分のパワーが所定の閾値ＴＨ１未満の場合は「小」、即ち、ぼけている画像と判定する。同様に、判定部２５は、対応領域画像についても、高周波成分のパワーが所定の閾値ＴＨ１以上の場合は「大」と判定し、所定の閾値ＴＨ１未満の場合は「小」と判定していく。
　病変候補画像上に対応領域が複数設定されている場合は、判定部２５は、複数の対応領域のうち、病変領域との高周波成分のパワーの差が最大となる１つの対応領域を用いて判定を行ってもよい。
　高周波成分のパワー判定によって、病変領域画像に焦点が合っていると判定された場合、判定部２５は、当該病変候補画像は診断に用いることができる適切な画像であるとの結果を出力する。一方、病変領域画像がぼけていると判定された場合、判定部２５は、当該病変候補画像は診断に用いることができない不適切な画像であるとの結果を出力する。
　なお、判定部２５は、所定の閾値ＴＨ１に加え、所定の閾値ＴＨ２を設けて、焦点が合っているか否かを判定してもよい。所定の閾値ＴＨ２は、画像がぼけているか否かの境目となる値である。判定部２５は、病変領域画像と対応領域画像のそれぞれについて、高周波成分のパワーが所定の閾値ＴＨ１以上の場合は「大」と判定し、高周波成分のパワーが所定の閾値ＴＨ２以下の場合は「小」と判定する。また、判定部２５は、病変領域画像の高周波成分のパワーが所定の閾値ＴＨ１未満であり、かつ、所定の閾値ＴＨ２より大きい場合は「大」と判定してもよいし、診断に用いる画像とするか否かを検査者に選択させてもよい。
　次に、光量（明度）判定について詳しく説明する。光量（明度）判定とは、判定部２５が、病変領域画像と対応領域画像のそれぞれの画像について、明暗を判定することをいう。
　具体的に、判定部２５は、光量計算部２４が算出した病変領域画像の光量と対応領域画像の光量を、予め決められた所定の閾値ＴＨ３と比較する。そして、判定部２５は、病変領域画像の光量が所定の閾値ＴＨ３以上の場合は「大」、即ち、光量が多いと判定する。一方、病変領域画像の光量が所定の閾値ＴＨ３未満の場合は「小」、即ち、光量が少ないと判定する。同様に、判定部２５は、対応領域画像についても、光量が所定の閾値ＴＨ３以上の場合は「大」、所定の閾値ＴＨ３未満の場合は「小」と判定していく。
　なお、判定部２５は、所定の閾値ＴＨ３に加え、所定の閾値ＴＨ４を設けて、明暗を判定してもよい。例えば、所定の閾値ＴＨ３には、光量が多いか否かの境目となる値を設定し、所定の閾値ＴＨ４には、光量が少ないか否かの境目となる値を設定する。そして、病変領域画像と対応領域画像のそれぞれについて、光量が所定の閾値ＴＨ３以上の場合は「大」と判定し、光量が所定の閾値ＴＨ４以下の場合は「小」と判定する。また、判定部２５は、光量が所定の閾値ＴＨ３未満であり、かつ、所定の閾値ＴＨ４より大きい場合は、「光量は適切」と判定する。
　図６は、判定部２５により病変候補画像が不適切と判定された場合の判定結果の一例を示したものである。図示のように、判定部２５は、「高周波成分のパワー判定」、「光量（明度）判定」、「原因の推測」を含む判定結果を出力する。
　「高周波成分のパワー判定」は、病変領域と対応領域の高周波成分のパワーの判定結果を示す。判定結果「大」は、画像の焦点が合っていることを示し、判定結果「小」は画像がぼけていることを示す。図６の例では、全ての例において病変領域画像がぼけている。
　「光量（明度）判定」は、病変領域と対応領域の光量（明度）の判定結果を示す。判定結果「大」は光量が多いことを示し、判定結果「小」は光量が少ないことを示す。
　「原因の推測」は、病変候補画像が不適切な画像とされた原因を示す。判定部２５は、「高周波成分のパワー判定」と「光量（明度）判定」の結果を基に病変領域画像の焦点が合わなかった原因を推測する。例えば、図６の例１では、病変領域と対応領域のいずれも光量が多いため、判定部２５は、病変候補画像が不適切となった原因を、「病変候補画像の全体の光量が多い」ことと推測している。例２では、病変領域の光量が多いため、判定部２５は、病変候補画像が不適切となった原因を、「病変候補領域の光量が多い」ことと推測している。例３では、対応領域の光量が多いため、判定部２５は、病変候補画像が不適切となった原因を、「内視鏡カメラの近づきすぎ等」と推測している。例４では、病変領域と対応領域の両方の光量が少ないため、判定部２５は、病変候補画像が不適切となった原因を、「病変候補画像の全体の光量が少ない」ことと推測している。例５では、病変領域と対応領域の両方の光量が多く、かつ、病変領域と対応領域のいずれにおいても画像がぼけているため、判定部２５は、病変候補画像が不適切となった原因を、「病変候補画像の全体がぴんぼけしている」ことと推測している。
　判定部２５は、以上のような判定を行い、判定結果を表示装置２へ出力する。表示装置２は、判定部２５から入力された判定結果を表示する。
　［表示例］
　次に、表示装置２による表示例を説明する。図７は表示装置２による表示の一例である。図７の例では、表示装置２の表示エリア７０内に、病変候補画像７１と、病変領域７２と、患者名、検査日時などの基本情報と、画像の判定結果および原因を表す関連情報７３と、光量の調整を促すメッセージ７４と、が表示されている。
　病変候補画像７１は、病変候補が検出された臓器部位の内視鏡画像である。病変領域７２は、病変候補画像７１に含まれる病変候補を矩形で囲んで示している。関連情報７３は、病変候補画像７１が診断に用いることができる適切な画像であるか否かを判定した結果である。病変候補画像７１が不適切な画像であると判定された場合は、関連情報７３には不適切な画像となった原因も示される。また、メッセージ７４は、光量調整などの対応を促すメッセージであり、病変候補画像７１が不適切な画像であると判定された場合に示される。このように、本実施形態では、関連情報７３およびメッセージ７４を見ることにより、病変候補画像が診断に適している画像か否かを容易に把握することができる。
　［判定処理］
　次に、上記のような表示を行う表示処理について説明する。図８は、画像処理装置１による判定処理のフローチャートである。この処理は、図２に示すプロセッサ１１が予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。
　まず、インターフェース１３は内視鏡映像Ｉｃを取得する（ステップＳ１１）。次に、病変候補検出部２１は、内視鏡映像Ｉｃから病変候補を検出し、病変候補画像を生成する（ステップＳ１２）。次に、対応位置設定部２２は、病変候補画像に対して病変候補を含む病変領域を設定し、さらに病変領域に対応する対応領域を設定する（ステップＳ１３）。なお、病変候補画像の上部に病変領域がある場合は、対応領域は病変候補画像の下部に設定され、病変候補画像の下部に病変領域がある場合は、対応領域は病変候補画像の上部に設定される。
　次に、ぼけ計算部２３は、病変領域画像と対応領域画像のそれぞれについて、フーリエ変換を行い、高周波成分のパワーを計算する（ステップＳ１４）。また、光量計算部２４は、病変領域画像と対応領域画像のＲＧＢ値をＨＳＶ値へ変換し、それぞれの光量（Ｖ値）を計算する（ステップＳ１５）。そして、判定部２５は、病変領域画像の高周波成分のパワーと対応領域画像の高周波成分のパワーを、所定の閾値ＴＨ１と比較することにより、焦点が合っているか否かを判定する。また、判定部２５は、病変領域画像の光量と対応領域画像の光量を、所定の閾値ＴＨ３と比較することにより、画像の明暗を判定する。そして、判定部２５は、上記の判定結果に基づいて、病変候補画像が診断に適切な画像か否かを判定する（ステップＳ１６）。なお、判定部２５は、病変候補画像が診断に適切な画像でない場合は、その原因を推測する。
　そして、表示装置２は、判定部２５の判定結果を表示する（ステップＳ１７）。こうして、図７に示すような表示が行われる。なお、ステップＳ１５は、ステップＳ１４よりも前に実行されてもよく、ステップＳ１５と同時に実行されてもよい。
　上記のように、本実施形態では、内視鏡検査システム１００は、撮影した内視鏡画像の中から、病変候補に焦点が合っている画像を選別することができる。これにより、医師またはＡＩは、画像診断を効率的に行うことが可能となる。また、病変候補がぼやけていて、画像診断に用いることができない場合でも、原因を表示することで、設定の改善を促すことが可能となる。
　＜第２実施形態＞
　図９は、第２実施形態の画像判定装置の機能構成を示すブロック図である。画像判定装置８０は、取得手段８１と、検出手段８２と、設定手段８３と、ぼけ判定手段８４と、画像判定手段８５と、を備える。
　図１０は、第２実施形態の画像判定装置による処理のフローチャートである。取得手段８１は、内視鏡画像を取得する（ステップＳ８１）。検出手段８２は、前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する（ステップＳ８２）。設定手段８３は、前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する（ステップＳ８３）。ぼけ判定手段８４は、前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定する（ステップＳ８４）。画像判定手段８５は、ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する（ステップＳ８５）。
　第２実施形態の画像判定装置８０によれば、病変候補を写した内視鏡画像が、診断に使用できるか否かを判定することができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　内視鏡画像を取得する取得手段と、
　前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する検出手段と、
　前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する設定手段と、
　前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定するぼけ判定手段と、
　ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定手段と、
　を備える画像判定装置。
　（付記２）
　前記ぼけ判定手段は、前記病変領域の画像及び前記対応領域の画像のそれぞれについての高周波成分のパワーに基づいて、前記病変領域の画像のぼけを判定する付記１に記載の画像判定装置。
　（付記３）
　前記設定手段は、前記病変候補が前記病変候補画像の上部にある場合に、前記病変候補画像の下部に１又は複数の対応領域を設定し、前記病変候補が前記病変候補画像の下部にある場合に、前記病変候補画像の上部に１又は複数の対応領域を設定する付記２に記載の画像判定装置。
　（付記４）
　前記ぼけ判定手段は、前記対応領域が複数ある場合には、前記病変領域との高周波成分のパワーの差が最大となる対応領域を用いて、前記病変領域の画像のぼけを判定する付記３に記載の画像判定装置。
　（付記５）
　前記病変領域の画像及び前記対応領域の画像の光量を計算する光量計算手段を備え、
　前記画像判定手段は、前記ぼけの判定結果及び前記光量の判定結果に基づいて、前記病変候補画像が不適切である原因を判定する付記１乃至４のいずれか一項に記載の画像判定装置。
　（付記６）
　不適切な病変候補画像と、当該病変候補画像が不適切である原因を示すメッセージとを表示する表示手段を備える付記５に記載の画像判定装置。
　（付記７）
　内視鏡画像を取得し、
　前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
　前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
　前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
　ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定方法。
　（付記８）
　内視鏡画像を取得し、
　前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
　前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
　前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
　ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１　画像処理装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　１７　データベース（ＤＢ）
　２１　病変候補検出部
　２２　対応位置設定部
　２３　ぼけ計算部
　２４　光量計算部
　２５　判定部
　１００　内視鏡検査システム

Claims (8)

  1. 　内視鏡画像を取得する取得手段と、
    　前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力する検出手段と、
    　前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定する設定手段と、
    　前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定するぼけ判定手段と、
    　ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定手段と、
    　を備える画像判定装置。
  2. 　前記ぼけ判定手段は、前記病変領域の画像及び前記対応領域の画像のそれぞれについての高周波成分のパワーに基づいて、前記病変領域の画像のぼけを判定する請求項１に記載の画像判定装置。
  3. 　前記設定手段は、前記病変候補が前記病変候補画像の上部にある場合に、前記病変候補画像の下部に１又は複数の対応領域を設定し、前記病変候補が前記病変候補画像の下部にある場合に、前記病変候補画像の上部に１又は複数の対応領域を設定する請求項２に記載の画像判定装置。
  4. 　前記ぼけ判定手段は、前記対応領域が複数ある場合には、前記病変領域との高周波成分のパワーの差が最大となる対応領域を用いて、前記病変領域の画像のぼけを判定する請求項３に記載の画像判定装置。
  5. 　前記病変領域の画像及び前記対応領域の画像の光量を計算する光量計算手段を備え、
    　前記画像判定手段は、前記ぼけの判定結果及び前記光量の判定結果に基づいて、前記病変候補画像が不適切である原因を判定する請求項１乃至４のいずれか一項に記載の画像判定装置。
  6. 　不適切な病変候補画像と、当該病変候補画像が不適切である原因を示すメッセージとを表示する表示手段を備える請求項５に記載の画像判定装置。
  7. 　内視鏡画像を取得し、
    　前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
    　前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
    　前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
    　ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する画像判定方法。
  8. 　内視鏡画像を取得し、
    　前記内視鏡画像から病変候補を検出し、前記病変候補を含む病変候補画像を出力し、
    　前記病変候補画像において、前記病変候補に対応する病変領域と、前記病変領域に対応する対応領域とを設定し、
    　前記病変領域の画像及び前記対応領域の画像に基づいて、前記病変領域の画像のぼけを判定し、
    　ぼけの判定結果に基づいて、前記病変候補画像の適否を判定する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2022/002920 2022-01-26 2022-01-26 画像判定装置、画像判定方法、及び、記録媒体 WO2023144936A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/002920 WO2023144936A1 (ja) 2022-01-26 2022-01-26 画像判定装置、画像判定方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/002920 WO2023144936A1 (ja) 2022-01-26 2022-01-26 画像判定装置、画像判定方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2023144936A1 true WO2023144936A1 (ja) 2023-08-03

Family

ID=87471252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002920 WO2023144936A1 (ja) 2022-01-26 2022-01-26 画像判定装置、画像判定方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2023144936A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013183836A (ja) * 2012-03-07 2013-09-19 Olympus Corp 内視鏡装置及びフォーカス制御方法
WO2016170656A1 (ja) * 2015-04-23 2016-10-27 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2017072853A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
WO2018011928A1 (ja) * 2016-07-13 2018-01-18 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
US20180253839A1 (en) * 2015-09-10 2018-09-06 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
JP2019162371A (ja) 2018-03-20 2019-09-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置及び内視鏡装置
WO2022014258A1 (ja) * 2020-07-17 2022-01-20 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013183836A (ja) * 2012-03-07 2013-09-19 Olympus Corp 内視鏡装置及びフォーカス制御方法
WO2016170656A1 (ja) * 2015-04-23 2016-10-27 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20180253839A1 (en) * 2015-09-10 2018-09-06 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2017072853A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
WO2018011928A1 (ja) * 2016-07-13 2018-01-18 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP2019162371A (ja) 2018-03-20 2019-09-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置及び内視鏡装置
WO2022014258A1 (ja) * 2020-07-17 2022-01-20 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法

Similar Documents

Publication Publication Date Title
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
WO2019037676A1 (zh) 图像处理方法及装置
US9530205B2 (en) Polyp detection apparatus and method of operating the same
WO2006123455A1 (ja) 画像表示装置
CN113164023B (zh) 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质
CN111127430A (zh) 确定医学影像显示参数的方法及装置
KR20200026135A (ko) 달팽이관에서의 미세 혈류 측정 방법 및 장치
CN109064468B (zh) 一种应用matlab量化分析眼睑睑板腺形态及面积的方法
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
JP2004312434A (ja) 画像処理装置及び方法及びシステム
JP2005109790A (ja) 医用画像処理装置
JP2014018251A (ja) 眼科撮影装置及び眼科撮影プログラム
Ahmad et al. 3D reconstruction of gastrointestinal regions using single-view methods
WO2023144936A1 (ja) 画像判定装置、画像判定方法、及び、記録媒体
JP2006280682A (ja) ノイズ検出機能を備えた画像診断支援方法
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
US20210241457A1 (en) Endoscope system, and image processing apparatus and image processing method used in endoscope system
WO2013150419A1 (en) Quality-check during medical imaging procedure
WO2024121886A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
US20220375089A1 (en) Endoscope apparatus, information processing method, and storage medium
JP3754807B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
US20240177313A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
EP4302681A1 (en) Medical image processing device, medical image processing method, and program
WO2022208615A1 (ja) 画像処理装置、画像処理方法及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22923803

Country of ref document: EP

Kind code of ref document: A1