WO2022014258A1 - プロセッサ装置、プロセッサ装置の作動方法 - Google Patents

プロセッサ装置、プロセッサ装置の作動方法 Download PDF

Info

Publication number
WO2022014258A1
WO2022014258A1 PCT/JP2021/023216 JP2021023216W WO2022014258A1 WO 2022014258 A1 WO2022014258 A1 WO 2022014258A1 JP 2021023216 W JP2021023216 W JP 2021023216W WO 2022014258 A1 WO2022014258 A1 WO 2022014258A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
predetermined
determined
processor device
satisfied
Prior art date
Application number
PCT/JP2021/023216
Other languages
English (en)
French (fr)
Inventor
進吾 増野
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022536191A priority Critical patent/JPWO2022014258A1/ja
Publication of WO2022014258A1 publication Critical patent/WO2022014258A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes

Definitions

  • the present invention relates to a processor device and a method of operating a processor device for acquiring an analysis result of an endoscope image captured by an endoscope.
  • an endoscope system including a light source device, an endoscope, and a processor device is widely known.
  • an observation object is irradiated with illumination light, and the observation object illuminated by the illumination light is imaged to acquire an endoscope image as a medical image.
  • the endoscopic image is displayed on a display and used for diagnosis and the like.
  • a region of interest such as a lesion region is detected and highlighted to support a user's diagnosis.
  • candidates of the region of interest are detected, and for each of the detected candidates, the reliability indicating the certainty of being the region of interest is calculated, and each region of interest is calculated according to the calculated reliability.
  • a configuration is described in which the mode of highlighting the candidate is different.
  • the present invention has been made in view of the above background, and an object of the present invention is to provide a processor device and a method of operating the processor device that can obtain more accurate analysis results.
  • the processor device of the present invention acquires the analysis result of the endoscope image captured by the endoscope.
  • an image processing processor and an endoscope image are required for analysis. It is determined whether or not the predetermined criteria are satisfied, and if it is determined that the predetermined criteria are not met, a warning regarding the reliability of the analysis is given.
  • the amount of blurring of the endoscopic image is set, and when the amount of blurring is equal to or greater than the predetermined amount of blurring, it may be determined that the predetermined standard is not satisfied.
  • the in-focus degree of the endoscopic image is set, and when the in-focus degree is equal to or less than the predetermined in-focus degree, it may be determined that the predetermined standard is not satisfied.
  • the brightness of the endoscopic image is set as a predetermined standard and the brightness is equal to or less than the predetermined brightness, it may be determined that the predetermined standard is not satisfied.
  • the ratio of the halation region having the maximum luminance gradation value is set, and when the ratio of the halation region is equal to or more than the predetermined ratio, it may be determined that the predetermined standard is not satisfied.
  • the ratio of the deposit region in which the deposit attached to the imaging optical system is imaged is set, and when the ratio of the deposit region is equal to or more than the predetermined ratio, even if it is determined that the predetermined standard is not satisfied. good.
  • the feature amount related to biological information by analysis if the feature amount is equal to or less than the predetermined amount, it may be determined that the predetermined standard is not satisfied.
  • the region of interest In the case of detecting the region of interest from the endoscopic image by analysis, if the region of interest is separated from the center of the endoscopic image by a predetermined distance or more, it may be determined that the predetermined criterion is not satisfied.
  • the predetermined criteria consist of a primary criterion and a secondary criterion regarding the proportion of endoscopic images that meet the primary criteria.
  • the ratio of the endoscopic images satisfying the criteria is equal to or less than the secondary criteria, it may be determined that the predetermined criteria are not satisfied.
  • Normal imaging that irradiates the observation target with normal light and captures the normal image as an endoscope image, and special light that has a different emission spectrum from the normal light is radiated to the observation target to acquire a special image as an endoscope image.
  • the normal image and the special image may be compared to determine whether or not the predetermined criteria are satisfied.
  • the analysis results of the normal image and the special image may be compared.
  • the feature amount obtained by the analysis of the normal image is equal to or more than the predetermined reference amount, and the feature amount obtained by the analysis of the special image is less than the predetermined reference amount. In some cases, it may be determined that the predetermined criteria are not satisfied.
  • the image processing processor uses the endoscope. It is determined whether or not the image meets the predetermined criteria required for analysis, and if it is determined that the image does not meet the predetermined criteria, a warning regarding the reliability of the analysis is given.
  • the endoscope system 10 has an endoscope 12, a light source device 14, a processor device 16, a display 18, and a user interface 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 has an insertion portion 12a to be inserted into the body to be observed, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip provided on the tip end side of the insertion portion 12a. It has a portion 12d.
  • the operating portion 12b is provided with an angle knob 12e, and by operating the angle knob 12e, the curved portion 12c can be curved to turn the tip portion 12d in a desired direction.
  • the operation unit 12b includes a mode changeover switch 12f used for switching the observation mode, a still image acquisition instruction unit 12g used for instructing the acquisition of a still image to be observed, and a zoom lens 43 (see FIG. 2).
  • a zoom operation unit 12h to be used is provided.
  • the endoscope system 10 is provided with a normal observation mode and a detailed observation mode for performing more detailed observation than the normal observation mode as the observation mode. By operating the mode changeover switch 12f, the observation mode is provided. Is switched.
  • the light source device 14 includes a light source unit 20 (see FIG. 2) that emits illumination light for illuminating an observation target.
  • the illumination light from the light source unit 20 is guided by the light guide 25 (see FIG. 2) and is emitted from the tip portion 12d toward the observation target.
  • the observation target illuminated by the illumination light from the light source unit 20 is imaged by the image pickup sensor 44 (see FIG. 2) built in the tip portion 12d.
  • the processor device 16 is electrically connected to the display 18 and the user interface 19.
  • the display 18 outputs and displays an image to be observed, information incidental to the image to be observed, and the like.
  • the user interface 19 is a keyboard, a mouse, and / or a touch pad, and has a function of accepting input operations such as function settings.
  • An external recording unit (not shown) for recording an image, image information, or the like may be connected to the processor device 16.
  • the light source device 14 includes the above-mentioned light source unit 20 and a light source processor 21 that controls the light source unit 20, and the emission timing and emission spectrum of the illumination light emitted from the light source unit 20 are for the light source. It is controlled by the processor 21.
  • the light source device 14 emits normal light and special light having different emission spectra.
  • Normal light is, for example, white light.
  • the white light includes, for example, purple light having a wavelength band of 380 to 420 nm, blue light having a wavelength band of 420 to 500 nm, green light having a wavelength band of 480 to 600 nm, and red light having a wavelength band of 600 to 650 nm.
  • the amount of purple light having a high absorption coefficient of hemoglobin in blood vessels and having a wavelength band of 380 nm to 420 nm is larger than that of normal light.
  • the resolution of the vascular structure and the ductal structure of the special image is higher than that of other structures.
  • the type of special light is not limited to one type, and a plurality of types of special images may be captured by a plurality of types of special light.
  • the illumination light from the light source unit 20 is incident on the light guide 25 described above via the optical path coupling unit 23 composed of a mirror, a lens, or the like.
  • the light guide 25 is built in the endoscope 12 and a universal cord (a cord connecting the endoscope 12, the light source device 14 and the processor device 16).
  • the light guide 25 propagates the light from the optical path coupling portion 23 to the tip portion 12d of the endoscope 12.
  • An illumination optical system 30a and an image pickup optical system 30b are provided at the tip end portion 12d of the endoscope 12.
  • the illumination optical system 30a has an illumination lens 32, and the illumination light propagated by the light guide 25 is applied to the observation target through the illumination lens 32.
  • the image pickup optical system 30b includes an objective lens 42, a zoom lens 43, and an image pickup sensor 44.
  • the light from the observation target due to the irradiation of the illumination light is incident on the image pickup sensor 44 via the objective lens 42 and the zoom lens 43.
  • the zoom lens 43 is a lens for enlarging the observation target, and moves between the telephoto end and the wide end by operating the zoom operation unit 12h.
  • the image pickup sensor 44 is a color sensor, and in the present embodiment, it is a B pixel having a B (blue) color filter, a G pixel having a G (green) color filter, and an R pixel having an R (red) color filter.
  • a primary color sensor equipped with three types of pixels is used.
  • a CCD (Charge-Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image pickup sensor or the like can be used.
  • the image pickup sensor 44 is controlled by the image pickup processor 45. Specifically, the image signal is output from the image pickup sensor 44 by reading out the signal of the image pickup sensor 44 by the image pickup processor 45.
  • the image pickup processor 45 controls the above-mentioned light source processor 21 to perform normal image pickup by irradiating an observation target with normal light to perform image pickup (signal readout), and to perform image pickup by irradiating special light into an observation mode.
  • Perform special imaging Then, in normal imaging, a normal image is captured as an endoscopic image, and in special imaging, a special image is captured as an endoscopic image.
  • the imaging cycle between normal imaging and special imaging can be freely set, but in this embodiment, normal imaging of 5 times (5 frames) and special imaging of 1 time (1 frame) are repeatedly performed. Further, in the present embodiment, imaging is performed 60 times per second (60 frames). As a result, in the present embodiment, 50 normal images (50 frames) and 10 special images (10 frames) are acquired per second.
  • a complementary color image sensor having C (cyan), M (magenta), Y (yellow), and G (green) complementary color filters instead of the primary color image sensor 44 provided with the RGB primary color filter. May be used.
  • the image signals of four colors of CMYG are output. Therefore, by converting the image signals of the four colors of CMYG into the image signals of the three colors of RGB by the complementary color-primary color conversion, it is possible to obtain the image signals of each RGB color similar to the image sensor 38.
  • a monochrome sensor without a color filter may be used instead of the image sensor 38.
  • the CDS / AGC (Correlated Double Sampling / Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal obtained from the image pickup sensor 44.
  • CDS correlated double sampling
  • AGC automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 46 is converted into a digital image signal by the A / D (Analog / Digital) converter 48.
  • the digital image signal after A / D conversion is input to the processor device 16.
  • the processor device 16 includes a central control unit 68 that constitutes the image processing processor of the present invention.
  • the central control unit 68 is a hardware resource for executing a program instruction stored in a memory 69, and is a processor. Each part of the device 16 is driven and controlled to execute a program instruction.
  • the processor device 16 functions as an image acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, an image processing unit 58, and a display control unit 60. do.
  • DSP Digital Signal Processor
  • the image acquisition unit 50 acquires an endoscope image input from the endoscope 12.
  • the endoscopic image is a blue signal (B image signal), a green signal (G image signal), and a red signal (R image signal) output from the B pixel, G pixel, and R pixel of the image pickup sensor 44. It is a color image composed of.
  • normal imaging in which normal light is irradiated to the observation target to take an image and special imaging in which special light is applied to the observation target to take an image are performed.
  • the endoscopic image which is a color image a normal image by normal imaging and a special image by special imaging are acquired.
  • five times of normal imaging and one special imaging are repeated.
  • five (frame) normal images and one (frame) special image are repeatedly acquired.
  • the endoscopic image acquired by the image acquisition unit 50 is transmitted to the DSP 52.
  • the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, matrix processing, gamma conversion processing, demosaic processing, and YC conversion processing on the received endoscopic image.
  • the signal of the defective pixel of the image sensor 44 is corrected.
  • the dark current component is removed from the image signal subjected to the defect correction processing, and an accurate zero level is set.
  • the gain correction process adjusts the signal level of the endoscopic image by multiplying the image signal of each color after the offset process by a specific gain coefficient.
  • the endoscope image may be imaged by the monochrome sensor for each emission of light of a specific color and may be a monochrome image of a plurality of colors output from the monochrome sensor. preferable.
  • the image signal of each color after the gain correction processing is subjected to matrix processing to improve the color reproducibility. After that, the brightness and saturation of the endoscopic image are adjusted by the gamma conversion process.
  • the endoscope image after the matrix processing is subjected to demosaic processing (also referred to as isotropic processing or simultaneous processing), and a signal of the missing color of each pixel is generated by interpolation. By the demosaic processing, all the pixels have the signals of each color of RGB.
  • the DSP 52 performs YC conversion processing on the endoscope image after the demosaic processing, and outputs the luminance signal Y, the color difference signal Cb, and the color difference signal Cr to the noise reduction unit 54.
  • the noise reduction unit 54 performs noise reduction processing by, for example, a moving average method, a median filter method, or the like on an endoscopic image that has been demosaic processed by DSP 56.
  • the endoscopic image with reduced noise is input to the image processing unit 58.
  • the images are input to the display control unit 60.
  • the display control unit 60 controls the display of the display 18, and the endoscopic image processed by the image processing unit 58 is converted into a video signal for display by the display control unit 60 and displayed. It is displayed at 18.
  • the image processing unit 58 includes a normal observation mode layer processing unit 62 and a detailed observation mode image processing unit 64.
  • the normal observation mode image processing unit 62 operates when the above-mentioned observation mode is the normal observation mode.
  • the detailed observation mode image processing unit 64 operates when the observation mode is the detailed observation mode.
  • the normal observation mode image processing unit 62 performs color conversion processing, color enhancement processing, and structure enhancement processing on the endoscope image input from the noise reduction unit 54.
  • a color conversion process is performed on the endoscopic image by a 3 ⁇ 3 matrix process, a gradation conversion process, a three-dimensional LUT (Look Up Table) process, or the like.
  • the color enhancement process is performed on the endoscopic image that has undergone the color conversion process.
  • the structure enhancement process is a process for emphasizing the structure of the observation target, and is performed on the endoscopic image after the color enhancement process. Then, the endoscopic image subjected to the above-mentioned image processing is displayed on the display 18 via the display control unit 60.
  • the detailed observation mode image processing unit 64 also performs the same image processing as the normal observation mode processing unit, and the image-processed endoscope image is displayed on the display 18. Further, as shown in FIG. 3, the detailed observation mode image processing unit 64 is provided with a recognition processing unit 70, an image determination unit 72, and a warning processing unit 74.
  • the recognition processing unit 70 analyzes the endoscopic image input from the noise reduction unit 54 and performs recognition processing.
  • the recognition process performed by the recognition processing unit 70 includes a detection process for detecting a region of interest from a recognition image (endoscopic image in the present embodiment) and a discrimination process for discriminating the type of lesion included in the recognition image. And are included. Further, the discrimination process includes a process performed on the region of interest and a process performed on the entire recognition image, but in the present embodiment, an example of performing the discrimination process on the region of interest will be described. I do.
  • the endoscopic image is divided into a plurality of small areas, and the image feature amount is calculated from the divided endoscopic images. Then, in the detection process, it is determined whether or not each small region is a lesion based on the calculated feature amount, and a group of regions identified as having the same type is extracted as one lesion, and the extracted lesion is extracted. The area containing the above is detected as the area of interest. Further, in the discrimination process, for the detected region of interest, the type of lesion and / or the degree of lesion based on the feature amount in the region of interest and the mode (position, size, shape, etc.) of the region of interest. (Stage) is judged. Judgment in the above-mentioned recognition process (detection process, discrimination process) is performed by a machine learning algorithm such as a convolutional neural network or deep learning.
  • a machine learning algorithm such as a convolutional neural network or deep learning.
  • the feature amount calculated from the endoscopic image by the recognition processing unit 70 is related to biological information, and is an index value obtained from the shape and color of a predetermined part in the observation target or their shape and color. Is preferable.
  • the characteristic amounts include blood vessel density, blood vessel shape, number of blood vessel branches, blood vessel thickness, blood vessel length, blood vessel tortuosity, blood vessel depth, glandular shape, glandular opening shape, and gland. It is preferable that the value is at least one of the length of the blood vessel, the degree of tortuosity of the glandular vessel, and the color information, or a combination of two or more thereof.
  • the result of the above-mentioned recognition processing that is, the analysis result obtained by the recognition processing unit 70 analyzing the endoscopic image is displayed on the display 18 via the display control unit 60.
  • the recognition processing unit 70 is provided in the endoscope system 10 (more specifically, the processor device 16)
  • the present invention is not limited thereto.
  • a recognition processing unit may be provided in an external device other than the processor device 16 or the endoscope system 10. In this case, the endoscope image of the analysis target (target of recognition processing) is transmitted to the external device, the recognition processing (analysis) is performed by the external device, and the recognition processing result (analysis result) sent from the external device is performed. May be received (acquired) by the endoscope system 10 (more specifically, the processor device 16).
  • the recognition-processed endoscope image that the recognition processing unit 70 has performed recognition processing is input to the image determination unit 72.
  • the image determination unit 72 analyzes the input endoscope image, and determines whether or not the input endoscope image satisfies a predetermined criterion required for recognition processing (analysis performed by the recognition processing unit 70). Judgment Judgment processing is performed. It should be noted that the determination processing may be performed on the endoscopic image before the recognition processing unit 70 performs the recognition processing. Further, the configuration is not limited to the configuration in which the recognition process and the determination process are performed in series, and equivalent endoscopic images are input to each of the recognition process unit 70 and the image determination unit 72, and the recognition process and the determination process are performed in parallel. You may go to the target.
  • the warning processing unit 74 operates when the image determination unit 72 determines that the predetermined criteria required for the recognition processing process is not satisfied, and performs warning processing.
  • the warning process warns that the reliability of the recognition process is lowered because the endoscopic image does not meet the predetermined criteria required for the recognition process.
  • the warning is given, for example, by displaying a message indicating that the reliability of the recognition process is low on the display 18 and / or outputting a warning sound from a speaker (not shown).
  • the amount of image blur is set as a predetermined standard used in the determination process.
  • the image determination unit 72 analyzes the endoscopic image to be determined, and an index value related to the image blur amount (the larger the value, the more the image). Indicates that the amount of blurring is large). Then, the calculated index value is compared with the preset threshold value for image blur determination, and when it is equal to or more than the threshold value, that is, when the image blur amount is equal to or more than the predetermined blur amount, the predetermined standard is not satisfied. Is determined. On the other hand, when the calculated index value is less than the threshold value for image blur determination, it is determined that the predetermined criteria are satisfied.
  • the predetermined standard is not limited to the amount of image blur. Focusing degree, image brightness, halation, deposits, feature amount, and position of interest region may be set as predetermined criteria.
  • the image determination unit 72 analyzes the endoscopic image to be determined, and an index value related to the in-focus degree (the larger the value, the more the in-focus degree). Is high (indicating that it is in focus)) is calculated. Then, the calculated index value is compared with the preset threshold value for determining the in-focus degree, and when it is equal to or less than the threshold value, that is, when the in-focus degree is equal to or less than the predetermined in-focus degree, the predetermined standard is satisfied. Judge that it is not. On the other hand, when the calculated index value is larger than the threshold value for determining the degree of focus, it is determined that the predetermined criteria are satisfied.
  • the image determination unit 72 analyzes the endoscopic image to be determined and the image brightness (for example, the entire image or each pixel in the region of interest). The average value of the luminance gradation value of) is detected. Then, when the detected image luminance is equal to or less than the preset luminance determination threshold value, that is, when the image luminance is equal to or less than the predetermined luminance, it is determined that the predetermined criterion is not satisfied. On the other hand, when the image brightness is larger than the threshold value for determining the luminance, it is determined that the predetermined criterion is satisfied.
  • the image determination unit 72 analyzes the endoscopic image to be determined and detects the entire image or the halation region of the region of interest.
  • the halation region is a so-called overexposed region in which the luminance gradation value of the image is maximized. Then, the image determination unit 72 does not satisfy the predetermined criteria when the ratio of the halation region is equal to or higher than the preset threshold value for halation determination, that is, when the ratio of the halation region is equal to or higher than the predetermined ratio. judge. On the other hand, when the ratio of the halation region is less than the threshold value for halation determination, it is determined that the predetermined criteria are satisfied.
  • the image determination unit 72 analyzes the endoscopic image to be determined and detects the deposit region in the entire image or the region of interest. ..
  • the deposit region is a region in which deposits such as body fluid adhering to the photographing optical system such as the objective lens 42 are imaged. Then, the image determination unit 72 satisfies a predetermined criterion when the ratio of the deposit region is equal to or more than a preset threshold value for deposit determination, that is, when the ratio of the deposit region is equal to or more than a predetermined ratio. Judge that it is not. On the other hand, when the ratio of the deposit region is less than the threshold value for determining the deposit, it is determined that the predetermined criteria are satisfied.
  • the image determination unit 72 determines that the feature amount calculated in the recognition process is equal to or less than a preset feature amount determination threshold value. That is, when the feature amount is equal to or less than the predetermined amount, it is determined that the predetermined standard is not satisfied. On the other hand, when the feature amount exceeds the feature amount determination threshold value, it is determined that the predetermined criteria are satisfied.
  • the image determination unit 72 detects the position (center position) of the attention area detected in the recognition process, and the detected position and the inside. Calculate the center and distance of the endoscopic image. Then, when the calculated distance is equal to or greater than the preset threshold for determining the position of the region of interest, that is, when the region of interest is separated from the center of the endoscopic image by a predetermined distance or more, the predetermined criterion is not satisfied. judge. On the other hand, when the calculated distance is less than the threshold value for determining the position of the region of interest, it is determined that the predetermined criteria are satisfied.
  • the present invention is not limited to this. It may be determined that the predetermined criteria are satisfied when all of the plurality of preset criteria are satisfied, or when the criteria of a predetermined ratio or more among the plurality of preset criteria are satisfied.
  • the predetermined criteria are satisfied when the ratio of the endoscope images satisfying the primary criteria is higher than the secondary criteria for a plurality of endoscopic images captured continuously (the ratio of the endoscopic images satisfying the primary criteria is exceeded). It may be determined that the predetermined criteria are not satisfied when the ratio of the endoscopic images satisfying the primary criteria is equal to or less than the secondary criteria).
  • the primary reference one or more of the above-mentioned image blur amount, focus degree, image brightness, halation, deposit, feature amount, and position of interest region is set, and all or a predetermined ratio or more of these are set. If it is satisfied, it is determined that the primary criterion is satisfied. Then, when the proportion of the endoscopic images that satisfy the primary criteria among the continuously captured endoscopic images exceeds the secondary criteria (for example, 10%), it is determined that the predetermined criteria are satisfied. ..
  • the plurality of endoscopic images taken continuously are images of a common observation target. Whether or not the endoscopic image is an image of a common observation target can be determined by analyzing the endoscopic image.
  • the endoscopic image captured during one detailed observation mode is an image of a common observation target. It may be considered to be.
  • the user specifies the imaging start time and the imaging end time of a common observation target, so that the endoscopic images captured during this period are common observations. It may be configured to be set as an image of an object.
  • the predetermined standard is common to the normal image and the special image has been described, but if the predetermined standard differs depending on whether the endoscope image to be determined is a normal image or a special image. You may let me. Further, although the explanation has been given with an example of determining whether or not both the normal image and the special image satisfy the predetermined standard, whether or not only one of the normal image and the special image satisfies the predetermined standard. It may be configured to determine whether or not.
  • the content of the recognition process is the same for the normal image and the special image, but the content of the recognition process may be different between the normal image and the special image. Further, the recognition process may be performed only on one of the normal image and the special image.
  • the predetermined criteria may be satisfied by comparing the normal image and the special image.
  • the feature quantities of a normal image and a special image obtained by capturing a common observation target may be compared, and if the difference between the two is equal to or greater than a predetermined value, it may be determined that the predetermined standard is not satisfied. Conceivable.
  • the feature amounts of the normal image and the special image may be compared, and if one is more than the reference amount but the other is less than the reference amount, it may be determined that the predetermined standard is not satisfied.
  • the special image has a higher resolution of the vascular structure and the ductal structure than the normal image. Therefore, when the feature amount related to the vascular structure and the ductal structure is calculated in the recognition process, it is calculated from the special image. It is natural that the feature amount has a larger amount of information than the feature amount calculated from a normal image.
  • the feature amount calculated from the normal image is equal to or more than the reference amount and the feature amount calculated from the special image is less than the reference amount, for example, the area of interest in the recognition process from the sensation image is If it can be detected, but the region of interest cannot be detected from the special image in the recognition process, it is highly possible that the endoscopic image to be recognized is not captured under appropriate conditions. Therefore, in the example of FIG. 13, if the region of interest is not detected from the special image even though the region of interest is detected from the traffic image, it is determined that the predetermined criteria are not satisfied. There is.
  • an example of giving a warning when it is determined that the endoscopic image does not meet the predetermined criteria required for the recognition process (analysis) has been described, but the present invention is not limited to this. ..
  • the endoscopic image satisfying the predetermined criteria required for the recognition process is imaged.
  • an advice process that advises the imaging method may be performed.
  • the advice processing is performed by, for example, the warning processing unit 74 (see FIG. 3), and in the advice processing, advice on the shooting method is given by displaying a message on the display 18 or the like, as in the warning processing described above.
  • the configuration may be such that the advice processing is performed instead of the warning processing.
  • a message prompting "slowly move the camera (tip portion 12d of the insertion portion 12a)" is displayed. If it is determined that the degree of focus does not meet the predetermined standard (when the high frequency component of the image is below the standard), the "camera (tip portion 12d of the insertion portion 12a) is moved back and forth so as to be in focus. Display a message prompting you to "move to”.
  • a message prompting to "increase the amount of illumination light” or “correctly apply the illumination light to the observation target” is displayed. If it is determined that the halation does not meet the predetermined criteria, a message prompting "change the shooting angle" is displayed. Further, if it is determined that the deposit does not meet the predetermined criteria, a message prompting "clean the objective lens (tip portion 12d of the insertion portion 12a)" is displayed. Further, when it is determined that the feature amount and the position of the attention area do not meet the predetermined criteria, and because the attention area is not detected from the special image even though the attention area is detected from the communication image, the predetermined area is determined. If it is determined that the criteria are not met, a message prompting "capture the observation target in front (center of the image)” is displayed. And so on.
  • the configuration may be such that switching between the communication observation mode and the detailed observation mode is performed.
  • the detection process is performed in the communication observation mode, and when the region of interest is detected, the process shifts to the detailed observation mode and the discrimination process is performed.
  • the analysis result is obtained. It is conceivable to display it and return to the communication observation mode.
  • the hardware-like structure of the processing unit that executes various processing such as unit 68, recognition processing unit 70, image determination unit 72, warning processing unit 74, etc. has various processors (processors) as shown below. ).
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disk drive) or SSD (solid state drive).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

正確な解析結果を得られるプロセッサ装置、プロセッサ装置の作動方法を提供する。　内視鏡システム（１０）のプロセッサ装置（１６）は、認識処理部（７０）、画像判定部（７２）、警告処理部（７４）を備える。認識処理部（７０）は、内視鏡画像を解析して認識処理を行なう。認識処理は、病変部などを含む注目領域を検出する検出処理と、病変の種類、程度を鑑別する鑑別処理とからなる。画像判定部（７２）は、内視鏡画像が認識処理に必要な所定基準を満たしているか否かを判定する。警告処理部（７４）は、内視鏡画像が認識処理に必要な所定基準を満たしていないと判定された場合に、この旨を警告する警告処理を行なう。

Description

プロセッサ装置、プロセッサ装置の作動方法
　本発明は、内視鏡で撮像した内視鏡画像を解析結果を取得する、プロセッサ装置、プロセッサ装置の作動方法に関する。
　医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムが広く知られている。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、ディスプレイに表示されるなどして診断等に使用される。
　また、近年の内視鏡システムでは、内視鏡画像を解析することによって、病変領域などの注目領域を検出し、強調表示するなどして、ユーザーの診断を支援することが行われている。また、下記特許文献１には、注目領域の候補を検出するとともに、検出した各候補について、注目領域であることの確からしさを示す信頼度を算出し、算出した信頼度に応じて各注目領域の候補の強調表示の態様を異ならせる構成が記載されている。
特許第５８０２３６４号公報
　しかしながら、従来の装置では、正確な解析を行えない場合があるといった問題があった。つまり、従来の装置は、解析する内視鏡画像が適切なものであるという前提のもとで解析を行っている。しかし、内視鏡画像にはブレやピンぼけがあるなど、解析に適切とは言い難いものも含まれ、このような内視鏡画像を解析しても正確な解析結果は得られない。
　本発明は、上記背景を鑑みてなされたものであり、より正確な解析結果を得られるプロセッサ装置、プロセッサ装置の作動方法を提供することを目的とする。
　上記目的を達成するために、本発明のプロセッサ装置は、内視鏡で撮像した内視鏡画像の解析結果を取得する、プロセッサ装置において、画像処理用プロセッサが、内視鏡画像が解析に必要な所定基準を満たしているか否かを判定し、所定基準を満たしていないと判定された場合に、解析の信頼度に関する警告を行う。
　所定基準として、内視鏡画像のブレ量が設定され、ブレ量が所定ブレ量以上である場合に、所定基準を満たしていないと判定してもよい。
　所定基準として、内視鏡画像の合焦度が設定され、合焦度が所定合焦度以下である場合に、所定基準を満たしていないと判定してもよい。
　所定基準として、内視鏡画像の輝度が設定され、輝度が所定輝度以下である場合に、所定基準を満たしていないと判定してもよい。
　所定基準として、輝度階調値が最大のハレーション領域の割合が設定され、ハレーション領域の割合が所定割合以上である場合に、所定基準を満たしていないと判定してもよい。
　所定基準として、撮像光学系に付着した付着物が撮像された付着物領域の割合が設定され、付着物領域の割合が所定割合以上である場合に、所定基準を満たしていないと判定してもよい。
　解析により、生体情報に関する特徴量を算出する場合において、特徴量が所定量以下である場合に、所定基準を満たしていないと判定してもよい。
　解析により、内視鏡画像から注目領域を検出する場合において、注目領域が内視鏡画像の中心から所定距離以上離れている場合に、所定基準を満たしていないと判定してもよい。
　共通の観察対象を撮像した複数の内視鏡画像を解析する場合において、所定基準は、１次基準と、１次基準を満たした内視鏡画像の割合に関する２次基準とからなり、１次基準を満たした内視鏡画像の割合が２次基準以下である場合に、所定基準を満たしていないと判定してもよい。
　通常光を観察対象に照射し、内視鏡画像として通常画像を撮像する通常撮像と、通常光とは発光スペクトルの異なる特殊光を観察対象に照射し、内視鏡画像として特殊画像を取得する特殊撮像と、を行う場合において、通常画像と特殊画像とを比較して、所定基準を満たしているか否かを判定してもよい。
　比較において、通常画像と特殊画像との解析結果の比較を行ってもよい。
　解析により、生体情報に関する特徴量を算出する場合において、通常画像の解析により得られた特徴量が所定基準量以上であり、かつ、特殊画像の解析により得られた特徴量が所定基準量未満である場合に、所定基準を満たしていないと判定してもよい。
　また、上記目的を達成するために、本発明のプロセッサ装置は、内視鏡で撮像した内視鏡画像の解析結果を取得する、プロセッサ装置の作動方法において、画像処理用プロセッサが、内視鏡画像が解析に必要な所定基準を満たしているか否かを判定し、所定基準を満たしていないと判定された場合に、解析の信頼度に関する警告を行う。
　本発明によれば、より正確な解析結果を得ることができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 詳細観察モード画像処理部の機能を示すブロック図である。 判定処理及び警告処理が行われる流れを示すフローチャートである。 判定処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 判定処理、警告処理及びアドバイス処理が行われる流れを示すフローチャートである。
　図１において、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。
　内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。操作部１２ｂには、アングルノブ１２ｅが設けられており、アングルノブ１２ｅを操作することにより湾曲部１２ｃが湾曲動作して先端部１２ｄを所望の方向に向けることができる。
　また、操作部１２ｂには、観察モードの切り替え操作に用いるモード切替スイッチ１２ｆ、観察対象の静止画の取得指示に用いられる静止画取得指示部１２ｇと、ズームレンズ４３（図２参照）の操作に用いられるズーム操作部１２ｈとが設けられている。内視鏡システム１０では、観察モードとして、通常観察モードと、通常観察モードよりも詳細な観察を行うための詳細観察モードとが設けられており、モード切替スイッチ１２ｆを操作することで、観察モードの切り替えが行われる。
　光源装置１４は、観察対象を照明するための照明光を発する光源部２０（図２参照）を備えている。光源部２０からの照明光は、ライトガイド２５（図２参照）により導光されて先端部１２ｄから観察対象へ向けて照射される。光源部２０からの照明光により照明された観察対象は、先端部１２ｄに内蔵された撮像センサ４４（図２参照）により撮像される。
　プロセッサ装置１６は、ディスプレイ１８及びユーザーインターフェース１９と電気的に接続される。ディスプレイ１８は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ユーザーインターフェース１９は、キーボード、マウス、及び／またはタッチパッドなどであり、機能設定などの入力操作を受け付ける機能を有する。なお、プロセッサ装置１６には、画像や画像情報などを記録する外付けの記録部（図示省略）を接続してもよい。
　図２において、光源装置１４は、前述した光源部２０と、光源部２０を制御する光源用プロセッサ２１とを備えており、光源部２０から発せられる照明光の発光タイミング並びに発光スペクトルは、光源用プロセッサ２１により制御される。
　本実施形態において、光源装置１４は、発光スペクトルが互いに異なる通常光と特殊光とを発光する。通常光は、例えば、白色光である。白色光は、例えば、波長帯域３８０～４２０ｎｍの紫色光、波長帯域４２０～５００ｎｍの青色光、波長帯域４８０～６００ｎｍの緑色光、波長帯域６００～６５０ｎｍの赤色光、を含む。
　特殊光は、例えば、血管のヘモグロビンの吸収係数が高い、波長帯域３８０ｎｍ～４２０ｎｍの紫色光の発光量が、通常光よりも大きくされている。これにより、後述する特殊画像（特殊光を観察対象に照射して撮像された内視鏡画像）は、血管構造や腺管構造の解像度が他の構造よりも高くなっている。なお、特殊光の種類は1種類に限定されない、複数種類の特殊光により複数種類の特殊画像を撮像する構成としてもよい。
　光源部２０からの照明光は、ミラーやレンズなどで構成される光路結合部２３を介して、前述したライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、ズームレンズ４３、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２及びズームレンズ４３を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。ズームレンズ４３は観察対象を拡大するためのレンズであり、ズーム操作部１２ｈを操作することによって、テレ端とワイド端と間を移動する。
　撮像センサ４４は、カラーセンサであり、本実施形態では、Ｂ（ブルー）カラーフィルタを有するＢ画素、Ｇ（グリーン）カラーフィルタを有するＧ画素、及び、Ｒ（レッド）カラーフィルタを有するＲ画素の３種類の画素を備えた原色系のカラーセンサを用いている。このような撮像センサ４４としては、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像センサ等を用いることができる。撮像センサ４４は、撮像用プロセッサ４５により制御される。具体的には、撮像用プロセッサ４５により撮像センサ４４の信号読み出しを行うことによって、撮像センサ４４から画像信号が出力される。
　また、撮像用プロセッサ４５は、前述した光源用プロセッサ２１を制御して、通常光を観察対象に照射して撮像（信号読み出し）を行う通常撮像と、特殊光を観察態様に照射して撮像を行う特殊撮像とを行う。そして、通常撮像では内視鏡画像として通常画像が撮像され、特殊撮像では内視鏡画像として特殊画像が撮像される。なお、通常撮像と特殊撮像との撮像サイクルは自由に設定できるが、本実施形態では、5回（５フレーム）の通常撮像と、1回（1フレーム）の特殊撮像とを繰り返し行っている。また、本実施形態では、毎秒６０回（６０フレーム）の撮像を行っている。これにより、本実施形態では、毎秒５０枚（５０フレーム）の通常画像と１０枚（１０フレーム）の特殊画像とが取得される。
　なお、ＲＧＢの原色のカラーフィルタを設けた原色系の撮像センサ４４の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを有する補色系の撮像センサを用いてもよい。補色系の撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いてもよい。
　ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。
　プロセッサ装置１６は、本発明の画像処理用プロセッサを構成する中央制御部６８を備えている、中央制御部６８は、メモリ６９に格納されたプログラム命令を実行させるためのハードウェア資源であり、プロセッサ装置１６の各部を駆動制御してプログラム命令を実行させる。プログラム命令の実行に伴う中央制御部６８の駆動制御により、プロセッサ装置１６は、画像取得部５０、ＤＳＰ（Digital Signal Processor）５２、ノイズ低減部５４、画像処理部５８、表示制御部６０、として機能する。
　画像取得部５０は、内視鏡１２から入力される内視鏡画像を取得する。本実施形態において、内視鏡画像は、撮像センサ４４のＢ画素、Ｇ画素、Ｒ画素から出力される青色信号（Ｂ画像信号）、緑色信号（Ｇ画像信号）、赤色信号（Ｒ画像信号）から構成されるカラー画像である。また、本実施形態では、通常光を観察対象に照射して撮像する通常撮像と、特殊光を観察対象に照射して撮像する特殊撮像と、が行われる。これにより、本実施形態では、カラー画像である内視鏡画像として、通常撮像による通常画像と、特殊撮像による特殊画像と、が取得される。さらに、本実施形態では、５回の通常撮像と、1回の特殊撮像と、を繰り返し行っている。これにより、５枚（フレーム）の通常画像と、１枚（フレーム）の特殊画像と、が繰り返し取得される。
　画像取得部５０が取得した内視鏡画像は、ＤＳＰ５２に送信される。ＤＳＰ５２は、受信した内視鏡画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。
　欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲイン係数を乗じることにより内視鏡画像の信号レベルを整える。なお、内視鏡画像は、撮像センサ４４としてモノクロセンサを用いる場合には、特定の色の光の発光毎にモノクロセンサで撮像し、モノクロセンサから出力される複数色のモノクロ画像とすることが好ましい。
　ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。その後、ガンマ変換処理によって、内視鏡画像の明るさや彩度が整えられる。マトリクス処理後の内視鏡画像には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後の内視鏡画像にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。
　ノイズ低減部５４は、ＤＳＰ５６でデモザイク処理等を施した内視鏡画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した内視鏡画像は、画像処理部５８に入力される。そして、画像処理部５８において各種画像処理が行われた後、表示制御部６０に入力される。表示制御部６０は、ディスプレイ１８の表示制御を行うものであり、画像処理部５８において各種画像処理が行われた内視鏡画像は、表示制御部６０において表示用の映像信号に変換されてディスプレイ１８に表示される。
　画像処理部５８は、通常観察モード画層処理部６２と、詳細観察モード画像処理部６４とを備えている。通常観察モード画像処理部６２は、前述した観察モードが通常観察モードである場合に作動する。他方、詳細観察モード画像処理部６４は、観察モードが詳細観察モードである場合に作動する。
　通常観察モード画像処理部６２は、ノイズ低減部５４から入力した内視鏡画像に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、内視鏡画像に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（Look Up Table）処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの内視鏡画像に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後の内視鏡画像に対して行われる。そして、上述した画像処理が行われた内視鏡画像は、表示制御部６０を介してディスプレイ１８に表示される。
　詳細観察モード画像処理部６４においても通常観察モード処理部と同様の画像処理が行われ、画像処理済みの内視鏡画像がディスプレイ１８に表示に表示される。また、図３に示すように、詳細観察モード画像処理部６４には、認識処理部７０、画像判定部７２、警告処理部７４、が設けられている。認識処理部７０は、ノイズ低減部５４から入力した内視鏡画像を解析し、認識処理を行う。認識処理部７０が行う認識処理としては、認識用画像（本実施形態では、内視鏡画像）から注目領域を検出する検出処理と、認識用画像に含まれる病変の種類などを鑑別する鑑別処理とが含まれる。また、鑑別処理には、注目領域に対して行われる処理と、認識用画像全体に対して行われる処理とが含まれるが、本実施形態では、注目領域に対して鑑別処理を行う例で説明を行う。
　認識処理では、例えば、内視鏡画像を複数の小領域に分割し、分割した内視鏡画像から画像的な特徴量を算出する。そして、検出処理では、算出した特徴量に基づき、各小領域が病変部であるか否かを判断し、同じ種類と特定されたひとかたまりの領域を１つの病変部として抽出し、抽出した病変部を含む領域を注目領域として検出する。また、鑑別処理では、検出された注目領域について、注目領域内の特徴量と、注目領域の態様（位置、大きさ、形状など）と、に基づいて病変部の種類及び／または病変部の程度（ステージ）が判断される。上述した認識処理（検出処理、鑑別処理）における判断は、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムによって行われる。
　なお、認識処理部７０により内視鏡画像から算出される特徴量は、生体情報に関するものであり、かつ、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。また、特徴量としては、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを２以上組み合わせた値であることが好ましい。
　そして、上述した認識処理の結果、すなわち、認識処理部７０が内視鏡画像を解析することにより得られた解析結果は、表示制御部６０を介してディスプレイ１８に表示される。なお、本実施形態では、認識処理部７０を、内視鏡システム１０（より具体的にはプロセッサ装置１６）に設ける例で説明をしたが、本発明はこれに限定されない。プロセッサ装置１６または内視鏡システム１０とは別の外部装置に、認識処理部を設けてもよい。この場合、解析対象（認識処理の対象）の内視鏡画像を外部装置に対して送信し、外部装置において認識処理（解析）を行い、外部装置から送られた認識処理の結果（解析結果）を内視鏡システム１０（より具体的にはプロセッサ装置１６）が受信（取得）すればよい。
　図４において、画像判定部７２には、認識処理部７０が認識処理を行った認識処理済みの内視鏡画像が入力される。画像判定部７２は、入力された内視鏡画像を解析し、入力された内視鏡画像が、認識処理（認識処理部７０が行う解析）に必要な所定基準を満たしているか否か、を判定する判定処理を行う。なお、認識処理部７０が認識処理を行う前の内視鏡画像に対して判定処理を行ってもよい。また、認識処理と判定処理とを直列的に行う構成に限定されず、認識処理部７０と画像判定部７２とのそれぞれに同等の内視鏡画像を入力し、認識処理と判定処理とを並列的に行ってもよい。
　警告処理部７４は、画像判定部７２により、認識理処理に必要な所定基準を満たしていないと判定された場合に作動し、警告処理を行う。警告処理は、内視鏡画像が認識処理に必要な所定基準を満たしていないことに起因して認識処理の信頼度が低下していることを警告するものである。警告は、例えば、認識処理の信頼度が低下している旨のメッセージをディスプレイ１８に表示する、及び／または、スピーカ（図示せず）から警告音を出力するなどにより行われる。
　判定処理で用いられる所定基準としては、例えば、画像ブレ量が設定される。所定基準として画像ブレ量が設定されている場合、図５に示すように、画像判定部７２は、判定対象の内視鏡画像を解析して、画像ブレ量に関する指標値（値が大きいほど画像のブレ量が大きいことを示す）を算出する。そして、算出した指標値を、予め設定された画像ブレ判定用の閾値と比較して、閾値以上である場合、すなわち、画像ブレ量が所定ブレ量以上である場合に、所定基準を満たしていないと判定する。一方、算出した指標値が画像ブレ判定用の閾値未満である場合、所定基準を満たしていると判定する。
　なお、所定基準は、画像ブレ量に限定されない。所定基準として、合焦度、画像輝度、ハレーション、付着物、特徴量、注目領域位置を設定してもよい。所定基準として合焦度を設定する場合、図６に示すように、画像判定部７２は、判定対象の内視鏡画像を解析して、合焦度に関する指標値（値が大きいほど合焦度が高い（ピントが合っている）こと示す）を算出する。そして、算出した指標値を、予め設定された合焦度判定用の閾値と比較して、閾値以下である場合、すなわち、合焦度が所定合焦度以下である場合に、所定基準を満たしていないと判定する。一方、算出した指標値が合焦度判定用の閾値より大きい場合、所定基準を満たしていると判定する。
　また、所定基準として画像輝度を設定する場合、図７に示すように、画像判定部７２は、判定対象の内視鏡画像を解析して、画像輝度（例えば、画像全体または注目領域の各画素の輝度階調値の平均値）を検出する。そして、検出した画像輝度が、予め設定された輝度判定用の閾値以下である場合、すなわち、画像輝度が所定輝度以下である場合に、所定基準を満たしていないと判定する。一方、画像輝度が輝度判定用の閾値よりも大きい場合、所定基準を満たしていると判定する。
　さらに、所定基準としてハレーションを設定する場合、図８に示すように、画像判定部７２は、判定対象の内視鏡画像を解析して、画像全体または注目領域のハレーション領域を検出する。ハレーション領域は、画像の輝度階調値が最大となっている、いわゆる白飛びしている領域である。そして、画像判定部７２は、ハレーション領域の割合が、予め設定されたハレーション判定用の閾値以上である場合、すなわち、ハレーション領域の割合が所定割合以上である場合に、所定基準を満たしていないと判定する。一方、ハレーション領域の割合がハレーション判定用の閾値未満である場合、所定基準を満たしていると判定する。
　また、所定基準として付着物を設定する場合、図９に示すように、画像判定部７２は、判定対象の内視鏡画像を解析して、画像全体または注目領域のうち付着物領域を検出する。付着物領域は、対物レンズ４２などの撮影光学系に付着した体液等の付着物が撮像された領域である。そして、画像判定部７２は、付着物領域の割合が、予め設定された付着物判定用の閾値以上である場合、すなわち、付着物領域の割合が所定割合以上である場合に、所定基準を満たしていないと判定する。一方、付着物領域の割合が付着物判定用の閾値未満である場合、所定基準を満たしていると判定する。
　さらに、所定基準として特徴量を設定する場合、図１０に示すように、画像判定部７２は、認識処理において算出された特徴量が、予め設定された特徴量判定用の閾値以下である場合、すなわち、特徴量が所定量以下である場合に、所定基準を満たしていないと判定する。一方、特徴量が特徴量判定用閾値を上回る場合、所定基準を満たしていると判定する。
　また、所定基準として注目領域位置を設定する場合、図１１に示すように、画像判定部７２は、認識処理において検出された注目領域の位置（中心の位置）を検出し、検出した位置と内視鏡画像の中心と距離を算出する。そして、算出した距離が、予め設定された注目領域位置判定用閾値以上である場合、すなわち、注目領域が内視鏡画像の中心から所定距離以上離れている場合に、所定基準を満たしていないと判定する。一方、算出した距離が注目領域位置判定用の閾値未満である場合、所定基準を満たしていると判定する。
　なお、上記実施形態では、予め設定された１つの基準を満たした場合に所定基準を満たしたと判定する例で説明をしたが、本発明はこれに限定されない。予め設定された複数の基準の全てを満たした場合、または、予め設定された複数の基準のうち所定割合以上の基準を満たした場合に所定基準を満たしたと判定してもよい。
　また、図１２に示すように、連続して撮像された複数枚の内視鏡画像について、１次基準を満たす内視鏡画像の割合が２次基準を上回る場合に所定基準を満たしている（１次基準を満たす内視鏡画像の割合が２次基準以下である場合に所定基準を満たしていない）と判定してもよい。ここで、１次基準としては、前述した画像ブレ量、合焦度、画像輝度、ハレーション、付着物、特徴量、注目領域位置のうち１または複数が設定され、これらの全てまたは所定割合以上を満たした場合に、１次基準を満たしたと判定する。そして、連続して撮像された内視鏡画像のうち、１次基準を満たした内視鏡画像の割合が２次基準（例えば、１割）を上回った場合に、所定基準を満たしたと判定する。
　なお、連続して撮像された複数枚の内視鏡画像は、共通の観察対象を撮像したものであることが好ましい。内視鏡画像が共通の観察対象を撮像したものであるか否かは、内視鏡画像を解析して求めることができる。また、１回の詳細観察モード中（詳細観察モードへと移行してから、この詳細観察モードが終了するまでの間）に撮像された内視鏡画像を、共通の観察対象を撮像したものであるとみなしてもよい。さらに、連続して撮像された複数の内視鏡画像について、共通の観察対象の撮像開始時点と撮像終了時点とをユーザーが指定するなどにより、この間に撮像された内視鏡画像が共通の観察対象を撮像したものとして設定される構成としてもよい。
　また、上記実施形態では、通常画像と特殊画像とで所定基準が共通である例で説明をしたが、判定対象の内視鏡画像が通常画像であるか特殊画像であるかによって所定基準を異ならせてもよい。また、通常画像と特殊画像との両方に対して所定基準を満たしているか否かを判定する例で説明をしたが、通常画像と特殊画像との一方に対してのみ所定基準を満たしているか否かを判定する構成としてもよい。
　同様に、上記実施形態では、通常画像と特殊画像とで認識処理の内容が共通である例で説明をしたが、通常画像と特殊画像とで認識処理の内容を異ならせてもよい。また、通常画像と特殊画像との一方に対してのみ認識処理を行ってもよい。
　さらに、通常画像と特殊画像との比較により、所定基準を満たしているか否かを判定してもよい。この場合、例えば、共通の観察対象を撮像した通常画像と特殊画像の特徴量を比較して、両者の差が所定値以上であった場合に、所定基準を満たしていないと判定するといったことが考えられる。
　また、通常画像と特殊画像の特徴量を比較して、一方が基準量以上であるにも関わらず、他方が基準量未満である場合に、所定基準を満たしていないと判定してもよい。例えば、上記実施形態では、特殊画像のほうが通常画像よりも血管構造や腺管構造の解像度が高いので、認識処理において血管構造や腺管構造に関する特徴量を算出した場合、特殊画像から算出された特徴量のほうが通常画像から算出された特徴量よりも情報量が大きいことが自然である。にも関わらず、通常画像から算出された特徴量が基準量以上となり、かつ、特殊画像から算出された特徴量が基準量未満である場合、例えば、通情画像からは認識処理において注目領域が検出できたが、特殊画像からは認識処理において注目領域が検出できなかったなどの場合、認識処理の対象の内視鏡画像が適切な条件で撮像されたものではない可能性が高い。このため、図１３の例では、通情画像からは注目領域が検出されたにも関わらず、特殊画像からは注目領域が検出されなかった場合には、所定基準を満たしていないと判定している。
　なお、上記実施形態では、内視鏡画像が認識処理（解析）に必要な所定基準を満たしていないと判定された場合に、警告を行う例で説明をしたが、本発明はこれに限定されない。図１４に示すように、内視鏡画像が認識処理（解析）に必要な所定基準を満たしていないと判定された場合に、認識処理に必要な所定基準を満たす内視鏡画像が撮像されるように、撮像方法をアドバイスするアドバイス処理を行ってもよい。アドバイス処理は、例えば、警告処理部７４（図３参照）によって行われ、アドバイス処理では、前述した警告処理と同様に、ディスプレイ１８にメッセージを表示するなどして撮影方法のアドバイスが行われる。なお、図１４の例では、警告処理に加えてアドバイス処理を行なう例で説明をしたが、警告処理に代えてアドバイス処理を行なう構成としてもよい。
　アドバイス処理におけるアドバイスの内容、（アドバイスのためのメッセージの内容）は、所定基準を満たさないと判定された原因を参照して決定することが好ましい。この場合、例えば、画像ブレ量に関して所定基準を満たさないと判定された場合は、「カメラ（挿入部１２ａの先端部１２ｄ）を、ゆっくり動かす」ことを促す内容のメッセージを表示する。また、合焦度に関して所定基準を満たさないと判定された場合（画像の高周波成分が基準以下である場合）は、ピントが合うように、「カメラ（挿入部１２ａの先端部１２ｄ）を、前後に移動させる」ことを促す内容のメッセージを表示する。さらに、画像輝度に関して所定基準を満たさないと判定された場合は、「照明光量を増加させる」または「照明光を正確に観察対象に当てる」ことを促すメッセージを表示する。また、ハレーションに関して所定基準を満たさないと判定された場合は、「撮影角度を変更する」ことを促すメッセージを表示する。さらに、付着物に関して所定基準を満たさないと判定された場合は、「対物レンズ（挿入部１２ａの先端部１２ｄ）の洗浄を行う」ことを促すメッセージを表示する。また、特徴量や注目領域位置に関して所定基準を満たさないと判定された場合、及び、通情画像から注目領域が検出されたにも関わらず、特殊画像から注目領域が検出されなかったことにより所定基準を満たさないと判定された場合は、「観察対象を正面（画像の中心）に捉える」ことを促すメッセージを表示する。などが考えられる。
　なお、上述したアドバイスに従って再撮像したにも関わらず、所定基準を満たしていないと判定される場合も存在する。このような場合には、撮像方法などユーザーの操作が適切でないことに起因して所定基準を満たしていないと判定される場合だけでなく、認識処理の誤りなど装置側の不具合に起因して所定基準を満たしていないと判定される場合も含まれる。そして、後者の場合であるにも関わらず、警告及び／またはアドバイスが繰り返されることは、診断の妨げなどとなり問題である。このため、共通の観察対象を撮像した内視鏡画像に対して所定基準を満たしていないことの警告及び／またはアドバイスを行なう場合、警告及び／またはアドバイスの回数に上限を設けることが好ましい。もちろん、共通の観察対象を撮像した内視鏡画像であり、かつ、所定基準を満たしていないと判定された原因についても共通である場合に、警告及び／またはアドバイスの回数に上限を設けてもよい。
　なお、上記実施形態では、ユーザーの操作（モード切替スイッチ１２ｆの操作）により、通情観察モードと詳細観察モードとの切り替えが行われる例で説明をしたが、ユーザーの操作によらず、自動的に、通情観察モードと詳細観察モードとの切り替えが行われる構成としてもよい。この場合、例えば、通情観察モードにおいて検出処理を行い、注目領域が検出された場合に詳細観察モードへ移行して鑑別処理を行う、といったことが考えられる。また、詳細観察モードにおいて、内視鏡画像が所定基準を満たしていると判定された場合、すなわち、正確な解析（認識処理）が行われたとみなせる場合に、解析結果（認識処理の結果）を表示して、通情観察モードに戻る、といったことが考えられる。
　上記実施形態において、光源用プロセッサ２１、撮像用プロセッサ４５、画像取得部５０、ＤＰＳ５２、ノイズ低減部５４、画像処理部５８、通常観察モード画像処理部６２、詳細観察モード画像処理部６４、中央制御部６８、認識処理部７０、画像判定部７２、警告処理部７４、等の各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｅ　アングルノブ
１２ｆ　モード切替スイッチ
１２ｇ　静止画取得指示部
１２ｈ　ズーム操作部
１４　光源装置
１６　プロセッサ装置
１８　ディスプレイ
１９　ユーザーインターフェース
２０　光源部
２１　光源用プロセッサ
２３　光路結合部
２５　ライトガイド
３０ａ　照明光学系
３０ｂ　撮像光学系
３２　照明レンズ
４２　対物レンズ
４３　ズームレンズ
４４　撮像センサ
４５　撮像用プロセッサ
４６　ＣＤＳ／ＡＧＣ回路
４８　Ａ／Ｄコンバータ
５０　画像取得部
５２　ＤＳＰ
５４　ノイズ低減部
５８　画像処理部
６０　表示制御部
６２　通常観察モード画像処理部
６４　詳細観察モード画像処理部
６８　中央制御部
６９　メモリ
７０　認識処理部
７２　画像判定部
７４　警告処理部

Claims (13)

  1. 　内視鏡で撮像した内視鏡画像の解析結果を取得する、プロセッサ装置において、
    　画像処理用プロセッサが、
    　前記内視鏡画像が前記解析に必要な所定基準を満たしているか否かを判定し、
    　前記所定基準を満たしていないと判定された場合に、前記解析の信頼度に関する警告を行う、プロセッサ装置。
  2. 　前記所定基準として、前記内視鏡画像のブレ量が設定され、
    　前記ブレ量が所定ブレ量以上である場合に、前記所定基準を満たしていないと判定する、請求項１に記載のプロセッサ装置。
  3. 　前記所定基準として、前記内視鏡画像の合焦度が設定され、
    　前記合焦度が所定合焦度以下である場合に、前記所定基準を満たしていないと判定する、請求項１または２に記載のプロセッサ装置。
  4. 　前記所定基準として、前記内視鏡画像の輝度が設定され、
    　前記輝度が所定輝度以下である場合に、前記所定基準を満たしていないと判定する、請求項１から３のいずれか１項に記載のプロセッサ装置。
  5. 　前記所定基準として、輝度階調値が最大のハレーション領域の割合が設定され、前記ハレーション領域の割合が所定割合以上である場合に、前記所定基準を満たしていないと判定する、請求項１から４のいずれか１項に記載のプロセッサ装置。
  6. 　前記所定基準として、撮像光学系に付着した付着物が撮像された付着物領域の割合が設定され、前記付着物領域の割合が所定割合以上である場合に、前記所定基準を満たしていないと判定する、請求項１から５のいずれか１項に記載のプロセッサ装置。
  7. 　前記解析により、生体情報に関する特徴量を算出する場合において、
    　前記特徴量が所定量以下である場合に、前記所定基準を満たしていないと判定する、請求項１から６のいずれか１項に記載のプロセッサ装置。
  8. 　前記解析により、前記内視鏡画像から注目領域を検出する場合において、
    　前記注目領域が前記内視鏡画像の中心から所定距離以上離れている場合に、前記所定基準を満たしていないと判定する、請求項１から７のいずれか１項に記載のプロセッサ装置。
  9. 　共通の観察対象を撮像した複数の前記内視鏡画像を解析する場合において、
    　前記所定基準は、１次基準と、前記１次基準を満たした前記内視鏡画像の割合に関する２次基準とからなり、
    　前記１次基準を満たした前記内視鏡画像の割合が前記２次基準以下である場合に、前記所定基準を満たしていないと判定する、請求項１から８のいずれか１項に記載のプロセッサ装置。
  10. 　通常光を観察対象に照射し、前記内視鏡画像として通常画像を撮像する通常撮像と、前記通常光とは発光スペクトルの異なる特殊光を観察対象に照射し、前記内視鏡画像として特殊画像を取得する特殊撮像と、を行う場合において、
    　前記通常画像と前記特殊画像とを比較して、前記所定基準を満たしているか否かを判定する、請求項１から９のいずれか１項に記載のプロセッサ装置。
  11. 　前記比較において、前記通常画像と前記特殊画像との前記解析結果の比較を行う、請求項１０に記載のプロセッサ装置。
  12. 　前記解析により、生体情報に関する特徴量を算出する場合において、
    　前記通常画像の解析により得られた特徴量が所定基準量以上であり、かつ、前記特殊画像の解析により得られた特徴量が前記所定基準量未満である場合に、前記所定基準を満たしていないと判定する、請求項１１に記載のプロセッサ装置。
  13. 　内視鏡で撮像した内視鏡画像の解析結果を取得する、プロセッサ装置の作動方法において、
    　画像処理用プロセッサが、
    　前記内視鏡画像が前記解析に必要な所定基準を満たしているか否かを判定し、
    　前記所定基準を満たしていないと判定された場合に、前記解析の信頼度に関する警告を行う、プロセッサ装置の作動方法。
     
PCT/JP2021/023216 2020-07-17 2021-06-18 プロセッサ装置、プロセッサ装置の作動方法 WO2022014258A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022536191A JPWO2022014258A1 (ja) 2020-07-17 2021-06-18

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-122801 2020-07-17
JP2020122801 2020-07-17

Publications (1)

Publication Number Publication Date
WO2022014258A1 true WO2022014258A1 (ja) 2022-01-20

Family

ID=79555214

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023216 WO2022014258A1 (ja) 2020-07-17 2021-06-18 プロセッサ装置、プロセッサ装置の作動方法

Country Status (2)

Country Link
JP (1) JPWO2022014258A1 (ja)
WO (1) WO2022014258A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023144936A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 画像判定装置、画像判定方法、及び、記録媒体
WO2024180593A1 (ja) * 2023-02-27 2024-09-06 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521272A (ja) * 2007-03-16 2010-06-24 エスティーアイ・メディカル・システムズ・エルエルシー 標準化された撮像データを実現するために撮像デバイスに自動品質フィードバックを与える方法
JP2011194164A (ja) * 2010-03-23 2011-10-06 Olympus Corp 蛍光観察装置
JP2011194111A (ja) * 2010-03-23 2011-10-06 Olympus Corp 画像処理装置、画像処理方法及びプログラム
JP2014527861A (ja) * 2011-08-01 2014-10-23 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯科対象物の複数の３次元画像を記録するための方法
WO2016162925A1 (ja) * 2015-04-06 2016-10-13 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法
WO2019244407A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521272A (ja) * 2007-03-16 2010-06-24 エスティーアイ・メディカル・システムズ・エルエルシー 標準化された撮像データを実現するために撮像デバイスに自動品質フィードバックを与える方法
JP2011194164A (ja) * 2010-03-23 2011-10-06 Olympus Corp 蛍光観察装置
JP2011194111A (ja) * 2010-03-23 2011-10-06 Olympus Corp 画像処理装置、画像処理方法及びプログラム
JP2014527861A (ja) * 2011-08-01 2014-10-23 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 歯科対象物の複数の３次元画像を記録するための方法
WO2016162925A1 (ja) * 2015-04-06 2016-10-13 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法
WO2019244407A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023144936A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 画像判定装置、画像判定方法、及び、記録媒体
WO2024180593A1 (ja) * 2023-02-27 2024-09-06 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024180796A1 (ja) * 2023-02-27 2024-09-06 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
JPWO2022014258A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
JP7542585B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
JP6522539B2 (ja) 内視鏡システム及びその作動方法
JP2010521272A (ja) 標準化された撮像データを実現するために撮像デバイスに自動品質フィードバックを与える方法
WO2022014258A1 (ja) プロセッサ装置、プロセッサ装置の作動方法
JP6858672B2 (ja) 医療画像処理システム及び内視鏡システム
US10986980B2 (en) Image processing device, method for operating same, endoscope processor device, and method for operating same
JP7146925B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2020170791A1 (ja) 医療画像処理装置及び方法
US20220383492A1 (en) Image processing device, endoscope system, and image processing method
WO2020054255A1 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法
WO2022018894A1 (ja) 内視鏡システム及びその作動方法
JP7402314B2 (ja) 医用画像処理システム、医用画像処理システムの作動方法
JP2012110481A (ja) 内視鏡装置、フォーカス制御方法及びプログラム
JP7158471B2 (ja) 検査動画処理装置、検査動画処理装置の作動方法及び検査動画処理プログラム
US20220237795A1 (en) Image processing device and method of operating the same
WO2022209390A1 (ja) 内視鏡システム及びその作動方法
CN113556968B (zh) 内窥镜系统
JP6756054B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP7447243B2 (ja) プロセッサ装置及びその作動方法
JP2022156811A (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP7447281B2 (ja) プロセッサ装置、プロセッサ装置の作動方法
JP2022090759A (ja) 医用画像処理システム、医用画像処理システムの作動方法
JP7411515B2 (ja) 内視鏡システム及びその作動方法
JP6196599B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法
EP4268703A1 (en) Processor for electronic endoscope and electronic endoscopic system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21841432

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536191

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21841432

Country of ref document: EP

Kind code of ref document: A1