WO2023276017A1 - 画像処理装置、内視鏡システム及び画像処理方法 - Google Patents

画像処理装置、内視鏡システム及び画像処理方法 Download PDF

Info

Publication number
WO2023276017A1
WO2023276017A1 PCT/JP2021/024652 JP2021024652W WO2023276017A1 WO 2023276017 A1 WO2023276017 A1 WO 2023276017A1 JP 2021024652 W JP2021024652 W JP 2021024652W WO 2023276017 A1 WO2023276017 A1 WO 2023276017A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
class
representative
processing unit
display
Prior art date
Application number
PCT/JP2021/024652
Other languages
English (en)
French (fr)
Inventor
真人 石掛
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to PCT/JP2021/024652 priority Critical patent/WO2023276017A1/ja
Publication of WO2023276017A1 publication Critical patent/WO2023276017A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an image processing device, an endoscope system, an image processing method, and the like.
  • Patent Document 1 discloses displaying the most recent lesion image detected by the system on a screen different from the screen displaying the lesion image being captured. Specifically, the moving image of the medical image is displayed on the main screen, the attention area and the attention target are displayed on the sub screen at the timing when the attention area is detected, and the user operates the freeze button to obtain a still image or Still images obtained at the timing when the attention area is detected by the attention area detection unit are displayed in chronological order on the still image list screen.
  • Patent Document 1 motion flow tracking, similarity of a discrimination score indicating the likelihood of a target to be focused on, or Determining from visual similarity is disclosed.
  • the lesion image being imaged is compared with the most recent lesion image to determine whether or not the lesion is the same. becomes difficult. For example, when the acquisition timing of the image being captured and the past lesion image are significantly different, or when two lesions at different locations are similar, the above determination becomes difficult.
  • One aspect of the present disclosure includes a memory that stores a region-of-interest image in which a region of interest has been captured in a state classified by class of the region of interest, and a processing unit, wherein the processing unit includes clustering the region of interest in the endoscopic image being captured by the endoscope that captures the endoscopic image of , and determining the class to which the region of interest belongs in the clustering processing reading out at least one representative image, which is a representative image of the region of interest images, from the memory and displaying the endoscopic image being captured by the endoscope in a first display region;
  • the present invention relates to an image processing device that performs processing for displaying the representative image read from the memory in a second display area.
  • Another aspect of the present disclosure relates to an endoscope system including the image processing device described above and the endoscope.
  • clustering processing is performed on a region of interest in the endoscopic image being captured by an endoscope that captures an endoscopic image of the inside of a subject; storing the obtained endoscopic image as a region-of-interest image in a memory in a state classified for each class of the region of interest; reading at least one representative image from the memory and displaying the endoscopic image being captured by the endoscope in a first display area; and displaying the representative image read from the memory in a second display area.
  • a first configuration example of an endoscope system Explanatory drawing of a clustering process.
  • 4 is a flowchart of processing performed by the image processing apparatus;
  • 4A and 4B are diagrams for explaining the operation of the representative image selection unit in the first display mode;
  • FIG. A first display example in the first display mode.
  • FIG. 7 is a diagram for explaining the operation of the representative image selection section in the second display mode;
  • a second configuration example of the endoscope system. 6 is a flowchart of processing for switching display modes; A display example in the third display mode.
  • FIG. 1 is a first configuration example of an endoscope system 1 according to this embodiment.
  • the endoscope system 1 includes an endoscope 10 , a display section 20 and an image processing device 100 .
  • the endoscope 10 is also called a scope, is inserted into the patient's body, and photographs the inside of the patient's body.
  • an imaging device for capturing an image of the inside of the body, and an illumination lens for irradiating the body with illumination light guided by a light guide from a light source.
  • the tip of the endoscope 10 may be provided with a forceps opening for inserting a treatment instrument into the body.
  • the endoscope 10 may be a flexible scope used for the gastrointestinal tract or the like, or a rigid scope used for surgery or the like.
  • the display unit 20 is a display device that displays an endoscopic image captured by the endoscope 10 and a representative image of the region of interest selected by the image processing device 100 .
  • the endoscopic image and the representative image may be displayed on one and the same display device, or a first display device that displays the endoscopic image and a second display device that displays the representative image may be provided.
  • the display unit 20 is also called a display or a monitor.
  • the image processing device 100 is built into a control device that controls the endoscope 10, for example.
  • a control device is also called a control box or a processor unit.
  • the image processing apparatus 100 may be configured by an information processing apparatus such as a PC or a server that is separate from the control apparatus.
  • the image processing device 100 includes a processing section 110 and a memory 120 .
  • the processing unit 110 clusters the attention area images, records the attention area images in the memory 120 for each class, and displays a representative image of the attention area images belonging to the class on the display unit 20 .
  • a region-of-interest image is an endoscopic image in which a region of interest is detected.
  • the processing unit 110 includes an endoscopic image generation unit 111 , an attention area detection unit 112 , a clustering processing unit 113 , a representative image selection unit 114 and a display processing unit 115 .
  • the endoscopic image generation unit 111 generates an endoscopic image by performing image processing on the image signal transmitted from the endoscope 10 .
  • Image processing includes development processing, tone correction processing, white balance processing, noise reduction processing, and the like. Note that when the image processing apparatus 100 is configured by an information processing apparatus different from the control apparatus, the endoscopic image generation section 111 may be omitted from the processing section 110 and provided within the control apparatus.
  • the attention area detection unit 112 performs processing for detecting an attention area from an endoscopic image, and outputs information regarding the detected attention area.
  • an endoscopic image whose attention area has been detected by the attention area detection unit 112 will be referred to as an attention area image.
  • a region of interest is a region in which an object to which the operator pays attention is shown in the endoscopic image.
  • the region of interest is assumed to be a lesion such as cancer or polyp, inflammation, bleeding, or the like, but is not limited to these.
  • Information about the detected attention area is, for example, information indicating the position, area, or shape of the attention area, information indicating what type of lesion the attention area is, or a score indicating the certainty of the detection result. is.
  • Either image processing that does not use machine learning or image processing that uses machine learning may be adopted as the processing for detecting the attention area.
  • the attention area detection unit 112 may detect an attention area by comparing an image feature amount extracted from an endoscopic image and an image feature amount that indicates the attention area.
  • the attention area may be detected by performing pattern matching using a reference image indicating the attention area.
  • the attention area detection unit 112 detects an attention area from an endoscopic image by inference processing using a trained model.
  • the trained model is trained in advance so as to detect the attention area from the endoscopic image using learning images in which the attention area of the detection target is photographed and correct data indicating the position of the attention area, etc. as teacher data. ing.
  • a trained model is stored in the memory within the image processing apparatus 100 .
  • the memory is, for example, memory 120 .
  • the clustering processing unit 113 performs clustering processing for classifying the attention areas shown in the attention area images into classes, and stores the attention area images in the memory 120 in association with the classified classes. That is, the attention area images are recorded in the memory 120 in a state classified by class.
  • the clustering processing unit 113 classifies region-of-interest images in which it can be determined that regions of interest at the same position within the subject are captured into the same class.
  • FIG. 2 shows an explanatory diagram of the clustering process.
  • the clustering processing unit 113 classifies region-of-interest images showing lesion A into class A, regions-of-interest images showing lesion B into class B, and regions-of-interest images showing lesion C into class C. For example, even if lesions A and B are the same type of lesion, they are classified into different classes if they are lesions formed in different locations. Also, when lesion A is shown in a plurality of images of the region of interest captured at different timings, those region of interest images are classified into the same class A.
  • the clustering processing unit 113 performs clustering processing based on the endoscopic image and information on the attention area detected from the endoscopic image.
  • the information about the attention area is, for example, information indicating the position, area or shape of the attention area, information indicating what kind of lesion the attention area is, or indicating the likelihood of the detection result. score and the like.
  • the clustering processing unit 113 assigns a class to each similar attention area by determining the similarity of the attention areas based on this information.
  • the clustering processing unit 113 sequentially clusters the sequentially input region-of-interest images. That is, as an algorithm for clustering processing, a sequential algorithm that performs clustering while variably controlling the number of classes instead of fixing the number of classes is suitable when data is sequentially given. Note that the clustering processing unit 113 may perform clustering by inference processing using machine learning.
  • the representative image selection unit 114 selects a representative image from the attention area images belonging to the class, and outputs the selected representative image to the display processing unit 115 .
  • the representative image selection unit 114 may select a representative image for each class for all classes stored in the memory 120, or may select a representative image for each class for some of the classes stored in the memory 120. A representative image may be selected. Also, the representative image selection unit 114 may select one representative image for one class, or may select two or more representative images for one class.
  • the representative image selection unit 114 selects a representative image based on the shooting conditions of each attention area image.
  • the shooting conditions are, for example, camera shooting parameters, image quality, how the attention area is captured, or a combination thereof.
  • Shooting parameters are, for example, exposure time, aperture value, zoom magnification, focus position, or a combination thereof.
  • Image quality is, for example, image brightness, noise, sharpness, or a combination thereof.
  • the appearance of the attention area is the direction in which the attention area is captured, the ratio of the attention area within the image, the position of the attention area within the image, or a combination thereof.
  • the display processing unit 115 performs a process of displaying the endoscopic image in the first display area and a process of displaying the representative image in the second display area.
  • the first display area and the second display area may be provided in one screen of the same display, or the first display may be provided with the first display area and the second display may be provided with the second display area.
  • the processing unit 110 is also called a processor, a processing device, a processing circuit, or the like.
  • Various types of hardware are assumed for the processing unit 110.
  • it may be a CPU, a GPU, a microcomputer, or the like, or an ASIC, an FPGA, or the like, or a combination thereof. good too.
  • the image processing apparatus 100 includes a memory 120, and the memory 120 stores a program describing processing performed by the processing unit 110. The processing performed by the processing unit 110 is realized by executing the program. good too.
  • the memory 120 is also called a storage unit or a storage device.
  • the memory 120 may be a semiconductor memory such as SRAM or DRAM, a register, a magnetic storage device such as a hard disk device, or an optical storage device such as an optical disk device. There may be.
  • FIG. 3 is a flowchart of processing performed by the image processing apparatus 100.
  • step S1 the endoscopic image generator 111 acquires an endoscopic image.
  • step S2 the display processing unit 115 displays the endoscopic image in the first display area.
  • step S3 the attention area detection unit 112 detects an attention area from the endoscopic image.
  • ROI means a region of interest and is an abbreviation for Region Of Interest.
  • the endoscopic image from which the attention area is detected in step S3 be the attention area image.
  • step S4 the clustering processing unit 113 clusters the attention areas appearing in the attention area image.
  • step S ⁇ b>5 the clustering processing unit 113 determines whether the attention area can be classified into any of the classes already stored in the memory 120 . Specifically, the clustering processing unit 113 determines whether the class into which the region of interest is classified in the clustering processing of step S4 is an existing class stored in the memory 120 or not.
  • step S6 the clustering processing unit 113 generates a new class and stores the attention area image in the memory 120 in association with the class.
  • the clustering processing unit 113 stores the attention area image in the memory 120 in association with the classified existing class in step S7.
  • step S8 the representative image selection unit 114 selects a representative image from the attention area images of the class into which the attention area was classified in step S4, and reads the representative image from the memory 120.
  • the display processing unit 115 displays the read representative image in the second display area. Note that the representative image selection unit 114 may also select a representative image for a class other than the class into which the attention area was classified in step S4, and the display processing unit 115 further displays the representative image in the second display area. You may let
  • the image processing apparatus 100 includes the memory 120 and the processing unit 110 .
  • the memory 120 stores an attention area image in which the attention area is captured, in a state classified for each attention area class.
  • the endoscope 10 captures an endoscopic image of the interior of the subject.
  • the processing unit 110 clusters regions of interest in the endoscopic image being captured by the endoscope 10 .
  • the processing unit 110 reads from the memory 120 at least one representative image, which is a typical image among the attention area images of the determination class.
  • the determination class is a class determined to belong to the attention area in the clustering process.
  • the processing unit 110 performs processing for displaying an endoscopic image being captured by the endoscope 10 in a first display area, and performs processing for displaying a representative image read from the memory 120 in a second display area.
  • the operator can easily determine which lesion in the subject the lesion shown in the endoscopic image is. .
  • lesions in the same location may be captured at different times. These lesions are classified into the same class by clustering processing, and a representative image of that class is displayed in the second display area. be done. This makes it easier for the operator to determine that lesions photographed at different timings are the same lesion.
  • a representative image of the class corresponding to the observed lesion is displayed in the second display area. This makes it easier for the operator to determine whether the multiple lesions present in the subject have been comprehensively observed.
  • Patent Literature 1 it is possible to determine whether or not the lesion image is the same by comparing the lesion image being photographed and the most recent lesion image based on motion flow tracking, similarity of discrimination scores, or image similarity. It is disclosed to determine the However, Patent Literature 1 does not disclose comparison by a statistical method such as clustering, and grouping of similar lesion images by clustering or the like. In the present embodiment, clustering, which is a statistical method, is used to group similar lesion images, thereby determining which lesion in the subject is shown in the endoscopic image as described above. is easier for the operator to judge.
  • the processing unit 110 determines whether the determined class is an existing class stored in the memory 120, as described in S5 to S7 of FIG. When the determination class is an existing class, the processing unit 110 performs processing for storing the endoscopic image in the memory 120 as the attention area image of the existing class. If the determination class is not an existing class, the processing unit 110 performs processing for storing the endoscopic image in the memory 120 as a region-of-interest image of a new class.
  • the present embodiment it is possible to sequentially perform clustering processing on sequentially captured endoscopic images, and record classes corresponding to detected lesions in the memory 120 . Since it is not possible to know in advance the number of regions of interest that exist within the subject, a clustering method that generates new classes when a new region of interest is discovered is suitable.
  • the processing unit 110 clusters regions of interest within the endoscopic image based on feature amounts extracted from the endoscopic image.
  • sequential clustering processing is realized by a classical clustering method that does not use machine learning.
  • the image processing apparatus 100 has a first display mode and a second display mode as display modes for representative images. First, the first display mode will be explained. Note that the image processing apparatus 100 may have only one of the first display mode and the second display mode.
  • FIG. 4 is a diagram explaining the operation of the representative image selection unit 114 in the first display mode.
  • lesions A to E have already been imaged, existing classes A to E corresponding to them are stored in the memory 120, and the most recently captured endoscopic image is classified into class B by the clustering processing unit 113.
  • the memory 120 stores attention area images IA1 to IA3 of class A, attention area images IB1 to IB3 of class B, .
  • the number of attention area images for each class may be arbitrary, and may be different from each other.
  • the representative image selection unit 114 selects representative images one by one from the attention area images belonging to each class.
  • the representative image selection unit 114 selects the attention area image IA2 of class A as the representative image RIA, selects the attention area image IB3 of class B as the representative image RIB, .
  • the attention area image IE3 is selected as the representative image RIE.
  • FIG. 5 is a first display example in the first display mode. Assume that a lesion B appears in the endoscopic image ENIM.
  • the region-of-interest detection unit 112 detects a lesion B as a region-of-interest DROI from the endoscopic image ENIM, and generates a boundary box surrounding the region-of-interest DROI.
  • the display processing unit 115 displays the endoscopic image ENIM superimposed with the boundary box BBX in the first display area DSA1.
  • the representative image selection unit 114 selects representative images RIA to RIE from all existing classes A to E.
  • the display processing unit 115 displays representative images RIA to RIE corresponding to all existing classes A to E in the second display area DSA2. As shown in FIG. 5, the display processing unit 115 displays notations such as “lesion A”, “lesion B”, . may be added.
  • the clustering processing unit 113 classifies the region of interest DROI appearing in the endoscopic image ENIM displayed in the first display area DSA1 into class B.
  • the display processing unit 115 displays a frame FRM surrounding the same class B representative image RIB. Note that the display processing unit 115 may perform display indicating which of the lesions A to E the region of interest DROI shown in the endoscopic image ENIM is not limited to the frame FRM.
  • the display processing unit 115 may change the color of the frame FRM according to the lesions A to E. That is, when lesion A is detected from the endoscopic image ENIM, the representative image RIA is framed in color A, and when lesion B is detected in the endoscopic image ENIM, the representative image RIB is framed in color B. . . . When a lesion E is detected from the endoscopic image ENIM, a frame of the color E may be added to the representative image RIA. Colors A to E are colors different from each other.
  • FIG. 6 is a second display example in the first display mode.
  • the contents displayed in the first display area DSA1 are the same as in the first display example.
  • the display processing unit 115 displays a representative image selected from a predetermined number of classes in the second display area DSA2.
  • FIG. 6 shows an example in which the predetermined number is three. When the number of existing classes is 3 or less, representative images of all classes are displayed, and when the number of existing classes is 4 or more, representative images of 3 classes selected from the existing classes are displayed. is displayed.
  • the clustering processing unit 113 sequentially clusters the sequentially input region-of-interest images.
  • the display processing unit 115 arranges a predetermined number of representative images in descending order of class detection time in clustering and displays them in the second display area DSA2.
  • FIG. 6 shows an example in which an attention area image including a lesion A, an attention area image including a lesion D, and an attention area image including a lesion B are input to the clustering processing unit 113 in this order.
  • the three classes whose detection times are new are class B, class D, and class A.
  • the display processing unit 115 displays the three representative images RIB, RID, and RIA corresponding to the three classes in descending order of detection time from the top.
  • the display processing unit 115 attaches a frame FRM to the representative image RIB of the same class B as the lesion B appearing in the endoscopic image ENIM.
  • a region-of-interest image showing lesion E for example, is input to the clustering processing unit 113 .
  • the three classes whose detection times are new are class E, class B, and class D.
  • the display processing unit 115 displays the three representative images RIE, RIB, and RID corresponding to the three classes in ascending order of detection time. That is, the representative image RIA of class A whose detection time is old is no longer displayed, and the newly detected representative image RIE of class E is displayed.
  • the representative image selection unit 114 determines whether or not to update the representative image of the class to the newly classified attention area image. Specifically, the representative image selection unit 114 evaluates the image based on the reliability of the attention area detection, the photographing conditions of the attention area image, or a combination thereof, and evaluates the currently displayed representative image. If the evaluation of the new attention area image is higher, the representative image is updated.
  • the reliability of attention area detection is, for example, a score or the like indicating the likelihood of attention area detection in AI detection.
  • the imaging conditions are as described above.
  • the image evaluation is an evaluation indicating reliability, visibility, or a combination thereof of the attention area captured in the image.
  • Visibility is evaluated by, for example, noise, brightness of the image, the ratio of the area of interest in the image, or the direction in which the area of interest appears. For example, if there is little noise, if the image is bright, if the area of interest occupies a large proportion of the image, or if the direction in which the area of interest appears is appropriate, the visibility is determined to be good.
  • the processing unit 110 performs the process of displaying the representative image belonging to each of the plurality of classes in the second display area DSA2.
  • the processing unit 110 performs a process of highlighting the representative image of the determination class among the plurality of representative images displayed in the second display area DSA2.
  • the plurality of classes are classes A to E, representative images belonging to each class are representative images RIA to RIE, and class B is the judgment class.
  • the plurality of classes are classes B, D, and A, representative images belonging to each class are representative images RIB, RID, and RIA, and class B is the determination class.
  • the operator can quickly determine how many lesions have been discovered so far and whether the lesions have been comprehensively examined. can. As a result, it is possible to prevent forgetting to carefully examine the lesion. For example, in upper endoscopy, first, the inside of the stomach is observed as a whole in the observation phase, and each lesion found in the observation phase is examined in the detailed examination phase.
  • the records of the lesions found in the observation phase remain in the second display area DSA2, it can be determined whether all lesions have been exhaustively examined in the examination phase. Specifically, since the representative image of the lesion currently under close examination is highlighted, if the object under close examination is changed, the highlighted representative image also changes. By checking whether all representative images are highlighted, the operator can determine whether all lesions have been comprehensively examined.
  • lesion images are displayed side by side in chronological order, and the displayed lesion images are successively updated. will not be. Therefore, it cannot be determined whether or not a plurality of lesions in the subject have been comprehensively examined.
  • representative images are displayed in a list for each class generated by the clustering process, so that the operator can easily determine whether a plurality of lesions in the subject have been comprehensively examined.
  • the processing unit 110 may perform processing for displaying representative images belonging to each class of all classes stored in the memory 120 in the second display area DSA2. This corresponds to the first display example in FIG. In the example of FIG. 5, all classes are classes A to E, and representative images belonging to each class are representative images RIA to RIE.
  • representative images of all classes stored in the memory 120 are displayed in the second display area DSA2 as a list. By viewing the list, the operator can more easily determine whether the multiple lesions found in the observation phase have been comprehensively examined.
  • the processing unit 110 displays, in the second display area DSA2, the representative images belonging to each of a predetermined number of classes detected as the determination class at the latest time among the classes stored in the memory 120. You may perform processing to do.
  • the predetermined number of classes are classes B, D, and A
  • representative images belonging to each class are representative images RIB, RID, and RIA.
  • the visibility of representative images can be improved by limiting the number of representative images to be displayed.
  • the representative images of the newly detected class are displayed in chronological order, it becomes easier for the operator to determine which one of the multiple lesions is currently under close examination.
  • the processing unit 110 performs processing for highlighting by displaying a frame FRM around the periphery of the representative image of the determination class.
  • the operator can determine which of the plurality of lesions the lesion currently under close examination is by looking at the highlighted display.
  • the processing unit 110 performs a process of displaying a frame FRM in a different color for each of a plurality of classes.
  • the operator can more quickly determine which of the plurality of lesions the lesion currently under close examination is by looking at the highlighted display.
  • the processing unit 110 performs processing for detecting a region of interest from an endoscopic image.
  • the processing unit 110 superimposes a frame that includes the detected attention area on the endoscopic image and displays it in the first display area DSA1.
  • the frame enclosing the detected attention area is the boundary box BBX.
  • a region of interest can be detected using detection, which is a type of AI image recognition, and the boundary box BBX generated as the detection result can be displayed superimposed on the endoscopic image.
  • the processing unit 110 performs processing for detecting a region of interest from an endoscopic image.
  • the processing unit 110 performs processing to display a flag FLG around the endoscopic image displayed in the first display area DSA1. Flag FLG will be described later in the third display mode of FIG.
  • the detection result of the attention area is not superimposed on the endoscopic image, it is possible for the operator to visually recognize the endoscopic image itself, and improvement in the visibility of the attention area can be expected.
  • FIG. 7 is a diagram for explaining the operation of the representative image selection unit 114 in the second display mode.
  • classes A to E already exist, and that the most recently captured endoscopic image has been classified into class B by the clustering processing unit 113 .
  • the attention area images IA1 to IA3 of class A are captured under the shooting conditions A1 to A3
  • the attention area images IB1 to IB3 of the class B are captured under the shooting conditions B1 to B3, .
  • Note area images IE1 to IE3 are taken under shooting conditions E1 to E3. Note that although the number of attention area images for each class is set to 3 here, the number may be arbitrary and may differ from each other.
  • the clustering processing unit 113 classifies the lesion B appearing in the endoscopic image ENIM into class B, associates the endoscopic image ENIM with the class B, and stores it in the memory 120 .
  • the representative image selection unit 114 selects a plurality of representative images from among the attention area images IE1 to IE3 of class B detected by the clustering processing unit 113 most recently.
  • FIG. 7 shows an example in which attention area images IE2 and IE3 are selected as representative images RIB1 and RIB2.
  • the representative image selection unit 114 evaluates the images based on the reliability of the attention area detection, the photographing conditions of the attention area image, or a combination thereof, and selects the attention area images IE1 to IE3 belonging to class B that have the highest evaluation.
  • a region-of-interest image is selected as a representative image.
  • the image evaluation is an evaluation indicating reliability, visibility, or a combination thereof of the attention area captured in the image. For example, if there is little noise, if the image is bright, if the area of interest occupies a large proportion of the image, or if the direction in which the area of interest appears is appropriate, the visibility is determined to be good. Also, when a plurality of representative images are selected, a plurality of representative images in which the attention area is photographed from various directions may be selected.
  • FIG. 8 is a display example in the second display mode.
  • the contents displayed in the first display area DSA1 are the same as the display example of FIG.
  • the display processing unit 115 displays the representative image of the class most recently detected by the clustering processing unit 113 and selected by the representative image selection unit 114 in the second display area DSA2.
  • the display processing unit 115 displays the representative images RIB1 and RIB2 of class B selected by the representative image selecting unit 114 in the second display area DSA2.
  • the display processing unit 115 may add notations such as "lesion B" corresponding to the representative images RIB1 and RIB2.
  • the processing unit 110 performs processing for displaying a plurality of representative images belonging to the determination class in the second display area DSA2.
  • the determination class is class B
  • the plurality of representative images belonging to the determination class are representative images RIB1 and RIB2.
  • the plurality of representative images displayed in the second display area DSA2 are attention area images having mutually different imaging conditions.
  • the operator can display the plurality of representative images photographed under various imaging conditions and the internal Lesion can be diagnosed more accurately by observing the endoscopic image. For example, when examining a lesion that is difficult to determine, the operator can accurately diagnose the lesion by displaying a plurality of representative images in which the lesion is photographed in various directions.
  • FIG. 9 is a second configuration example of the endoscope system 1 .
  • the endoscope system 1 includes an endoscope 10 , a display section 20 , an operation section 30 and an image processing device 100 .
  • symbol is attached
  • the operation unit 30 is an operation device that receives operation input from the user.
  • the operation unit 30 is, for example, a button, dial, foot switch, touch panel, or the like.
  • the processing unit 110 switches between the first display mode and the second display mode according to an operation input from the operation unit 30.
  • the operation unit 30 includes a button for switching display modes, and the processing unit 110 switches between the first display mode and the second display mode when detecting that the button has been operated.
  • the processing unit 110 may switch between the first display mode and the second display mode in conjunction with an operation for switching some mode other than the display mode.
  • the operation unit 30 includes a button or the like for switching some modes.
  • FIG. 10 is a flowchart of processing for switching display modes.
  • processing unit 110 first starts display in the first display mode. For example, at the start of diagnosis, the operator observes the entire interior of the subject while moving the scope, and observes the state of the subject such as the presence of a lesion. This is called the observation phase. For example, a first display mode is used during such a viewing phase.
  • step S ⁇ b>22 the processing unit 110 determines whether or not a mode switching operation has been performed on the operation unit 30 .
  • the processing unit 110 returns to step S1.
  • the processing unit 110 switches from the first display mode to the second display mode in step S23. For example, after the operator finishes the observation phase, each lesion discovered in the observation phase is closely examined. This is called the scrutiny phase. At this time, the operator performs a mode switching operation to switch to the second display mode. For example, as shown in FIG. 5 or 6, when the lesion B is displayed in the first display mode, when the operator touches the representative image RIB of the lesion B with the touch panel provided on the screen, the processing unit 110 , determines that a mode switching operation has been performed, switches to the second display mode, and displays the representative images RIB1 and RIB2 of the lesion B in the second display area DSA2.
  • the processing unit 110 performs the process of displaying the representative image belonging to each of the plurality of classes in the second display area DSA2, and in the second display mode, the representative image of the determined class , are displayed in the second display area DSA2.
  • the processing unit 110 switches to the second display mode when receiving a user operation in the first display mode.
  • the operator can select an appropriate display mode according to the content of the diagnosis. For example, the operator may use a first display mode during the observation phase and a second display mode during the review phase.
  • the user operation may be an operation of selecting one of the plurality of representative images displayed in the second display area DSA2.
  • representative images RIA to RIE of classes A to E are displayed in the first display mode.
  • the operator selects one of the representative images RIA to RIE using the operation unit 30 to select a lesion to be displayed in the second display mode.
  • FIG. 11 shows a display example in the third display mode. It is assumed that the endoscopic image ENIM includes a region of interest DROI. A region-of-interest detection unit 112 detects a region-of-interest DROI from the endoscopic image ENIM. When the region of interest detection unit 112 detects the region of interest DROI, the display processing unit 115 displays a flag FLG around or around the endoscopic image ENIM in the first display region DSA1. That is, the display indicating the attention area is not superimposed on the endoscopic image ENIM. This display is called flag display. Also in the first display mode or the second display mode, flag display may be performed for the endoscopic image ENIM instead of the boundary box display.
  • the display processing unit 115 displays the representative image RIF showing the recently detected region of interest DROI in the second display region DSA2.
  • the representative image selection unit 114 selects the representative image from the attention area images of the same class as the attention area DROI detected for the short period of time.
  • RIF is selected, and display processing unit 115 displays the representative image RIF in second display area DSA2.
  • the region-of-interest image when the region-of-interest DROI is first detected is displayed as the representative image RIF.
  • the representative image RIF may be selected according to the imaging conditions or the like.
  • the attention area appears in the endoscopic image for only a moment, if something that should not be the attention area is erroneously detected, or if the reliability of the attention area detection is low due to the low quality of the image, etc., the attention area may be It is assumed that the detection period will be short. In such a case, the flag display is lit for a moment, so the operator recognizes that the attention area may have been detected, and searches for the attention area. At this time, the representative image RIF showing the attention area is displayed in the second display area DSA2, so that the operator can see the representative image RIF and determine whether or not to search for the attention area. For example, when an area that is not originally an attention area is erroneously detected and results in a false positive result, the operator can judge the false positive by looking at the display, so the operator does not have to search for the attention area.
  • 1 endoscope system 10 endoscope, 20 display unit, 30 operation unit, 100 image processing unit, 110 processing unit, 111 endoscope image generation unit, 112 attention area detection unit, 113 clustering processing unit, 114 representative image selection unit, 115 display processing unit, 120 memory, DROI region of interest, DSA1 first display region, DSA2 second display region, ENIM endoscopic image, FLG flag, FRM frame, IA1 to IA3, IB1 to IB3, IE1 to IE3 Attention area image, RIA, RIB, RIB1, RIB2, RID, RIF representative image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置（１００）はメモリ（１２０）と処理部（１１０）とを含む。メモリは、注目領域が撮影された注目領域画像を、注目領域のクラス毎に分類された状態で記憶する。内視鏡（１０）は、被検体内の内視鏡画像を撮影する。処理部は、その内視鏡により撮影中の内視鏡画像内の注目領域を、クラスタリング処理する。処理部は、判定クラスの注目領域画像のうち代表的な画像である代表画像を、少なくとも１枚、メモリから読み出す。判定クラスは、クラスタリング処理において注目領域が属すると判定されたクラスである。処理部は、内視鏡により撮影中の内視鏡画像を第１表示領域に表示する処理を行い、メモリから読み出した代表画像を第２表示領域に表示する処理を行う。

Description

画像処理装置、内視鏡システム及び画像処理方法
　本発明は、画像処理装置、内視鏡システム及び画像処理方法等に関する。
　特許文献１には、撮影中の病変画像を表示する画面とは異なる画面上に、システムによって検出された直近の病変画像を表示することが、開示されている。具体的には、医療画像の動画像がメイン画面に表示され、注目領域を検出したタイミングにおいて注目領域及び注目対象がサブ画面に表示され、ユーザがフリーズボタンを操作して得られた静止画又は注目領域検出部によって注目領域を検出したタイミングで得られた静止画が、時系列順に静止画一覧画面に表示される。
　また特許文献１には、撮影中の病変画像と直近の過去の病変画像の病変が同一か否かを、モーションフロー追跡、注目すべき対象としての確からしさを示す判別スコアの類似度、又は、画像的な類似度から判定することが、開示されている。
国際公開第２０１９／０７８２３７号
　内視鏡診断において、被検体内の複数の場所に病変が存在する場合、内視鏡画像に写る病変が、被検体内のいずれの病変であるのか判断しにくいという課題がある。例えば、スコープを動かしたことによって、同じ場所の病変が複数の異なるタイミングで写ることがあるが、それらの病変が同一病変なのかを判断しにくい場合がある。或いは、被検体内の複数の病変を網羅的に観察したい場合に、各病変を観察したことを判断できないと、網羅的に観察できたかを判断できない。
　なお、特許文献１では、撮影中の病変画像と直近の病変画像を比較して同一病変か否かを判定するにとどまるため、撮影中の病変が過去に検出した病変と同一か否かの判定が困難になる。例えば、撮影中の画像と過去の病変画像の取得タイミングが大きく異なる場合、或いは、異なる場所にある２つの病変が類似している場合において、上記判定が困難になる。
　本開示の一態様は、注目領域が撮影された注目領域画像を、前記注目領域のクラス毎に分類された状態で記憶するメモリと、処理部と、を含み、前記処理部は、被検体内の内視鏡画像を撮影する内視鏡により撮影中の前記内視鏡画像内の前記注目領域を、クラスタリング処理し、前記クラスタリング処理において前記注目領域が属すると判定されたクラスである判定クラスの前記注目領域画像のうち代表的な画像である代表画像を、少なくとも１枚、前記メモリから読み出し、前記内視鏡により撮影中の前記内視鏡画像を第１表示領域に表示する処理を行い、前記メモリから読み出した前記代表画像を第２表示領域に表示する処理を行う画像処理装置に関係する。
　本開示の他の態様は、上記に記載された画像処理装置と、前記内視鏡と、を含む内視鏡システムに関係する。
　本開示の更に他の態様は、被検体内の内視鏡画像を撮影する内視鏡により撮影中の前記内視鏡画像内の注目領域を、クラスタリング処理することと、前記注目領域が撮影された前記内視鏡画像を注目領域画像として、前記注目領域のクラス毎に分類された状態でメモリに記憶することと、前記クラスタリング処理において前記注目領域が属すると判定されたクラスである判定クラスの前記注目領域画像のうち代表的な画像である代表画像を、少なくとも１枚、前記メモリから読み出すことと、前記内視鏡により撮影中の前記内視鏡画像を第１表示領域に表示する処理を行い、前記メモリから読み出した前記代表画像を第２表示領域に表示する処理を行うことと、を含む画像処理方法に関係する。
内視鏡システムの第１構成例。 クラスタリング処理の説明図。 画像処理装置が行う処理のフローチャート。 第１表示モードにおける代表画像選択部の動作を説明する図。 第１表示モードにおける第１表示例。 第１表示モードにおける第２表示例。 第２表示モードにおける代表画像選択部の動作を説明する図。 第２表示モードにおける表示例。 内視鏡システムの第２構成例。 表示モードを切り替える処理のフローチャート。 第３表示モードにおける表示例。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
　１．内視鏡システム、及び画像処理装置
　図１は、本実施形態における内視鏡システム１の第１構成例である。内視鏡システム１は、内視鏡１０と表示部２０と画像処理装置１００とを含む。
　内視鏡１０はスコープとも呼ばれ、患者の体内に挿入され、患者の体内を撮影する。内視鏡１０の先端には、体内を撮影する撮像装置と、光源からライトガイドにより導光された照明光を体内に照射する照明レンズと、が設けられる。また、内視鏡１０の先端には、処置具を体内に挿入するための鉗子口が設けられてもよい。内視鏡１０は、消化管等に用いられる軟性鏡であってもよいし、外科手術等に用いられる硬性鏡であってもよい。
　表示部２０は、内視鏡１０により撮影された内視鏡画像と、画像処理装置１００によって選択された注目領域の代表画像と、を表示する表示装置である。内視鏡画像と代表画像が１つの同じ表示装置に表示されてもよいし、内視鏡画像を表示する第１表示装置と、代表画像を表示する第２表示装置とが設けられてもよい。なお、表示部２０は、ディスプレイ又はモニタとも呼ばれる。
　画像処理装置１００は、例えば、内視鏡１０を制御する制御装置に内蔵される。制御装置は、コントロールボックス、又はプロセッサユニットとも呼ばれる。或いは、画像処理装置１００は、制御装置とは別の、ＰＣ又はサーバ等の情報処理装置により構成されてもよい。画像処理装置１００は、処理部１１０とメモリ１２０とを含む。
　処理部１１０は、注目領域画像をクラスタリング処理し、その注目領域画像をクラス毎にメモリ１２０に記録すると共に、クラスに属する注目領域画像のうち代表画像を表示部２０に表示する。注目領域画像は、注目領域が検出された内視鏡画像のことである。処理部１１０は、内視鏡画像生成部１１１と注目領域検出部１１２とクラスタリング処理部１１３と代表画像選択部１１４と表示処理部１１５とを含む。
　内視鏡画像生成部１１１は、内視鏡１０から送信される画像信号に対して画像処理を行うことで、内視鏡画像を生成する。画像処理は、現像処理、階調補正処理、ホワイトバランス処理、又はノイズリダクション処理等である。なお、画像処理装置１００が制御装置とは別の情報処理装置により構成される場合には、内視鏡画像生成部１１１が処理部１１０から省略され、制御装置内に設けられてもよい。
　注目領域検出部１１２は、内視鏡画像から注目領域を検出する処理を行い、検出された注目領域に関する情報を出力する。時系列に撮影される内視鏡画像のうち、注目領域検出部１１２により注目領域が検出された内視鏡画像を、注目領域画像と呼ぶこととする。注目領域は、内視鏡画像内において、術者が注目する対象が写っている領域のことである。注目領域としては、ガン又はポリープ等の病変、炎症、或いは出血等が想定されるが、これらに限定されるものでない。検出された注目領域に関する情報は、例えば注目領域の位置、領域又は形状を示す情報、或いは注目領域がどのような種類の病変等であるのかを示す情報、或いは検出結果の確からしさを示すスコア等である。
　注目領域を検出する処理としては、機械学習を用いない画像処理、又は機械学習を用いた画像処理のいずれが採用されてもよい。
　機械学習を用いない画像処理において、注目領域検出部１１２は、内視鏡画像から抽出した画像特徴量と、注目領域を示す画像特徴量とを比較することで、注目領域を検出してもよいし、或いは、注目領域を示す基準画像を用いてパターンマッチングを行うことで、注目領域を検出してもよい。
　機械学習を用いた画像処理において、注目領域検出部１１２は、学習済みモデルを用いた推論処理により内視鏡画像から注目領域を検出する。学習済みモデルは、検出対象の注目領域が撮影された学習用画像と、その注目領域の位置等を示す正解データとを教師データとして、内視鏡画像から注目領域を検出するように予め学習されている。学習済みモデルは、画像処理装置１００内のメモリに記憶されている。メモリは、例えばメモリ１２０である。
　クラスタリング処理部１１３は、注目領域画像に写る注目領域をクラスに分類するクラスタリング処理を行い、その分類したクラスに対応付けて注目領域画像をメモリ１２０に記憶させる。即ち、メモリ１２０には、クラス毎に分類された状態で注目領域画像が記録される。
　具体的には、クラスタリング処理部１１３は、被検体内において同じ位置の注目領域が写っていると判断できる注目領域画像を、同じクラスに分類する。図２に、クラスタリング処理の説明図を示す。ここでは被検体の体腔が胃の内腔であるとし、その被検体内の異なる位置に病変Ａ～Ｃが存在するとする。クラスタリング処理部１１３は、病変Ａが写る注目領域画像をクラスＡに分類し、病変Ｂが写る注目領域画像をクラスＢに分類し、病変Ｃが写る注目領域画像をクラスＣに分類する。例えば、病変ＡとＢが同じ種類の病変であったとしても、別の場所に出来た病変である場合には、別のクラスに分類される。また、異なるタイミングで撮影された複数の注目領域画像に病変Ａが写っていた場合には、それらの注目領域画像は同じクラスＡに分類される。
　クラスタリング処理部１１３は、内視鏡画像と、その内視鏡画像から検出された注目領域に関する情報とに基づいて、クラスタリング処理を行う。上述したように、注目領域に関する情報は、例えば注目領域の位置、領域又は形状を示す情報、或いは注目領域がどのような種類の病変等であるのかを示す情報、或いは検出結果の確からしさを示すスコア等である。クラスタリング処理部１１３は、これらの情報に基づいて注目領域の類似性を判断することで、類似する注目領域毎にクラスを割り当てる。
　本実施形態において、クラスタリング処理部１１３は、逐次的に入力される注目領域画像を逐次的にクラスタリングする。即ち、クラスタリング処理のアルゴリズムとしては、逐次的にデータが与えられる場合に、クラス数を固定せずに可変に制御しながらクラスタリングを行う逐次的アルゴリズムが適している。なお、クラスタリング処理部１１３は、機械学習を用いた推論処理によりクラスタリングを行ってもよい。
　代表画像選択部１１４は、クラスに属する注目領域画像のうち代表画像を選択し、その選択した代表画像を表示処理部１１５へ出力する。代表画像選択部１１４は、メモリ１２０に記憶されている全クラスについてクラス毎に代表画像を選択してもよいし、或いは、メモリ１２０に記憶されているクラスのうち一部のクラスについてクラス毎に代表画像を選択してもよい。また、代表画像選択部１１４は、１つのクラスにつき１つの代表画像を選択してもよいし、１つのクラスにつき２以上の代表画像を選択してもよい。
　代表画像選択部１１４は、各注目領域画像の撮影条件に基づいて代表画像を選択する。撮影条件は、例えば、カメラの撮影パラメータ、画像の品質、注目領域の写り方、又はそれらの組み合わせである。撮影パラメータは、例えば、露出時間、絞り値、ズーム倍率、フォーカス位置、又はそれらの組み合わせである。画像の品質は、例えば、画像の明るさ、ノイズ、シャープネス、又はそれらの組み合わせである。注目領域の写り方は、注目領域を写す方向、画像内に占める注目領域の割合、画像内における注目領域の位置、又はそれらの組み合わせである。
　表示処理部１１５は、内視鏡画像を第１表示領域に表示する処理と、代表画像を第２表示領域に表示する処理と、を行う。例えば、同じディスプレイの１つの画面内に第１表示領域と第２表示領域が設けられてもよいし、第１ディスプレイに第１表示領域が設けられ、第２ディスプレイに第２表示領域が設けられてもよい。
　なお、処理部１１０は、プロセッサ、処理装置又は処理回路等とも呼ばれる。処理部１１０のハードウェアは種々想定されるが、例えば、ＣＰＵ、ＧＰＵ又はマイクロコンピュータ等であってもよいし、或いは、ＡＳＩＣ又はＦＰＧＡ等であってもよいし、或いは、それらの組み合わせであってもよい。画像処理装置１００がメモリ１２０を含み、メモリ１２０が、処理部１１０が行う処理を記述したプログラムを記憶し、そのプログラムを処理部１１０が実行することで、処理部１１０が行う処理が実現されてもよい。
　メモリ１２０は、記憶部又は記憶装置とも呼ばれる。メモリ１２０は、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。
　図３は、画像処理装置１００が行う処理のフローチャートである。ステップＳ１において、内視鏡画像生成部１１１が内視鏡画像を取得する。
　ステップＳ２において、表示処理部１１５は内視鏡画像を第１表示領域に表示する。
　ステップＳ３において、注目領域検出部１１２が内視鏡画像から注目領域を検出する。なお、ＲＯＩは注目領域を意味しており、Region Of Interestの略である。ステップＳ３において注目領域が検出された内視鏡画像を、注目領域画像とする。
　ステップＳ４において、クラスタリング処理部１１３は、注目領域画像に写る注目領域をクラスタリングする。
　ステップＳ５において、クラスタリング処理部１１３は、注目領域が、メモリ１２０に既に記憶されているクラスのいずれかに分類可能であるか否かを判定する。具体的には、クラスタリング処理部１１３は、ステップＳ４のクラスタリング処理において注目領域を分類したクラスが、メモリ１２０内に記憶された既存のクラスであるか否かを判定する。
　ステップＳ４において注目領域が新規のクラスに分類された場合、ステップＳ６において、クラスタリング処理部１１３は新たなクラスを生成し、そのクラスに対応付けて注目領域画像をメモリ１２０に記憶させる。
　ステップＳ４において注目領域が既存のクラスに分類された場合、ステップＳ７において、クラスタリング処理部１１３は、その分類された既存のクラスに対応付けて注目領域画像をメモリ１２０に記憶させる。
　ステップＳ８において、代表画像選択部１１４は、ステップＳ４において注目領域が分類されたクラスの注目領域画像の中から代表画像を選択し、その代表画像をメモリ１２０から読み出す。表示処理部１１５は、読み出された代表画像を第２表示領域に表示する。なお、代表画像選択部１１４は、ステップＳ４において注目領域が分類されたクラス以外のクラスについても代表画像を選択してもよく、表示処理部１１５は、その代表画像を更に第２表示領域に表示させてもよい。
　以上の本実施形態では、画像処理装置１００はメモリ１２０と処理部１１０とを含む。メモリ１２０は、注目領域が撮影された注目領域画像を、注目領域のクラス毎に分類された状態で記憶する。内視鏡１０は、被検体内の内視鏡画像を撮影する。処理部１１０は、その内視鏡１０により撮影中の内視鏡画像内の注目領域を、クラスタリング処理する。処理部１１０は、判定クラスの注目領域画像のうち代表的な画像である代表画像を、少なくとも１枚、メモリ１２０から読み出す。判定クラスは、クラスタリング処理において注目領域が属すると判定されたクラスである。処理部１１０は、内視鏡１０により撮影中の内視鏡画像を第１表示領域に表示する処理を行い、メモリ１２０から読み出した代表画像を第２表示領域に表示する処理を行う。
　本実施形態によれば、術者が、第２表示領域に表示された代表画像を見ることで、内視鏡画像に写る病変が被検体内のいずれの病変であるのかを、判断しやすくなる。例えば、スコープを動かしたことによって、同じ場所の病変が複数の異なるタイミングで写ることがあるが、それらの病変はクラスタリング処理によって同一クラスに分類され、そのクラスの代表画像が第２表示領域に表示される。これにより、複数の異なるタイミングで撮影される病変が同一病変であることを、術者が判断しやすくなる。或いは、被検体内に複数の病変が存在し、その各病変を観察しているときに、その観察している病変に対応するクラスの代表画像が第２表示領域に表示される。これにより、術者が、被検体内に存在する複数の病変を網羅的に観察できたか、判断しやすくなる。
　なお、上記特許文献１には、撮影中の病変画像と直近の病変画像を、モーションフロー追跡、判別スコアの類似性、又は画像的な類似度に基づいて比較することで、同一病変か否かを判定することが開示されている。しかし、特許文献１には、クラスタリングのような統計的な手法により比較すること、及び、類似する病変画像をクラスタリング等によってグルーピングしていくことは、開示されていない。本実施形態では、統計的な手法であるクラスタリングを用いて、類似する病変画像をグルーピングしていくことで、上記のように、被検体内のいずれの病変が内視鏡画像に写っているのかを、術者が判断しやすくなる。
　また本実施形態では、図３のＳ５～Ｓ７で説明したように、処理部１１０は、判定クラスが、メモリ１２０に記憶されている既存のクラスであるか否かを判定する。処理部１１０は、判定クラスが既存のクラスである場合、内視鏡画像を、既存のクラスの注目領域画像としてメモリ１２０に記憶させる処理を行う。処理部１１０は、判定クラスが既存のクラスでない場合、内視鏡画像を、新たなクラスの注目領域画像としてメモリ１２０に記憶させる処理を行う。
　本実施形態によれば、逐次的に撮影される内視鏡画像に対して、逐次的にクラスタリング処理を行い、発見された病変に対応したクラスをメモリ１２０に記録していくことができる。被検体内に存在する注目領域の数を予め知ることはできないので、注目領域が新たに発見されたときに、新たにクラスが生成されていくクラスタリング手法が適している。
　また本実施形態では、処理部１１０は、内視鏡画像から抽出される特徴量に基づいて、内視鏡画像内の注目領域をクラスタリング処理する。
　本実施形態によれば、機械学習を用いない古典的なクラスタリング手法によって逐次的なクラスタリング処理が実現される。
　２．第１表示モード
　画像処理装置１００は、代表画像の表示モードとして第１表示モードと第２表示モードとを有する。まず第１表示モードについて説明する。なお、画像処理装置１００は、第１表示モード又は第２表示モードのいずれか一方のみを有してもよい。
　図４は、第１表示モードにおける代表画像選択部１１４の動作を説明する図である。ここでは、病変Ａ～Ｅが既に撮影され、それらに対応する既存のクラスＡ～Ｅがメモリ１２０に格納されており、直近に撮影された内視鏡画像がクラスタリング処理部１１３によりクラスＢに分類されたとする。メモリ１２０は、クラスＡの注目領域画像ＩＡ１～ＩＡ３と、クラスＢの注目領域画像ＩＢ１～ＩＢ３と、・・・、クラスＥの注目領域画像ＩＥ１～ＩＥ３と、を記憶しているとする。なお、各クラスの注目領域画像の枚数は任意であってよく、互いに異なる枚数であってよい。
　代表画像選択部１１４は、各クラスに属する注目領域画像の中から１枚ずつ代表画像を選択する。図４の例では、代表画像選択部１１４は、クラスＡの注目領域画像ＩＡ２を代表画像ＲＩＡとして選択し、クラスＢの注目領域画像ＩＢ３を代表画像ＲＩＢとして選択し、・・・、クラスＥの注目領域画像ＩＥ３を代表画像ＲＩＥとして選択する。
　図５は、第１表示モードにおける第１表示例である。内視鏡画像ＥＮＩＭには、病変Ｂが写っているとする。注目領域検出部１１２は、内視鏡画像ＥＮＩＭから病変Ｂを注目領域ＤＲＯＩとして検出し、その注目領域ＤＲＯＩを囲むバウンダリボックスを生成する。表示処理部１１５は、バウンダリボックスＢＢＸを重畳した内視鏡画像ＥＮＩＭを、第１表示領域ＤＳＡ１に表示する。
　代表画像選択部１１４は、既存の全てのクラスＡ～Ｅから代表画像ＲＩＡ～ＲＩＥを選択する。表示処理部１１５は、既存の全てのクラスＡ～Ｅに対応した代表画像ＲＩＡ～ＲＩＥを第２表示領域ＤＳＡ２に表示する。図５に示すように、表示処理部１１５は、代表画像ＲＩＡ、ＲＩＢ、・・・、ＲＩＥに対応して「病変Ａ」、「病変Ｂ」、・・・、「病変Ｅ」等の表記を加えてもよい。
　クラスタリング処理部１１３は、第１表示領域ＤＳＡ１に表示される内視鏡画像ＥＮＩＭに写る注目領域ＤＲＯＩを、クラスＢに分類する。表示処理部１１５は、それと同じクラスＢの代表画像ＲＩＢを囲む枠ＦＲＭを表示する。なお、表示処理部１１５は、枠ＦＲＭに限らず、内視鏡画像ＥＮＩＭに写る注目領域ＤＲＯＩが、病変Ａ～Ｅのいずれであるかを示す表示を行えばよい。
　表示処理部１１５は、病変Ａ～Ｅに応じて枠ＦＲＭの色を異ならせてもよい。即ち、内視鏡画像ＥＮＩＭから病変Ａが検出されたとき、代表画像ＲＩＡに色Ａの枠が付され、内視鏡画像ＥＮＩＭから病変Ｂが検出されたとき、代表画像ＲＩＢに色Ｂの枠が付され、・・・、内視鏡画像ＥＮＩＭから病変Ｅが検出されたとき、代表画像ＲＩＡに色Ｅの枠が付されてもよい。色Ａ～Ｅは、互いに異なる色である。
　図６は、第１表示モードにおける第２表示例である。第１表示領域ＤＳＡ１に表示される内容は、第１表示例と同様である。
　表示処理部１１５は、所定数のクラスから選択された代表画像を、第２表示領域ＤＳＡ２に表示する。図６には所定数が３の例を示す。既存のクラス数が３以下である場合には、全てのクラスの代表画像が表示され、既存のクラス数が４以上である場合には、その既存のクラスから選択された３つのクラスの代表画像が表示される。
　クラスタリング処理部１１３は、逐次的に入力される注目領域画像を逐次的にクラスタリングしていく。このとき、表示処理部１１５は、クラスタリングにおけるクラスの検出時刻が新しい順に所定数の代表画像を並べて第２表示領域ＤＳＡ２に表示する。図６には、クラスタリング処理部１１３に、病変Ａが写る注目領域画像、病変Ｄが写る注目領域画像、病変Ｂが写る注目領域画像の順に入力された例を示す。このとき、検出時刻が新しい３つのクラスは、クラスＢ、クラスＤ、クラスＡとなる。表示処理部１１５は、その３つのクラスに対応した３つの代表画像ＲＩＢ、ＲＩＤ、ＲＩＡを、上から検出時刻の新しい順に表示する。
　第１表示例と同様に、表示処理部１１５は、内視鏡画像ＥＮＩＭに写る病変Ｂと同じクラスＢの代表画像ＲＩＢに、枠ＦＲＭを付す。
　この次に、例えば病変Ｅが写る注目領域画像がクラスタリング処理部１１３に入力されたとする。この場合、クラスＥが新たに検出されるので、検出時刻が新しい３つのクラスは、クラスＥ、クラスＢ、クラスＤとなる。表示処理部１１５は、その３つのクラスに対応した３つの代表画像ＲＩＥ、ＲＩＢ、ＲＩＤを、上から検出時刻の新しい順に表示する。即ち、検出時刻が古いクラスＡの代表画像ＲＩＡが表示されなくなり、新たに検出されたクラスＥの代表画像ＲＩＥが表示される。
　代表画像選択部１１４は、クラスタリング処理部１１３によって新たに注目領域画像が分類されたとき、そのクラスの代表画像を、その新たに分類された注目領域画像に更新するか否かを判定する。具体的には、代表画像選択部１１４は、注目領域検出の信頼度、注目領域画像の撮影条件、又はそれらの組み合わせに基づいて画像を評価し、現在表示されている代表画像の評価よりも、新たな注目領域画像の評価の方が高い場合に、代表画像を更新する。注目領域検出の信頼度は、例えばＡＩ検出において注目領域検出の確からしさを示すスコア等である。撮影条件は上述の通りである。画像の評価は、画像に写る注目領域の信頼性、視認性、又はそれらの組み合わせを示す評価である。視認性は、例えばノイズ、画像の明るさ、画像内で注目領域が占める割合、又は注目領域が写る方向等によって評価される。例えば、ノイズが少ない、画像が明るい、画像内で注目領域が占める割合が大きい、又は注目領域が写る方向が適切な場合に、視認性が良いと判断される。
　以上の本実施形態では、処理部１１０は、複数のクラスの各クラスに属する代表画像を、第２表示領域ＤＳＡ２に表示する処理を行う。処理部１１０は、第２表示領域ＤＳＡ２に表示された複数の代表画像のうち、判定クラスの代表画像を、強調表示する処理を行う。なお、図５の例では、複数のクラスは、クラスＡ～Ｅであり、各クラスに属する代表画像は、代表画像ＲＩＡ～ＲＩＥであり、判定クラスは、クラスＢである。また図６の例では、複数のクラスは、クラスＢ、Ｄ、Ａであり、各クラスに属する代表画像は、代表画像ＲＩＢ、ＲＩＤ、ＲＩＡであり、判定クラスは、クラスＢである。
　本実施形態によれば、術者が、第２表示領域ＤＳＡ２を見ることで、今までに発見された病変がいくつあるのか、及び、それらの病変を網羅的に精査できたのかを、素早く判断できる。これにより、病変の精査し忘れを防止できる。例えば上部内視鏡検査では、まず観察フェーズにおいて胃内部を全体的に観察し、精査フェーズにおいて、観察フェーズで発見した各病変を精査する。本実施形態では、観察フェーズにおいて発見した病変の記録が第２表示領域ＤＳＡ２に残るので、精査フェーズにおいて、全ての病変を網羅的に精査したか判断できる。具体的には、現在精査している病変の代表画像が強調表示されるので、精査する対象を変えると、強調表示される代表画像も変わる。術者は、全ての代表画像について強調表示が行われたかを見ることで、全ての病変を網羅的に精査したか判断できる。
　なお、上記特許文献１では、時系列的に病変画像を並べて表示し、その表示される病変画像が逐次に更新されていくため、時系列的に古くに検出された病変画像は画面上に表示されなくなる。このため、被検体内の複数の病変を網羅的に検査したか否かが判定できない。本実施形態では、クラスタリング処理により生成されたクラス毎に代表画像が一覧で表示されるので、被検体内の複数の病変を網羅的に検査したかを術者が判断しやすい。
　また本実施形態では、処理部１１０は、メモリ１２０に記憶された全てのクラスの各クラスに属する代表画像を、第２表示領域ＤＳＡ２に表示する処理を行ってもよい。これは、図５の第１表示例に対応する。図５の例では、全てのクラスは、クラスＡ～Ｅであり、各クラスに属する代表画像は、代表画像ＲＩＡ～ＲＩＥである。
　本実施形態によれば、メモリ１２０に記憶された全てのクラスの代表画像が一覧で第２表示領域ＤＳＡ２に表示される。術者が、その一覧を見ることで、観察フェーズで発見された複数の病変を網羅的に精査できたかを、更に判断しやすくなる。
　また本実施形態では、処理部１１０は、メモリ１２０に記憶されたクラスのうち、判定クラスとして検出された時刻が新しい所定数のクラスの各クラスに属する代表画像を、第２表示領域ＤＳＡ２に表示する処理を行ってもよい。これは、図６の第２表示例に対応する。図６の例では、所定数のクラスは、クラスＢ、Ｄ、Ａであり、各クラスに属する代表画像は、代表画像ＲＩＢ、ＲＩＤ、ＲＩＡである。
　本実施形態によれば、観察フェーズで発見された病変の数が多い場合であっても、表示される代表画像の数を制限することで、代表画像の視認性を向上できる。また、新しく検出されたクラスの代表画像が時系列に表示されるので、現在精査している病変が、複数の病変のうちいずれの病変なのかを術者が判断しやすくなる。
　また本実施形態では、処理部１１０は、判定クラスの代表画像の周縁に枠ＦＲＭを表示する処理により、強調表示する処理を行う。
　本実施形態によれば、術者が強調表示を見ることで、現在精査している病変が、複数の病変のうちいずれの病変なのかを判断できる。
　また本実施形態では、処理部１１０は、複数のクラスのクラス毎に異なる色の枠ＦＲＭを表示する処理を行う。
　本実施形態によれば、術者が強調表示を見ることで、現在精査している病変が、複数の病変のうちいずれの病変なのかを、より素早く判断できる。
　また本実施形態では、処理部１１０は、内視鏡画像から注目領域を検出する処理を行う。処理部１１０は、検出された注目領域を包含する枠を内視鏡画像に重畳して、第１表示領域ＤＳＡ１に表示する処理を行う。図５と図６の例では、検出された注目領域を包含する枠は、バウンダリボックスＢＢＸである。
　本実施形態によれば、ＡＩ画像認識の一種であるディテクション等を用いて注目領域を検出し、その検出結果として生成されるバウンダリボックスＢＢＸを内視鏡画像に重畳して表示できる。
　また本実施形態では、処理部１１０は、内視鏡画像から注目領域を検出する処理を行う。処理部１１０は、注目領域が検出されたとき、第１表示領域ＤＳＡ１に表示された内視鏡画像の周辺にフラグＦＬＧを表示する処理を行う。フラグＦＬＧについては、図１１の第３表示モードで後述する。
　本実施形態によれば、注目領域の検出結果が内視鏡画像内に重畳されないので、術者が内視鏡画像そのものを視認することが可能となり、注目領域の視認性向上が期待できる。
　３．第２表示モード
　図７は、第２表示モードにおける代表画像選択部１１４の動作を説明する図である。クラスＡ～Ｅが既存であるとし、直近に撮影された内視鏡画像がクラスタリング処理部１１３によりクラスＢに分類されたとする。また、クラスＡの注目領域画像ＩＡ１～ＩＡ３は撮影条件Ａ１～Ａ３で撮影されており、クラスＢの注目領域画像ＩＢ１～ＩＢ３は撮影条件Ｂ１～Ｂ３で撮影されており、・・・、クラスＥの注目領域画像ＩＥ１～ＩＥ３は撮影条件Ｅ１～Ｅ３で撮影されているとする。なお、ここでは各クラスの注目領域画像の枚数を３としたが、その枚数は任意であってよく、互いに異なる枚数であってよい。
　病変Ｂが写る内視鏡画像ＥＮＩＭがクラスタリング処理部１１３に入力されたとする。クラスタリング処理部１１３は、その内視鏡画像ＥＮＩＭに写る病変ＢをクラスＢに分類し、その内視鏡画像ＥＮＩＭをクラスＢに対応付けてメモリ１２０に記憶させる。代表画像選択部１１４は、直近にクラスタリング処理部１１３により検出されたクラスＢの注目領域画像ＩＥ１～ＩＥ３の中から複数の代表画像を選択する。図７には、注目領域画像ＩＥ２、ＩＥ３が代表画像ＲＩＢ１、ＲＩＢ２として選択される例を示す。
　代表画像選択部１１４は、注目領域検出の信頼度、注目領域画像の撮影条件、又はそれらの組み合わせに基づいて画像を評価し、クラスＢに属する注目領域画像ＩＥ１～ＩＥ３の中から、評価が高い注目領域画像を代表画像として選択する。画像の評価は、画像に写る注目領域の信頼性、視認性、又はそれらの組み合わせを示す評価である。例えば、ノイズが少ない、画像が明るい、画像内で注目領域が占める割合が大きい、又は注目領域が写る方向が適切な場合に、視認性が良いと判断される。また、複数の代表画像が選択される場合、様々な方向から注目領域が撮影された複数の代表画像が選択されてもよい。
　図８は、第２表示モードにおける表示例である。第１表示領域ＤＳＡ１に表示される内容は、図５の表示例と同様である。
　表示処理部１１５は、直近にクラスタリング処理部１１３により検出されたクラスの代表画像であり且つ代表画像選択部１１４により選択された代表画像を、第２表示領域ＤＳＡ２に表示する。図８の例では、表示処理部１１５は、代表画像選択部１１４により選択されたクラスＢの代表画像ＲＩＢ１、ＲＩＢ２を第２表示領域ＤＳＡ２に表示する。図８に示すように、表示処理部１１５は、代表画像ＲＩＢ１、ＲＩＢ２に対応して「病変Ｂ」等の表記を加えてもよい。
　以上の本実施形態では、処理部１１０は、判定クラスに属する複数の代表画像を、第２表示領域ＤＳＡ２に表示する処理を行う。図８の例では、判定クラスはクラスＢであり、判定クラスに属する複数の代表画像は、代表画像ＲＩＢ１、ＲＩＢ２である。
　本実施形態によれば、精査フェーズにおいて、精査している病変に対応した複数の代表画像が表示されるので、その複数の代表画像と内視鏡画像を観察することで、より詳細に病変を観察することが可能となる。
　また本実施形態では、第２表示領域ＤＳＡ２に表示される複数の代表画像は、互いに撮影条件が異なる注目領域画像である。
　本実施形態によれば、精査中の病変が様々な撮影条件で撮影された複数の代表画像が表示されるので、術者が、その様々な撮影条件で撮影された複数の代表画像と、内視鏡画像を観察することで、より正確に病変を診断できる。例えば、判断が難しい病変を精査しているとき、様々な向きで病変が撮影された複数の代表画像が表示されることで、術者が病変を正確に診断できる。
　４．表示モードの切り替え
　図９は、内視鏡システム１の第２構成例である。内視鏡システム１は、内視鏡１０と表示部２０と操作部３０と画像処理装置１００とを含む。なお、図１等で既に説明した構成要素には同一の符号を付し、それらの構成要素についての説明を適宜に省略する。
　操作部３０は、ユーザからの操作入力を受け付ける操作装置である。操作部３０は、例えばボタン、ダイヤル、フットスイッチ、又はタッチパネル等である。処理部１１０は、操作部３０からの操作入力に応じて第１表示モードと第２表示モードを切り替える。具体的には、代表画像選択部１１４による代表画像の選択手法と、表示処理部１１５による代表画像の表示手法とが、操作入力に応じて切り替わる。
　例えば、操作部３０は、表示モードを切り替えるボタンを含み、処理部１１０は、そのボタンが操作されたことを検出したとき、第１表示モードと第２表示モードを切り替える。或いは、処理部１１０は、表示モードではない他の何らかのモードを切り替える操作に連動して、第１表示モードと第２表示モードを切り替えてもよい。この場合、操作部３０は、その何らかのモードを切り替えるボタン等を含む。
　図１０は、表示モードを切り替える処理のフローチャートである。ステップＳ２１に示すように、処理部１１０は、まず第１表示モードで表示を開始する。例えば、診断開始時において術者はスコープを移動させながら被検体内の全体を観察していき、病変が存在するか等の被検体内の状態を観察する。これを観察フェーズと呼ぶ。例えば、このような観察フェーズ時に、第１表示モードが用いられる。
　ステップＳ２２において、処理部１１０は、操作部３０に対してモード切り替え操作が行われたか否かを判定する。
　モード切り替え操作が行われていないと判定された場合、処理部１１０はステップＳ１に戻る。
　モード切り替え操作が行われたと判定された場合、ステップＳ２３において、処理部１１０は第１表示モードから第２表示モードに切り替える。例えば、術者が観察フェーズを終えた後、観察フェーズにおいて発見した各病変を精査していく。これを精査フェーズと呼ぶ。このとき、術者はモード切り替え操作を行って第２表示モードに切り替える。例えば、図５又は図６に示すように、第１表示モードにおいて病変Ｂが写っているとき、術者が画面上に設けられるタッチパネルにより病変Ｂの代表画像ＲＩＢをタッチしたとき、処理部１１０は、モード切り替え操作が行われたと判断し、第２表示モードに切り替え、第２表示領域ＤＳＡ２に病変Ｂの代表画像ＲＩＢ１、ＲＩＢ２を表示する。
　以上の本実施形態では、処理部１１０は、第１表示モードにおいて、複数のクラスの各クラスに属する代表画像を、第２表示領域ＤＳＡ２に表示する処理を行い、第２表示モードにおいて、判定クラスに属する複数の代表画像を、第２表示領域ＤＳＡ２に表示する処理を行う。処理部１１０は、第１表示モードにおいてユーザ操作を受け付けたとき、第２表示モードに切り替える。
　本実施形態によれば、術者が診断内容に応じて適切な表示モードを選択できる。例えば、術者が、観察フェーズにおいて第１表示モードを用い、精査フェーズにおいて第２表示モードを用いることができる。
　また本実施形態では、ユーザ操作は、第２表示領域ＤＳＡ２に表示される複数の代表画像のうち、いずれかを選択する操作であってもよい。例えば、図４の例では、第１表示モードにおいてクラスＡ～Ｅの代表画像ＲＩＡ～ＲＩＥが表示されている。この場合、術者が操作部３０により代表画像ＲＩＡ～ＲＩＥのいずれかを選択することで、第２表示モードで表示する病変を選択する。
　５．第３表示モード
　図１１に、第３表示モードにおける表示例を示す。内視鏡画像ＥＮＩＭには、注目領域ＤＲＯＩが写っているとする。注目領域検出部１１２は、内視鏡画像ＥＮＩＭから注目領域ＤＲＯＩを検出する。表示処理部１１５は、注目領域検出部１１２により注目領域ＤＲＯＩが検出されたとき、第１表示領域ＤＳＡ１において内視鏡画像ＥＮＩＭの外周又は周囲にフラグＦＬＧを表示する。即ち、内視鏡画像ＥＮＩＭ内には、注目領域を示す表示が重畳されない。この表示をフラグ表示と呼ぶこととする。なお、第１表示モード又は第２表示モードにおいても、内視鏡画像ＥＮＩＭに対してバウンダリボックスの表示ではなくフラグ表示を行ってもよい。
　第３表示モードでは、表示処理部１１５は、直近に検出された注目領域ＤＲＯＩが写る代表画像ＲＩＦを、第２表示領域ＤＳＡ２に表示する。具体的には、注目領域検出部１１２が、短期間だけ注目領域ＤＲＯＩを検出したとき、代表画像選択部１１４は、その短期間だけ検出された注目領域ＤＲＯＩと同じクラスの注目領域画像から代表画像ＲＩＦを選択し、表示処理部１１５が、その代表画像ＲＩＦを第２表示領域ＤＳＡ２に表示する。例えば、最初に注目領域ＤＲＯＩが検出されたときの注目領域画像が代表画像ＲＩＦとして表示される。或いは、撮影条件等に応じて代表画像ＲＩＦが選択されてもよい。
　注目領域が一瞬だけ内視鏡画像に写った場合、本来は注目領域でないものが誤検出された場合、或いは画像が低品質なため注目領域検出の信頼度が低い場合等においては、注目領域が検出される期間が短くなると想定される。このような場合、一瞬だけフラグ表示が点灯するので、術者は注目領域が検出された可能性があると認識して、その注目領域を捜索する。このとき、その注目領域が写る代表画像ＲＩＦが第２表示領域ＤＳＡ２に表示されることで、術者は、その代表画像ＲＩＦを見て、注目領域を捜索すべきか否かを判断できる。例えば、本来は注目領域でないものが誤検出され、偽陽性となった場合、術者が表示を見て偽陽性と判断できるので、術者が注目領域を捜索しなくてもよい。
　以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
１　内視鏡システム、１０　内視鏡、２０　表示部、３０　操作部、１００　画像処理装置、１１０　処理部、１１１　内視鏡画像生成部、１１２　注目領域検出部、１１３　クラスタリング処理部、１１４　代表画像選択部、１１５　表示処理部、１２０　メモリ、ＤＲＯＩ　注目領域、ＤＳＡ１　第１表示領域、ＤＳＡ２　第２表示領域、ＥＮＩＭ　内視鏡画像、ＦＬＧ　フラグ、ＦＲＭ　枠、ＩＡ１～ＩＡ３，ＩＢ１～ＩＢ３，ＩＥ１～ＩＥ３　注目領域画像、ＲＩＡ，ＲＩＢ，ＲＩＢ１，ＲＩＢ２，ＲＩＤ，ＲＩＦ　代表画像

Claims (16)

  1. 　注目領域が撮影された注目領域画像を、前記注目領域のクラス毎に分類された状態で記憶するメモリと、
    　処理部と、
    　を含み、
    　前記処理部は、
    　被検体内の内視鏡画像を撮影する内視鏡により撮影中の前記内視鏡画像内の前記注目領域を、クラスタリング処理し、
    　前記クラスタリング処理において前記注目領域が属すると判定されたクラスである判定クラスの前記注目領域画像のうち代表的な画像である代表画像を、少なくとも１枚、前記メモリから読み出し、
    　前記内視鏡により撮影中の前記内視鏡画像を第１表示領域に表示する処理を行い、前記メモリから読み出した前記代表画像を第２表示領域に表示する処理を行うことを特徴とする画像処理装置。
  2. 　請求項１において、
    　前記処理部は、
    　前記判定クラスが、前記メモリに記憶されている既存のクラスであるか否かを判定し、
    　前記判定クラスが前記既存のクラスである場合、前記内視鏡画像を、前記既存のクラスの前記注目領域画像として前記メモリに記憶させる処理を行い、
    　前記判定クラスが前記既存のクラスでない場合、前記内視鏡画像を、新たなクラスの前記注目領域画像として前記メモリに記憶させる処理を行うことを特徴とする画像処理装置。
  3. 　請求項１において、
    　前記処理部は、
    　複数のクラスの各クラスに属する前記代表画像を、前記第２表示領域に表示する処理を行い、
    　前記第２表示領域に表示された複数の前記代表画像のうち、前記判定クラスの前記代表画像を、強調表示する処理を行うことを特徴とする画像処理装置。
  4. 　請求項３において、
    　前記処理部は、
    　前記メモリに記憶された全てのクラスの各クラスに属する前記代表画像を、前記第２表示領域に表示する処理を行うことを特徴とする画像処理装置。
  5. 　請求項３において、
    　前記処理部は、
    　前記メモリに記憶されたクラスのうち、前記判定クラスとして検出された時刻が新しい所定数のクラスの各クラスに属する前記代表画像を、前記第２表示領域に表示する処理を行うことを特徴とする画像処理装置。
  6. 　請求項３において、
    　前記処理部は、
    　前記判定クラスの前記代表画像の周縁に枠を表示する処理により、前記強調表示する処理を行うことを特徴とする画像処理装置。
  7. 　請求項６において、
    　前記処理部は、
    　前記複数のクラスのクラス毎に異なる色の前記枠を表示する処理を行うことを特徴とする画像処理装置。
  8. 　請求項１において、
    　前記処理部は、
    　前記判定クラスに属する複数の前記代表画像を、前記第２表示領域に表示する処理を行うことを特徴とする画像処理装置。
  9. 　請求項８において、
    　前記第２表示領域に表示される前記複数の前記代表画像は、互いに撮影条件が異なる前記注目領域画像であることを特徴とする画像処理装置。
  10. 　請求項１において、
    　前記処理部は、
    　第１表示モードにおいて、複数のクラスの各クラスに属する前記代表画像を、前記第２表示領域に表示する処理を行い、
    　第２表示モードにおいて、前記判定クラスに属する複数の前記代表画像を、前記第２表示領域に表示する処理を行い、
    　前記第１表示モードにおいてユーザ操作を受け付けたとき、前記第２表示モードに切り替えることを特徴とする画像処理装置。
  11. 　請求項１０において、
    　前記ユーザ操作は、前記第２表示領域に表示される前記複数の前記代表画像のうち、いずれかを選択する操作であることを特徴とする画像処理装置。
  12. 　請求項１において、
    　前記処理部は、
    　前記内視鏡画像から前記注目領域を検出する処理を行い、
    　前記検出された前記注目領域を包含する枠を前記内視鏡画像に重畳して、前記第１表示領域に表示する処理を行うことを特徴とする画像処理装置。
  13. 　請求項１において、
    　前記処理部は、
    　前記内視鏡画像から前記注目領域を検出する処理を行い、
    　前記注目領域が検出されたとき、前記第１表示領域に表示された前記内視鏡画像の周辺にフラグを表示する処理を行うことを特徴とする画像処理装置。
  14. 　請求項１において、
    　前記処理部は、
    　前記内視鏡画像から抽出される特徴量に基づいて、前記内視鏡画像内の前記注目領域を前記クラスタリング処理することを特徴とする画像処理装置。
  15. 　請求項１に記載された画像処理装置と、
    　前記内視鏡と、
    　を含むことを特徴とする内視鏡システム。
  16. 　被検体内の内視鏡画像を撮影する内視鏡により撮影中の前記内視鏡画像内の注目領域を、クラスタリング処理することと、
    　前記注目領域が撮影された前記内視鏡画像を注目領域画像として、前記注目領域のクラス毎に分類された状態でメモリに記憶することと、
    　前記クラスタリング処理において前記注目領域が属すると判定されたクラスである判定クラスの前記注目領域画像のうち代表的な画像である代表画像を、少なくとも１枚、前記メモリから読み出すことと、
    　前記内視鏡により撮影中の前記内視鏡画像を第１表示領域に表示する処理を行い、前記メモリから読み出した前記代表画像を第２表示領域に表示する処理を行うことと、
    　を含むことを特徴とする画像処理方法。
PCT/JP2021/024652 2021-06-30 2021-06-30 画像処理装置、内視鏡システム及び画像処理方法 WO2023276017A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024652 WO2023276017A1 (ja) 2021-06-30 2021-06-30 画像処理装置、内視鏡システム及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024652 WO2023276017A1 (ja) 2021-06-30 2021-06-30 画像処理装置、内視鏡システム及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2023276017A1 true WO2023276017A1 (ja) 2023-01-05

Family

ID=84691627

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024652 WO2023276017A1 (ja) 2021-06-30 2021-06-30 画像処理装置、内視鏡システム及び画像処理方法

Country Status (1)

Country Link
WO (1) WO2023276017A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019220801A1 (ja) * 2018-05-15 2019-11-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2020170809A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019220801A1 (ja) * 2018-05-15 2019-11-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2020008651A1 (ja) * 2018-07-06 2020-01-09 オリンパス株式会社 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2020170809A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法

Similar Documents

Publication Publication Date Title
EP2742847A1 (en) Image management device, method, and program for image reading
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
US11423318B2 (en) System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms
CN114298980A (zh) 一种图像处理方法、装置及设备
WO2020194568A1 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
KR20160118037A (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
JP5581122B2 (ja) 電子内視鏡装置
US20210251470A1 (en) Image processing device for endoscope, image processing method for endoscope, and recording medium
US20230260117A1 (en) Information processing system, endoscope system, and information processing method
WO2023276017A1 (ja) 画像処理装置、内視鏡システム及び画像処理方法
JP2019111040A (ja) 画像解析装置及び画像解析方法
JP2022071617A (ja) 内視鏡システム及び内視鏡装置
Phillips et al. Video capsule endoscopy: pushing the boundaries with software technology
JP2003019118A (ja) 眼科用画像処理装置
JP2019013461A (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
JP5528255B2 (ja) 内視鏡画像処理システム
WO2023282144A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
WO2023228659A1 (ja) 画像処理装置及び内視鏡システム
WO2023282143A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
WO2022270582A1 (ja) 検査支援装置、検査支援方法および検査支援プログラム
WO2023053991A1 (ja) 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
KR102253398B1 (ko) 인공지능 기반의 영상 처리 및 사용자 이벤트를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
WO2023013080A1 (ja) アノテーション支援方法、アノテーション支援プログラム及びアノテーション支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21948324

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21948324

Country of ref document: EP

Kind code of ref document: A1