WO2018158817A1 - 画像診断装置、画像診断方法、及びプログラム - Google Patents

画像診断装置、画像診断方法、及びプログラム Download PDF

Info

Publication number
WO2018158817A1
WO2018158817A1 PCT/JP2017/007782 JP2017007782W WO2018158817A1 WO 2018158817 A1 WO2018158817 A1 WO 2018158817A1 JP 2017007782 W JP2017007782 W JP 2017007782W WO 2018158817 A1 WO2018158817 A1 WO 2018158817A1
Authority
WO
WIPO (PCT)
Prior art keywords
input image
processing
image
tumor
processing unit
Prior art date
Application number
PCT/JP2017/007782
Other languages
English (en)
French (fr)
Inventor
雅弘 西光
仁 今岡
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2017/007782 priority Critical patent/WO2018158817A1/ja
Priority to US16/487,136 priority patent/US11120554B2/en
Priority to JP2019502319A priority patent/JP6838644B2/ja
Publication of WO2018158817A1 publication Critical patent/WO2018158817A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present invention relates to an image diagnostic apparatus, an image diagnostic method, and a program.
  • the diagnostic imaging apparatus of the present invention includes (1) first processing means for executing a preprocessing for determining whether or not a tumor discrimination process is necessary for each of a plurality of input images, and (2) the preprocessing. And a second processing means for performing the tumor discrimination process on the input image determined to require the tumor discrimination process.
  • the image diagnostic method of the present invention is executed by a computer.
  • the diagnostic imaging method executes (1) a pre-processing for determining whether or not a tumor discrimination process is necessary for each of a plurality of input images, and (2) the tumor discrimination process is performed in the pre-processing. Performing the tumor discrimination process on the input image determined to be necessary.
  • the program of the present invention causes a computer to execute the image diagnostic method of the present invention.
  • each block diagram represents a functional unit configuration, not a hardware unit configuration.
  • FIG. 1 is a diagram showing an introduction example of an image diagnostic apparatus according to the present invention.
  • the diagnostic imaging apparatus 10 according to the present invention is connected to an endoscope system 20 and a monitor 30.
  • the diagnostic imaging apparatus 10 may be incorporated in the endoscope system 20 as an element of the endoscope system 20.
  • the endoscope system 20 is a system for supporting diagnosis and treatment using an endoscope, and processes a signal obtained from a videoscope (endoscope), a control device that controls the videoscope, and the videoscope. And a processor for generating an endoscopic image. By inserting the videoscope into the patient's body from the patient's mouth or nose, an image (moving image) obtained by imaging the patient's body is generated.
  • the image generated by the endoscope system 20 is supplied to the diagnostic imaging apparatus 10.
  • the diagnostic imaging apparatus 10 performs a tumor discrimination process using an image (moving image) generated by the endoscope system 20, and displays a diagnosis support screen (information such as the presence or absence of a tumor and the type of tumor) indicating the result of the discrimination process.
  • a video signal for displaying an identifiable screen and a screen for suppressing oversight of the tumor is generated.
  • the diagnostic imaging apparatus 10 selects a target image for discrimination processing and a non-target image from among images input from the endoscope system 20, thereby reducing the amount of processing. To speed up processing.
  • the monitor 30 displays a diagnosis support screen based on the video signal output from the diagnostic imaging apparatus 10.
  • the doctor makes a diagnosis while confirming information such as the presence or absence of a tumor and the type of tumor on the diagnosis support screen displayed on the monitor 30.
  • the first processing unit 110 acquires a plurality of input images as processing targets.
  • the plurality of input images are, for example, frames that constitute a moving image generated by the endoscope system 20.
  • the first processing unit 110 can acquire a moving image (a plurality of input images) generated at the time of diagnosis using the endoscope system 20 in real time.
  • the first processing unit 110 stores the moving images (a plurality of input images) temporarily stored in the image storage device of the endoscope system 20 after the diagnosis using the endoscope system 20 is completed. You may read from an apparatus.
  • the first processing unit 110 may determine “whether a tumor discrimination process is necessary for the input image” based on the viewpoint of “whether or not the doctor is aware of the tumor”. it can. As an example, when it is possible to determine from the input image that the doctor is performing some treatment on the tumor (that is, the tumor is noticed), the first processing unit 110 displays “tumor discrimination processing for the input image”. Can be determined. Conversely, if it is not possible to confirm from the input image that the doctor is performing some kind of treatment on the tumor, the doctor may not be aware of the tumor. In this case, the first processing unit 110 can determine that “tumor discrimination processing for the input image is necessary”.
  • the first processing unit 110 can determine “whether or not a tumor determination process is necessary” based on, for example, the viewpoint of “avoid execution of redundant determination process”. As an example, when a certain input image (first input image) has a small change compared to a past input image (second input image), the first processing unit 110 determines “for the first input image. It can be determined that the tumor discrimination process is unnecessary. This is based on the following idea. That is, as a result of comparing a plurality of input images, if the change in the images is small, it can be estimated that these input images are taken at substantially the same location. If it does so, it can be said that the result at the time of performing the discrimination process of a tumor with respect to each input image becomes substantially the same. That is, since the result of the second input image can be used for the first input image, it can be said that it is not necessary to perform the tumor discrimination process on the first input image.
  • the first processing unit 110 can determine “whether or not a tumor discrimination process is necessary” based on, for example, the viewpoint of “whether the input image is suitable for the tumor discrimination process”. As an example, when the input image is unclear and it can be determined that it is difficult to obtain an accurate processing result, the first processing unit 110 may determine that “the tumor determination process for the input image is not necessary”. it can.
  • determining whether positive or negative means not only information on the nature of the tumor (positive / negative), but also, for example, the position of the tumor in the input image, the size of the tumor, It includes obtaining other information useful for diagnosis, such as tumor type and tumor progression (number of stages). Hereinafter, this information is also referred to as “diagnosis support information”.
  • Each functional component of the diagnostic imaging apparatus 10 may be realized by hardware (for example, a hard-wired electronic circuit) that realizes each functional component, or a combination of hardware and software (for example: It may be realized by a combination of an electronic circuit and a program for controlling it).
  • hardware for example, a hard-wired electronic circuit
  • software for example: It may be realized by a combination of an electronic circuit and a program for controlling it.
  • the diagnostic imaging apparatus 10 includes a bus 101, a processor 102, a memory 103, a storage device 104, an input / output interface 105, and a network interface 106.
  • the bus 101 is a data transmission path through which the processor 102, the memory 103, the storage device 104, the input / output interface 105, and the network interface 106 transmit / receive data to / from each other.
  • a method of connecting the processor 102, the memory 103, the storage device 104, the input / output interface 105, the network interface 106, and the like is not limited to the bus connection.
  • the processor 102 is an arithmetic device such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the memory 103 is a main storage device realized using a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the storage device 104 is an auxiliary storage device implemented using an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, or the like.
  • the storage device 104 stores a program module that realizes each functional component (the first processing unit 110 and the second processing unit 120) of the diagnostic imaging apparatus 10.
  • the processor 102 reads out each program module to the memory 103 and executes it, thereby realizing a function corresponding to each program module.
  • the input / output interface 105 is an interface for connecting the diagnostic imaging apparatus 10 to an input / output peripheral device.
  • the diagnostic imaging apparatus 10 is connected to the monitor 30, the video capture 1051, and the input apparatus 1052 via the input / output interface 105.
  • the input / output interface 105 may further be connected with a foot switch (not shown) for performing a screen switching operation.
  • FIG. 4 is a flowchart illustrating the process flow of the diagnostic imaging apparatus 10 according to the first embodiment.
  • the second processing unit 120 skips the tumor discrimination processing for the input image acquired in S102.
  • the first processing unit 110 recognizes “no diagnosis support information” (S110), and directly outputs the input image obtained from the endoscope system 20 to the monitor 30 (S112).
  • the pre-processing of the first processing unit 110 will be specifically described.
  • the first processing unit 110 determines whether or not a preset condition (hereinafter also referred to as “specific condition”) has been detected in the image processing for the input image acquired in S102 as pre-processing.
  • specific condition a preset condition
  • the first processing unit 110 determines that “the tumor discrimination process by the second processing unit 120 is unnecessary”.
  • the first processing unit 110 compares the input image (first input image) acquired in S102 with an input image (for example, the previous frame) before the first input image (S104A). .
  • the first processing unit 110 can determine the similarity between two input images, for example, by comparing indices such as a color histogram and a binary pattern of each pixel in the image.
  • the second input image is input to the diagnostic imaging apparatus 10 before the first input image, and is held in the memory 103 or the storage device 104, for example.
  • the first processing unit 110 can access the memory 103 and the storage device 104 to acquire the second input image.
  • the first processing unit 110 determines whether or not the difference between the two input images exceeds the reference based on the comparison result of S104A (S106A).
  • the first processing unit 110 can perform the following process to determine whether or not the difference between the two input images exceeds the reference. First, the first processing unit 110 compares indices such as a color histogram and a binary pattern of pixels between two input images, and calculates a score indicating a degree of similarity or a difference. The first processing unit 110 compares a reference value stored in advance in the memory 103 and the calculated score. For example, when a score indicating the degree of similarity is calculated, the first processing unit 110, when the score exceeds the reference value, the first input image is similar to the past second input image. Therefore, it can be determined that “tumor discrimination processing is unnecessary”.
  • the first processing unit 110 determines that the first input image is similar to the past second input image when the score is equal to or less than the reference value. Therefore, it can be determined that “tumor discrimination processing is unnecessary”.
  • the first processing unit 110 determines that “tumor discrimination processing for the first input image is necessary”, and instructs the second processing unit 120 to execute the tumor discrimination processing for the first input image.
  • the second processing unit 120 executes a tumor discrimination process on the input image acquired in S102 according to this instruction (S108).
  • the first processing unit 110 determines that “the tumor discrimination process for the first input image is not necessary”, skips the process of S108 in FIG. 4, and recognizes that “no diagnosis support information is present” (S110).
  • FIG. 6 is a flowchart illustrating a second specific example of the preliminary processing executed by the first processing unit 110.
  • the first processing unit 110 detects that “the optical flow calculated using a plurality of input images is outside the reference range” as a specific condition.
  • an input image having a larger optical flow (motion vector) than the previous input image it can be determined that the doctor has moved the endoscope greatly and has not observed the portion included in the imaging range. It can be determined that such an input image does not require a tumor discrimination process.
  • the doctor does not move the endoscope so much and observes a part included in the imaging range. It can be judged. It can be determined that a tumor discrimination process is necessary for such an input image.
  • the first processing unit 110 uses the input image (first input image) acquired in S102 and the input image before the first input image (for example, the previous frame), and uses these.
  • An optical flow (motion vector) between input images is calculated (S104B).
  • the second input image is input to the diagnostic imaging apparatus 10 before the first input image, and is held in the memory 103 or the storage device 104, for example.
  • the first processing unit 110 can access the memory 103 and the storage device 104 to acquire the second input image.
  • the first processing unit 110 determines whether or not the optical flow (motion vector) calculated in S104B is within the reference range (S106B). Specifically, the first processing unit 110 reads a reference range stored in advance in the memory 103 or the like. The reference range is defined by, for example, a first threshold value and a second threshold value. The first processing unit 110 compares the optical flow (motion vector) calculated in S104B with each of the first threshold value and the second threshold value to determine whether or not the optical flow (motion vector) is within the reference range. Can be determined.
  • the first threshold value is a threshold value for determining whether or not the doctor is observing.
  • the first threshold value can be set based on, for example, a change value of the frame according to the average insertion speed or extraction speed of the endoscope at the time of observation.
  • the second threshold value is set as a value smaller than the first threshold value.
  • the second threshold is a threshold for determining whether or not the difference between the two input images is equal to or less than the reference as described with reference to FIG.
  • the first processing unit 110 can determine that “the tumor discrimination process for the input image is unnecessary”.
  • the optical flow (motion vector) calculated in S104B is equal to or less than the first threshold, it can be determined that the doctor is observing a portion included in the imaging range. In this case, the first processing unit 110 can determine that “tumor discrimination processing for the input image is necessary”. If the optical flow (motion vector) calculated in S104B is equal to or smaller than the second threshold value, it can be determined that there is little change in the image even if the doctor observes the portion included in the imaging range. In this case, the first processing unit 110 can determine that “the tumor discrimination process for the input image is unnecessary”.
  • the first processing unit 110 determines that “tumor discrimination processing for the first input image is necessary”, and instructs the second processing unit 120 to execute the tumor discrimination processing for the first input image.
  • the second processing unit 120 executes a tumor discrimination process on the input image acquired in S102 according to this instruction (S108).
  • the first processing unit 110 determines that “the tumor discrimination process for the first input image is not necessary”, skips the process of S108 in FIG. 4, and recognizes that “no diagnosis support information is present” (S110).
  • FIG. 7 is a flowchart illustrating a third specific example of the pre-processing executed by the first processing unit 110.
  • the first processing unit 110 detects “the degree of the sharpness of the subject calculated from the input image is equal to or less than a reference” as the specific condition. For an unclear input image, it is not possible to obtain a feature amount from the input image, and the accuracy of the discrimination processing may be reduced. For such an image, it can be determined that tumor discrimination processing is unnecessary. On the other hand, with respect to a certain degree of clear input image, the feature amount can be obtained well from the input image, and the discrimination process can be executed with a certain degree of accuracy. It can be determined that a tumor discrimination process is necessary for such an image.
  • the first processing unit 110 calculates an index (hereinafter referred to as “definition”) representing the sharpness of the input image acquired in S102 (S104C).
  • the first processing unit 110 detects, for example, an area (pixel) in the input image in which shine, halation, overexposure, underexposure, defocusing, or the like occurs. To do. A region where shine or halation has occurred can be detected using, for example, techniques disclosed in the following documents. M. Arnold, A. Ghosh, S. Ameling, G. Lacey, “Automatic segmentation and inpainting of specular highlights for endoscopic imaging”, Journal on Image and Video Processing, vol. 2010, no. 9, pp. 1-12, 2010.
  • the first processing unit 110 determines that “tumor discrimination processing for the first input image is necessary”, and instructs the second processing unit 120 to execute the tumor discrimination processing for the first input image.
  • the second processing unit 120 executes a tumor discrimination process on the input image acquired in S102 according to this instruction (S108).
  • the first processing unit 110 determines that “the tumor discrimination process for the first input image is not necessary”, skips the process of S108 in FIG. 4, and recognizes that “no diagnosis support information is present” (S110).
  • FIG. 8 is a flowchart illustrating a fourth specific example of the preliminary processing executed by the first processing unit 110.
  • the first processing unit 110 detects that the input image is an image obtained by capturing an area other than the body as a specific condition. For example, an input image obtained by imaging the outside of the body can be obtained before the endoscope is inserted into the body or immediately after the endoscope is removed from the body. For such an input image, it can be determined that the tumor discrimination processing is clearly unnecessary. On the other hand, it can be determined that a tumor discrimination process is necessary for an input image obtained by imaging the inside of the body.
  • the first processing unit 110 acquires the feature amount of the input image acquired in S102 (S104D). For example, the first processing unit 110 acquires color feature amounts and edge feature amounts from the input image.
  • the first processing unit 110 determines whether or not the input image is an image of the inside of the body based on the feature amount of the input image acquired in S104D (S106D).
  • the first processing unit 110 can determine whether or not the input image is an image captured in the body from the basic color of the object that can be determined from the color feature amount and the shape of the object that can be determined from the edge feature amount.
  • the first processing unit 110 determines that “the tumor discrimination process for the first input image is not necessary”, skips the process of S108 in FIG. 4, and recognizes that “no diagnosis support information is present” (S110).
  • FIG. 9 is a flowchart illustrating a fifth specific example of the preliminary processing executed by the first processing unit 110.
  • the first processing unit 110 detects that “the input image is an image including an instrument used in a treatment for a tumor or a medicine dispersed in the treatment” as a specific condition. If the treatment instrument or the spread of the medicine is detected, it can be assumed that the doctor has already noticed the tumor in the input image. For such an input image, it is not necessary to present the tumor information to the doctor again, so that it can be determined that the tumor discrimination processing is unnecessary.
  • the first processing unit 110 acquires the feature amount of the input image acquired in S102 (S104E). For example, the first processing unit 110 acquires color feature amounts and edge feature amounts from the input image.
  • the first processing unit 110 determines whether or not the input image acquired in S102 is enlarged and displayed based on the display magnification acquired in S104F (S106F). Specifically, the first processing unit 110 compares the default display magnification stored in advance in the memory 103 and the display magnification acquired in S104F. When the display magnification acquired in S104F is greater than or equal to the default display magnification, the first processing unit 110 can determine that the input image is displayed in an enlarged manner.
  • the first processing unit 110 determines that “tumor discrimination processing for the first input image is necessary”, and instructs the second processing unit 120 to execute the tumor discrimination processing for the first input image.
  • the second processing unit 120 executes a tumor discrimination process on the input image acquired in S102 according to this instruction (S108).
  • the diagnostic imaging apparatus 10 of the present embodiment has the same functional configuration (example: FIG. 2) as that of the first embodiment.
  • the first processing unit 110 according to the present embodiment changes a threshold value that determines the necessity of the tumor discrimination process according to the result of the tumor discrimination process performed by the second processing unit 120.
  • the diagnostic imaging apparatus 10 of the present embodiment uses the detection threshold of the specific condition in the subsequent preprocessing as the detection of the specific condition.
  • the frequency can be changed in the increasing direction.
  • the first processing unit 110 widens the optical flow (motion vector) reference range of the second processing unit 120.
  • the first threshold value or the second threshold value may be changed.
  • the frequency at which the specific condition is detected increases.
  • the first processing unit 110 may increase the threshold value that is set with respect to the ratio of areas in which, for example, shine, halation, overexposure, underexposure, or out of focus occurs.
  • the frequency at which the specific condition is detected increases.
  • the first processing unit 110 may increase the reference value set for the similarity between two input images. As a result, the frequency at which the specific condition is detected (frequency at which it is determined that “tumor discrimination processing is necessary” for the input image) increases.
  • the first processing unit 110 of the present embodiment sets the detection threshold of the specific condition in the subsequent preprocessing as the specific condition.
  • the detection frequency can be changed in a decreasing direction.
  • the first processing unit 110 may narrow the optical flow (motion vector) reference range of the second processing unit 120 when a negative result is obtained in the tumor discrimination processing of the second processing unit 120.
  • the first threshold value or the second threshold value may be changed. By narrowing the reference range, the frequency at which the specific condition is detected (frequency at which it is determined that “tumor discrimination processing is necessary” for the input image) is reduced.
  • the first processing unit 110 may lower the threshold value set with respect to the ratio of areas where, for example, shine, halation, overexposure, blackout, or out-of-focus is occurring. As a result, the frequency at which the specific condition is detected (frequency at which it is determined that “tumor discrimination processing is necessary” for the input image) is reduced.
  • the first processing unit 110 may lower the reference value set for the similarity between two input images. As a result, the frequency at which the specific condition is detected (frequency at which it is determined that “tumor discrimination processing is necessary” for the input image) is reduced.
  • the threshold value change described above may be executed for each frame, or may be executed when the same determination result is obtained a predetermined number of times in a plurality of frames within a predetermined time.
  • the hardware configuration of the diagnostic imaging apparatus 10 in the second embodiment is represented by, for example, FIG. 3 as in the first embodiment.
  • the storage device 104 of the diagnostic imaging apparatus 10 of the present embodiment further stores a program module that realizes the functions of the diagnostic imaging apparatus 10 of the present embodiment.
  • FIG. 11 is a flowchart illustrating the flow of processing of the diagnostic imaging apparatus 10 according to the second embodiment. The process of FIG. 11 is executed following, for example, S108 of FIG.
  • the first processing unit 110 determines whether the determination result of the tumor determination process in S108 of FIG. 4 is positive or negative (S202).
  • S202 positive
  • the first processing unit 110 sets the detection threshold of the specific condition as a direction in which the detection frequency of the specific condition increases.
  • S204 negative
  • the first processing unit 110 reduces the detection threshold of the specific condition and the detection frequency of the specific condition as described above.
  • the frequency of execution of the tumor discrimination process for the subsequent input image is increased, thereby preventing the tumor from being overlooked.
  • the effect can be expected.
  • the frequency of performing the tumor discrimination process for the subsequent input image is reduced, and the effect of reducing the overall processing amount can be enhanced.
  • the diagnostic imaging apparatus 10 of the present embodiment has the same functional configuration (example: FIG. 2) as that of the first embodiment.
  • the second processing unit 120 of the present embodiment determines that “tumor discrimination processing is unnecessary” by pre-processing for a certain input image (hereinafter referred to as “first input image”), the first input
  • the discrimination result of the tumor discrimination process for the input image before the image (hereinafter referred to as “second input image”) is used as the discrimination result for the first input image.
  • the second processing unit 120 stores the discrimination result (diagnosis support information including positive / negative) obtained by the tumor discrimination process on the second input image in a temporary storage area such as the memory 103 (S302).
  • the elapsed time between two temporally continuous frames is approximately 0.03 seconds. During this time, the imaging range of the endoscope is unlikely to change greatly, so even if the discrimination result of the previous frame is also used for the next frame, no major problem occurs.
  • FIG. 13 is a diagram for explaining a modification of the third embodiment.
  • four frames first to fourth frames
  • the first and second frames are images generated when the endoscope is inserted.
  • the third and fourth frames are images generated when the endoscope is removed.
  • tumor discrimination processing is executed for the first frame and the second frame, and the result is stored in the memory 103 or the like together with the frame image. Thereafter, when the third frame or the fourth frame is acquired, the first processing unit 110 compares the third frame or the fourth frame with each frame image stored in the memory 103.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

画像診断装置（１０）は、内視鏡などにより生成された画像（動画）を用いた診断支援処理を行う。画像診断装置（１０）は、第１処理部（１１０）および第２処理部（１２０）を含んで構成される。第１処理部（１１０）は、複数の入力画像のそれぞれに対し、腫瘍の判別処理が必要か否かを判断する事前処理を実行する。第２処理部（１２０）は、第１処理部（１１０）により実行される事前処理において「腫瘍の判別処理が必要」と判断された入力画像に対して、腫瘍の判別処理を行う。

Description

画像診断装置、画像診断方法、及びプログラム
　本発明は、画像診断装置、画像診断方法、及びプログラムに関する。
　内視鏡によって得られる動画像を用いて、腫瘍の診断を支援する技術が、例えば、下記特許文献１並びに特許文献２に開示されている。下記特許文献１には、内視鏡画像に対して関心領域（ＲＯＩ）を設定し、当該ＲＯＩにおける画像特徴量に基づいて内視鏡による診断を支援する表示を行う技術が開示されている。下記特許文献２には、医師が超拡大機能をもつ内視鏡を用いて気になる部位を拡大撮像し、その画像を用いて、当該部位が腫瘍か否かを判定する技術が開示されている。
特開２００７－２０９７７０号公報 特開２０１６－１５４８１０号公報
　内視鏡で得られる画像を処理して腫瘍の診断支援を行う場合、腫瘍の判別するための画像処理の負荷が大きく表示のずれが発生するなど、要求される処理性能を満たせない可能性がある。
　本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、画像を用いた腫瘍の診断支援においてその処理量を削減する技術を提供することである。
　本発明の画像診断装置は、（１）複数の入力画像のそれぞれに対し、腫瘍の判別処理が必要か否かを判断する事前処理を実行する第１処理手段と、（２）前記事前処理において前記腫瘍の判別処理が必要と判断された入力画像に対して、前記腫瘍の判別処理を行う第２処理手段と、を備える。
　本発明の画像診断方法は、コンピュータによって実行される。当該画像診断方法は、（１）複数の入力画像のそれぞれに対し、腫瘍の判別処理が必要か否かを判断する事前処理を実行し、（２）前記事前処理において前記腫瘍の判別処理が必要と判断された入力画像に対して、前記腫瘍の判別処理を行う、ことを含む。
　本発明のプログラムは、本発明の画像診断方法をコンピュータに実行させる。
　本発明によれば、画像を用いた腫瘍の診断支援においてその処理量を削減する技術が提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本発明に係る画像診断装置の導入例を示す図である。 第１実施形態の画像診断装置の機能構成を概念的に示すブロック図である。 画像診断装置のハードウエア構成を概念的に示す図である。 第１実施形態における画像診断装置の処理の流れを例示するフローチャートである。 第１処理部が実行する事前処理の第１の具体例を示すフローチャートである。 第１処理部が実行する事前処理の第２の具体例を示すフローチャートである。 第１処理部が実行する事前処理の第３の具体例を示すフローチャートである。 第１処理部が実行する事前処理の第４の具体例を示すフローチャートである。 第１処理部が実行する事前処理の第５の具体例を示すフローチャートである。 第１処理部が実行する事前処理の第６の具体例を示すフローチャートである。 第２実施形態における画像診断装置の処理の流れを例示するフローチャートである。 第３実施形態における画像診断装置の処理の流れを例示するフローチャートである。 第３実施形態の変形例を説明するための図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
　＜概要＞
　図１は、本発明に係る画像診断装置の導入例を示す図である。図１に示されるように、本発明に係る画像診断装置１０は、内視鏡システム２０およびモニタ３０と接続される。なお、画像診断装置１０は、内視鏡システム２０の一要素として、内視鏡システム２０に組み込まれていてもよい。
　内視鏡システム２０は、内視鏡を用いた診断や治療を支援するためのシステムであり、ビデオスコープ（内視鏡）、ビデオスコープを制御する制御装置、ビデオスコープから得られた信号を処理して内視鏡画像を生成するプロセッサなどを含んで構成される。ビデオスコープを患者の口や鼻から患者の体内へ挿入することにより、患者の体内を撮像した画像（動画）が生成される。
　内視鏡システム２０により生成された画像は、画像診断装置１０に供給される。画像診断装置１０は、内視鏡システム２０によって生成された画像（動画）を用いて腫瘍の判別処理を行い、当該判別処理の結果を示す診断支援画面（腫瘍の有無や腫瘍のタイプといった情報を識別可能に表示して腫瘍の見逃しを抑止するための画面）を表示させるための映像信号を生成する。ここで、画像診断装置１０は、詳しくは後述するように、内視鏡システム２０から入力された画像の中から、判別処理の対象とする画像とそうでない画像とを選別することにより、処理量を減らして処理の高速化を図る。
　モニタ３０は、画像診断装置１０から出力される映像信号に基づいて診断支援画面を表示させる。医師は、モニタ３０に表示された診断支援画面上で腫瘍の有無や腫瘍のタイプといった情報を確認しつつ、診断を行う。
　［第１実施形態］
　以下、本発明に係る画像診断装置１０について説明する。
　〔機能構成〕
　図２は、第１実施形態の画像診断装置１０の機能構成を概念的に示すブロック図である。図２に示されるように、画像診断装置１０は、第１処理部１１０および第２処理部１２０を有する。
　第１処理部１１０は、複数の入力画像を処理対象として取得する。当該複数の入力画像は、例えば、内視鏡システム２０によって生成された動画を構成するフレームである。第１処理部１１０は、内視鏡システム２０を用いた診断時に生成される動画（複数の入力画像）をリアルタイムに取得することができる。その他にも、第１処理部１１０は、内視鏡システム２０を用いた診断が終了した後、内視鏡システム２０の画像記憶装置に一旦記憶された動画（複数の入力画像）を当該画像記憶装置から読み出してもよい。
　第１処理部１１０は、取得した複数の入力画像のそれぞれに対し、腫瘍の判別処理が必要か否かを判断する事前処理を実行する。第１処理部１１０によって実行される事前処理の詳細については後述する。第１処理部１１０によって実行される事前処理によって、複数の入力画像は、腫瘍の判別処理を実行する画像とそうでない画像とに選別される。
　第１処理部１１０は、例えば「医師が観察中か否か」という観点に基づいて、「入力画像に対して腫瘍の判別処理が必要か否か」を判断することができる。一例として、第１処理部１１０が取得した入力画像間で動きが小さい場合は、医師が内視鏡を大きく動かしていないときであり、撮像範囲に含まれる部分を観察していると判断できる。この場合には、第１処理部１１０は、「入力画像に対する腫瘍の判別処理が必要」と判断することができる。逆に、第１処理部１１０が取得した入力画像間で動きが大きい場合は、医師が内視鏡を大きく動かしていて、撮像範囲に含まれる部分を観察していないと判断できる。この場合に、第１処理部１１０は、「入力画像に対する腫瘍の判別処理が不要」と判断することができる。
　その他にも、第１処理部１１０は、例えば「医師が腫瘍に気付いているか否か」という観点に基づいて、「入力画像に対して腫瘍の判別処理が必要か否か」を判断することができる。一例として、医師が腫瘍に対して何らかの処置を施している（すなわち、腫瘍に気付いている）と入力画像から判断できる場合には、第１処理部１１０は、「当該入力画像に対する腫瘍の判別処理は不要」と判断することができる。逆に、医師が腫瘍に対して何らかの処置を施していることが入力画像から確認できない場合は、医師が腫瘍に気付いていない可能性がある。この場合には、第１処理部１１０は、「入力画像に対する腫瘍の判別処理が必要」と判断することができる。
　その他にも、第１処理部１１０は、例えば「冗長な判別処理の実行を回避する」という観点に基づいて、「腫瘍の判別処理が必要か否か」を判断することができる。一例として、ある入力画像（第１の入力画像）が過去の入力画像（第２の入力画像）と比較して変化が小さい場合などには、第１処理部１１０は「第１の入力画像に対する腫瘍の判別処理は不要」と判断することができる。これは次のような考えに基づく。即ち、複数の入力画像を比較した結果、画像の変化が小さい場合、それらの入力画像は略同じ箇所を撮像していると推測できる。そうすると、各入力画像に対して腫瘍の判別処理を実行した場合の結果は略同じになると言える。つまり、第１の入力画像については第２の入力画像の結果を流用することができるため、第１の入力画像に対して腫瘍の判別処理を実行する必要はないと言える。
　また、第１処理部１１０は、例えば「入力画像が腫瘍の判別処理に適しているか」という観点に基づいて、「腫瘍の判別処理が必要か否か」を判断することができる。一例として、入力画像が不鮮明であり、正確な処理結果を得るのが難しいと判断できる場合には、第１処理部１１０は、「当該入力画像に対する腫瘍の判別処理は不要」と判断することができる。
　なお、「腫瘍の判別処理が必要か否か」の判断基準についての上記説明は、あくまで例示であり、本発明を制限するものではない。
　第２処理部１２０は、第１処理部１１０の事前処理において「腫瘍の判別処理が必要」と判断された入力画像から抽出できる各種特徴量を用いて、当該入力画像に対して腫瘍の判別処理を行う。具体的には、第２処理部１２０は、まず、入力画像から抽出できる各種特徴量を用いて入力画像の撮像範囲内における腫瘍の有無を判別する。第２処理部１２０は、腫瘍があると判断した場合、入力画像から抽出できる各種特徴量に基づいて、当該腫瘍の性質（陽性（悪性）／陰性（良性））を判別する。
　一例として、第２処理部１２０は、入力画像中の臓器の内壁に現れている血管の色および形状の少なくとも一方に基づいて、腫瘍の判別処理の結果が陽性または陰性のいずれであるかを決定することができる。第２処理部１２０は、入力画像における血管部分の色の変化パターンや、入力画像における血管部分のエッジ特徴量に基づく形状パターンなどによって、腫瘍が陽性または陰性のいずれかを判別することができる。また、他の例として、入力画像中の臓器の内壁の形状に基づいて、腫瘍の判別処理の結果が陽性または陰性のいずれであるかを決定することができる。第２処理部１２０は、入力画像中における臓器の内壁に現れている腫瘍部分のエッジ特徴量に基づいて、腫瘍の判別処理の結果が陽性または陰性のいずれであるかを決定することができる。
　なお本明細書において「陽性であるか陰性であるかを判別する」とは、腫瘍の性質（陽性／陰性）に関する情報だけではなく、例えば、入力画像内での腫瘍の位置、腫瘍のサイズ、腫瘍の種類、及び、腫瘍の進行度（ステージ数）といった、診断に有用なその他の情報を取得することを含む。以下、これらの情報を「診断支援情報」とも表記する。
　〔作用・効果〕
　以上、本実施形態によれば、複数の入力画像は、第１処理部１１０の事前処理によって、第２処理部１２０による腫瘍の判別処理が必要な画像とそうでない画像とに選別される。画像を用いた腫瘍の判別処理は負荷が比較的大きい処理であるため、このように処理対象の画像を間引きすることによって、診断支援に係る処理全体の処理量を低減させる効果が見込める。これにより、診断支援処理が高速化され、例えばリアルタイムで内視鏡画像を処理する場合であっても、結果の出力を円滑に行うことができる。また、診断支援処理に用いる装置に要求されるスペックが下がり、内視鏡画像を用いた診断支援システムの導入コストを削減する効果も見込める。
　以下、本実施形態についてさらに詳細に説明する。
　〔画像診断装置１０のハードウエア構成〕
　画像診断装置１０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像診断装置１０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図３は、画像診断装置１０のハードウエア構成を概念的に示す図である。画像診断装置１０は、例えばサーバマシンといったコンピュータである。
　画像診断装置１０は、バス１０１、プロセッサ１０２、メモリ１０３、ストレージデバイス１０４、入出力インタフェース１０５、及びネットワークインタフェース１０６を含んで構成される。バス１０１は、プロセッサ１０２、メモリ１０３、ストレージデバイス１０４、入出力インタフェース１０５、及びネットワークインタフェース１０６が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２、メモリ１０３、ストレージデバイス１０４、入出力インタフェース１０５、及びネットワークインタフェース１０６などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算装置である。メモリ１０３は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカードなどを用いて実現される補助記憶装置である。
　ストレージデバイス１０４は、画像診断装置１０の各機能構成部（第１処理部１１０、及び第２処理部１２０）を実現するプログラムモジュールを記憶している。プロセッサ１０２は、これら各プログラムモジュールをメモリ１０３に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
　入出力インタフェース１０５は、画像診断装置１０と入出力用の周辺機器とを接続するためのインタフェースである。図３の例では、画像診断装置１０は、モニタ３０、ビデオキャプチャ１０５１、及び入力装置１０５２と、入出力インタフェース１０５を介して接続されている。また、入出力インタフェース１０５には、画面の切り替え操作などを行うフットスイッチ（図示せず）などが更に接続されていてもよい。
　モニタ３０は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイなどである。モニタ３０は、入出力インタフェース１０５を介して出力される、画像診断装置１０のプロセッサ１０２によって処理された映像信号に基づいて、診断支援用の画面（例：図１の診断支援画面）を表示する。
ビデオキャプチャ１０５１は、内視鏡システム２０と接続されている。ビデオキャプチャ１０５１は、内視鏡システム２０で生成された内視鏡画像（動画）をエンコードして、画像診断装置１０に送信する。
　入力装置１０５２は、例えば、マウスやキーボードなどである。マウスやキーボードといった入力装置１０５２は、タッチパネルとしてモニタ３０と一体化されていてもよい。
　ネットワークインタフェース１０６は、画像診断装置１０を各種通信網に接続するためのインタフェースである。この通信網は、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などである。ネットワークインタフェース１０６が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　なお、画像診断装置１０は、複数の装置によって実現されてもよい。例えば、画像診断装置１０の第１処理部１１０及び第２処理部１２０は、互いに異なる複数の装置によって実現することができる。この場合、各装置のストレージデバイスには、当該装置で実現される機能構成部に対応するプログラムモジュールが記憶されていればよい。
　〔動作例〕
　以下、図４を用いて、第１実施形態における画像診断装置１０の動作例を説明する。図４は、第１実施形態における画像診断装置１０の処理の流れを例示するフローチャートである。
　第１処理部１１０は、内視鏡システム２０によって生成された内視鏡画像（動画）を基とする入力画像（フレーム）を取得する（Ｓ１０２）。
　そして、第１処理部１１０は、Ｓ１０２で取得した入力画像に対して画像処理を実行し（Ｓ１０４）、その画像処理の結果に基づいて、第２処理部１２０による腫瘍判別処理の必要性を判定する（Ｓ１０６）。このＳ１０４およびＳ１０６の処理が事前処理に該当する。
　第１処理部１１０が「腫瘍判別処理が必要」と判断した場合（Ｓ１０６：ＹＥＳ）、第２処理部１２０は、Ｓ１０２で取得した入力画像に対して腫瘍判別処理を実行する（Ｓ１０８）。そして、第２処理部１２０は、Ｓ１０８の処理結果として得られる診断支援情報を用いて診断支援画面を表示するための映像信号を生成し、当該映像信号をモニタ３０に対して出力する（Ｓ１１２）。
　一方、第１処理部１１０が「腫瘍判別処理は不要」と判断した場合（Ｓ１０６：ＮＯ）、第２処理部１２０は、Ｓ１０２で取得した入力画像に対する腫瘍判別処理をスキップする。この場合、第１処理部１１０は、「診断支援情報なし」と認識して（Ｓ１１０）、内視鏡システム２０から得られた入力画像をそのままモニタ３０に出力する（Ｓ１１２）。
　＜第１処理部１１０の事前処理＞
　第１処理部１１０の事前処理について具体的に説明する。第１処理部１１０は、事前処理として、Ｓ１０２で取得した入力画像に対する画像処理において予め設定された条件（以下、「特定条件」とも表記）が検出されたか否かを判定する。事前処理において特定条件が検出された場合、第１処理部１１０は、「第２処理部１２０による腫瘍判別処理は不要」と判断する。
　以下、図５乃至図１０を用いて、第１処理部１１０が実行する事前処理の具体例について説明する。
　＜＜第１の具体例＞＞
　図５は、第１処理部１１０が実行する事前処理の第１の具体例を示すフローチャートである。本具体例において、第１処理部１１０は、「動画を構成するフレームとして前後する２つの入力画像の差分が基準以下であること」を、特定条件として検出する。ある入力画像とその前の入力画像とを比較した結果得られる差分が小さい場合、これら２つの入力画像は互いに類似しているため、前の入力画像に対する腫瘍の判別結果をそのまま流用することができる。このような入力画像に対しては、腫瘍の判別処理は必要ないと言える。一方、ある入力画像とその前の入力画像とを比較した結果得られる差分が大きい場合、これら２つの入力画像は互いに非類似であり、前の入力画像に対する腫瘍の判別結果をそのまま流用することができない。このような入力画像に対しては、腫瘍の判別処理が必要と言える。
　第１処理部１１０は、Ｓ１０２で取得した入力画像（第１の入力画像）と、当該第１の入力画像よりも前の入力画像（例えば、１つ前のフレーム）とを比較する（Ｓ１０４Ａ）。第１処理部１１０は、例えば、カラーヒストグラム、画像内の各画素のバイナリパターンなどの指標を比較することによって、２つの入力画像の類似性を判別することができる。なお、第２の入力画像は、第１の入力画像よりも先に画像診断装置１０に入力され、例えば、メモリ１０３やストレージデバイス１０４に保持されている。第１処理部１１０は、メモリ１０３やストレージデバイス１０４にアクセスして当該第２の入力画像を取得することができる。
　そして、第１処理部１１０は、Ｓ１０４Ａの比較結果を基に、２つの入力画像の差分が基準を超えているか否かを判定する（Ｓ１０６Ａ）。
　具体的には、第１処理部１１０は次のような処理を行って、２つの入力画像の差分が基準を超えているか否かを判定することができる。まず、第１処理部１１０は、カラーヒストグラムや画素のバイナリパターンなどの指標を２つの入力画像間で比較して、類似度合い又は差分の度合いを示すスコアを算出する。第１処理部１１０は、メモリ１０３などに予め保持されている基準値と、算出したスコアとを比較する。例えば、類似度合いを示すスコアが算出された場合、第１処理部１１０は、当該スコアが基準値を超えている場合に、第１の入力画像が過去の第２の入力画像と類似しているため、「腫瘍の判別処理が不要」と判断することができる。また例えば、差分の度合いを示すスコアが算出された場合、第１処理部１１０は、当該スコアが基準値以下である場合に、第１の入力画像が過去の第２の入力画像と類似しているため、「腫瘍の判別処理が不要」と判断することができる。
　Ｓ１０６Ａの判定で「２つの入力画像間の差分が基準を超えている」と判断された場合（Ｓ１０６Ａ：ＹＥＳ）は、すなわち、特定条件が検出されなかった場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理が必要」と判断し、第１の入力画像に対する腫瘍判別処理の実行を第２処理部１２０に指示する。第２処理部１２０は、この指示に従ってＳ１０２で取得した入力画像に対する腫瘍判別処理を実行する（Ｓ１０８）。
　一方、Ｓ１０６Ａの判定で「２つの入力画像間の差分が基準以下である」と判断された場合（Ｓ１０６Ａ：ＮＯ）は、すなわち、特定条件が検出された場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理は不要」と判断し、図４におけるＳ１０８の処理をスキップし、「診断支援情報なし」と認識する（Ｓ１１０）。
　＜＜第２の具体例＞＞
　図６は、第１処理部１１０が実行する事前処理の第２の具体例を示すフローチャートである。本具体例では、第１処理部１１０は、「複数の入力画像を用いて算出されるオプティカルフローが基準の範囲外であること」を、特定条件として検出する。前の入力画像に対してオプティカルフロー（動きベクトル）が大きい入力画像が得られた場合は、医師が内視鏡を大きく動かしていて、撮像範囲に含まれる部分を観察していないと判断できる。このような入力画像に対しては、腫瘍の判別処理は不要と判断できる。また、前の入力画像に対してオプティカルフロー（動きベクトル）が小さい入力画像が得られた場合は、医師が内視鏡をあまり動かしておらず、撮像範囲に含まれる部分を観察しているものと判断できる。このような入力画像に対しては、腫瘍の判別処理が必要と判断できる。
　第１処理部１１０は、Ｓ１０２で取得した入力画像（第１の入力画像）と、当該第１の入力画像よりも前の入力画像（例えば、１つ前のフレーム）とを用いて、これらの入力画像間のオプティカルフロー（動きベクトル）を算出する（Ｓ１０４Ｂ）。なお、第２の入力画像は、第１の入力画像よりも先に画像診断装置１０に入力され、例えば、メモリ１０３やストレージデバイス１０４に保持されている。第１処理部１１０は、メモリ１０３やストレージデバイス１０４にアクセスして当該第２の入力画像を取得することができる。
　そして、第１処理部１１０は、Ｓ１０４Ｂで算出したオプティカルフロー（動きベクトル）が基準の範囲内であるか否かを判定する（Ｓ１０６Ｂ）。具体的には、第１処理部１１０は、メモリ１０３などに予め保持されている基準範囲を読み出す。基準範囲は、例えば、第１閾値と第２閾値とによって定義されている。第１処理部１１０は、Ｓ１０４Ｂで算出したオプティカルフロー（動きベクトル）を、第１閾値および第２閾値の各々と比較することにより、当該オプティカルフロー（動きベクトル）が基準範囲内であるか否かを判別することができる。
　ここで、第１閾値は、医師が観察中か否かを判定するための閾値である。第１閾値は、例えば、観察時の内視鏡の平均的な挿入速度または抜去速度に応じたフレームの変化値に基づいて設定することができる。また、第２閾値は、第１閾値よりも小さい値として設定される。第２閾値は、図５で説明したような、２つの入力画像の差分が基準以下か否かを判定するための閾値である。
　Ｓ１０４Ｂで算出したオプティカルフロー（動きベクトル）が第１閾値を超える場合は、医師が撮像範囲に含まれる部分を観察していない判断できる。この場合には、第１処理部１１０は、「入力画像に対する腫瘍の判別処理が不要」と判断することができる。また、Ｓ１０４Ｂで算出したオプティカルフロー（動きベクトル）が第１閾値以下である場合は、医師が撮像範囲に含まれる部分を観察していると判断できる。この場合には、第１処理部１１０は、「入力画像に対する腫瘍の判別処理が必要」と判断することができる。なお、Ｓ１０４Ｂで算出したオプティカルフロー（動きベクトル）が第２閾値以下である場合には、医師が撮像範囲に含まれる部分を観察していても、画像の変化が少ないと判断することができる。この場合には、第１処理部１１０は、「入力画像に対する腫瘍の判別処理が不要」と判断することができる。
　Ｓ１０６Ｂの判定で「オプティカルフローが基準範囲内」と判断された場合（Ｓ１０６Ｂ：ＹＥＳ）は、すなわち、特定条件が検出されなかった場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理が必要」と判断し、第１の入力画像に対する腫瘍判別処理の実行を第２処理部１２０に指示する。第２処理部１２０は、この指示に従ってＳ１０２で取得した入力画像に対する腫瘍判別処理を実行する（Ｓ１０８）。
　一方、Ｓ１０６Ｂの判定で「オプティカルフローが基準範囲外」と判断された場合（Ｓ１０６Ｂ：ＮＯ）は、すなわち、特定条件が検出された場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理は不要」と判断し、図４におけるＳ１０８の処理をスキップし、「診断支援情報なし」と認識する（Ｓ１１０）。
　＜第３の具体例＞
　図７は、第１処理部１１０が実行する事前処理の第３の具体例を示すフローチャートである。本具体例において、第１処理部１１０は、「入力画像から算出される被写体の鮮明さの度合いが基準以下であること」を、特定条件として検出する。不鮮明な入力画像については、当該入力画像から特徴量を上手く得ることができず、判別処理の精度が下がる可能性がある。このような画像に対しては、腫瘍の判別処理は不要と判断できる。一方、ある程度の鮮明な入力画像については、当該入力画像から特徴量を上手く得ることができ、ある程度の精度で判別処理を実行することができる。このような画像に対しては、腫瘍の判別処理が必要と判断できる。
　第１処理部１１０は、Ｓ１０２で取得した入力画像の鮮明さを表わす指標（以下、「鮮明度」と表記）を算出する（Ｓ１０４Ｃ）。第１処理部１１０は、入力画像の鮮明度を算出するために、例えば、入力画像中の、テカリ、ハレーション、白とび、黒つぶれ、および焦点ぼけなどが発生している領域（画素）を検出する。テカリまたはハレーションが発生している領域は、例えば、以下に示す文献に開示される技術などを用いて検出することができる。
　M. Arnold, A. Ghosh, S. Ameling, G. Lacey, “Automatic segmentation and inpainting of specular highlights for endoscopic imaging”, Journal on Image and Video Processing, vol. 2010, no. 9, pp. 1-12, 2010.
　また、白とびや黒つぶれが発生している領域は、例えば、各画素の輝度値に基づいて検出することができる。また、焦点ぼけが発生している領域は、例えば、ＦＦＴ（Fast Fourier Transform）などによって算出される、各画素の空間周波数に基づいて検出することができる。第１処理部１１０は、テカリ、ハレーション、白とび、黒つぶれ、および焦点ぼけなどが発生している領域として検出した領域が入力画像の全領域に対して占める割合などを、入力画像の鮮明度として算出することができる。
　そして、第１処理部１１０は、Ｓ１０４Ｃの算出結果を基に、入力画像の鮮明度が基準を超えているか否かを判定する（Ｓ１０６Ｃ）。具体的には、第１処理部１１０は、Ｓ１０４Ｃで算出された鮮明度と、メモリ１０３などに予め保持されている、鮮明度判定用の基準値とを比較する。Ｓ１０４Ｃで算出された鮮明度が鮮明度判定用の基準値を超えている場合、第１処理部１１０は、Ｓ１０２で取得された入力画像はある程度の鮮明さを有しており、「腫瘍の判別処理に適している」と判断することができる。Ｓ１０４Ｃで算出された鮮明度が鮮明度判定用の基準値以下である場合、第１処理部１１０は、Ｓ１０２で取得された入力画像は不鮮明であり、「腫瘍の判別処理に適している」と判断することができる。
　Ｓ１０６Ｃの判定で「入力画像の鮮明度が基準を超えている」と判断された場合（Ｓ１０６Ｃ：ＹＥＳ）は、すなわち、特定条件が検出されなかった場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理が必要」と判断し、第１の入力画像に対する腫瘍判別処理の実行を第２処理部１２０に指示する。第２処理部１２０は、この指示に従ってＳ１０２で取得した入力画像に対する腫瘍判別処理を実行する（Ｓ１０８）。
　一方、Ｓ１０６Ｃの判定で「入力画像の鮮明度が基準以下」と判断された場合（Ｓ１０６Ｃ：ＮＯ）は、すなわち、特定条件が検出された場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理は不要」と判断し、図４におけるＳ１０８の処理をスキップし、「診断支援情報なし」と認識する（Ｓ１１０）。
　＜第４の具体例＞
　図８は、第１処理部１１０が実行する事前処理の第４の具体例を示すフローチャートである。本具体例において、第１処理部１１０は、「入力画像が体内以外の領域を撮像した画像であること」を、特定条件として検出する。例えば、内視鏡を体内に挿入する前または内視鏡を体内から抜去した直後などは、体外を撮像した入力画像が得られる。このような入力画像に対しては、腫瘍の判別処理は明らかに不要と判断できる。一方、体内を撮像した入力画像に対しては、腫瘍の判別処理が必要と判断できる。
　第１処理部１１０は、Ｓ１０２で取得した入力画像の特徴量を取得する（Ｓ１０４Ｄ）。第１処理部１１０は、例えば、色特徴量やエッジ特徴量を入力画像から取得する。
　そして、第１処理部１１０は、Ｓ１０４Ｄで取得した入力画像の特徴量に基づいて、入力画像が体内を撮像した画像であるか否かを判定する（Ｓ１０６Ｄ）。第１処理部１１０は、色特徴量から判別できる物体の基本的な色やエッジ特徴量から判別できる物体の形状から、入力画像が体内を撮像した画像か否かを判別することができる。
　Ｓ１０６Ｄの判定で「体内を撮像した画像である」と判断された場合（Ｓ１０６Ｄ：ＹＥＳ）は、すなわち、特定条件が検出されなかった場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理が必要」と判断し、第１の入力画像に対する腫瘍判別処理の実行を第２処理部１２０に指示する。第２処理部１２０は、この指示に従ってＳ１０２で取得した入力画像に対する腫瘍判別処理を実行する（Ｓ１０８）。
　一方、Ｓ１０６Ｄの判定で「体内を撮像した画像でない」と判断された場合（Ｓ１０６Ｄ：ＮＯ）は、すなわち、特定条件が検出された場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理は不要」と判断し、図４におけるＳ１０８の処理をスキップし、「診断支援情報なし」と認識する（Ｓ１１０）。
　＜第５の具体例＞
　図９は、第１処理部１１０が実行する事前処理の第５の具体例を示すフローチャートである。本具体例において、第１処理部１１０は、「入力画像が腫瘍に対する処置で用いる器具または前記処置で散布された薬剤を含む画像であること」を、特定条件として検出する。処置器具や薬剤の散布が検出された場合には、医師が入力画像中の腫瘍に既に気付いているものと推測できる。このような入力画像に対しては、改めて医師に腫瘍の情報を提示する必要もないため、腫瘍の判別処理は不要と判断することができる。
　第１処理部１１０は、Ｓ１０２で取得した入力画像の特徴量を取得する（Ｓ１０４Ｅ）。第１処理部１１０は、例えば、色特徴量やエッジ特徴量を入力画像から取得する。
　そして、第１処理部１１０は、Ｓ１０４Ｅで取得した入力画像の特徴量に基づいて、入力画像が処置器具や散布された薬剤を含む画像であるか否かを判定する（Ｓ１０６Ｅ）。第１処理部１１０は、色特徴量から判別できる物体の基本的な色やエッジ特徴量を、メモリ１０３等に記憶される比較データとマッチングすることによって、処置器具が存在するか否かを判別することができる。また、色特徴量から判別できる物体の基本的な色によって、薬剤が散布されているか否かを判別することができる。
　Ｓ１０６Ｅの判定で「入力画像が処置器具や処置散布された薬剤を含む画像ではない」と判断された場合（Ｓ１０６Ｅ：ＹＥＳ）は、すなわち、特定条件が検出されなかった場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理が必要」と判断し、第１の入力画像に対する腫瘍判別処理の実行を第２処理部１２０に指示する。第２処理部１２０は、この指示に従ってＳ１０２で取得した入力画像に対する腫瘍判別処理を実行する（Ｓ１０８）。
　一方、Ｓ１０６Ｅの判定で「入力画像が処置器具や処置散布された薬剤を含む画像である」と判断された場合（Ｓ１０６Ｅ：ＮＯ）は、すなわち、特定条件が検出された場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理は不要」と判断し、図４におけるＳ１０８の処理をスキップし、「診断支援情報なし」と認識する（Ｓ１１０）。
　＜第６の具体例＞
　図１０は、第１処理部１１０が実行する事前処理の第６の具体例を示すフローチャートである。本具体例において、第１処理部１１０は、「入力画像が倍率を上げて撮像された画像であること」を、特定条件として検出する。入力画像が拡大表示されている場合には、医師が当該入力画像の範囲を診断中と判断することができる。このような入力画像に対しては、腫瘍の判別処理は不要と判断することができる。
　第１処理部１１０は、Ｓ１０２で取得した入力画像の表示倍率を取得する（Ｓ１０４Ｆ）。第１処理部１１０は、例えば、入力画像のプロパティ等を参照して、当該入力画像の表示倍率を取得することができる。
　そして、第１処理部１１０は、Ｓ１０４Ｆで取得した表示倍率に基づいて、Ｓ１０２で取得した入力画像が拡大表示されているか否かを判定する（Ｓ１０６Ｆ）。具体的には、第１処理部１１０は、メモリ１０３などに予め保持されているデフォルトの表示倍率と、Ｓ１０４Ｆで取得した表示倍率とを比較する。Ｓ１０４Ｆで取得した表示倍率がデフォルトの表示倍率以上の場合、第１処理部１１０は、入力画像が拡大表示されていると判断することができる。
　Ｓ１０６Ｆの判定で「入力画像が拡大表示されていない」と判断された場合（Ｓ１０６Ｆ：ＹＥＳ）は、すなわち、特定条件が検出されなかった場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理が必要」と判断し、第１の入力画像に対する腫瘍判別処理の実行を第２処理部１２０に指示する。第２処理部１２０は、この指示に従ってＳ１０２で取得した入力画像に対する腫瘍判別処理を実行する（Ｓ１０８）。
　一方、Ｓ１０６Ｆの判定で「入力画像が拡大表示されている」と判断された場合（Ｓ１０６Ｆ：ＮＯ）は、すなわち、特定条件が検出された場合である。この場合、第１処理部１１０は、「第１の入力画像に対する腫瘍判別処理は不要」と判断し、図４におけるＳ１０８の処理をスキップし、「診断支援情報なし」と認識する（Ｓ１１０）。
　上述したように、特定条件の検出に応じて、比較的処理の重い腫瘍の判別処理の実行回数を減らすことで、全体の処理量を低減させることが可能となる。
　［第２実施形態］
　本実施形態は、以下の点を除き、第１実施形態と同様である。
　〔機能構成〕
　本実施形態の画像診断装置１０は、第１実施形態と同様の機能構成（例：図２）を有する。本実施形態の第１処理部１１０は、第２処理部１２０による腫瘍の判別処理の結果に応じて、腫瘍の判別処理の必要性を決定する閾値を変化させる。
　例えば、本実施形態の画像診断装置１０は、第２処理部１２０の腫瘍の判別処理において陽性を示す結果が得られた場合、それ以降の事前処理における特定条件の検出閾値を、特定条件の検出頻度が増加する方向に変更することができる。
　一例として、第１処理部１１０は、第２処理部１２０の腫瘍の判別処理において陽性を示す結果が得られた場合、第２処理部１２０のオプティカルフロー（動きベクトル）の基準範囲を広げるように第１閾値または第２閾値を変更してもよい。基準範囲が広がることによって、特定条件が検出される頻度（入力画像に対して「腫瘍の判別処理が必要」と判断される頻度）が増加する。また他の例として、第１処理部１１０は、例えばテカリ、ハレーション、白とび、黒つぶれ、または焦点ぼけが発生している領域の割合に関して設定される閾値を上げてもよい。これにより、特定条件が検出される頻度（入力画像に対して「腫瘍の判別処理が必要」と判断される頻度）が増加する。またその他の例として、第１処理部１１０は、２つの入力画像の類似度に対して設定される基準値を上げてもよい。これにより、特定条件が検出される頻度（入力画像に対して「腫瘍の判別処理が必要」と判断される頻度）が増加する。
　このように閾値を変更することにより、より多くの画像に対して腫瘍判別処理が実行されるようになる。そのため、腫瘍らしきものが検知された入力画像（フレーム）より後の入力画像（フレーム）において、腫瘍の見逃しが発生することを防止する効果が期待できる。
　また、本実施形態の第１処理部１１０は、第２処理部１２０の腫瘍の判別処理において陰性を示す結果が得られた場合、それ以降の事前処理における特定条件の検出閾値を、特定条件の検出頻度が減少する方向に変更することができる。
　一例として、第１処理部１１０は、第２処理部１２０の腫瘍の判別処理において陰性を示す結果が得られた場合、第２処理部１２０のオプティカルフロー（動きベクトル）の基準範囲を狭めるように第１閾値または第２閾値を変更してもよい。基準範囲が狭まることによって、特定条件が検出される頻度（入力画像に対して「腫瘍の判別処理が必要」と判断される頻度）が減少する。また他の例として、第１処理部１１０は、例えばテカリ、ハレーション、白とび、黒つぶれ、または焦点ぼけが発生している領域の割合に関して設定される閾値を下げてもよい。これにより、特定条件が検出される頻度（入力画像に対して「腫瘍の判別処理が必要」と判断される頻度）が減少する。またその他の例として、第１処理部１１０は、２つの入力画像の類似度に対して設定される基準値を下げてもよい。これにより、特定条件が検出される頻度（入力画像に対して「腫瘍の判別処理が必要」と判断される頻度）が減少する。
　このように閾値を変更することにより、腫瘍判別処理がより高い頻度でスキップされるようになる。これにより、処理量の削減効果を高めることができる。
　なお、上述の閾値の変更は、フレーム毎に実行されてもよいし、一定時間内の複数のフレームにおいて、同じ判別結果が所定回数得られた場合などに実行されてもよい。
　〔画像診断装置１０のハードウエア構成〕
　第２実施形態における画像診断装置１０のハードウエア構成は、第１実施形態と同様に、例えば図３によって表される。ただし、本実施形態の画像診断装置１０のストレージデバイス１０４には、本実施形態の画像診断装置１０の機能を実現するプログラムモジュールがさらに記憶される。
　〔動作例〕
　図１１を用いて、本実施形態の画像診断装置１０の動作例について説明する。図１１は、第２実施形態における画像診断装置１０の処理の流れを例示するフローチャートである。図１１の処理は、例えば、図４のＳ１０８に続けて実行される。
　第１処理部１１０は、図４のＳ１０８の腫瘍判別処理の判別結果が陽性または陰性のいずれであるかを判定する（Ｓ２０２）。図４のＳ１０８の腫瘍判別処理の判別結果が陽性である場合（Ｓ２０２：陽性）、第１処理部１１０は、上述したように、特定条件の検出閾値を、特定条件の検出頻度が増加する方向に変更する（Ｓ２０４）。一方、図４のＳ１０８の腫瘍判別処理の判別結果が陰性である場合（Ｓ２０２：陰性）、第１処理部１１０は、上述したように、特定条件の検出閾値を、特定条件の検出頻度が減少する方向に変更する（Ｓ２０６）。
　以上、本実施形態によれば、ある入力画像に対する腫瘍判別処理で陽性の結果が得られた場合、以降の入力画像の腫瘍判別処理の実行頻度が上がり、腫瘍の見逃しが発生することを防止する効果が期待できる。また、ある入力画像に対する腫瘍判別処理で院生の結果が得られた場合、以降の入力画像の腫瘍判別処理の実行頻度が下がり、全体の処理量の削減効果を高めることができる。
　［第３実施形態］
　本実施形態は、以下で述べる点を除き、上述の各実施形態と同様である。
　〔機能構成〕
　本実施形態の画像診断装置１０は、第１実施形態と同様の機能構成（例：図２）を有する。本実施形態の第２処理部１２０は、ある入力画像（以下、「第１の入力画像」と表記）に対する事前処理によって「腫瘍の判別処理が不要」と判断された場合、当該第１の入力画像よりも前の入力画像（以下、「第２の入力画像」と表記）に対する腫瘍の判別処理の判別結果を、第１の入力画像に対する判別結果として用いる。
　〔画像診断装置１０のハードウエア構成〕
　第３実施形態における画像診断装置１０のハードウエア構成は、第１実施形態と同様に、例えば図３によって表される。ただし、本実施形態の画像診断装置１０のストレージデバイス１０４には、本実施形態の画像診断装置１０の機能を実現するプログラムモジュールがさらに記憶される。
　〔動作例〕
　図１２を用いて、本実施形態の画像診断装置１０の動作例について説明する。図１２は、第３実施形態における画像診断装置１０の処理の流れを例示するフローチャートである。以下では、第１実施形態と異なる処理（Ｓ３０２、Ｓ３０４）について主に説明する。また本図の例では、第１の入力画像と第２の入力画像は、時間的に連続するフレームであり、第１の入力画像は第２の入力画像の後に取得されるものとして説明する。
　まず、第２処理部１２０は、第２の入力画像に対する腫瘍の判別処理によって得られる判別結果（陽性／陰性を含む診断支援情報）を、メモリ１０３などの一時記憶領域に記憶する（Ｓ３０２）。
　その後のＳ１０２の処理において取得された第１の入力画像に対して腫瘍の判別処理が不要と判断された場合（Ｓ１０６：ＮＯ）、第２処理部１２０は、上述のＳ３０２の処理でメモリ１０３などの一時記憶領域に記憶しておいた、第２の入力画像の判別結果を読み出す（Ｓ３０４）。第２処理部１２０は、読み出した第２の入力画像の判別結果を、第１の入力画像の判別結果として、Ｓ１１２の診断支援画面の表示出力処理に利用する。
　以上、本実施形態では、第１の入力画像に対する事前処理の結果、「腫瘍の判別処理が不要」と判断された場合、当該第１の入力画像の１つ前のフレームである第２の入力画像に対する腫瘍の判別処理の結果が、第１の入力画像に対する腫瘍の判別処理の結果と見做される。これにより、腫瘍の判別処理を実行していない入力画像に対しても、腫瘍の判別結果を出力させることが可能となる。
　なお、例えば内視鏡で撮像される画像（動画）のフレームレートが３０ｆｐｓであれば、時間的に連続する２つのフレーム間の経過時間は、およそ０．０３秒である。この時間内では内視鏡の撮像範囲が大きく変わる可能性は低いため、前のフレームの判別結果を次のフレームにも流用しても、大きな問題は生じない。
　なお、上述の例では連続するフレームに関して説明したが、必ずしも連続するフレームでなくともよい。例えば、一定時間内の連続しないフレーム間においても、過去のフレームに対する腫瘍判別処理の判別結果を流用することもできる。
　その具体例について、図１３を用いて説明する。図１３は、第３実施形態の変形例を説明するための図である。図１３においては、４つのフレーム（第１～第４フレーム）が示されている。第１および第２フレームは、内視鏡を挿入しているときに生成された画像である。また、第３および第４フレームは、内視鏡を抜去しているときに生成された画像である。
　ここで、医師が診断中に内視鏡の挿入／抜去を繰り返すことによって、体内の同じ場所を写す画像（類似する画像）が得られることもある。図１３中では、第１フレームと第４フレーム、および、第２フレームと第３フレームがこれに該当する。
　図１３の例では、第１フレームおよび第２フレームに対しては腫瘍の判別処理が実行され、その結果が、当該フレーム画像と共にメモリ１０３などに格納されたとする。その後、第３フレームまたは第４フレームが取得された場合には、第１処理部１１０は、第３フレームまたは第４フレームと、メモリ１０３に格納されている各フレーム画像と比較する。
　第３フレームに関しては、第２フレームと類似関係にあり、第１処理部１１０は、第３フレームに対する腫瘍判別処理を不要と判断する。第２処理部１２０は、この結果を受けて、メモリ１０３に格納されている第２フレームに対する腫瘍の判別処理の判別結果を読み出し、第３フレームに対する判別結果として用いる。
　また、第４フレームに関しては、第１フレームと類似関係にあり、第１処理部１１０は、第４フレームに対する腫瘍判別処理を不要と判断する。第２処理部１２０は、この結果を受けて、メモリ１０３に格納されている第１２フレームに対する腫瘍の判別処理の判別結果を読み出し、第４フレームに対する判別結果として用いる。
　このように、連続しないフレーム間でも、過去の腫瘍の判別処理の結果を流用することができる。これにより、全体の処理量の削減効果が期待できる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

Claims (23)

  1. 　複数の入力画像のそれぞれに対し、腫瘍の判別処理が必要か否かを判断する事前処理を実行する第１処理手段と、
    　前記事前処理において前記腫瘍の判別処理が必要と判断された入力画像に対して、前記腫瘍の判別処理を行う第２処理手段と、
    　を備える画像診断装置。
  2. 　前記第１処理手段は、前記事前処理として、前記入力画像に対する画像処理において予め設定された特定条件が検出されたか否かを判別し、前記特定条件が検出されたときに前記腫瘍の判別処理が不要と判断する、
    　請求項１に記載の画像診断装置。
  3. 　前記第１処理手段は、動画を構成するフレームとして前後する２つの前記入力画像の差分が基準以下であることを、前記特定条件として検出する、
    　請求項２に記載の画像診断装置。
  4. 　前記第１処理手段は、前記複数の入力画像を用いて算出されるオプティカルフローが基準の範囲外であること、前記入力画像から算出される被写体の鮮明さの度合いが基準以下であること、前記入力画像が体内以外の領域を撮像した画像であること、前記入力画像が腫瘍に対する処置で用いる器具または前記処置で散布された薬剤を含む画像であること、前記入力画像が倍率を上げて撮像された画像であること、の少なくともいずれか１つを前記特定条件として検出する、
    　請求項２または３に記載の画像診断装置。
  5. 　前記第１処理手段は、前記第２処理手段の前記腫瘍の判別処理において陽性を示す結果が得られた場合、前記事前処理における前記特定条件の検出閾値を、前記特定条件の検出頻度が増加する方向に変更する、
    　請求項２乃至４のいずれか１項に記載の画像診断装置。
  6. 　前記第１処理手段は、前記第２処理手段の前記腫瘍の判別処理において陰性を示す結果が得られた場合、前記事前処理における前記特定条件の検出閾値を、前記特定条件の検出頻度が減少する方向に変更する、
    　請求項２乃至５のいずれか１項に記載の画像診断装置。
  7. 　前記第２処理手段は、第１の入力画像に対する前記事前処理によって前記腫瘍の判別処理が不要と判断された場合、前記第１の入力画像よりも前の第２の入力画像に対する前記腫瘍の判別処理の判別結果を前記第１の入力画像に対する判別結果として用いる、
    　請求項１乃至６のいずれか１項に記載の画像診断装置。
  8. 　前記第１の入力画像と前記第２の入力画像は、時間的に連続するフレームである、
    　請求項７に記載の画像診断装置。
  9. 　前記第２処理手段は、前記入力画像中の臓器の内壁に現れている血管の色および形状の少なくとも一方に基づいて、前記腫瘍の判別処理の結果が陽性または陰性のいずれであるかを決定する、
    　請求項１乃至８のいずれか１項に記載の画像診断装置。
  10. 　前記第２処理手段は、前記入力画像中の臓器の内壁の形状に基づいて、前記腫瘍の判別処理の結果が陽性または陰性のいずれであるかを決定する、
    　請求項１乃至９のいずれか１項に記載の画像診断装置。
  11. 　前記複数の入力画像は、内視鏡を用いて生成された動画を構成するフレームである、
    　請求項１乃至１０のいずれか１項に記載の画像診断装置。
  12. 　コンピュータによって実行される画像診断方法であって、
    　複数の入力画像のそれぞれに対し、腫瘍の判別処理が必要か否かを判断する事前処理を実行し、
    　前記事前処理において前記腫瘍の判別処理が必要と判断された入力画像に対して、前記腫瘍の判別処理を行う、
    　ことを含む画像診断方法。
  13. 　前記事前処理として、前記入力画像に対する画像処理において予め設定された特定条件が検出されたか否かを判別し、前記特定条件が検出されたときに前記腫瘍の判別処理が不要と判断する、
    　ことを含む請求項１２に記載の画像診断方法。
  14. 　動画を構成するフレームとして前後する２つの前記入力画像の差分が基準以下であることを、前記特定条件として検出する、
    　ことを含む請求項１３に記載の画像診断方法。
  15. 　前記複数の入力画像を用いて算出されるオプティカルフローが基準の範囲外であること、前記入力画像から算出される被写体の鮮明さの度合いが基準以下であること、前記入力画像が体内以外の領域を撮像した画像であること、前記入力画像が腫瘍に対する処置で用いる器具または前記処置で散布された薬剤を含む画像であること、前記入力画像が倍率を上げて撮像された画像であること、の少なくともいずれか１つを前記特定条件として検出する、
    　ことを含む請求項１３または１４に記載の画像診断方法。
  16. 　前記腫瘍の判別処理において陽性を示す結果が得られた場合、前記事前処理における前記特定条件の検出閾値を、前記特定条件の検出頻度が増加する方向に変更する、
    　ことを含む請求項１３乃至１５のいずれか１項に記載の画像診断方法。
  17. 　前記腫瘍の判別処理において陰性を示す結果が得られた場合、前記事前処理における前記特定条件の検出閾値を、前記特定条件の検出頻度が減少する方向に変更する、
    　ことを含む請求項１３乃至１６のいずれか１項に記載の画像診断方法。
  18. 　第１の入力画像に対する前記事前処理によって前記腫瘍の判別処理が不要と判断された場合、前記第１の入力画像よりも前の第２の入力画像に対する前記腫瘍の判別処理の判別結果を前記第１の入力画像に対する判別結果として用いる、
    　ことを含む請求項１２乃至１７のいずれか１項に記載の画像診断方法。
  19. 　前記第１の入力画像と前記第２の入力画像は、時間的に連続するフレームである、
    　請求項１８に記載の画像診断方法。
  20. 　前記入力画像中の臓器の内壁に現れている血管の色および形状の少なくとも一方に基づいて、前記腫瘍の判別処理の結果が陽性または陰性のいずれであるかを決定する、
    　ことを含む請求項１２乃至１９のいずれか１項に記載の画像診断方法。
  21. 　前記入力画像中の臓器の内壁の形状に基づいて、前記腫瘍の判別処理の結果が陽性または陰性のいずれであるかを決定する、
    　ことを含む請求項１２乃至２０のいずれか１項に記載の画像診断方法。
  22. 　前記複数の入力画像は、内視鏡を用いて生成された動画を構成するフレームである、
    　請求項１２乃至２１のいずれか１項に記載の画像診断方法。
  23. 　請求項１２乃至２２のいずれか１項に記載の画像診断方法をコンピュータに実行させるプログラム。
PCT/JP2017/007782 2017-02-28 2017-02-28 画像診断装置、画像診断方法、及びプログラム WO2018158817A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/007782 WO2018158817A1 (ja) 2017-02-28 2017-02-28 画像診断装置、画像診断方法、及びプログラム
US16/487,136 US11120554B2 (en) 2017-02-28 2017-02-28 Image diagnosis apparatus, image diagnosis method, and program
JP2019502319A JP6838644B2 (ja) 2017-02-28 2017-02-28 画像診断装置、画像診断方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/007782 WO2018158817A1 (ja) 2017-02-28 2017-02-28 画像診断装置、画像診断方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2018158817A1 true WO2018158817A1 (ja) 2018-09-07

Family

ID=63371140

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007782 WO2018158817A1 (ja) 2017-02-28 2017-02-28 画像診断装置、画像診断方法、及びプログラム

Country Status (3)

Country Link
US (1) US11120554B2 (ja)
JP (1) JP6838644B2 (ja)
WO (1) WO2018158817A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102185886B1 (ko) * 2020-05-22 2020-12-02 주식회사 웨이센 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치
KR102388535B1 (ko) * 2021-06-15 2022-04-22 (주)제이엘케이 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124965A (ja) * 2003-10-27 2005-05-19 Olympus Corp 画像処理装置、該方法、及び該プログラム
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
WO2016208001A1 (ja) * 2015-06-24 2016-12-29 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005039399A1 (ja) 2003-10-27 2005-05-06 Olympus Corporation 画像処理装置、画像処理方法及び画像処理プログラム
JP4451460B2 (ja) 2007-03-16 2010-04-14 オリンパス株式会社 内視鏡診断支援装置
JP5802440B2 (ja) 2011-06-02 2015-10-28 オリンパス株式会社 蛍光観察装置
JP6005918B2 (ja) 2011-09-08 2016-10-12 オリンパス株式会社 蛍光観察装置
JP6059271B2 (ja) 2015-02-26 2017-01-11 サイバネットシステム株式会社 画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124965A (ja) * 2003-10-27 2005-05-19 Olympus Corp 画像処理装置、該方法、及び該プログラム
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
WO2016208001A1 (ja) * 2015-06-24 2016-12-29 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102185886B1 (ko) * 2020-05-22 2020-12-02 주식회사 웨이센 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치
KR102388535B1 (ko) * 2021-06-15 2022-04-22 (주)제이엘케이 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치
WO2022265197A1 (ko) * 2021-06-15 2022-12-22 (주)제이엘케이 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치

Also Published As

Publication number Publication date
JPWO2018158817A1 (ja) 2019-12-19
JP6838644B2 (ja) 2021-03-03
US11120554B2 (en) 2021-09-14
US20190370971A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
KR101945654B1 (ko) 해부학적 수술 동안 연기 검출을 위한 시스템 및 방법
JP5804220B1 (ja) 画像処理装置および画像処理プログラム
US20220012457A1 (en) Image processing method, microscope, image processing system, and medium based on artificial intelligence
JP2004080252A (ja) 映像表示装置及びその方法
WO2019128790A1 (zh) 一种超声成像设备的参数调整方法及装置
CN112786163B (zh) 一种超声图像处理显示方法、系统及存储介质
US20160117809A1 (en) Image processing apparatus, control method thereof and computer-readable storage medium
WO2018158817A1 (ja) 画像診断装置、画像診断方法、及びプログラム
US20210161604A1 (en) Systems and methods of navigation for robotic colonoscopy
JP2011072446A (ja) 充血度算出プログラム及び充血度算出方法、並びに充血度算出装置
US8374417B2 (en) Image processing method and radiographic apparatus using the same
US20200214658A1 (en) Image processing apparatus, image processing method, and computer-readable medium
JP6225636B2 (ja) 医用画像処理装置及びプログラム
US20110103663A1 (en) Apparatus, method and computer-readable storage mediums for detecting a region of interest in a medical image
JP2011172692A (ja) 医用画像処理装置、及び医用画像処理プログラム
JP2017076240A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2018171516A (ja) 画像処理方法、診断装置、並びにプログラム
EP3244367A1 (en) Image-acquisition apparatus
JP4665847B2 (ja) 乳房画像処理方法、装置及びプログラム
JP3963789B2 (ja) 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法
US20220296082A1 (en) Surgical information processing apparatus, surgical information processing method, and surgical information processing program
JP2005160916A (ja) 石灰化陰影判定方法、石灰化陰影判定装置及びプログラム
WO2021149169A1 (ja) 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
CN114785948B (zh) 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质
KR20140102515A (ko) 영상 처리 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898426

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019502319

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898426

Country of ref document: EP

Kind code of ref document: A1