WO2022239530A1 - 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2022239530A1
WO2022239530A1 PCT/JP2022/014345 JP2022014345W WO2022239530A1 WO 2022239530 A1 WO2022239530 A1 WO 2022239530A1 JP 2022014345 W JP2022014345 W JP 2022014345W WO 2022239530 A1 WO2022239530 A1 WO 2022239530A1
Authority
WO
WIPO (PCT)
Prior art keywords
notification
image
image processing
processor
attention area
Prior art date
Application number
PCT/JP2022/014345
Other languages
English (en)
French (fr)
Inventor
星矢 竹之内
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023520904A priority Critical patent/JPWO2022239530A1/ja
Priority to CN202280032386.7A priority patent/CN117320636A/zh
Priority to EP22807235.1A priority patent/EP4338683A1/en
Publication of WO2022239530A1 publication Critical patent/WO2022239530A1/ja
Priority to US18/489,843 priority patent/US20240046600A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an image processing device, an image processing system, an image processing method, and an image processing program, and more particularly to a technique for reporting recognition results of attention areas.
  • Patent Literature 1 describes that a region of interest recognized in an image is notified using a bounding box or an icon. Further, Japanese Patent Application Laid-Open No. 2002-200001 also describes that a bounding box is displayed in a superimposed manner.
  • an image processing apparatus is an image processing apparatus comprising a processor, the processor performs image acquisition processing for acquiring an image, and recognition of a region of interest from the image.
  • notification information determination processing for determining first notification information indicating the position of the attention area in the image and second notification information indicating the type of the attention area; notification information determination processing for determining the area surrounding the attention area in the image and a notification position determination process for determining a notification position for notification of the second notification information in the image based on the pixel value of .
  • the recognition result of the attention area is displayed at an appropriate notification position (for example, the user's understanding). can be notified at a notification position) that does not hinder observation and has little effect on observation.
  • an appropriate notification position for example, the user's understanding.
  • “based on the pixel value” may be the pixel value as it is, or may be a value obtained by statistically processing a plurality of pixel values (maximum, minimum, average, etc. within a determined area).
  • region of interest refers to a specific type of subject captured in an image or a region having specific characteristics in the subject, and what is the region of interest It may be different depending on the type of image and the purpose of use of the image.
  • a region of interest is also called a region of interest.
  • the "region surrounding the region of interest” may be a polygonal region such as a rectangle, or a circular or elliptical region. Recognition of the attention area can be performed using a detector configured by machine learning such as deep learning, for example.
  • the image processing apparatus can be implemented as, for example, a processor portion of an image processing system, it is not limited to such an aspect.
  • the processor determines the notification position based on the type of the attention area in the notification position determination processing. Since an appropriate notification position may differ depending on the type of the attention area, in the second mode, the notification position is determined based on the type of the attention area.
  • the processor determines the center of gravity of the attention area as the notification position in the notification position determination process.
  • the image processing device is configured such that, in the recognition processing, the processor calculates probability information indicating the likelihood of recognition of the attention area, and in the notification position determination processing , determines the notification position based on the pixel value and the probability information.
  • the notification position can be determined in an area where the certainty of recognition of the attention area is within a specific range (for example, a threshold value or more).
  • the probability information can be calculated by a recognizer configured by machine learning such as deep learning, for example.
  • the processor acquires time-series images in the image acquisition process, and in the notification position determination process, based on the time change of the probability information in the time-series images Determine the location of the notification.
  • the probability information (probability of recognition of the attention area) can change due to changes in environmental light, changes in observation position and direction, movement and deformation of the attention area itself, etc.
  • the probability information An appropriate notification position can be determined according to time change.
  • acquisition of time-series images includes acquisition of a plurality of images captured at a determined frame rate. Acquisition may be real-time or non-real-time. For example, pre-captured and recorded images may be obtained.
  • the processor acquires time-series images in the image acquisition process, and performs The notification position is determined based on the time change of the pixel value.
  • the processor determines the notified position based on the temporal change in pixel values in the time-series images in the notified position determination process.
  • the processor further executes notification mode determination processing for determining the notification mode of the second notification information.
  • the notification form includes, for example, which of characters, graphics, and symbols should be used for notification, what color should be used, whether or not superimposed display should be performed, and the like.
  • the processor acquires time-series images in the image acquisition process, and in the notification mode determination process, based on temporal changes in pixel values in the time-series images Decide the form of notification.
  • the processor acquires time-series images in the image acquisition process, and in the notification position determination process, changes in the size of the attention area in the time-series images with time.
  • the notification mode is determined based on the temporal change in the size of the region of interest in the time-series images.
  • the size of the attention area in the image may change due to changes in observation position or direction, or deformation of the attention area itself. If the size changes, appropriate notification of the second notification information (type information)
  • the position and notification form may also change. Therefore, in the tenth aspect, the notification position and the notification form are determined based on the temporal change in the size of the attention area.
  • the processor determines the notification position based on the time change of the size of the attention area in the time-series images in the notification position determination processing, and determines the notification mode.
  • the notification form is determined based on the temporal change in the size of the attention area in the time-series images.
  • the notification position and the notification form are determined based on the temporal change in the size of the attention area.
  • the processor superimposes the first notification information and the second notification information on the image and records the image in the recording device.
  • the processor records the second notification information and/or the notification position in the recording device.
  • the processor acquires a medical image of the subject in the image acquisition process.
  • the term "medical image” refers to an image obtained as a result of photographing or measuring a living body such as a human body for the purpose of diagnosis, treatment, measurement, etc. Examples include endoscopic images, ultrasound images, CT images ( CT: Computed Tomography) and MRI images (MRI: Magnetic Resonance Imaging). Medical images are also called medical images.
  • the region of interest may be a lesion region or a lesion candidate region, an organ or vessel, a region after treatment, or an instrument such as a treatment tool.
  • an image processing system includes an image processing device according to any one of the first to fourteenth aspects, and an imaging device that captures an image. Prepare. Since the endoscope system according to the fifteenth aspect includes the image processing device according to any one of the first to fourteenth aspects, it is possible to appropriately display the recognition result of the attention area.
  • the imaging device is an endoscope.
  • an image of the interior of a tubular object can be acquired with an endoscope.
  • the endoscope is an ultrasonic endoscope.
  • an ultrasonic image of the object can be obtained with the ultrasonic endoscope.
  • An image processing system is any one of the fifteenth to seventeenth aspects, wherein the processor superimposes the image, the first notification information, and the second notification information to display the to display. According to the eighteenth aspect, the user can easily visually grasp the position information and type information of the attention area.
  • the endoscope system according to the nineteenth aspect is any one of the eighteenth aspect, further comprising a display device.
  • an image processing method is an image processing method executed by an image processing apparatus comprising a processor, the processor comprising: an image acquiring step of acquiring an image; a recognition step of recognizing an attention area from an image; a notification information determination step of determining first notification information indicating the position of the attention area in the image; and second notification information indicating the type of the attention area; and a notification position determination step of determining a notification position for notification of the second notification information in the image based on pixel values in the area surrounding the attention area in the image.
  • the image processing method according to the twentieth aspect may further execute the same processes as those of the second to fourteenth aspects.
  • an image processing program for causing an image processing apparatus having a processor to execute an image processing method, the image processing method comprising: acquiring an image; a recognition step of recognizing the attention area from the image; first notification information indicating the position of the attention area in the image; and second notification information indicating the type of the attention area. and a notification position determination step of determining a notification position for notification of the second notification information in the image based on pixel values in an area surrounding the attention area in the image.
  • the recognition result of the attention area can be appropriately notified as in the 1st and 20th aspects.
  • the image processing program according to the twenty-first aspect may be a program that further executes the same processes as those of the second to fourteenth aspects.
  • a non-transitory recording medium recording the computer-readable code of the program of these aspects can also be cited as an aspect of the present invention.
  • the image processing device As described above, according to the image processing device, the image processing system, the image processing method, and the image processing program according to the present invention, it is possible to appropriately notify the recognition result of the attention area.
  • FIG. 1 is an external view of the endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram showing the essential configuration of the ultrasonic processor.
  • FIG. 3 is a flow chart showing the procedure of the image processing method according to the first embodiment.
  • FIG. 4 is a diagram showing an example of a notification form setting screen.
  • FIG. 5 is a diagram showing a notification example (display example) of the first and second notification information.
  • FIG. 6 is a diagram showing another notification example (display example) of the first and second notification information.
  • FIG. 7 is a diagram showing still another notification example (display example) of the first and second notification information.
  • FIG. 8 is a diagram showing how the notification position of type information (second notification information) is determined according to the type of attention area.
  • FIG. 1 is an external view of the endoscope system according to the first embodiment.
  • an endoscope system 2 image processing system, endoscope system
  • an ultrasonic scope 10 endoscope, ultrasonic endoscope, imaging device
  • an ultrasonic image medical an ultrasound processor device 12 (image processing device, processor, imaging device) that generates an image)
  • an endoscope processor device 14 image processing device that generates an endoscopic image (medical image)
  • a body cavity and a monitor 18 display device for displaying an ultrasonic image and an endoscopic image.
  • the ultrasonic scope 10 includes an insertion portion 20 to be inserted into the body cavity of the subject, a hand operation portion 22 connected to the proximal end portion of the insertion portion 20 and operated by the operator, and one end of the hand operation portion 22. and a universal cord 24 to which is connected.
  • the other end of the universal cord 24 is connected to an ultrasonic connector 26 connected to the ultrasonic processor device 12 , an endoscope connector 28 connected to the endoscope processor device 14 , and the light source device 16 .
  • a light source connector 30 is provided.
  • the ultrasound scope 10 is detachably connected to the ultrasound processor device 12, the endoscope processor device 14, and the light source device 16 via these connectors. Further, the light source connector 30 is connected to an air/water supply tube 32 and a suction tube 34 .
  • the light source device 16 includes a light source for illumination (for example, a red light source, a green light source, a blue light source, and a violet light source that emit narrow band lights of red, green, blue, and violet, respectively), an aperture, a condenser lens, and a light source control.
  • a light source for illumination for example, a red light source, a green light source, a blue light source, and a violet light source that emit narrow band lights of red, green, blue, and violet, respectively
  • an aperture for example, a condenser lens, and a light source control.
  • the monitor 18 receives each video signal generated by the ultrasound processor device 12 and the endoscope processor device 14 and displays an ultrasound image and an endoscopic image.
  • the display of the ultrasonic image and the endoscopic image can be displayed on the monitor 18 by appropriately switching between the images, or both images can be displayed at the same time.
  • the hand operation unit 22 is provided with an air/water supply button 36 and a suction button 38 side by side, as well as a pair of angle knobs 42 and a treatment instrument insertion port 44 .
  • the insertion portion 20 has a distal end, a proximal end, and a longitudinal axis 20a, and includes, in order from the distal end side, a distal portion main body 50 made of a hard material, and a bending portion connected to the proximal end side of the distal portion main body 50. 52, and an elongated flexible flexible portion 54 that connects between the base end side of the bending portion 52 and the distal end side of the hand operation portion 22.
  • the distal end portion main body 50 is provided on the distal end side of the insertion portion 20 in the direction of the longitudinal axis 20a.
  • the bending portion 52 is operated to bend by rotating a pair of angle knobs 42 provided on the hand operation portion 22 . This allows the user to orient the tip body 50 in a desired direction.
  • An ultrasonic probe 62 (imaging device, imaging unit) and a bag-like balloon 64 covering the ultrasonic probe 62 are attached to the tip body 50 .
  • the balloon 64 can be inflated or deflated by being supplied with water from the water supply tank 70 or by sucking the water inside the balloon 64 with the suction pump 72 .
  • the balloon 64 is inflated until it abuts against the inner wall of the body cavity in order to prevent attenuation of ultrasonic waves and ultrasonic echoes (echo signals) during ultrasonic observation.
  • an endoscope observation section (not shown) having an objective lens, an imaging device, etc., and an observation section and an illumination section is attached to the distal end main body 50 .
  • the endoscope observation section is provided behind the ultrasonic probe 62 (on the hand operation section 22 side).
  • the endoscope system 2 can acquire (capture) an endoscopic image (optical image) and an ultrasonic image with the configuration described above. Note that the endoscope system 2 may acquire endoscopic images and ultrasonic images from the recording unit 120, a server (not shown), or a database.
  • FIG. 2 is a block diagram showing the essential configuration of the ultrasonic processor.
  • the ultrasound processor device 12 (image processing device, processor, imaging device) shown in FIG. 2 recognizes a region of interest (object) in the medical image based on the acquired time-series medical images, and displays the recognition result. It is a device for displaying (notifying) on the device, and includes a transmission/reception unit 100 (processor, image acquisition unit), an image generation unit 102 (processor, image acquisition unit), a CPU 104 (processor, CPU: Central Processing Unit), and an attention area recognition unit 106 (processor, recognition unit), recording control unit 108 (processor, recording control unit), communication control unit 110 (processor), display control unit 112 (processor, display control unit), memory 118 (memory), recording unit 120 (recording device, memory).
  • the processing of each of these units is implemented by one or more processors, as will be described later.
  • the CPU 104 operates based on various programs, including the image processing program according to the present invention, stored in the memory 118 or the recording unit 120, and controls the attention area recognition unit 106, the recording control unit 108, the communication control unit 110, and the display control unit. It controls the unit 112, the notification information determination unit 114, and the notification position determination unit 116, and functions as a part of these units.
  • the memory 118 is a non-temporary recording medium such as a ROM (ROM: Read Only Memory) in which the image processing program according to the present invention is recorded, and a RAM (RAM: Random Access Memory) that is used as a temporary storage area. including temporary storage media for
  • the transmission/reception unit 100 and the image generation unit 102 functioning as an image acquisition unit acquire time-series medical images (image acquisition processing, image acquisition step).
  • a transmission unit of the transmission/reception unit 100 generates a plurality of drive signals to be applied to a plurality of ultrasonic transducers of the ultrasonic probe 62 of the ultrasonic scope 10, and outputs them according to a transmission delay pattern selected by a scanning control unit (not shown).
  • a plurality of drive signals are applied to the plurality of ultrasonic transducers by giving respective delay times to the plurality of drive signals.
  • the receiving unit of the transmitting/receiving unit 100 amplifies a plurality of detection signals respectively output from the plurality of ultrasonic transducers of the ultrasonic probe 62, converts the analog detection signals into digital detection signals (also known as RF (Radio Frequency) data ). This RF data is input to the image generator 102 .
  • RF Radio Frequency
  • the image generation unit 102 Based on the reception delay pattern selected by the scanning control unit, the image generation unit 102 gives respective delay times to the plurality of detection signals represented by the RF data, and adds the detection signals to obtain a reception focus. process.
  • This reception focusing process forms sound ray data in which the focus of the ultrasonic echo is narrowed down.
  • the image generation unit 102 performs envelope detection processing on the sound ray data using a low-pass filter or the like after correcting the attenuation due to the distance according to the depth of the reflection position of the ultrasonic wave by STC (Sensitivity Time Control).
  • Envelope data for one frame, preferably for a plurality of frames, is stored in a cine memory (not shown).
  • the image generation unit 102 performs preprocessing such as log (logarithmic) compression and gain adjustment on the envelope data stored in the cine memory to generate a B-mode image.
  • the transmitting/receiving unit 100 and the image generating unit 102 acquire time-series B-mode images (hereinafter referred to as "medical images").
  • the region-of-interest recognition unit 106 performs processing (detection processing/detection step, recognition processing/recognition step) for recognizing information about the position of a region of interest in the medical image based on the medical image, and recognizes a plurality of regions of interest based on the medical image.
  • Classification process classification process/classification process, recognition process/recognition process
  • CNN Convolutional Neural Network
  • SVM Serial Vector Machine
  • U-net a kind of FCN (Fully Convolution Network)
  • FCN Frully Convolution Network
  • a region of interest in this embodiment is, for example, an organ or blood vessel in a medical image (a tomographic image of a B-mode image), such as the pancreas, main pancreatic duct, spleen, splenic vein, splenic artery, gallbladder, and the like.
  • a CNN includes an input layer, an intermediate layer, and an output layer.
  • the input layer receives the medical image generated by the image generation unit 102 and outputs the feature amount.
  • the intermediate layer includes a convolutional layer and a pooling layer, and receives feature values output from the input layer to calculate other feature values.
  • These layers have a structure in which a plurality of "nodes” are connected by "edges” and hold a plurality of weight parameters. The value of the weight parameter changes as learning progresses.
  • the output layer recognizes a region of interest appearing in the input medical image based on the feature amount output from the intermediate layer, and outputs the result.
  • the attention area recognizing unit 106 recognizes (detects) the position of the attention area for each input medical image, and information indicating the position (position information, first notification information), recognizes (classifies) to which class (type) the attention area belongs to among a plurality of classes, and outputs information (class information, type information, class information) indicating the recognized class (type). 2 notification information) is output. Further, the attention area recognition unit 106 can output information (probability information) indicating the likelihood of recognition of the attention area in these recognitions.
  • the region-of-interest recognition unit 106 can calculate such probabilities, for example, based on the output of the output layer of the CNN.
  • the display control unit 112 causes the monitor 18 (display device) to display time-series medical images (endoscopic images, ultrasound images) acquired by the transmission/reception unit 100 and the image generation unit 102 . In this example, a moving image showing an ultrasonic tomographic image is displayed on the monitor 18 .
  • the display control unit 112 also causes the monitor 18 to display the attention area in the medical image in the position, type, form, etc. determined by the notification information determination unit 114, the notification position determination unit 116, and the notification form determination unit 117, respectively.
  • the notification information determination unit 114 determines notification information (first notification information, second notification information) related to the attention area, and the notification position determination unit 116 (processor, notification position determination unit) The notification position of the second notification information is determined, and the notification form determination section 117 (processor, notification form determination section) determines the notification form of the second notification information.
  • the functions of the ultrasound processor device 12 described above can be realized using various processors and recording media.
  • Various processors include, for example, a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) to realize various functions.
  • the above-mentioned various processors include GPUs (Graphics Processing Units), which are processors specialized for image processing, and FPGAs (Field Programmable Gate Arrays), which are processors whose circuit configuration can be changed after manufacturing.
  • Programmable logic devices Programmable Logic Device (PLD) is also included.
  • a configuration using a GPU is effective.
  • a dedicated electric circuit such as an ASIC (Application Specific Integrated Circuit), which is a processor having a circuit configuration specially designed for executing specific processing, is also included in the above-mentioned "various processors.”
  • each unit may be implemented by a single processor, or may be implemented by multiple processors of the same or different types (for example, multiple FPGAs, combinations of CPUs and FPGAs, or combinations of CPUs and GPUs).
  • a plurality of functions may be realized by one processor.
  • configuring a plurality of functions in one processor first, as represented by a computer, one processor is configured by a combination of one or more CPUs and software, and this processor has a plurality of functions. There is a form of realization. Secondly, there is a form of using a processor that realizes the functions of the entire system with one IC (Integrated Circuit) chip, as typified by System On Chip (SoC).
  • SoC System On Chip
  • various functions are configured using one or more of the various processors described above as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • These electrical circuits may be electrical circuits that implement the above-described functions using logical sums, logical products, logical negations, exclusive logical sums, and logical operations in which these are combined.
  • the processor or electric circuit described above executes software (program)
  • the computer of the software to be executed reads
  • a possible code is stored in a non-transitory recording medium such as ROM (ROM: Read Only Memory), and the computer refers to the software.
  • the software stored in the non-temporary recording medium includes an image processing program for executing the image processing method according to the present invention and data used for execution (data used for setting display mode and notification mode, attention area recognition weighting parameters used in section 106, etc.). Codes may be recorded in non-temporary recording media such as various magneto-optical recording devices and semiconductor memories instead of ROM.
  • RAM Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the recording unit 120 records ultrasound images, endoscopic images (medical images), detection results of attention areas, processing conditions (conditions for detection and notification), and the like. Other information may be recorded together.
  • the communication control unit 110 controls the acquisition of medical images and the like from other medical imaging devices connected to the endoscope system 2, an external server, or a database.
  • the recording control unit 108 controls recording to the recording unit 120 . Recording control includes recording notification information (first notification information, second notification information), notification position, notification form, an image in which notification information is superimposed on an ultrasonic image or an endoscopic image, and the like.
  • FIG. 3 is a flow chart showing the procedure of the image processing method according to the first embodiment. It should be noted that the order of the procedures described below may be changed as necessary.
  • the display control unit 112 (processor) operates based on a user's operation via an operation unit (keyboard, mouse, touch panel, microphone, etc.) (not shown) and/or preset processing conditions (for example, default processing conditions). to set the conditions necessary for executing the image processing method/image processing program (step S100: processing condition setting step).
  • the display control unit 112 sets, for example, the display mode of position information and type information (types of characters and symbols, color, etc.), presence/absence of lead lines for type information, presence/absence of tile division, time average frame number of pixel values, and the like. do. For example, on a screen such as that shown in FIG.
  • processing conditions can be set.
  • the display control unit 112 can display such a screen on a display device such as the monitor 18 or the like. This setting includes, for example, what graphics or characters (type, color, etc.) are used to display the position information and type information. Note that the display control unit 112 may set the processing conditions not only at the start of processing but also during execution of the following steps.
  • the transmission/reception unit 100 and the image generation unit 102 acquire time-series ultrasound images (medical images) (step S110: image acquisition processing, image acquisition step), and the display control unit 112 displays the acquired ultrasound images on the monitor 18. (Step S120: display control process, display control process).
  • the attention area recognition unit 106 recognizes the position and type of the attention area in the ultrasound image (step S130: recognition processing, recognition step).
  • the region-of-interest recognition unit 106 regards, for example, the center position of a rectangle, circle, or ellipse (which can be set in the “display format of position information” area in FIG. 4) surrounding the region of interest as “the position of the region of interest”.
  • first notification information information indicating the position thereof (coordinates in the image, etc.)
  • second notification information information indicating the type of attention area such as an organ or a blood vessel
  • first notification information may be referred to as “position information”
  • second notification information may be referred to as "type information”.
  • step S150 notification information determination process/notification information determination process, notification position determination process/announced position determination process.
  • the notification information determining unit 114 determines first notification information indicating the position of the attention area in the ultrasound image (medical image) and second notification information indicating the type of the attention area (step S150: notification information determination process, notification information determination process).
  • the notification information determination unit 114 defines the center of gravity of the pixel recognized as the "area of interest" by the area-of-interest recognition unit 106, or the minimum/maximum values of the X and Y coordinates, as "position (information indicating) of the area of interest”. can do.
  • the notification information determination unit 114 uses the results of classification of the attention area by the attention area recognition unit 106 (names of organs and vessels (pancreas, splenic vein, portal vein, etc.), lesion areas, post-treatment areas, etc.) can be used as the “type of region of interest”.
  • the notification position determination unit 116 determines the notification position for notifying the type information (second notification information) of the attention area in the image based on the pixel values in the area surrounding the attention area in the ultrasonic image (medical image). (reported position determination process, reported position determination step).
  • the notification position determining unit 116 can determine, for example, the center of gravity of an area with a pixel value equal to or greater than a threshold or the center of gravity of an area with a pixel value less than a threshold as the "type information notification position.” Note that the notification position determination unit 116 may determine a position other than the center of gravity as the notification position, or may notify the type information of a certain attention area outside the attention area (described later with reference to FIGS. 5 to 8). (see display example). Also, the "area surrounding the attention area” may be of any shape such as a rectangle, polygon, circle, or ellipse (illustrated as "positional information display format" in the example of FIG. 4).
  • the notification position determination unit 116 may determine the notification position of the type information based on the type of the attention area. For example, when the region of interest is the pancreas, the notification position determining unit 116 determines the notification position while avoiding regions with low echo values (pixel values) such as the vascular system. A region of low values can be searched to determine the reported location.
  • pixel values regions with low echo values
  • the notification position determination unit 116 may calculate probability information indicating the likelihood of recognition of the attention area, and determine the notification position based on the pixel value and the probability information.
  • the notification position determining unit 116 can determine, as the notification position, the center of gravity of a pixel whose pixel value such as an echo value is equal to or greater than a reference value and whose probability of belonging to a particular type of attention area is equal to or greater than the reference value.
  • the attention area recognition unit 106 can calculate the probability information based on the output of the output layer of the CNN, for example.
  • the notification form determination unit 117 determines the notification form of the type information (second notification information) (report form determination process, notification form determination step).
  • the "notification form” is, for example, whether to use characters, figures, or symbols for notification, what color to use, and whether to superimpose display.
  • the notification mode can be determined based on the user's operation.
  • the notification information determination unit 114, the notification position determination unit 116, and the notification form determination unit 117 determine various conditions (pixel value, area of interest, etc.) in time-series images acquired in the image acquisition process (image acquisition step). (magnitude, probability information, etc.) may be processed or notified based on time change.
  • the notification information determination unit 114 and the notification position determination unit 116 can determine notification information (first notification information, second notification information) and notification positions, respectively, based on temporal changes in pixel values.
  • the notification position determination unit 116 and the notification form determination unit 117 can determine the notification position and the notification form, respectively, based on the temporal change in the size of the region of interest in the ultrasound image.
  • the reference value for taking temporal change into consideration may be a time-series difference or amount of change in pixel values, or may be based on the invariance of a shape obtained from a recognition score or the like.
  • the reported position determining unit 116 may determine the reported position based on the time change of the probability information.
  • “based on time change” means that the notification information determination unit 114, the notification position determination unit 116, and the notification form determination unit 117 determine the average value or maximum value of various conditions in a determined period (number of frames), for example. , including considering the minimum value.
  • the notification information determination unit 114, the notification position determination unit 116, and the notification mode determination unit 117 determine whether or not the frames in which the values of various conditions are equal to or greater than the threshold continue for a predetermined period (the number of frames) or longer. can also be considered.
  • the period (number of frames) for which temporal change is considered can be set via a screen such as that shown in FIG. 4, for example.
  • the display control unit 112 determines the notification form of the first notification information and the second notification information based on the conditions set in step S100, and displays the first notification information and the second notification information on the ultrasonic image.
  • the notification information is superimposed and displayed on the monitor 18 (display device) (step S160: display control process, display control process).
  • the recording control unit 108 superimposes the first notification information and the second notification information on the ultrasonic image and records it in the recording unit 120 (recording device) (step S160: recording control processing, recording control process).
  • the recording control unit 108 records the type information (second notification information) and/or the notification position of the type information in the recording unit 120 (step S170: recording control processing, recording control step). Note that the processing from steps S110 to S170 is performed until YES is determined in step S180 (for example, when the user performs an operation to end imaging or when processing for all recorded images is completed), this determination is performed. YES) is repeated.
  • FIG. 5 is a diagram showing a notification example (display example) of the first and second notification information.
  • an ultrasound image 502 is displayed on the screen 500 of the monitor 18, and the display control unit 112 controls the rectangle 520 (bounding box, first notification information) indicating the position of the attention area 510 and the attention area.
  • a graphic 530 (second notification information) indicating the type of the region 510 is superimposed on the ultrasonic image 502 .
  • the location of the region of interest 510 is the center of the rectangle 520, and the type of the region of interest 510 is indicated by a graphic 530 using the initial letter "P" for pancreas.
  • the notification position of the graphic 530 (second notification information), that is, the notification position of the type of the attention area 510 is the area (in dark gray shown). According to such an aspect, the user can confirm the type information without significantly moving the line of sight from the attention area.
  • the notification position of the type of attention area may be determined using the pixel values in the area surrounding the attention area and the setting information of the imaging device.
  • the setting information of the imaging device includes the measurement mode (B mode, M mode, etc.) of the ultrasonic scope 10, the irradiation mode of the light source of the endoscope, the magnification, and the like.
  • the notification position of the type of region of interest is determined based on the setting information of the imaging device. can decide.
  • the notification position of the type of the attention area based on the pixel values in the area surrounding the attention area and the setting information of the imaging device, even if the brightness and contrast change significantly due to the settings of the imaging device, the user can visually recognize the type information.
  • the setting information of the monitor 18 may be used to determine the notification position of the attention area type.
  • FIG. 6 is a diagram showing another notification example (display example) of the first and second notification information.
  • the display control unit 112 superimposes a symbol 532 on the center of gravity of the area shown in dark gray, and displays type information (second notification information) on the other end of the lead line with the symbol 532 as one end. characters 534 (Pancreas) are superimposed. By displaying the characters 534 outside the attention area 510, it is possible to prevent the attention area 510 from being hidden.
  • the notification position determination unit 116 specifies the observation area or the non-observation area from the pixel value, and determines the position to notify the recognition result. At this time, the notification position determination unit 116 may use the pixel values as they are, or divide the area surrounding the attention area into a plurality of areas as shown in FIG. A notification position may be determined.
  • the notification position determination unit 116 may set a reference value of pixel values for specifying an observation area or a non-observation area according to user's operation. Further, for example, the notification position determination unit 116 sets a reference value for pixel values according to a user's operation, and determines the notification position of the type of the attention area in an area that is equal to or greater than the set reference value in the area surrounding the attention area. may be determined. Further, the notification position determining unit 116 may determine the notification position of the type of the attention area based on the pixel values in the area surrounding the attention area and the detected attention area type.
  • a reference range of pixel values may be set in advance for each type of region of interest, and the notification position of the type of region of interest may be determined within the region where the pixel values are within the reference range within the region surrounding the region of interest. . Accordingly, it is possible to perform notification at an appropriate notification position according to the type of attention area.
  • the notification position determination unit 116 may set a reference value in advance for each pixel color, and determine the notification position for the type of attention area based on the reference value for a specific color.
  • FIG. 7 is a diagram showing still another notification example (display example) of the first and second notification information.
  • the notification position determination unit 116 divides the area of the rectangle 520 into 6 and 4 in the horizontal direction and vertical direction of the figure, respectively, and divides the region into 6 and 4, respectively. is determined as the position of the type information.
  • the display control unit 112 superimposes characters 534 (Pancreas) indicating type information (second notification information) on the other end of the lead line having the symbol 532 as one end.
  • the notification information determination unit 114, the notification position determination unit 116, and the notification form determination unit 117 determine the shape of the rectangle 520 as shown in FIG. A division pattern can be set.
  • FIG. 8 is a diagram showing how the notification position of type information (second notification information) is determined according to the type of attention area.
  • an ultrasound image 502 shows a region of interest 510 (pancreas) and a region of interest 512 (splenic vein).
  • a character 536 (“Panc.”, which is an abbreviation of “Pancreas”) indicating the type is notified.
  • the character 536 is superimposed on the center (center of gravity) of the attention area 510 and notified.
  • the region of interest 512 is notified by a rectangle 524 (bounding box, first notification information) indicating the position and characters 540 (“SV”, which is an abbreviation of “splenic vein”) indicating the type.
  • SV which is an abbreviation of “splenic vein”
  • the character 540 is not superimposed on the attention area 512, but is displayed on the other end of the leader line having the symbol 538 superimposed on the center (center of gravity) of the attention area 512 as one end.
  • the area 512 is not hidden.
  • the endoscope system 2 can notify the type information (second notification information) at an appropriate notification position based on the type of the attention area.
  • the endoscope system 2 As described above, according to the endoscope system 2 according to the first embodiment, it is possible to appropriately notify the recognition result of the attention area.
  • the endoscope processor device 14 (image processing device, processor) of the endoscope system 2 described above uses the ultrasonic waves in the first embodiment. It is possible to perform processing similar to that of the processor device 12 for the original.
  • a plurality of image signals such as red, green, and blue are used to determine and notify the notification information, the notification position, and the notification form.
  • the normal part of the inner wall of the lumen may be reddish, and the lesion part (region of interest) may be blackish. (or smaller) so that the notification can be given to the portion of the specific color, or the notification can be given while avoiding the area of the specific color.
  • the image processing apparatus, image processing system, image processing method, and image processing program of the present invention can also be applied to images other than medical images.
  • the present invention can also be applied to images acquired by industrial endoscopes for inspecting damage, deformation, etc. inside tubular structures such as pipes.
  • the present invention can also be applied to inspect damage, deformation, and the like of buildings such as bridges, roads, tunnels, and the like from captured images. In these cases, the type of damage or deformation can be considered as "type information".
  • the present invention when recognizing and notifying the position and type of a subject (road, person, car, building, etc.) in an image captured by an in-vehicle camera or a surveillance camera, the present invention can be used, for example, to avoid a person's face and recognize the type information ( In this case, the subject is a person) can be applied to superimposed display.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本発明は、注目領域の認識結果を適切に報知することができる画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。本発明の一の態様に係る画像処理装置は、プロセッサを備える画像処理装置であって、プロセッサは、画像を取得する画像取得処理と、画像から注目領域を認識する認識処理と、画像における注目領域の位置を示す第１の報知情報と、注目領域の種類を示す第２の報知情報と、を決定する報知情報決定処理と、画像における注目領域を囲む領域内の画素値に基づいて、画像において第２の報知情報を報知する報知位置を決定する報知位置決定処理と、を実行する。

Description

画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
　本発明は画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムに関し、特に注目領域の認識結果を報知する技術に関する。
　ユーザが画像の観察や診断を行う際の支援として、注目領域の認識結果を報知することが知られている。例えば、特許文献１には、画像において認識した注目領域に対しバウンディングボックスやアイコンにより報知を行うことが記載されている。また、特許文献２にも、バウンディングボックスを重畳表示することが記載されている。
ＷＯ１８／２２１０３３号公報 特開２０２０－１４６２０２号公報
　認識結果の報知は観察や診断への活用が期待される一方、報知方法によっては、むしろユーザが観察や診断を行う際の妨げになるおそれがある。このため、認識結果の報知は適切な位置や内容で行うことが好ましい。しかしながら、上述した特許文献１，２のような従来の技術はこのような事情を十分考慮したものではなかった。
　本発明はこのような事情に鑑みてなされたもので、注目領域の認識結果を適切に報知することができる画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、プロセッサを備える画像処理装置であって、プロセッサは、画像を取得する画像取得処理と、画像から注目領域を認識する認識処理と、画像における注目領域の位置を示す第１の報知情報と、注目領域の種類を示す第２の報知情報と、を決定する報知情報決定処理と、画像における注目領域を囲む領域内の画素値に基づいて、画像において第２の報知情報を報知する報知位置を決定する報知位置決定処理と、を実行する。
　一般的に、認識結果をユーザに報知する際には、認識対象（注目領域）全体を任意の色で塗りつぶす方法や、認識対象全体を矩形や円形で囲むことが検討されている。同時に、何を認識したのかについてもユーザに知らせるために、テキストやアイコンで報知することも検討されている。しかしながら、このような報知を行う場合、認識対象が多くなるほど報知量が多くなりユーザの理解を阻害するおそれがある。また、高度な観察が必要な場合は、報知に用いる情報（上述した矩形や円形、テキストやアイコン等）を観察への影響が少ない領域に報知することが好ましい。
　このような事情を考慮し、第１の態様に係る画像処理装置では、画像における注目領域を囲む領域内の画素値に基づいて、注目領域の認識結果を適切な報知位置（例えば、ユーザの理解を阻害せず、観察への影響が少ない報知位置）に報知することができる。なお、「画素値に基づいて」とは、画素値をそのまま用いてもよいし、複数の画素値を統計処理（決められた領域内での最大、最小、平均等）した値でもよい。
　第１の態様において、なお、「注目領域（ＲＯＩ：Region of Interest）」とは、画像に写った特定の種類の被写体や、被写体において特定の特徴を有する領域をいい、何を注目領域とするかが画像の種類や画像の使用目的によって異なっていてもよい。注目領域は関心領域ともいう。
　「注目領域を囲む領域」は、矩形等多角形の領域や、円形あるいは楕円形等の領域でよい。また、注目領域の認識は、例えば、深層学習等の機械学習により構成された検出器を用いて行うことができる。
　なお、第１の態様に係る画像処理装置は、例えば画像処理システムのプロセッサ部分として実現することができるが、このような態様に限定されるものではない。
　第２の態様に係る画像処理装置は第１の態様において、プロセッサは、報知位置決定処理において、注目領域の種類に基づいて報知位置を決定する。適切な報知位置は注目領域の種類によって異なる場合があるため、第２の態様では、注目領域の種類に基づいて報知位置を決定する。
　第３の態様に係る画像処理装置は第１または第２の態様において、プロセッサは、報知位置決定処理において、注目領域の重心を報知位置として決定する。
　第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、プロセッサは、認識処理において注目領域の認識の確からしさを示す確率情報を算出し、報知位置決定処理において、画素値及び確率情報に基づいて報知位置を決定する。第４の態様において、注目領域の認識の確からしさが特定の範囲（例えば、しきい値以上）である領域において報知位置を決定することができる。また、確率情報は、例えば深層学習等の機械学習により構成された認識器により算出することができる。
　第５の態様に係る画像処理装置は第４の態様において、プロセッサは、画像取得処理において時系列の画像を取得し、報知位置決定処理において、時系列の画像における確率情報の時間変化に基づいて報知位置を決定する。確率情報（注目領域の認識の確からしさ）は、環境光の変化、観察位置や方向の変化、注目領域自体の移動や変形等により変化しうるが、第５の態様によれば、確率情報の時間変化に応じて適切な報知位置を決定することができる。
　なお、第５の態様及び後述する他の態様において、「時系列の画像の取得」は決められたフレームレートで撮像された複数の画像を取得することを含む。取得はリアルタイムでもよいし、リアルタイムでなくてもよい。例えば、あらかじめ撮像され記録された画像を取得してもよい。
　第６の態様に係る画像処理装置は第１から第4の態様のいずれか１つにおいて、プロセッサは、画像取得処理において時系列の画像を取得し、報知位置決定処理において、時系列の画像における画素値の時間変化に基づいて報知位置を決定する。
　第７の態様に係る画像処理装置は第5の態様において、プロセッサは、報知位置決定処理において、時系列の画像における画素値の時間変化に基づいて報知位置を決定する。
　第８の態様に係る画像処理装置は第１から第7の態様のいずれか１つにおいて、プロセッサは、第２の報知情報の報知形態を決定する報知形態決定処理をさらに実行する。報知形態とは、例えば文字、図形、記号のいずれを用いて報知するか、色彩はどうするか、重畳表示するかどうか、等である。
　第９の態様に係る画像処理装置は第８の態様において、プロセッサは、画像取得処理において時系列の画像を取得し、報知形態決定処理において、時系列の画像における画素値の時間変化に基づいて報知形態を決定する。
　第１０の態様に係る画像処理装置は第8の態様において、プロセッサは、画像取得処理において時系列の画像を取得し、報知位置決定処理において、時系列の画像における注目領域の大きさの時間変化に基づいて報知位置を決定し、報知形態決定処理において、時系列の画像における注目領域の大きさの時間変化に基づいて報知形態を決定する。画像における注目領域の大きさは観察位置や方向の変化、また注目領域自体の変形等により変化する可能性があり、大きさが変化すれば、第２の報知情報（種類情報）の適切な報知位置や報知形態も変わる可能性がある。そこで第１０の態様では、注目領域の大きさの時間変化に基づいて報知位置及び報知形態を決定する。
　第１１の態様に係る画像処理装置は第９の態様において、プロセッサは、報知位置決定処理において、時系列の画像における注目領域の大きさの時間変化に基づいて報知位置を決定し、報知形態決定処理において、時系列の画像における注目領域の大きさの時間変化に基づいて報知形態を決定する。第１１の態様では、第１０の態様と同様に注目領域の大きさの時間変化に基づいて報知位置及び報知形態を決定する。
　第１２の態様に係る画像処理装置は第１から第１１の態様のいずれか１つにおいて、プロセッサは、画像に第１の報知情報及び第２の報知情報を重畳して記録装置に記録する。
　第１３の態様に係る画像処理装置は第１から第１２の態様のいずれか１つにおいて、プロセッサは、第２の報知情報及び／または報知位置を記録装置に記録する。
　第１４の態様に係る画像処理装置は第１から第１３の態様のいずれか１つにおいて、プロセッサは、画像取得処理において被検体の医療画像を取得する。本発明において「医療画像」とは診断、治療、計測等を目的として人体等の生体を撮影あるいは計測等した結果として得られた画像をいい、例えば内視鏡画像、超音波画像、ＣＴ画像（ＣＴ：Computed Tomography）、ＭＲＩ画像（ＭＲＩ：Magnetic Resonance Imaging）を挙げることができる。医療画像は医用画像ともいう。また、医療画像の場合、注目領域は病変領域または病変候補領域、臓器や脈管、処置後の領域、処置具等の器具であってよい。
　上述した目的を達成するため、本発明の第１５の態様に係る画像処理システムは、第１から第１４の態様のいずれか１つに係る画像処理装置と、画像を撮像する撮像装置と、を備える。第１５の態様に係る内視鏡システムは、第１から第１４の態様のいずれか１つに記載の画像処理装置を備えるので、注目領域の認識結果を適切に表示することができる。
　第１６の態様に係る画像処理システムは第１５の態様において、撮像装置は内視鏡スコープである。第１６の態様によれば、内視鏡スコープにより管腔状の対象物の内部の画像を取得することができる。
　第１７の態様に係る画像処理システムは第１６の態様において、内視鏡スコープは超音波内視鏡スコープである。第１７の態様によれば、超音波内視鏡スコープにより対象物の超音波画像を取得することができる。
　第１８の態様に係る画像処理システムは第１５から第１７の態様のいずれか１つにおいて、プロセッサは、画像と、第１の報知情報と、第２の報知情報と、を重畳して表示装置に表示させる。第１８の態様によれば、ユーザは注目領域の位置情報及び種類情報を視覚により容易に把握することができる。
　第１９の態様に係る内視鏡システムは第１８の態様のいずれか１つにおいて、表示装置をさらに備える。
　上述した目的を達成するため、本発明の第２０の態様に係る画像処理方法は、プロセッサを備える画像処理装置により実行される画像処理方法であって、プロセッサは、画像を取得する画像取得工程と、画像から注目領域を認識する認識工程と、画像における注目領域の位置を示す第１の報知情報と、注目領域の種類を示す第２の報知情報と、を決定する報知情報決定工程と、画像における注目領域を囲む領域内の画素値に基づいて、画像において第２の報知情報を報知する報知位置を決定する報知位置決定工程と、を実行させる。
　第２０の態様によれば、第１の態様と同様に注目領域の認識結果を適切に報知することができる。なお、第２０の態様に係る画像処理方法は、第２から第１４の態様と同様の処理をさらに実行するものでもよい。
　上述した目的を達成するため、本発明の第２１の態様に係る画像処理プログラムは、プロセッサを備える画像処理装置に画像処理方法を実行させる画像処理プログラムであって、画像処理方法は、画像を取得する画像取得工程と、画像から注目領域を認識する認識工程と、画像における注目領域の位置を示す第１の報知情報と、注目領域の種類を示す第２の報知情報と、を決定する報知情報決定工程と、画像における注目領域を囲む領域内の画素値に基づいて、画像において第２の報知情報を報知する報知位置を決定する報知位置決定工程と、を含む。
　第２１の態様によれば、第１，第２０の態様と同様に注目領域の認識結果を適切に報知することができる。なお、第２１の態様に係る画像処理プログラムは、第２から第１４の態様と同様の処理をさらに実行させるプログラムでもよい。なお、これら態様のプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
　以上説明したように、本発明に係る画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムによれば、注目領域の認識結果を適切に報知することができる。
図１は、第１の実施形態に係る内視鏡システムの外観図である。 図２は、超音波用プロセッサ装置の要部構成を示すブロック図である。 図３は、第１の実施形態に係る画像処理方法の手順を示すフローチャートである。 図４は、報知形態の設定画面の例を示す図である。 図５は、第１，第２の報知情報の報知例（表示例）を示す図である。 図６は、第１，第２の報知情報の他の報知例（表示例）を示す図である。 図７は、第１，第２の報知情報のさらに他の報知例（表示例）を示す図である。 図８は、注目領域の種類に応じて種類情報（第２の報知情報）の報知位置を決定した様子を示す図である。
　以下、添付図面を参照しつつ、本発明に係る画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムの実施形態について詳細に説明する。
　［第１の実施形態］
　［画像処理装置を含む内視鏡システムの全体構成］
　図１は、第１の実施形態に係る内視鏡システムの外観図である。図１に示すように、内視鏡システム２（画像処理システム、内視鏡システム）は超音波スコープ１０（内視鏡スコープ、超音波内視鏡スコープ、撮像装置）と、超音波画像（医療画像）を生成する超音波用プロセッサ装置１２（画像処理装置、プロセッサ、撮像装置）と、内視鏡画像（医療画像）を生成する内視鏡用プロセッサ装置１４（画像処理装置）と、体腔内を照明するための照明光（観察光）を超音波スコープ１０に供給する光源装置１６と、超音波画像及び内視鏡画像を表示するモニタ１８（表示装置）と、を備えている。
　超音波スコープ１０は、被検体の体腔内に挿入される挿入部２０と、挿入部２０の基端部に連設され、術者が操作を行う手元操作部２２と、手元操作部２２に一端が接続されたユニバーサルコード２４と、を備えている。ユニバーサルコード２４の他端には、超音波用プロセッサ装置１２に接続される超音波用コネクタ２６と、内視鏡用プロセッサ装置１４に接続される内視鏡用コネクタ２８と、光源装置１６に接続される光源用コネクタ３０とが設けられている。
　超音波スコープ１０は、これらのコネクタを介して超音波用プロセッサ装置１２、内視鏡用プロセッサ装置１４、及び光源装置１６に着脱自在に接続される。また、光源用コネクタ３０には、送気送水用のチューブ３２及び吸引用のチューブ３４が接続される。
　光源装置１６は、照明用の光源（例えば、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源、緑色光源、青色光源、及び紫色光源）、絞り、集光レンズ、及び光源制御部等から構成されており、これら光源により通常光（白色光）、特殊光（狭帯域光等）、及びそれらの組合せを観察光とすることができる。
　モニタ１８は、超音波用プロセッサ装置１２及び内視鏡用プロセッサ装置１４により生成された各映像信号を受信して超音波画像及び内視鏡画像を表示する。超音波画像及び内視鏡画像の表示は、いずれか一方のみの画像を適宜切り替えてモニタ１８に表示することもできるし、両方の画像を同時に表示することもできる。
　手元操作部２２には、送気送水ボタン３６及び吸引ボタン３８が並設されるとともに、一対のアングルノブ４２及び処置具挿入口４４が設けられている。
　挿入部２０は、先端と基端と長手軸２０ａとを有し、先端側から順に、硬質部材で構成される先端部本体５０と、先端部本体５０の基端側に連設された湾曲部５２と、湾曲部５２の基端側と手元操作部２２の先端側との間を連結し、細長かつ長尺の可撓性を有する軟性部５４とから構成されている。即ち、先端部本体５０は、挿入部２０の長手軸２０ａ方向の先端側に設けられている。また、湾曲部５２は、手元操作部２２に設けられた一対のアングルノブ４２を回動することによって湾曲操作される。これにより、ユーザは先端部本体５０を所望の方向に向けることができる。
　先端部本体５０には、超音波探触子６２（撮像装置、撮像部）と、超音波探触子６２を覆い包む袋状のバルーン６４が装着されている。バルーン６４は、送水タンク７０から水が供給され、または吸引ポンプ７２によりバルーン６４内の水が吸引されることで、膨張又は収縮することができる。バルーン６４は、超音波観察時に超音波及び超音波エコー（エコー信号）の減衰を防ぐために、体腔内壁に当接するまで膨張させられる。
　また、先端部本体５０には、対物レンズ及び撮像素子等を備え観察部と照明部とを有する、図示せぬ内視鏡観察部が装着されている。内視鏡観察部は、超音波探触子６２の後方（手元操作部２２側）に設けられている。
　内視鏡システム２は、上述した構成により内視鏡画像（光学的画像）及び超音波画像を取得する（撮像する）ことができる。なお、内視鏡システム２は、記録部１２０や図示せぬサーバあるいはデータベースから内視鏡画像や超音波画像を取得してもよい。
　［画像処理装置］
　図２は、超音波用プロセッサ装置の要部構成を示すブロック図である。
　図２に示す超音波用プロセッサ装置１２（画像処理装置、プロセッサ、撮像装置）は、取得した時系列の医療画像に基づいて医療画像内の注目領域（対象物）を認識し、認識結果を表示装置に表示（報知）させる装置であり、送受信部１００（プロセッサ、画像取得部）、画像生成部１０２（プロセッサ、画像取得部）、ＣＰＵ１０４（プロセッサ、ＣＰＵ：Central Processing Unit）、注目領域認識部１０６（プロセッサ、認識部）、記録制御部１０８（プロセッサ、記録制御部）、通信制御部１１０（プロセッサ）、表示制御部１１２（プロセッサ、表示制御部）、メモリ１１８（メモリ）、記録部１２０（記録装置、メモリ）から構成される。これら各部の処理は、後述するように、１または複数のプロセッサにより実現される。
　ＣＰＵ１０４は、メモリ１１８あるいは記録部１２０に記憶された、本発明に係る画像処理プログラムを含む各種のプログラムに基づいて動作し、注目領域認識部１０６、記録制御部１０８、通信制御部１１０、表示制御部１１２、報知情報決定部１１４、及び報知位置決定部１１６を統括制御し、また、これら各部の一部として機能する。メモリ１１８は、本発明に係る画像処理プログラム等が記録されるＲＯＭ（ＲＯＭ：Read Only Memory）等の非一時的記録媒体、及び一時的記憶領域として使用されるＲＡＭ（ＲＡＭ：Random Access Memory）等の一時的記録媒体を含む。
　画像取得部として機能する送受信部１００及び画像生成部１０２は、時系列の医療画像を取得する（画像取得処理、画像取得工程）。
　送受信部１００の送信部は、超音波スコープ１０の超音波探触子６２の複数の超音波トランスデューサに印加する複数の駆動信号を生成し、図示せぬ走査制御部によって選択された送信遅延パターンに基づいて複数の駆動信号にそれぞれの遅延時間を与えて複数の駆動信号を複数の超音波トランスデューサに印加する。
　送受信部１００の受信部は、超音波探触子６２の複数の超音波トランスデューサからそれぞれ出力される複数の検出信号を増幅し、アナログの検出信号をディジタルの検出信号（ＲＦ（Radio Frequency）データともいう）に変換する。このＲＦデータは、画像生成部１０２に入力される。
　画像生成部１０２は、走査制御部により選択された受信遅延パターンに基づいて、ＲＦデータにより表される複数の検出信号にそれぞれの遅延時間を与え、それらの検出信号を加算することにより、受信フォーカス処理を行う。この受信フォーカス処理によって、超音波エコーの焦点が絞り込まれた音線データを形成する。
　画像生成部１０２は、音線データに対して、ＳＴＣ（Sensitivity Time Control）によって超音波の反射位置の深度に応じて距離による減衰の補正をした後、ローパスフィルタ等によって包絡線検波処理を施すことにより包絡線データを生成し、１フレーム分、より好ましくは複数フレーム分の包絡線データを、図示せぬシネメモリに格納する。画像生成部１０２は、シネメモリに格納された包絡線データに対して、Ｌｏｇ（対数）圧縮やゲイン調整等のプリプロセス処理を施してＢモード画像を生成する。
　このようにして、送受信部１００及び画像生成部１０２は、時系列のＢモード画像（以下、「医療画像」という）を取得する。
　注目領域認識部１０６は、医療画像に基づいて医療画像内の注目領域の位置に関する情報を認識する処理（検出処理／検出工程、認識処理／認識工程）と、医療画像に基づいて注目領域を複数のクラスのうちのいずれかのクラスに分類する処理（分類処理／分類工程、認識処理／認識工程）とを行うもので、例えばＣＮＮ（Convolutional Neural Network）、ＳＶＭ（Support Vector Machine）、Ｕ－ｎｅｔ（ＦＣＮ（Fully Convolution Network）の一種）等の、機械学習により構成された学習済みモデル（生体を撮影した画像から構成される画像セットを用いて学習したモデル）を用いて構成することができる。本実施形態での注目領域は、例えば医療画像（Ｂモード画像の断層像）内の臓器や血管であり、例えば、膵臓、主膵管、脾臓、脾静脈、脾動脈、胆嚢等である。
　注目領域認識部１０６をＣＮＮにより構成する場合の層構成の例について説明する。ＣＮＮは入力層、中間層、及び出力層を含む。入力層は画像生成部１０２で生成された医療画像を入力して特徴量を出力する。中間層は畳み込み層及びプーリング層を含み、入力層が出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、複数の重みパラメータを保持している。重みパラメータの値は、学習が進むにつれて変化していく。出力層は、中間層から出力された特徴量に基づき入力された医療画像に映っている注目領域を認識して、その結果を出力する。
　本例において、注目領域認識部１０６は、時系列の医療画像を入力すると、入力する医療画像毎に注目領域の位置を認識（検出）し、その位置を示す情報（位置情報、第1の報知情報）を出力するとともに、注目領域が複数のクラスのうちのいずれのクラス（種類）に属するかを認識（分類）し、その認識したクラス（種類）を示す情報（クラス情報、種類情報、第２の報知情報）を出力する。また、注目領域認識部１０６は、これらの認識において、注目領域の認識の確からしさを示す情報（確率情報）を出力することができる。例えば、医療画像の各画素が注目領域である確率や、注目領域があらかじめ決められた各クラス（例えば、膵臓、主膵管、脾臓、脾静脈、脾動脈、胆嚢、その他）に属する確率を算出することができる。注目領域認識部１０６は、例えばＣＮＮの出力層の出力に基づいてこのような確率を算出することができる。
　表示制御部１１２は、送受信部１００及び画像生成部１０２により取得した時系列の医療画像（内視鏡画像、超音波画像）をモニタ１８（表示装置）に表示させる。本例では、超音波断層像を示す動画像がモニタ１８に表示される。また、表示制御部１１２は、医療画像における注目領域を、報知情報決定部１１４、報知位置決定部１１６、報知形態決定部１１７がそれぞれ決定した位置、種類、形態等でモニタ１８に表示させる。報知情報決定部１１４（プロセッサ、報知情報決定部）は注目領域に関する報知情報（第１の報知情報、第２の報知情報）を決定し、報知位置決定部１１６（プロセッサ、報知位置決定部）は第２の報知情報の報知位置を決定し、報知形態決定部１１７（プロセッサ、報知形態決定部）は第２の報知情報の報知形態を決定する。
　上述した機能を用いた画像処理については、詳細を後述する。
　［各種のプロセッサによる機能の実現］
　上述した超音波用プロセッサ装置１２の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の処理を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）等の、特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども、上述した「各種のプロセッサ」に含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、超音波用プロセッサ装置１２を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ（ＲＯＭ：Read Only Memory）等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る画像処理方法を実行するための画像処理プログラム及び実行に際して用いられるデータ（表示態様や報知態様の設定に用いられるデータ、注目領域認識部１０６で用いられる重みパラメータ等）を含む。ＲＯＭではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（ＲＡＭ：Random Access Memory、メモリ）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」としてメモリ１１８を用いてもよいし、記録部１２０を用いてもよい。
　記録部１２０には、超音波画像及び内視鏡画像（医療画像）、注目領域の検出結果、及び処理条件（検出や報知を行う際の条件）等が記録される。他の情報を併せて記録してもよい。通信制御部１１０は、内視鏡システム２に接続された他の医療画像撮像装置や外部のサーバ、あるいはデータベースから医療画像等を取得する制御を行う。記録制御部１０８は、記録部１２０への記録制御を行う。記録制御は、報知情報（第１の報知情報、第２の報知情報）、報知位置、報知形態、超音波画像あるいは内視鏡画像に報知情報を重畳した画像等を記録することを含む。
　［画像処理の手順］
　上述した構成の内視鏡システム２における画像処理（本発明に係る画像処理方法及び画像処理プログラムの実行）について説明する。図３は第１の実施形態に係る画像処理方法の手順を示すフローチャートである。なお、以下説明する手順は、必要に応じ順序を入れ替えて実行してもよい。
　［１．処理条件の設定］
　表示制御部１１２（プロセッサ）は、図示せぬ操作部（キーボード、マウス、タッチパネル、マイクロフォン等）を介したユーザの操作、及び／またはあらかじめ設定された処理条件（例えば、デフォルトの処理条件）に基づいて、画像処理方法／画像処理プログラムの実行に必要な条件を設定する（ステップＳ１００：処理条件設定工程）。表示制御部１１２は、例えば位置情報及び種類情報の表示態様（文字や記号の種類、色等）、種類情報についての引き出し線の有無、タイル分割の有無、画素値の時間平均フレーム数等を設定する。ユーザは、例えば図４のような画面（すべての処理条件の設定を示すものではない）において、操作部を介してラジオボタンのオン／オフやプルダウンメニューにおける選択、数値の入力等を行うことにより、処理条件の設定を行うことができる。表示制御部１１２は、このような画面をモニタ１８等の表示装置に表示させることができる。この設定には、例えば、位置情報及び種類情報をどのような図形もしくは文字（種類、色等）により表示するかが含まれる。なお、表示制御部１１２は、処理開始時だけでなく以下のステップの実行中に処理条件の設定を行ってもよい。
　［２．超音波画像の取得及び注目領域の認識］
　送受信部１００及び画像生成部１０２は時系列の超音波画像（医療画像）を取得し（ステップＳ１１０：画像取得処理、画像取得工程）、表示制御部１１２は取得した超音波画像をモニタ１８に表示させる（ステップＳ１２０：表示制御処理、表示制御工程）。注目領域認識部１０６は超音波画像における注目領域の位置及び種類を認識する（ステップＳ１３０：認識処理、認識工程）。注目領域認識部１０６は、例えば注目領域を囲む矩形、円形、あるいは楕円形（図４の「位置情報の表示形式」の領域で設定することができる）の中心位置を「注目領域の位置」とし、その位置を示す情報（画像内の座標等）を「第１の報知情報」とすることができる。また、本実施形態では、臓器や血管等、注目領域の種類を示す情報（クラス情報、種類情報）を「第２の報知情報」とすることができる。以下、「第１の報知情報」を「位置情報」、「第２の報知情報」を「種類情報」と記載する場合がある。
　［３．報知情報、報知位置、および報知形態の決定］
　注目領域認識部１０６が注目領域を検出した場合（ステップＳ１４０でＹＥＳ）、以下のように報知情報、報知位置、及び報知形態を決定する（ステップＳ１５０：報知情報決定処理／報知情報決定工程、報知位置決定処理／報知位置決定工程）。これらの処理や工程は超音波画像の各フレームについて行ってもよいし、後述するように、時系列の画像における各種パラメータの時間変化に基づいて行ってもよい。また、画像を複数の領域に区分してそれら領域における画素値に基づいて行ってもよい。
　［３．１　報知情報の決定］
　報知情報決定部１１４は、超音波画像（医療画像）における注目領域の位置を示す第１の報知情報と、注目領域の種類を示す第２の報知情報と、を決定する（ステップＳ１５０：報知情報決定処理、報知情報決定工程）。報知情報決定部１１４は、注目領域認識部１０６が「注目領域」と認識する画素の重心、あるいはＸ座標、Ｙ座標の最小値／最大値等を「注目領域の位置（を示す情報）」とすることができる。また、報知情報決定部１１４は、注目領域認識部１０６による注目領域の分類結果（臓器や脈管の名称（膵臓、脾静脈、門脈等）、病変領域である、処置後の領域である、等）を「注目領域の種類」とすることができる。
　［３．２（１）　種類情報の報知位置の決定］
　報知位置決定部１１６は、超音波画像（医療画像）における、注目領域を囲む領域内の画素値に基づいて、画像において注目領域の種類情報（第２の報知情報）を報知する報知位置を決定する（報知位置決定処理、報知位置決定工程）。報知位置決定部１１６は、例えば、画素値がしきい値以上の領域の重心、あるいは画素値がしきい値未満の領域の重心を「種類情報の報知位置」として決定することができる。なお、報知位置決定部１１６は、重心以外の位置を報知位置として決定してもよいし、ある注目領域の種類情報をその注目領域の外に報知してもよい（図５～８について後述する表示例を参照）。また、「注目領域を囲む領域」は、矩形、多角形、円、楕円等任意の形状でよい（図４の例では「位置情報の表示形式」として図示）。
　報知位置決定部１１６は、注目領域の種類に基づいて、種類情報の報知位置を決定してもよい。報知位置決定部１１６は、例えば注目領域が膵臓の場合は脈管系等のエコー値（画素値）が低い領域を避けて報知位置を決定し、逆に注目領域が脈管系の場合はエコー値が低い領域を探索して報知位置を決定することができる。
　［３．２（２）　確率情報に基づく報知位置の決定］
　報知位置決定部１１６（プロセッサ）は、注目領域の認識の確からしさを示す確率情報を算出し、画素値及び確率情報に基づいて報知位置を決定してもよい。報知位置決定部１１６は、例えば、エコー値等の画素値が基準値以上で、かつ特定の種類の注目領域に属する確率が基準値以上である画素の重心を報知位置として決定することができる。ここで、注目領域認識部１０６は、例えばＣＮＮの出力層の出力に基づいて確率情報を算出することができる。
　［３．３　報知形態の決定］
　報知形態決定部１１７（プロセッサ）は、種類情報（第２の報知情報）の報知形態を決定する（報知形態決定処理、報知形態決定工程）。「報知形態」は例えば文字、図形、記号のいずれを用いて報知するか、色彩はどうするか、重畳表示するかどうか、であり、報知形態決定部１１７は、図４のような設定画面を介したユーザの操作に基づいて報知形態を決定することができる。
　［時系列の画像に対する処理］
　ステップＳ１５０において、報知情報決定部１１４、報知位置決定部１１６、及び報知形態決定部１１７は、画像取得処理（画像取得工程）において取得される時系列の画像における各種条件（画素値、注目領域の大きさ、確率情報等）の時間変化に基づいて処理や報知を行ってもよい。具体的には、報知情報決定部１１４及び報知位置決定部１１６は、画素値の時間変化に基づいて報知情報（第１の報知情報、第２の報知情報）及び報知位置をそれぞれ決定することができ、報知位置決定部１１６及び報知形態決定部１１７は、超音波画像における注目領域の大きさの時間変化に基づいて報知位置、報知形態をそれぞれ決定することができる。
　例えば、注目領域の形状や画素値が時間変化する場合、報知位置が大きく移動しユーザの集中力が削がれてしまう可能性があるため、できるだけ時間変化が小さい位置に報知することが考えられる。時間変化を考慮する場合の基準値としては、画素値の時系列的な差分や変化量でもよいし、認識スコアなどから得られる形状の不変度に基づいてもよい。
　報知位置決定部１１６は、確率情報の時間変化に基づいて報知位置を決定してもよい。ここで「時間変化に基づいて」とは、報知情報決定部１１４、報知位置決定部１１６、及び報知形態決定部１１７が、例えば決められた期間（フレーム数）における各種条件の平均値や最大値、最小値を考慮することが含まれる。また、報知情報決定部１１４、報知位置決定部１１６、及び報知形態決定部１１７は、各種条件の値がしきい値以上であるフレームが決められた期間（フレーム数）以上連続するかどうか、を考慮することもできる。
　このように、各種条件の時間変化を考慮することで、画素値や大きさ等の条件が時間変化することにより報知位置等が頻繁に変わって観察の妨げになる可能性や、注目領域の誤認識により不適切な報知がされる可能性、あるいは認識漏れにより報知がされない可能性等を低減することができる。なお、時間変化を考慮する期間（フレーム数）は、例えば図４のような画面を介して設定することができる。
　［4．表示及び記録］
　表示制御部１１２（プロセッサ）は、ステップＳ１００で設定された条件に基づいて第１の報知情報及び第２の報知情報の報知形態を決定し、超音波画像に第１の報知情報及び第２の報知情報を重畳してモニタ１８（表示装置）に表示させる（ステップＳ１６０：表示制御処理、表示制御工程）。また、記録制御部１０８（プロセッサ）は、超音波画像に第１の報知情報及び第２の報知情報を重畳して記録部１２０（記録装置）に記録する（ステップＳ１６０：記録制御処理、記録制御工程）。また、記録制御部１０８は、種類情報（第２の報知情報）及び／または種類情報の報知位置を記録部１２０に記録する（ステップＳ１７０：記録制御処理、記録制御工程）。なお、ステップＳ１１０からＳ１７０までの処理は、ステップＳ１８０でＹＥＳになるまで（例えば、ユーザが撮像終了の操作を行った場合や、記録された画像の全てについて処理を終了した場合に、この判断がＹＥＳとなる）繰り返し行われる。
　［報知例（表示例）］
　図５は第１，第２の報知情報の報知例（表示例）を示す図である。図５に示す例では、モニタ１８の画面５００に超音波画像５０２が表示されており、表示制御部１１２は、注目領域５１０の位置を示す矩形５２０（バウンディングボックス、第１の報知情報）及び注目領域５１０の種類を示す図形５３０（第２の報知情報）を超音波画像５０２に重畳表示している。注目領域５１０の位置は矩形５２０の中心であり、また膵臓（pancreas）の頭文字“P”を用いた図形５３０により注目領域５１０の種類を示している。図形５３０（第２の報知情報）の報知位置、すなわち注目領域５１０の種類の報知位置は、注目領域５１０を囲む領域である矩形５２０の内側における、画素値が基準値以上の領域（濃い灰色で図示）の重心である。このような態様によれば、ユーザは注目領域から視線を大きく動かさずに種類情報を確認することができる。尚、注目領域の種類の報知位置は、注目領域を囲む領域内の画素値及び撮像装置の設定情報を用いて決定してもよい。撮像装置の設定情報としては、超音波スコープ１０の測定モード（Bモード、Mモード等）や、内視鏡スコープの光源の照射モードや拡大倍率等があげられる。例えば、超音波スコープ１０の測定モードや内視鏡システム２の光源装置１６の照射モードに応じて上述の基準値を変えることで、撮像装置の設定情報に基づいて注目領域の種類の報知位置が決定できる。注目領域を囲む領域内の画素値と撮像装置の設定情報に基づいて注目領域の種類の報知位置を決定することで、撮像装置の設定により明るさやコントラストが大きく変わった場合であっても、ユーザは種類情報を視認することができる。また、注目領域を囲む領域内の画素値に加え、モニタ１８の設定情報を用いて注目領域の種類の報知位置を決定してもよい。
　図６は、第１，第２の報知情報の他の報知例（表示例）を示す図である。図６に示す例では、表示制御部１１２は、濃い灰色で図示した領域の重心に記号５３２を重畳し、記号５３２を一端とする引き出し線の他端に種類情報（第２の報知情報）を示す文字５３４（Pancreas）を重畳している。文字５３４を注目領域５１０の外に表示することで、注目領域５１０を隠さないようにすることができる。
　認識結果を報知する際、第１，第２の報知情報をどこに表示するのかが重要である。注目領域上の要観察領域に報知情報を重畳すると、詳細な観察が必要な場合に邪魔になるおそれがある。一方、注目領域外にまたがって報知すると、報知情報がどこの部分の認識結果を示しているのかについて、ユーザが混乱するおそれもある。そこで、報知位置決定部１１６は、画素値から観察領域もしくは非観察領域などを特定し、認識結果を報知する位置を決定することが好ましい。この際、報知位置決定部１１６は、画素値をそのまま用いてもよいし、以下の図７に示すように注目領域を囲む領域を複数に分割し分割領域内の画素値に基づいて種類情報の報知位置を決定してもよい。また、注目領域内の画素値の分布における最頻値などを用いてもよい。報知位置決定部１１６は、観察領域か非観察領域かを特定するための画素値の基準値を、ユーザの操作に応じて設定してもよい。また、例えば、報知位置決定部１１６は、ユーザの操作に応じて画素値の基準値を設定し、注目領域を囲む領域内において設定された基準値以上の領域内に注目領域の種類の報知位置を決定してもよい。また、報知位置決定部１１６は、注目領域の種類の報知位置を、注目領域を囲む領域内の画素値及び検出された注目領域の種類に基づいて決定してもよい。例えば、注目領域の種類毎に画素値の基準範囲を予め設定しておき、注目領域を囲む領域内において、画素値が基準範囲の領域内に注目領域の種類の報知位置を決定してもよい。これにより注目領域の種類に応じて、適切な報知位置で報知することができる。尚、報知位置決定部１１６は、画素の色毎に予め基準値を設定し、特定の色の基準値に基づいて注目領域の種類の報知位置を決定してもよい。
　図７は、第１，第２の報知情報のさらに他の報知例（表示例）を示す図である。図７に示す例において、報知位置決定部１１６は、報知位置決定部１１６は、矩形５２０の領域を図の横方向、縦方向にそれぞれ６分割、４分割し、画素値の平均値が高い左下の分割領域内を種類情報の位置として決定している。そして、表示制御部１１２は、図６の例と同様に、記号５３２を一端とする引き出し線の他端に種類情報（第２の報知情報）を示す文字５３４（Pancreas）を重畳している。なお、報知情報決定部１１４、報知位置決定部１１６、及び報知形態決定部１１７（プロセッサ）は、図４のような設定画面を介したユーザの操作に応じて、図７のような矩形５２０の分割パターンを設定することができる。
　［注目領域の種類に基づいた報知位置の決定、表示及び記録］
　図８は、注目領域の種類に応じて種類情報（第２の報知情報）の報知位置を決定した様子を示す図である。図８の例では、超音波画像５０２に注目領域５１０（膵臓）及び注目領域５１２（脾静脈）が写っており、注目領域５１０は位置を示す矩形５２２（バウンディングボックス、第１の報知情報）及び種類を示す文字５３６（“Pancreas”の略語である“Panc.”）により報知されている。文字５３６は、注目領域５１０の中心（重心）に重畳して報知されている。一方、注目領域５１２は、位置を示す矩形５２４（バウンディングボックス、第１の報知情報）及び種類を示す文字５４０（“splenic vein”の略語である“SV”）により報知されている。ここで、文字５４０は注目領域５１２に重畳されるのではなく、注目領域５１２の中心（重心）に重畳された記号５３８を一端とする引き出し線の他端に表示されており、文字５４０が注目領域５１２を隠さないようになっている。このように、内視鏡システム２では、注目領域の種類に基づいて、種類情報（第２の報知情報）を適切な報知位置で報知することができる。
　以上説明したように、第１の実施形態に係る内視鏡システム２によれば、注目領域の認識結果を適切に報知することができる。
　［他の医療画像への適用］
　上述した第１の実施形態では医療画像の一態様である超音波内視鏡画像を用いて認識及び報知を行う場合について説明したが、本発明に係る画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムは、内視鏡以外の超音波装置（体表用内視鏡装置等）で取得した超音波画像や、通常光（白色光）及び／または特殊光（狭帯域光等）により被検体を撮像する光学的内視鏡装置で取得した内視鏡画像、あるいはＣＴ装置、ＭＲＩ装置、マンモグラフィ装置等の、超音波内視鏡画像以外の医療画像を用いる場合にも適用することができる。
　例えば、光学的内視鏡により取得した内視鏡画像を用いる場合、上述した内視鏡システム２の内視鏡用プロセッサ装置１４（画像処理装置、プロセッサ）が、第１の実施形態における超音波用プロセッサ装置１２と同様の処理を行うことができる。なお、光学的内視鏡により取得した内視鏡画像を用いる場合、赤色、緑色、青色等の複数の画像信号のうち１つ以上を、報知情報、報知位置、及び報知形態を決定及び報知する際に用いることができる。例えば、管腔の内壁は正常な部分では赤みがかっており病変部分（注目領域）は黒みがかっている場合があり、このような場合、特定の色の画像信号の値（画素値）の重み付けを大きく（あるいは小さく）し、当該特定の色の部分に報知を行うことや、特定の色の領域を避けて報知を行うことができる。
　［医療画像以外の画像への適用］
　本発明の画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムは、医療画像以外の画像にも適用することができる。例えば、配管等の管状構造物の内部の損傷や変状等を検査する工業用内視鏡で取得した画像にも本発明を適用することができる。また、橋梁、道路、トンネル等の建造物を撮像した画像から建造物の損傷や変状等を検査する場合にも、本発明を適用することができる。これらの場合、損傷や変状の種類を「種類情報」と考えることができる。
　また、本発明は、車載カメラや監視カメラで撮像した画像に対して被写体（道路、人、車、建物等）の位置や種類を認識、報知する場合、例えば人の顔を避けて種類情報（この場合、被写体が人であること）を重畳表示する場合にも適用することができる。
　以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、種々の変形が可能である。
２　　　内視鏡システム
１０　　超音波スコープ
１２　　超音波用プロセッサ装置
１４　　内視鏡用プロセッサ装置
１６　　光源装置
１８　　モニタ
２０　　挿入部
２０ａ　長手軸
２２　　手元操作部
２４　　ユニバーサルコード
２６　　超音波用コネクタ
２８　　内視鏡用コネクタ
３０　　光源用コネクタ
３２　　チューブ
３４　　チューブ
３６　　送気送水ボタン
３８　　吸引ボタン
４２　　アングルノブ
４４　　処置具挿入口
５０　　先端部本体
５２　　湾曲部
５４　　軟性部
６２　　超音波探触子
６４　　バルーン
７０　　送水タンク
７２　　吸引ポンプ
１００　送受信部
１０２　画像生成部
１０４　ＣＰＵ
１０６　注目領域認識部
１０８　記録制御部
１１０　通信制御部
１１２　表示制御部
１１４　報知情報決定部
１１６　報知位置決定部
１１７　報知形態決定部
１１８　メモリ
１２０　記録部
５００　画面
５０２　超音波画像
５１０　注目領域
５１２　注目領域
５２０　矩形
５２２　矩形
５２４　矩形
５３０　図形
５３４　文字
５３６　文字
５４０　文字  
Ｓ１００～Ｓ１８０　画像処理方法の各ステップ

Claims (22)

  1. 　プロセッサを備える画像処理装置であって、
    　前記プロセッサは、
    　画像を取得する画像取得処理と、
    　前記画像から注目領域を認識する認識処理と、
    　前記画像における前記注目領域の位置を示す第１の報知情報と、前記注目領域の種類を示す第２の報知情報と、を決定する報知情報決定処理と、
    　前記画像における前記注目領域を囲む領域内の画素値に基づいて、前記画像において前記第２の報知情報を報知する報知位置を決定する報知位置決定処理と、
    　を実行する画像処理装置。
  2. 　前記プロセッサは、前記報知位置決定処理において、前記注目領域の種類に基づいて前記報知位置を決定する請求項１に記載の画像処理装置。
  3. 　前記プロセッサは、前記報知位置決定処理において、前記注目領域の重心を前記報知位置として決定する請求項１または２に記載の画像処理装置。
  4. 　前記プロセッサは、
    　前記認識処理において前記注目領域の認識の確からしさを示す確率情報を算出し、
    　前記報知位置決定処理において、前記画素値及び前記確率情報に基づいて前記報知位置を決定する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記プロセッサは、
    　前記画像取得処理において時系列の画像を取得し、
    　前記報知位置決定処理において、前記時系列の画像における前記確率情報の時間変化に基づいて前記報知位置を決定する請求項４に記載の画像処理装置。
  6. 　前記プロセッサは、
    　前記画像取得処理において時系列の画像を取得し、
    　前記報知位置決定処理において、前記時系列の画像における前記画素値の時間変化に基づいて前記報知位置を決定する請求項１から４のいずれか１項に記載の画像処理装置。
  7. 　前記プロセッサは、
    　前記報知位置決定処理において、前記時系列の画像における前記画素値の時間変化に基づいて前記報知位置を決定する請求項５に記載の画像処理装置。
  8. 　前記プロセッサは、前記第２の報知情報の報知形態を決定する報知形態決定処理をさらに実行する請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記プロセッサは、
    　前記画像取得処理において時系列の画像を取得し、
    　前記報知形態決定処理において、前記時系列の画像における前記画素値の時間変化に基づいて前記報知形態を決定する請求項８に記載の画像処理装置。
  10. 　前記プロセッサは、
    　前記画像取得処理において時系列の画像を取得し、
    　前記報知位置決定処理において、前記時系列の画像における前記注目領域の大きさの時間変化に基づいて前記報知位置を決定し、
    　前記報知形態決定処理において、前記時系列の画像における前記注目領域の大きさの時間変化に基づいて前記報知形態を決定する請求項８に記載の画像処理装置。
  11. 　前記プロセッサは、
    　前記報知位置決定処理において、前記時系列の画像における前記注目領域の大きさの時間変化に基づいて前記報知位置を決定し、
    　前記報知形態決定処理において、前記時系列の画像における前記注目領域の大きさの時間変化に基づいて前記報知形態を決定する請求項９に記載の画像処理装置。
  12. 　前記プロセッサは、前記画像に前記第１の報知情報及び前記第２の報知情報を重畳して記録装置に記録する請求項１から１１のいずれか１項に記載の画像処理装置。
  13. 　前記プロセッサは、前記第２の報知情報及び／または前記報知位置を記録装置に記録する請求項１から１２のいずれか１項に記載の画像処理装置。
  14. 　前記プロセッサは、前記画像取得処理において被検体の医療画像を取得する請求項１から１３のいずれか１項に記載の画像処理装置。
  15. 　請求項１から１４のいずれか１項に記載の画像処理装置と、
    　前記画像を撮像する撮像装置と、
    　を備える画像処理システム。
  16. 　前記撮像装置は内視鏡スコープである請求項１５に記載の画像処理システム。
  17. 　前記内視鏡スコープは超音波内視鏡スコープである請求項１６に記載の画像処理システム。
  18. 　前記プロセッサは、前記画像と、前記第１の報知情報と、前記第２の報知情報と、を重畳して表示装置に表示させる請求項１５から１７のいずれか１項に記載の画像処理システム。
  19. 　前記表示装置をさらに備える請求項１８に記載の画像処理システム。
  20. 　プロセッサを備える画像処理装置により実行される画像処理方法であって、
    　前記プロセッサは、
    　画像を取得する画像取得工程と、
    　前記画像から注目領域を認識する認識工程と、
    　前記画像における前記注目領域の位置を示す第１の報知情報と、前記注目領域の種類を示す第２の報知情報と、を決定する報知情報決定工程と、
    　前記画像における前記注目領域を囲む領域内の画素値に基づいて、前記画像において前記第２の報知情報を報知する報知位置を決定する報知位置決定工程と、
    　を実行させる画像処理方法。
  21. 　プロセッサを備える画像処理装置に画像処理方法を実行させる画像処理プログラムであって、
    　前記画像処理方法は、
    　画像を取得する画像取得工程と、
    　前記画像から注目領域を認識する認識工程と、
    　前記画像における前記注目領域の位置を示す第１の報知情報と、前記注目領域の種類を示す第２の報知情報と、を決定する報知情報決定工程と、
    　前記画像における前記注目領域を囲む領域内の画素値に基づいて、前記画像において前記第２の報知情報を報知する報知位置を決定する報知位置決定工程と、
    　を含む画像処理プログラム。
  22. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項２１に記載のプログラムが記録された記録媒体。
PCT/JP2022/014345 2021-05-10 2022-03-25 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム WO2022239530A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023520904A JPWO2022239530A1 (ja) 2021-05-10 2022-03-25
CN202280032386.7A CN117320636A (zh) 2021-05-10 2022-03-25 图像处理装置、图像处理系统、图像处理方法及图像处理程序
EP22807235.1A EP4338683A1 (en) 2021-05-10 2022-03-25 Image processing device, image processing system, image processing method, and image processing program
US18/489,843 US20240046600A1 (en) 2021-05-10 2023-10-18 Image processing apparatus, image processing system, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021079511 2021-05-10
JP2021-079511 2021-05-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/489,843 Continuation US20240046600A1 (en) 2021-05-10 2023-10-18 Image processing apparatus, image processing system, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
WO2022239530A1 true WO2022239530A1 (ja) 2022-11-17

Family

ID=84029568

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014345 WO2022239530A1 (ja) 2021-05-10 2022-03-25 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US20240046600A1 (ja)
EP (1) EP4338683A1 (ja)
JP (1) JPWO2022239530A1 (ja)
CN (1) CN117320636A (ja)
WO (1) WO2022239530A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013346A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 超音波診断装置
WO2018221033A1 (ja) 2017-06-02 2018-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2020183770A1 (ja) * 2019-03-08 2020-09-17 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
JP2020146202A (ja) 2019-03-13 2020-09-17 富士フイルム株式会社 内視鏡画像処理装置、方法及びプログラム、内視鏡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013346A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 超音波診断装置
WO2018221033A1 (ja) 2017-06-02 2018-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2020183770A1 (ja) * 2019-03-08 2020-09-17 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
JP2020146202A (ja) 2019-03-13 2020-09-17 富士フイルム株式会社 内視鏡画像処理装置、方法及びプログラム、内視鏡システム

Also Published As

Publication number Publication date
CN117320636A (zh) 2023-12-29
EP4338683A1 (en) 2024-03-20
US20240046600A1 (en) 2024-02-08
JPWO2022239530A1 (ja) 2022-11-17

Similar Documents

Publication Publication Date Title
JP7407790B2 (ja) 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
US20080008368A1 (en) Image processing method and computer readable medium for image processing
JP5984243B2 (ja) 超音波診断装置、医用画像処理装置及びプログラム
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
US10832405B2 (en) Medical image processing apparatus with awareness of type of subject pattern
CN110893109B (zh) 血管内超声系统的图像降噪方法
JP5527841B2 (ja) 医療画像処理システム
KR20150000261A (ko) 초음파 영상에 대응하는 참조 영상을 제공하는 초음파 시스템 및 방법
WO2022239530A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
KR102389347B1 (ko) 초음파 진단장치 및 그에 따른 초음파 진단 장치의 동작 방법
JP5196994B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
WO2022202401A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JP2007289720A (ja) 超音波画像診断装置
JP4098266B2 (ja) 超音波画像診断装置
WO2022191059A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
KR20210093049A (ko) 초음파 진단 장치 및 그 동작방법
WO2022181517A1 (ja) 医療画像処理装置、方法及びプログラム
US20240054645A1 (en) Medical image processing apparatus, medical image processing method, and program
US20230410482A1 (en) Machine learning system, recognizer, learning method, and program
US20240054707A1 (en) Moving image processing apparatus, moving image processing method and program, and moving image display system
WO2022234742A1 (ja) 表示処理装置、方法及びプログラム
EP4327750A1 (en) Guided ultrasound imaging for point-of-care staging of medical conditions
US20210093303A1 (en) Medical image diagnostic apparatus, ultrasonic diagnostic apparatus, medical imaging system, and imaging control method
US20220225966A1 (en) Devices, systems, and methods for guilding repeatd ultrasound exams for serial monitoring
JP4282729B2 (ja) 超音波画像診断装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22807235

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520904

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280032386.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022807235

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022807235

Country of ref document: EP

Effective date: 20231211