WO2014155778A1 - 画像処理装置、内視鏡装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、内視鏡装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
WO2014155778A1
WO2014155778A1 PCT/JP2013/075629 JP2013075629W WO2014155778A1 WO 2014155778 A1 WO2014155778 A1 WO 2014155778A1 JP 2013075629 W JP2013075629 W JP 2013075629W WO 2014155778 A1 WO2014155778 A1 WO 2014155778A1
Authority
WO
WIPO (PCT)
Prior art keywords
classification
unit
image
subject
information
Prior art date
Application number
PCT/JP2013/075629
Other languages
English (en)
French (fr)
Inventor
恵仁 森田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201380075017.7A priority Critical patent/CN105050473B/zh
Priority to EP13880591.6A priority patent/EP2979607A4/en
Publication of WO2014155778A1 publication Critical patent/WO2014155778A1/ja
Priority to US14/807,065 priority patent/US20150320296A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4312—Breast evaluation or disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Definitions

  • the present invention relates to an image processing apparatus, an endoscope apparatus, a program, an image processing method, and the like.
  • pit patterns are used for early lesion diagnosis in the large intestine. This diagnostic method is called pit pattern diagnosis, and pit patterns observed for pit pattern shapes classified into six types (type I to type V) according to the type of lesion from the normal state Is determined based on which classification it is similar to.
  • Patent Document 1 describes an apparatus for acquiring a three-dimensional optical tomographic image using an endoscope apparatus and an optical probe, and based on this three-dimensional optical tomographic image.
  • a method is disclosed in which an XY screen image of a plane perpendicular to the depth direction of a living tissue is cut out at a plurality of depth positions and the pit pattern shape is highlighted from the average image.
  • a structure is detected from an image in such classification processing, for example, if motion blur occurs in the image due to a pulse of a living body or the like, the information obtained from the image is not sufficient and the structure is erroneously detected. is there.
  • a method may be considered in which a known pit pattern shape and an image are subjected to matching processing. If there is motion blur, the pit pattern can not be detected by the matching processing even in the place where the pit pattern actually exists, resulting in an erroneous classification result.
  • an image processing device an endoscope device, a program, an image processing method, and the like that can suppress the processing based on the erroneous classification result.
  • One aspect of the present invention is an image acquisition unit that acquires captured images including an image of a subject in time series, and a distance information acquisition unit that acquires distance information based on a distance from the imaging unit at the time of imaging to the subject
  • a motion detection unit that detects local motion information of the subject based on the captured image of the time series
  • a classification unit that performs a classification process of a structure of the subject based on the distance information
  • An emphasizing processing unit that performs emphasizing processing of the captured image based on the processing result and controls a target of the emphasizing processing or an emphasizing amount according to the local movement information.
  • classification processing of the structure of the subject is performed based on the distance information
  • enhancement processing of the captured image is performed based on the result of the classification processing
  • the target or enhancement amount of the enhancement processing are controlled according to the local motion information of the subject. This makes it possible to suppress that the emphasizing processing based on the erroneous classification result is performed.
  • an image acquiring unit for acquiring captured images including an image of an object in time series, and distance information for acquiring distance information based on a distance from the imaging unit to the object at the time of imaging.
  • An acquisition unit a motion detection unit for detecting local motion information of the subject based on the captured image of the time series, and classification processing of a structure of the subject based on the distance information; And a classification unit configured to control an object of the classification processing according to the movement information.
  • classification processing of a structure of a subject is performed based on distance information, and a target of the classification process is controlled according to local movement information of the subject. This makes it possible to suppress the processing of the latter stage based on the erroneous classification result.
  • Yet another aspect of the present invention relates to an endoscope apparatus including the image processing apparatus described in any of the above.
  • a captured image including an image of a subject is acquired in time series, and distance information based on a distance from the imaging unit at the time of imaging to the subject is acquired; Local motion information of the subject is detected based on the captured image, classification processing of a structure of the subject is performed based on the distance information, and emphasizing processing of the captured image based on the result of the classification processing
  • the program relates to a program that causes a computer to execute a step of controlling a target or an emphasis amount of the enhancement processing according to the local movement information.
  • captured images including an image of a subject are acquired in time series, and distance information based on a distance from the imaging unit to the subject at the time of imaging is acquired;
  • Local motion information of the subject is detected based on the captured image, classification processing of a structure of the subject is performed based on the distance information, and target of the classification processing according to the local motion information
  • Control a program that causes a computer to execute steps.
  • a captured image including an image of a subject is acquired in time series, and distance information based on a distance from the imaging unit at the time of imaging to the subject is acquired; Local motion information of the subject is detected based on the captured image, classification processing of a structure of the subject is performed based on the distance information, and emphasizing processing of the captured image based on the result of the classification processing
  • the present invention relates to an image processing method in which a target of the enhancement processing or an enhancement amount is controlled in accordance with the local movement information.
  • captured images including an image of a subject are acquired in time series, and distance information based on a distance from the imaging unit to the subject at the time of imaging is acquired;
  • Local motion information of the subject is detected based on the captured image, classification processing of a structure of the subject is performed based on the distance information, and target of the classification processing according to the local motion information Relates to an image processing method for controlling
  • FIG. 1A is a diagram showing the relationship between an imaging unit and an object when observing an abnormal part.
  • FIG. 1B shows an example of the acquired image.
  • FIG. 2A is a diagram showing the relationship between an imaging unit and an object when motion blur occurs.
  • FIG. 2B shows an example of the acquired image.
  • FIG. 3 shows a first configuration example of the image processing apparatus.
  • FIG. 4 shows a second configuration example of the image processing apparatus.
  • FIG. 5 is a configuration example of an endoscope apparatus.
  • FIG. 6 is a detailed configuration example of the image processing unit in the first embodiment.
  • FIG. 7 shows an example of an image before distortion correction processing and after distortion correction processing.
  • FIG. 8 is an explanatory diagram of classification processing.
  • FIG. 9 is an example of a flowchart of processing performed by the image processing unit.
  • FIG. 9 is an example of a flowchart of processing performed by the image processing unit.
  • FIG. 10 is a detailed configuration example of the image processing unit in the second embodiment.
  • FIG. 11 is a detailed configuration example of an image processing unit in a modification of the second embodiment.
  • FIG. 12 is a detailed configuration example of the image processing unit in the third embodiment.
  • FIG. 13 is a detailed configuration example of the image processing unit in the fourth embodiment.
  • FIG. 14A is a diagram showing the relationship between an imaging unit and an object in the fourth embodiment.
  • Fig. 14 (B) and Fig. 14 (C) are examples of acquired images.
  • FIG. 15 is an example of a table in which the distance and the magnification of the optical system are associated.
  • FIG. 16 is a detailed configuration example of the classification unit.
  • FIGS. 17A and 17B are explanatory diagrams of processing performed by the surface shape calculation unit.
  • FIG. 17A and 17B are explanatory diagrams of processing performed by the surface shape calculation unit.
  • FIG. 17A and 17B are explanatory diagrams of processing performed by the surface shape calculation unit.
  • FIG. 18A shows an example of a basic pit.
  • FIG. 18B shows an example of a correction pit.
  • FIG. 19 is a detailed configuration example of the surface shape calculation unit.
  • FIG. 20 shows a detailed configuration example of a classification processing unit in the first classification processing method.
  • 21 (A) to 21 (F) are explanatory views of a specific example of classification processing.
  • FIG. 22 shows a detailed configuration example of a classification processing unit in the second classification processing method.
  • FIG. 23 shows an example of classification types in the case of using a plurality of classification types.
  • FIGS. 24A to 24F show examples of pit patterns.
  • FIG. 1A shows the relationship between an imaging unit 200 and an object when observing an abnormal part (for example, an early lesion). Further, FIG. 1 (B) shows an example of the image acquired at that time.
  • the normal duct 40 exhibits a normal pit pattern
  • the abnormal duct 50 exhibits an abnormal pit pattern having an irregular shape
  • the duct lost area 60 exhibits an abnormal area in which the pit pattern is lost due to a lesion.
  • FIG. 1A when the operator finds an abnormal part (abnormal duct 50, duct loss area 60), the imaging part 200 is brought close to the abnormal part, and the imaging part 200 and the abnormal part are as positive as possible. Let go opposite.
  • FIG. 1B in the pit pattern of the normal part (normal duct 40), regular structures are arranged in a uniform arrangement.
  • the pit pattern is classified into a normal part and an abnormal part by classifying an area not detected as a normal part as an abnormal part. By highlighting the abnormal portion classified in this manner, it is possible to prevent the abnormal portion from being overlooked and to improve the accuracy of the qualitative diagnosis.
  • FIG. 2A shows the relationship between the imaging unit 200 and the subject when motion blur occurs.
  • FIG. 2 (B) shows an example of an image acquired in that case.
  • movement MA occurs in a part of the living body as shown in FIG. 2 (A)
  • movement blur MB occurs on the image as shown in the lower part of the image in FIG. 2 (B).
  • the area RMB in which the motion blur MB has occurred the structure of the subject is unclear, so that it is not detected as a normal part by the matching processing, and is classified as an abnormal part.
  • this area RMB is originally an area that should be displayed as a normal part, it is displayed as an abnormal part because it is classified as an abnormal part.
  • the image processing apparatus is based on an image acquisition unit 305 that acquires captured images including an image of a subject in time series, and a distance from the imaging unit 200 at the time of imaging to the subject.
  • a classification unit 310 includes an enhancement processing unit 330 that performs enhancement processing of a captured image based on the result of classification processing, and controls an enhancement processing target or an enhancement amount according to local motion information.
  • the shape of the object surface is obtained from the distance information, the reference pit pattern deformed according to the shape is matched with the image, and pits on the image are obtained. Classify the pattern.
  • the accuracy of the matching processing is reduced due to motion blur, but in the present embodiment, it is possible to prevent erroneous display due to the reduction in the accuracy.
  • the image processing apparatus is based on an image acquisition unit 305 that acquires captured images including an image of an object in time series, and a distance from the imaging unit 200 at the time of imaging to the object.
  • a distance information acquisition unit 340 for acquiring distance information
  • a motion detection unit 380 for detecting local movement information of a subject based on time-series captured images, and classification processing of a structure of the subject based on distance information
  • a classification unit 310 that controls an object of classification processing according to local motion information.
  • the result of the classification process may be used not only for emphasizing process but also for other information process, or may be output to an external device and used for processing in the external device. By suppressing errors in the classification results, the reliability of the processing results in these processes can be improved.
  • the distance information is information in which each position of the captured image is associated with the distance to the subject at each position, and for example, the distance in the optical axis direction of the imaging unit 200 is associated with each pixel Distance map.
  • the distance information is not limited to the distance map, and may be various information acquired based on the distance from the imaging unit 200 to the subject.
  • the classification process is not limited to the pit pattern classification process, but may be any process that classifies the structure of the subject according to, for example, the type and the state.
  • the structure can assist the user's observation or diagnosis by presenting the classification result to the user.
  • an endoscope apparatus for biological use it is not limited to a pit pattern, and a polyp produced on a mucous membrane Or, it may be a lesion of the digestive tract such as a fistula, a blood vessel, or a cancer.
  • the classification is performed according to the type, the state such as normal / abnormal, or the degree of abnormality.
  • the classification process based on the distance information is not limited to the above-described classification process of pit patterns, and various classification processes can be assumed.
  • a stereo image is subjected to stereo matching processing to acquire a distance map, and low-pass filter processing, morphological processing and the like are performed on the distance map to acquire information on the global shape of the subject. Then, information on the global uneven structure is acquired by subtracting the information on the global shape from the distance map.
  • the known characteristic information of the structure to be classified (for example, the size and shape of a specific polyp, or the depth and width of a groove specific to a lesion, etc.) is compared with the information of the local uneven structure, Extract the concavo-convex structure that matches In this way, specific structures such as polyps and channels can be classified.
  • the accuracy of the stereo matching processing is reduced due to motion blur, and erroneous distance information may be acquired. If the uneven structure is classified based on the erroneous distance information, the classification accuracy is lowered.
  • the emphasizing process is a process of highlighting or identifying a specific object on an image. For example, it may be processing for emphasizing structure or color emphasizing an area classified into a specific type or state, or highlighting the area, processing surrounding the area with a line, or the area It may be a process of attaching a mark indicating. In addition, by performing the above-described processing on an area other than the specific area, the specific area may be highlighted (or identified).
  • FIG. 5 shows a configuration example of the endoscope apparatus.
  • the endoscope apparatus includes a light source unit 100, an imaging unit 200, a processor unit 300 (control device), a display unit 400, and an external I / F unit 500.
  • the light source unit 100 includes a white light source 101, a rotary color filter 102 having a plurality of spectral transmittances, a rotary drive unit 103 for driving the rotary color filter 102, and light having spectral characteristics from the rotary color filter 102. And a condenser lens 104 for condensing light on the incident end face of the light guide fiber 201.
  • the rotating color filter 102 is composed of three primary color red color filters, a green color filter, a blue color filter, and a rotating motor.
  • the rotation drive unit 103 rotates the rotation color filter 102 at a predetermined rotation speed in synchronization with the imaging period of the imaging device 206 and the imaging device 207 based on the control signal from the control unit 302 of the processor unit 300. For example, if the rotary color filter 102 is rotated 20 times per second, each color filter will cross the incident white light at intervals of 1/60 second.
  • the imaging element 206 and the imaging element 207 pick up the reflected light from the observation target for each of the three primary color lights (R, G or B) at an interval of 1/60 second, and complete the transfer of the image. That is, in this configuration example, the R image, the G image, and the B image are captured face-sequentially at an interval of 1/60 second, and the substantial frame rate is 20 fps.
  • the imaging unit 200 is formed to be elongated and bendable, for example, to allow insertion into a body cavity such as a stomach or a large intestine.
  • the imaging unit 200 includes a light guide fiber 201 for guiding light collected by the light source unit 100, and an illumination lens 203 for diffusing the light guided to the tip by the light guide fiber 201 and irradiating the observation target with the light. Including.
  • the imaging unit 200 also includes objective lenses 204 and 205 for condensing reflected light returning from the observation target, imaging elements 206 and 207 for detecting the focused imaging light, and photoelectric conversion from the imaging elements 206 and 207.
  • a / D converter 209 which converts the analog signal into a digital signal.
  • the imaging unit 200 includes a memory 210 in which scope ID information of the imaging unit 200 and unique information including manufacturing variations are recorded, and a connector 212 which can be attached to and detached from the processor unit 300.
  • the imaging devices 206 and 207 are, for example, monochrome single-plate imaging devices, and for example, a CCD, a CMOS image sensor, or the like can be used.
  • the objective lenses 204 and 205 are disposed at positions separated by a predetermined distance, and are disposed at positions where a predetermined parallax image (hereinafter referred to as a stereo image) can be photographed.
  • a predetermined parallax image hereinafter referred to as a stereo image
  • the left image and the right image output from the imaging elements 206 and 207 are converted into digital signals by the A / D conversion unit 209, and the converted left image and the right image are output to the image processing unit 301.
  • the memory 210 is connected to the control unit 302, and scope ID information and unique information including manufacturing variations are transferred from the memory 210 to the control unit 302.
  • the processor unit 300 controls an image processing unit 301 (corresponding to an image processing apparatus) that performs various image processing on the image transferred from the A / D conversion unit 209, and a control unit that controls each unit of the endoscope apparatus And 302.
  • image processing unit 301 corresponding to an image processing apparatus
  • control unit that controls each unit of the endoscope apparatus And 302.
  • the display unit 400 displays an image transferred from the image processing unit 301, and is a display device capable of displaying moving images such as a CRT or a liquid crystal monitor, for example.
  • the external I / F unit 500 is an interface for performing input from the user to the endoscope apparatus.
  • the external I / F unit 500 is, for example, a power switch for turning on / off the power, a shutter button for starting an imaging operation, a mode switching switch for switching an imaging mode or other various modes (for example, a living body surface And a switch for selectively emphasizing the structure.
  • the external I / F unit 500 is configured to output the input information to the control unit 302.
  • FIG. 6 shows a detailed configuration example of the image processing unit 301 in the first embodiment.
  • the image processing unit 301 includes a classification unit 310, an image configuration unit 320, an emphasis processing unit 330, a distance information acquisition unit 340 (distance map calculation unit), a storage unit 370, a motion detection unit 380, and a motion determination unit 390.
  • a classification unit 310 an image configuration unit 320
  • an emphasis processing unit 330 for a distance information acquisition unit 340 (distance map calculation unit)
  • a storage unit 370 for a motion detection unit 380
  • a motion determination unit 390 the case of performing classification processing of pit patterns by matching processing will be described as an example, but various classification processing using distance information can be applied as described above.
  • the imaging unit 200 is connected to the image configuration unit 320 and the distance information acquisition unit 340.
  • the classification processing unit 360 is connected to the emphasis processing unit 330.
  • the image configuration unit 320 is connected to the classification processing unit 360, the emphasis processing unit 330, the storage unit 370, and the motion detection unit 380.
  • the emphasizing processing unit 330 is connected to the display unit 400.
  • the distance information acquisition unit 340 is connected to the classification processing unit 360 and the surface shape calculation unit 350.
  • the surface shape calculation unit 350 is connected to the classification processing unit 360.
  • the storage unit 370 is connected to the motion detection unit 380.
  • the motion detection unit 380 is connected to the motion determination unit 390.
  • the motion determination unit 390 is connected to the classification processing unit 360.
  • the control unit 302 is bi-directionally connected to each unit, and controls each unit.
  • the distance information acquisition unit 340 acquires a stereo image output from the A / D conversion unit 209, and acquires distance information based on the stereo image. Specifically, the left image is used as a reference image, a matching operation with the local region of the right image is performed on the epipolar line passing the pixel of interest located at the center of the local region of the left image, calculate. Then, the calculated parallax is converted into a distance in the Z-axis direction to obtain distance information, and the distance information is output to the classification unit 310.
  • the distance information is various information acquired based on the distance from the imaging unit 200 to the subject.
  • a distance based on an arbitrary point on a surface connecting two lenses producing parallax may be used as distance information.
  • the distance information may be acquired by the Time of Flight method.
  • a subject is irradiated with laser light or the like, and the distance is measured by the arrival time of the reflected light.
  • a distance based on each pixel position of an image pickup device surface for imaging reflected light may be acquired as distance information.
  • the reference point for distance measurement is set in the imaging unit 200, but the reference point may be set in any place other than the imaging unit 200.
  • the reference point may be set at an arbitrary place in the three-dimensional space including the imaging unit 200 and the subject, and distance information when such a reference point is used is also included in the distance information of the present embodiment. .
  • the distance from the imaging unit 200 to the subject is, for example, the distance in the depth direction from the imaging unit 200 to the subject.
  • the distance in the optical axis direction of the imaging unit 200 may be used. That is, the distance at a point on the subject is the distance from the imaging unit 200 to the subject on a line parallel to the optical axis that passes through the point.
  • the distance map is, for example, the distance (depth, depth) in the Z-axis direction to the subject at each point of the XY plane (for example, each pixel of the captured image) when the optical axis direction of the imaging unit 200 is the Z axis. Is a map with the value of that point.
  • the distance information acquisition unit 340 is virtual at a position where the same magnitude relationship as the magnitude relationship between distance values between pixels on the distance map acquired when the reference point is set in the imaging unit 200 can be maintained.
  • distance information based on the distance from the imaging unit 200 to the corresponding point may be acquired. For example, when the actual distances from the imaging unit 200 to the three corresponding points are “3”, “4”, and “5”, the distances are uniform while maintaining the magnitude relationship of the distance values between the pixels. You may get "1.5", “2” and "2.5" that have been halved.
  • the image configuration unit 320 acquires stereo images (left image and right image) output from the A / D conversion unit 209, and performs image processing (e.g., OB processing) to convert the stereo images into images that can be output to the display unit 400. , Gain processing, ⁇ processing, etc.).
  • image processing e.g., OB processing
  • the image configuration unit 320 outputs the processed image to the storage unit 370, the motion detection unit 380, the classification unit 310, and the emphasis processing unit 330.
  • the storage unit 370 stores time-series images transferred from the image configuration unit 320.
  • the storage unit 370 stores the number of images necessary for motion detection. For example, in the case where motion vectors are acquired by comparing images of two frames, an image of one frame may be stored.
  • the motion detection unit 380 detects motion information of the subject on the image based on the captured image. Specifically, the motion detection unit 380 performs distortion correction of the optical system on the image input from the image configuration unit 320 and the image one frame before stored in the storage unit 370. Then, the feature point matching is performed on the image after distortion correction, and the motion amount at each pixel (or each area) is calculated from the motion vector of the matched feature point.
  • the movement information various information representing the movement of the subject can be adopted.
  • a motion vector having information on the magnitude and direction of motion may be used, or only the magnitude (motion amount) of the motion vector may be used.
  • motion information obtained by averaging motion information between frames in a plurality of frames may be used as motion information.
  • FIG. 7 shows an example of an image before distortion correction processing and after distortion correction processing.
  • the motion detection unit 380 acquires pixel coordinates of the image after the distortion correction processing.
  • the image size after the distortion correction processing is obtained in advance based on the distortion of the optical system.
  • the acquired pixel coordinates (x, y) are converted into coordinates (x ′, y ′) with the center of the optical axis as the origin, using the following equation (1).
  • (center_x, center_y) are coordinates of the center of the optical axis after the distortion correction processing.
  • the optical axis center after the distortion correction processing is the center of the image after the distortion correction processing.
  • the object height r is calculated using the following equation (2) based on the converted pixel coordinates (x ′, y ′).
  • max_r is the maximum object height in the image after distortion correction.
  • a ratio (R / r) of image height / object height is calculated based on the calculated object height r. Specifically, the relationship between R / r and r is held as a table, and R / r corresponding to r is acquired by referring to the table.
  • pixel coordinates (X, Y) before distortion correction processing corresponding to pixel coordinates (x, y) after distortion correction processing are acquired using the following equation (3).
  • (center_X, center_Y) are coordinates of the center of the optical axis before the distortion correction processing.
  • the optical axis center before the distortion correction processing is the center of the image before the distortion correction processing.
  • the motion detection unit 380 detects the amount of motion of each pixel of the image after the distortion correction processing.
  • the amount of motion at coordinates (x ', y') is denoted as Mv (x ', y').
  • the motion detection unit 380 performs inverse distortion correction processing on the detected motion amount Mv (x ', y'), and the motion amount Mv (x ', y') is converted to the pixel position (x, y) before distortion correction processing.
  • the motion detection unit 380 transfers the motion amount Mv (x, y) to the motion determination unit 390 as motion information.
  • the present embodiment is not limited to this.
  • the image is divided into a plurality of local regions, and the motion amount is detected for each local region May be Also in the following, the case of performing processing on each pixel will be described as an example, but processing may be performed on each region.
  • the movement determination unit 390 determines whether or not the movement amount is large for each pixel in the image based on the movement information. Specifically, a pixel whose motion amount Mv (x, y) input from the motion detection unit 380 is equal to or larger than a threshold is detected.
  • the threshold is set in advance according to, for example, the number of pixels of the image. Alternatively, the threshold may be set by the user via the external I / F unit 500.
  • the motion determination unit 390 transfers the determination result to the classification unit 310.
  • the classification unit 310 classifies pixels corresponding to the image of the structure in the image based on the distance information and the classification reference. Specifically, the classification unit 310 includes a surface shape calculation unit 350 (three-dimensional shape calculation unit) and a classification processing unit 360. The details of the classification process performed by the classification unit 310 will be described later, and an outline will be described here.
  • the surface shape calculation unit 350 calculates a normal vector of the object surface at each pixel of the distance map as surface shape information (three-dimensional shape information in a broad sense). Then, the classification processing unit 360 projects the reference pit pattern on the object surface based on the normal vector. Also, based on the distance at the pixel position, the size of the reference pit pattern is adjusted to the size on the image (that is, the apparent size decreases on the image as the distance is larger). The classification processing unit 360 performs matching processing between the reference pit pattern thus corrected and the image, and detects an area that matches the reference pit pattern.
  • the classification processing unit 360 uses the shape of a normal pit pattern as a reference pit pattern, classifies the area GR1 matching the reference pit pattern as a "normal part", and does not match the area GR2. Is classified as "abnormal part (non-normal part)". Further, the classification processing unit 360 classifies the region GR3 determined by the motion determination unit 390 that the motion amount is equal to or more than the threshold value as "unknown”. That is, for the pixels whose motion amount is equal to or more than the threshold value, the classification is set to "unknown” excluding from the target of the matching processing, and the matching processing is performed for the other pixels to classify them into "normal part” and "abnormal part". .
  • unknown indicates that it is unknown in which classification in the classification processing for classifying into the type of structure, the state of normal / abnormal, the classification according to the degree of abnormality, and the like.
  • classifying into "normal part” and “abnormal part” it is classified into “unknown” if it can not be determined (or not) which of "normal part” and "abnormal part” belongs.
  • the emphasizing unit 330 emphasizes the image based on the result of the classification process. For example, the area GR2 classified as "abnormal part" is subjected to filter processing or color emphasis for emphasizing the structure of the pit pattern, and the area GR3 classified as "unknown” is unknown in classification. Perform a process to add a specific color to indicate that there is.
  • the region GR3 in which the amount of movement of the subject on the image is large is excluded from the target of the classification processing of normality / abnormality, the region GR3 is not classified as a normal part or an abnormal part.
  • the enhancement processing based on the normal / abnormal classification is not performed, and it is possible to prevent the erroneous highlighting due to the erroneous classification.
  • the motion amount is detected for each pixel (or for each local region), even if local motion blur occurs, in the region where the motion is large, the erroneous detection of the abnormal part is suppressed and the region where the motion is small is suppressed. It becomes possible to detect an abnormal part exactly.
  • the detection range of the classification process is set based on the motion information for each pixel (or local region) in the above description, the present embodiment is not limited to this.
  • the average of the motion information of each pixel is As motion information, it may be set whether or not classification processing is performed on the entire image.
  • the size of the motion amount may be added to the index of the classification process. That is, a pixel having a large amount of movement may not be determined to be an "abnormal part".
  • the respective units constituting the processor unit 300 are configured by hardware, but the present embodiment is not limited to this.
  • the CPU may perform processing of each unit on an image and distance information acquired in advance using an imaging device, and the CPU may implement a program by executing the program.
  • part of the processing performed by each unit may be configured by software.
  • the information storage medium (computer readable medium) stores programs, data, and the like.
  • the information storage medium is provided inside and outside the computer system as a "portable physical medium" including a CD-ROM, USB memory, MO disk, DVD disk, flexible disk (FD), magneto-optical disk, IC card, etc.
  • a program such as a “fixed physical medium such as HDD, RAM, ROM, etc.”, a public line connected via a modem, or a local area network or wide area network to which another computer system or server is connected It includes any recording medium for recording a program readable by a computer system, such as a "communication medium” for storing a program in a short time upon transmission.
  • the program is recorded on the above recording medium in a computer readable manner, and a computer system (an apparatus including an operation unit, a processing unit, a storage unit, and an output unit) reads the program from such a recording medium
  • a computer system an apparatus including an operation unit, a processing unit, a storage unit, and an output unit
  • the image processing apparatus is realized by executing the processing.
  • the program is not limited to being executed by the computer system, and when another computer system or server executes the program or when they cooperate to execute the program, The invention is equally applicable.
  • FIG. 9 shows a flowchart in the case where the processing performed by the image processing unit 301 is realized by software.
  • header information such as an imaging condition including an optical magnification (corresponding to distance information) of the imaging apparatus is input (step S11).
  • stereo image signals captured by the two imaging elements are input (step S12).
  • a distance map is calculated from the stereo image (step S13).
  • a surface shape three-dimensional shape in a broad sense) is calculated from the distance map (step S14).
  • the classification reference reference pit pattern
  • image configuration processing is performed (step S16).
  • motion information is detected from the image configured as an image and the image one frame before stored in the memory (step S17).
  • an image constituted as an image is stored in the memory for one frame (step S18).
  • step S19 areas with small movement (areas where no movement blur occurs) are classified into “normal part” and “abnormal part” (step S19).
  • step S20 an emphasizing process is performed on the area classified as "abnormal part” (step S20).
  • step S21 the image subjected to emphasis processing is output (step S21).
  • the motion determination unit 390 determines, based on the motion information, whether or not the amount of motion of the subject at the pixel or the area in the captured image is larger than the threshold.
  • the classification unit 310 excludes a pixel or a region determined to have a motion amount larger than a threshold from targets of classification processing.
  • the classification unit 310 determines whether or not the pixel or area matches the characteristic of the normal structure (for example, the basic pit as described later in FIG. 18A). The area is classified into a normal part and a non-normal part (abnormal part). Then, the classification unit 310 excludes the pixel or area determined to have the movement amount larger than the threshold from the target of the process of classifying the normal part and the non-normal part, and the classification of the normal part and the non-normal part is unknown. Classify as unknown.
  • the subject can be classified into, for example, a normal part in which a normal pit pattern exists and a non-normal part other than the normal part. Then, in a portion where the image becomes unclear due to motion blur, it can be suppressed that the portion is misclassified as a non-normal portion even though a normal pit pattern actually exists.
  • the non-normal part may be grouped into further subdivided classifications. Even in such a case, there is a possibility that the subdivided classification may be misjudged due to motion blur, but according to the present embodiment, such misjudgement can be suppressed.
  • the classification unit 310 may correct the result of the classification process for a pixel or a region determined to have a motion amount larger than a threshold. That is, regardless of the result of the motion determination, classification processing of normal / non-normal may be performed, and then the classification may be finally determined based on the result of the motion determination.
  • FIG. 10 shows a configuration example of the image processing unit 301 in the second embodiment.
  • the image processing unit 301 includes a classification unit 310, an image configuration unit 320, an emphasis processing unit 330, a distance information acquisition unit 340, a storage unit 370, a motion detection unit 380, and a motion determination unit 390.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the motion determination unit 390 is connected to the emphasis processing unit 330.
  • the classification unit 310 does not perform classification processing based on motion information, and classifies each pixel into “normal part” and “abnormal part”.
  • the emphasizing processing unit 330 controls the target of emphasizing processing based on the determination result input from the motion determining unit 390. That is, for the pixels determined to have the motion amount larger than the threshold, the classification processing of the “normal part” and the “abnormal part” is low, and thus the emphasis processing is not performed.
  • emphasis processing such as adding a specific color may be performed to a pixel determined to have a motion amount larger than the threshold, and the user may be notified that classification accuracy is low.
  • the motion determination unit 390 determines, based on the motion information, whether or not the amount of motion of the subject at the pixel or the area in the captured image is larger than the threshold. Then, the emphasizing processing unit 330 excludes the pixel or the area whose motion amount is determined to be larger than the threshold from the target of the emphasizing process based on the classification result.
  • the classification unit 310 classifies the pixel or the region into the normal portion and the non-normal portion (abnormal portion) by determining whether the pixel or the region matches the characteristics of the normal structure. Then, the emphasizing processing unit 330 excludes the pixel or the area whose motion amount is determined to be larger than the threshold from the target of the emphasizing process based on the classification result of the normal part and the non-normal part.
  • FIG. 11 shows a configuration example of the image processing unit 301 in a modification of the second embodiment.
  • the image processing unit 301 includes a classification unit 310, an image configuration unit 320, an emphasis processing unit 330, a distance information acquisition unit 340, a storage unit 370, and a motion detection unit 380.
  • the motion determination unit 390 of the second embodiment is omitted, and the motion detection unit 380 is connected to the emphasis processing unit 330.
  • the emphasis processing unit 330 controls the emphasis amount based on the motion information. Specifically, the larger the amount of movement, the more the amount of emphasis in the pixel is suppressed. For example, in the case of highlighting an abnormal part, the degree of emphasis decreases as the movement amount increases even in the abnormal part.
  • the enhancement processing unit 330 reduces the enhancement amount of the enhancement process for the pixel or the region as the movement amount of the subject in the pixel or the region in the captured image is larger based on the motion information. Take control.
  • the emphasis amount can be reduced as the reliability of the classification result is lower, it is possible to prevent the low reliability classification result from being uniformly presented to the user.
  • FIG. 12 shows a configuration example of the image processing unit 301 in the third embodiment.
  • the image processing unit 301 includes a classification unit 310, an image configuration unit 320, an emphasis processing unit 330, a distance information acquisition unit 340, a storage unit 370, a motion detection unit 380, and a motion determination unit 390.
  • the motion detection unit 380 is connected to the motion determination unit 390 and the emphasis processing unit 330, and the motion determination unit 390 is connected to the classification unit 310.
  • the classification unit 310 does not perform classification processing of a normal part and an abnormal part on an area with large motion, and sets the classification of the area as unknown.
  • the emphasizing processing unit 330 suppresses the emphasizing amount of the large movement area as in the modification of the second embodiment.
  • FIG. 13 shows a configuration example of the image processing unit 301 in the fourth embodiment.
  • the image processing unit 301 includes a classification unit 310, an image configuration unit 320, an emphasis processing unit 330, a distance information acquisition unit 340, a storage unit 370, a motion detection unit 380, a motion determination unit 390, and a photographing condition acquisition unit 395.
  • the amount of movement on the image is detected as the movement information, but in the fourth embodiment, the amount of movement on the subject is detected.
  • the motion detection process in the fourth embodiment is applicable to any of the first to third embodiments.
  • FIG. 14A shows the relationship between the imaging unit 200 and the subject.
  • FIGS. 14B and 14C show examples of the acquired image.
  • the operator brings the imaging unit 200 close to the subject.
  • the imaging unit 200 and the subject are tried to face each other, but it is impossible to face the imaging part 200 in a narrow area in the living body May be In that case, an image is captured from an oblique direction with respect to the subject.
  • FIG. 14B in the image at that time, the subject at the upper part of the near point image is displayed large, and the subject at the lower middle point image is displayed small. In such a case, as shown in FIG.
  • the classification unit 310 sets the target range of the classification process based on the amount of movement on the image. Therefore, in the case as described above, the object at the middle to far point enters the target range of the classification process. It will be. That is, as shown in FIG. 14C, the near point region GR3 is classified as “unknown”, and the middle / far point region GR1 is subjected to the classification processing of normality / abnormality because the movement MD2 on the image is small. Become. However, since the object at the middle and far point is displayed so as to have a small structure, the structure is displayed unclear even if the amount of movement MD2 is small. Therefore, if the detection range is set based on the amount of movement on the image, there is a possibility that the object at the middle to far point is erroneously detected as an abnormal part.
  • the motion detection unit 380 detects the amount of motion on the subject, and the classification unit 310 sets the target range of the classification process based on the amount of motion. As a result, it is possible to suppress erroneous detection of classification due to movement even for the object at the middle and far point.
  • a shooting condition acquisition unit 395 is added to the image processing unit 301 of the fourth embodiment, and the shooting condition acquisition unit 395 is connected to the motion detection unit 380. Further, the distance information acquisition unit 340 is connected to the motion detection unit 380.
  • the control unit 302 is bi-directionally connected to each unit of the image processing unit 301, and controls each unit.
  • the imaging condition acquisition unit 395 acquires imaging conditions at the time of imaging an image from the control unit 302. Specifically, the magnification K (d) of the optical system of the imaging unit 200 is acquired.
  • the magnification K (d) of the optical system corresponds to the distance d from the image sensor to the subject on a one-on-one basis.
  • the magnification K (d) corresponds to the image magnification, and the magnification K (d) decreases as the distance d increases, the smaller the object is.
  • the optical system is not limited to the fixed focus, and may be configured as a variable focus (optical zoom is possible).
  • the table shown in FIG. 15 is held for each zoom lens position (zoom magnification) of the optical system, and the magnification K (d) is acquired with reference to the table corresponding to the zoom lens position of the optical system at the time of imaging.
  • the motion detection unit 380 detects the amount of motion on the image, and detects the amount of motion on the subject based on the detected amount of motion on the image, the distance information, and the shooting conditions. Specifically, the motion detection unit 380 detects the amount of motion Mv (x, y) on the image at the coordinates (x, y) of each pixel, as in the first embodiment. Then, distance information d (x, y) to the subject at each pixel is obtained from the distance map, and the magnification K (d (x, y)) of the optical system corresponding to the distance information d (x, y) is calculated. Get from the table.
  • the motion detection unit 380 multiplies the motion amounts Mv (x, y) and K (d (x, y)) as shown in the following equation (4), and moves on the object at coordinates (x, y) Calculate the quantity Mv obj (x, y). Then, the calculated movement amount Mvobj (x, y) on the subject is transferred to the classification unit 310 as movement information.
  • Mvobj (x, y) Mv (x, y) ⁇ K (d (x, y)) (4)
  • the distance d (x, y) to the object is not used. As a result, it becomes possible to suppress erroneous detection of an abnormal part caused by motion blur.
  • First classification processing method 7.1. Classification Unit The classification process performed by the classification unit 310 according to the first to fourth embodiments described above will be described in detail.
  • FIG. 16 shows a detailed configuration example of the classification unit 310.
  • the classification unit 310 includes a known characteristic information acquisition unit 345, a surface shape calculation unit 350, and a classification processing unit 360.
  • the living body surface 1 of the large intestine to be observed has a polyp 2 of a raised lesion, and the mucosal surface of the polyp 2 has a normal duct 40 and an abnormal duct 50. It is assumed that In addition, it is assumed that a recessed lesion 60 in which the duct structure has disappeared is present at the root of the polyp 2.
  • the normal gland duct 40 exhibits a substantially circular shape, and the abnormal gland duct 50 has a shape different from that of the normal gland duct 40. It is presenting.
  • the surface shape calculation unit 350 performs the closing process or the adaptive low-pass filter process on the distance information (for example, the distance map) input from the distance information acquisition unit 340 to obtain a size equal to or larger than the size of the predetermined structural element. Extract the structure you have.
  • the predetermined structural element is a glandular structure (pit pattern) to be classified and determined which is formed on the living body surface 1 at the observation site.
  • the known characteristic information acquisition unit 345 acquires structural element information as one of known characteristic information, and outputs the structural element information to the surface shape calculation unit 350.
  • the structural element information is size information determined by the optical magnification of the imaging unit 200 and the size (information of width) of the duct structure to be classified from the surface structure of the living body surface 1. That is, the optical magnification is determined in accordance with the distance to the subject, and by performing size adjustment with the optical magnification, the size on the image of the duct structure imaged at that distance is acquired as structure element information.
  • the control unit 302 of the processor unit 300 stores a standard size of the duct structure, and the known characteristic information acquisition unit 345 acquires the size from the control unit 302 and performs size adjustment by optical magnification.
  • the control unit 302 determines the observation site based on scope ID information input from the memory 210 of the imaging unit 200. For example, when the imaging unit 200 is an upper digestive scope, the observation site is determined to be the esophagus, the stomach, and the duodenum. When the imaging unit 200 is a lower digestive scope, the observation site is determined to be the large intestine. In the control unit 302, standard duct sizes according to these observation sites are recorded in advance.
  • the external I / F part 500 has a switch which a user can operate, for example, and there exists a method of a user selecting an observation site
  • the surface shape calculation unit 350 adaptively generates surface shape calculation information based on the input distance information, and calculates surface shape information of the subject using the surface shape calculation information.
  • the surface shape information is, for example, a normal vector NV shown in FIG.
  • the details of the surface shape calculation information will be described later, for example, the kernel size (size of structural element) of the morphology adapted to the distance information at the target position of the distance map, or the low pass of the filter adapted to the distance information It is characteristic. That is, the surface shape calculation information is information that adaptively changes the characteristics of the non-linear or linear low-pass filter according to the distance information.
  • the generated surface shape information is input to the classification processing unit 360 together with the distance map.
  • the classification processing unit 360 adapts the basic pits to the three-dimensional shape of the living body surface of the captured image to generate corrected pits (classification criteria).
  • the basic pit is a model of one normal duct structure for classifying duct structures, and is, for example, a binary image.
  • the terms basic pit and correction pit are used, but it is possible to replace the reference pattern and the correction pattern as broader terms.
  • the classification processing unit 360 performs classification processing using the generated classification standard (corrected pit). Specifically, the image from the image configuration unit 320 is further input to the classification processing unit 360. The classification processing unit 360 determines whether or not a correction pit exists on the captured image by known pattern matching processing, and outputs a classification map obtained by grouping classification regions to the emphasis processing unit 330.
  • the classification map is a map in which the captured image is classified into the area where the correction pits are present and the other area.
  • the binary image is a binary image in which “1” is assigned to the pixels in the area where the correction pits exist, and “0” is assigned to the pixels in the other areas.
  • “2” may be allocated to the pixels of the “unknown” area to be a ternary image.
  • the enhancement processing unit 330 further receives the image (the same size as the classified image) from the image configuration unit 320. Then, the enhancement processing unit 330 performs enhancement processing on the image output from the image configuration unit 320 using the information indicating the classification result.
  • FIG. 17A is a cross-sectional view of the living body surface 1 of the subject and the imaging unit 200 in a cross section along the optical axis of the imaging unit 200, in which the surface shape is calculated by morphology processing (closing processing). It is a model.
  • the radius of the sphere SP (structural element) used for the closing process is, for example, twice or more (including the value) of the size of the duct structure to be classified (surface shape calculation information).
  • the size of the duct structure is adjusted to the size on the image according to the distance to the subject at each pixel.
  • the living body surface 1 3 which is smoother than the minute bumps and dips thereof.
  • the dimensional surface shape can be extracted. Therefore, the correction error can be reduced as compared with the case where the basic pit is corrected to the correction pit using the surface shape with the minute unevenness left.
  • FIG. 18B is a cross-sectional view of the surface of the living body after the closing process, which schematically shows the result of calculation of the normal vector NV with respect to the surface of the living body.
  • the surface shape information is this normal vector NV.
  • the surface shape information is not limited to the normal vector NV, and may be the curved surface itself after the closing process shown in FIG. 18 (B), or other information capable of expressing the surface shape, It is also good.
  • the known characteristic information acquisition unit 345 acquires the size (width in the longitudinal direction, etc.) of the duct unique to the living body as the known characteristic information, and uses the information to trace the actual living body surface by the closing process.
  • the radius of the sphere SP (radius according to the size of the duct on the image) is determined. At this time, the radius of the sphere SP is set to a radius larger than the size of the duct on the image.
  • the surface shape calculation unit 350 can extract only a desired surface shape by performing the closing process using the sphere SP.
  • FIG. 19 shows a detailed configuration example of the surface shape calculation unit 350.
  • the surface shape calculation unit 350 includes a morphology characteristic setting unit 351, a closing processing unit 352, and a normal vector calculation unit 353.
  • the morphological property setting unit 351 determines surface shape calculation information (such as the radius of the sphere SP used for the closing process) based on the size of the duct and the distance map.
  • the determined radius information of the sphere SP is input to the closing processing unit 352 as, for example, a radius map having the same number of pixels as the distance map.
  • the radius map is a map in which each pixel is associated with information on the radius of the sphere SP at that pixel.
  • the closing processing unit 352 changes the radius on a pixel-by-pixel basis according to the radius map, performs closing processing, and outputs the processing result to the normal vector calculation unit 353.
  • the normal vector calculation unit 353 receives the distance map after the closing process.
  • the normal vector calculation unit 353 calculates three-dimensional information (for example, coordinates of the pixel and distance information at the coordinates) of the sample position of interest on the distance map, and three of the two sample positions adjacent to the sample position of interest.
  • a plane is defined by the dimensional information and a normal vector of the defined plane is calculated.
  • the normal vector calculation unit 353 outputs the calculated normal vector to the classification processing unit 360 as a normal vector map with the same number of samplings as the distance map.
  • FIG. 20 shows a detailed configuration example of the classification processing unit 360.
  • the classification processing unit 360 includes a classification reference data storage unit 361, a projection conversion unit 362, a search area size setting unit 363, a similarity calculation unit 364, and a region setting unit 365.
  • the classification reference data storage unit 361 stores basic pits obtained by modeling a normal gland duct exposed on the surface of a living body shown in FIG. 18A. This basic pit is a binary image, and is an image of a size corresponding to a case where a normal duct at a predetermined distance is imaged. The classification reference data storage unit 361 outputs the basic pits to the projection conversion unit 362.
  • the projection conversion unit 362 receives the distance map from the distance information acquisition unit 340, the normal vector map from the surface shape calculation unit 350, and the optical magnification from the control unit 302 (not shown).
  • the projective transformation unit 362 extracts distance information of the sample position of interest from the distance map, and extracts a normal vector of the corresponding sample position from the normal vector map. Then, as shown in FIG. 18B, the basic pit is projective-transformed using the normal vector, and magnification correction is further performed in accordance with the optical magnification to generate a corrected pit.
  • the projective transformation unit 362 outputs the corrected pit as a classification reference to the similarity calculation unit 364 and outputs the size of the corrected pit to the search area size setting unit 363.
  • the search area size setting unit 363 sets an area twice as large and smaller than the size of the correction pit as a search area for similarity calculation processing, and outputs information on the search area to the similarity calculation unit 364.
  • the corrected pit at the target sample position is input from the projective transformation unit 362 to the similarity calculation unit 364, and a search area corresponding to the corrected pit is input from the search area size setting unit 363.
  • the similarity calculation unit 364 extracts the image of the search area from the image input from the image configuration unit 320.
  • the similarity calculation unit 364 performs high-pass filter processing or band-pass filter processing on the extracted image of the search area to cut low frequency components, and performs binarization processing on the image after the filter processing. To generate a binary image of the search area. Then, the binary image of the search area is subjected to pattern matching processing with correction pits to calculate a correlation value, and a map of the peak position of the correlation value and the maximum correlation value is output to the area setting unit 365.
  • the correlation value is the sum of absolute differences
  • the maximum correlation value is the minimum value of the sum of absolute differences.
  • POC Phase Only Correlation
  • the region setting unit 365 extracts a region whose sum of absolute differences is equal to or less than a predetermined threshold T (including its value) based on the maximum correlation value map input from the similarity calculation unit 364, and further extracts the region in that region. A three-dimensional distance between the position of the maximum correlation value and the position of the maximum correlation value in the adjacent search range is calculated. Then, if the calculated three-dimensional distance is included in the range of the predetermined error, an area including the maximum correlation position is grouped as a normal area to generate a classification map. The area setting unit 365 outputs the generated classification map to the emphasis processing unit 330.
  • T including its value
  • a certain in-image position is set as a processing target position.
  • the projective transformation unit 362 acquires a correction pattern at the processing target position by deforming the reference pattern based on the surface shape information at the processing target position.
  • the search area size setting unit 363 searches for a search area around the processing target position from the acquired correction pattern (in the above example, an area having a size twice as wide as the correction pattern). Set).
  • the similarity calculation unit 364 matches the imaged structure with the correction pattern in the search area. If this matching is performed in pixel units, the similarity is calculated for each pixel. Then, as shown in FIG. 21E, the region setting unit 365 specifies a pixel corresponding to the peak of the similarity in the search region, and whether or not the similarity in the pixel is equal to or greater than a given threshold value. Determine if If the similarity is equal to or higher than the threshold value, correction is performed to a region of the size of the correction pattern based on the peak position (in FIG. 21E, the central portion of the correction pattern is taken as the reference position). Since the pattern is detected, the area can be classified as an area that matches the reference pattern.
  • the inside of the shape representing the correction pattern may be set as a region that matches the classification reference, and various modifications can be made.
  • the similarity is less than the threshold value, it means that there is no structure matching the reference pattern in the peripheral area of the processing target position.
  • an area that matches zero, one, or a plurality of reference patterns and an area other than the reference pattern are set in the captured image.
  • classification processing based on the degree of similarity described here is an example, and classification processing may be performed by another method.
  • various methods for calculating the degree of similarity between images and the degree of difference between images are known, and thus the detailed description will be omitted.
  • the classification unit 310 generates the classification reference based on the surface shape information and the surface shape calculation unit 350 for obtaining the surface shape information of the subject based on the distance information and the known characteristic information, and generates And a classification processing unit 360 which performs classification processing using the classification criteria.
  • the known characteristic information acquisition unit 345 acquires a reference pattern corresponding to the structure of the subject in a given state as known characteristic information
  • the classification processing unit 360 is based on surface shape information with respect to the reference pattern.
  • the correction pattern acquired by performing the deformation process may be generated as a classification standard, and the classification process may be performed using the generated classification standard.
  • the known characteristic information acquisition unit 345 acquires a reference pattern corresponding to the structure of the subject in the normal state as acquisition of known characteristic information.
  • An area that is not normal is, for example, an area suspected of being a lesion of a living body in the case of a living body endoscope. Since it is assumed that such a region has a high degree of attention for the user, it is possible to prevent missing of the region to be noted by appropriately classifying.
  • the subject has a global three-dimensional structure and a local uneven structure as compared to the global three-dimensional structure
  • the surface shape calculation unit 350 has a global three-dimensional structure that the subject has.
  • Surface shape information may be obtained by extracting a global three-dimensional structure from the distance information among the local uneven structures.
  • FIG. 22 shows a detailed configuration example of the classification processing unit 360 in the second classification processing method.
  • the classification processing unit 360 includes a classification reference data storage unit 361, a projection conversion unit 362, a search area size setting unit 363, a similarity calculation unit 364, an area setting unit 365, and a second classification reference data generation unit 366.
  • symbol is attached
  • the basic pit that is the classification reference is prepared not only for the normal duct but also for the abnormal duct, and the pits of the actual captured image are extracted, and the second classification reference data
  • the second embodiment is different from the first classification processing method in that the classification reference data is replaced as (second reference pattern) and the similarity is calculated again based on the replaced second classification reference data.
  • the pit pattern on the surface of the living body depends on whether it is normal or abnormal, and if it is abnormal, it is a lesion. It is known that the shape changes according to the degree of progress of For example, in the case of normal mucous membrane, as shown in FIG. 24 (A), the pit pattern is close to circular, and when the lesion progresses, the star-like shape of FIG. 24 (B), FIG. 24 (C) and FIG. 24 (D). It becomes a complicated shape such as a tubular mold, and if it proceeds further, the pit pattern disappears as shown in FIG. 24 (F). Therefore, the state of the subject can be determined by holding these typical patterns as a reference pattern and determining the similarity between the surface of the subject imaged in the captured image and the reference pattern. .
  • the differences from the first classification processing method will be described in detail.
  • a plurality of pits as shown in FIG. 23 are recorded in the classification reference data storage unit 361, and these pits are output to the projective transformation unit 362.
  • the processing of the projective transformation unit 362 is the same as the first classification processing method. That is, projective transformation processing is performed on all the pits stored in the classification reference data storage unit 361, and correction pits for a plurality of classification types are output to the search area size setting unit 363 and the similarity calculation unit 364.
  • the similarity calculation unit 364 generates maximum correlation value maps for a plurality of correction pits.
  • the maximum correlation value map at this time point is not used for generating the classification map (generation of the final output of the classification process), and is output to the second classification reference data generation unit 366, and new classification reference data is generated. Will be used to generate
  • the second classification reference data generation unit 366 newly classifies the pit image of the position on the image determined to have a high similarity (for example, the absolute difference is less than or equal to a predetermined threshold) by the similarity calculation unit 364 as a classification criterion. Adopt as.
  • a high similarity for example, the absolute difference is less than or equal to a predetermined threshold
  • Adopt as.
  • the second classification reference data generation unit 366 includes the maximum correlation value map for each classification from the similarity calculation unit 364, the image from the image configuration unit 320, and the distance from the distance information acquisition unit 340.
  • the map, the optical magnification from the control unit 302, and the size of the gland for each classification from the known characteristic information acquisition unit 345 are input. Then, the second classification reference data generation unit 366 extracts image data corresponding to the sample position of the maximum correlation value for each classification, based on the distance information of the position, the size of the duct, and the optical magnification.
  • the second classification reference data generation unit 366 acquires a gray scale image (for canceling the difference in brightness) obtained by removing the low frequency component from the extracted real image, and performs the second classification of the gray scale image. As the reference data, it is output to the classification reference data storage unit 361 together with the normal vector and the distance information.
  • the classification reference data storage unit 361 stores the second classification reference data and the related information. As a result, in each classification, it is possible to collect second classification reference data highly correlated with the subject.
  • the second classification reference data described above excludes the influence of deformation (change in size) due to the angle between the optical axis direction of the imaging unit 200 and the object surface and the distance from the imaging unit 200 to the object surface.
  • the second classification reference data generation unit 366 may generate the second classification reference data after performing processing for canceling those influences. Specifically, as a result of performing deformation processing (projective conversion processing and scaling processing) to correspond to the case where the gray scale image is imaged as being at a given distance from a given reference direction As the second classification reference data.
  • the projection transformation unit 362, the search area size setting unit 363, and the similarity calculation unit 364 may perform the process again on the second classification reference data. Specifically, projective transformation processing is performed on the second classification reference data to generate a second correction pattern, and the same processing as the first classification processing method using the generated second correction pattern as a classification reference I do.
  • the basic pit of the abnormal gland duct used in the present embodiment is mostly not a point target. Therefore, in similarity calculation (both in the case of using a correction pattern and in the case of using a second correction pattern) in the similarity calculation unit 364, rotation invariant phase only correction (POC) is performed to calculate the similarity. It is desirable to calculate.
  • similarity calculation both in the case of using a correction pattern and in the case of using a second correction pattern
  • POC rotation invariant phase only correction
  • the region setting unit 365 is classified into the classification map grouped by classification (type I, type II,%) In FIG. 23 or the classification by type of classification (type A, B, etc In FIG. Generate a classification map. Specifically, a classification map of the area in which the correlation is obtained in the correction pit classified into the normal duct is generated, and the classification map of the area in which the correlation is obtained in the correction pit classified into the abnormal gland is classified Generate by type or type. Then, a classification map (multi-valued image) is generated by combining these classification maps. At the time of synthesis, the overlap region of the region in which the correlation is obtained in each classification may be an unclassified region, or may be replaced with a classification of higher malignant level.
  • the area setting unit 365 outputs the combined classification map to the emphasis processing unit 330.
  • the enhancement processing unit 330 performs, for example, enhancement processing of luminance or color based on the classification map of the multi-valued image.
  • the known characteristic information acquisition unit 345 acquires the reference pattern corresponding to the structure of the subject in the abnormal state as acquisition of known characteristic information.
  • the known characteristic information acquisition unit 345 acquires a reference pattern corresponding to the structure of the subject in a given state as known characteristic information
  • the classification processing unit 360 is based on surface shape information with respect to the reference pattern.
  • the correction pattern is acquired by performing the deformation processing, and the similarity between the structure of the subject imaged in the captured image and the correction pattern is determined at each position in the image of the captured image, based on the determined similarity.
  • the second reference pattern candidate may be acquired.
  • the classification processing unit 360 generates a second reference pattern, which is a new reference pattern, based on the acquired second reference pattern candidate and the surface shape information, and the surface with respect to the second reference pattern is generated.
  • the second correction pattern acquired by performing the deformation process based on the shape information may be generated as a classification standard, and the classification process may be performed using the generated classification standard.
  • the classification standard since the classification standard can be created from the subject actually captured in the captured image, the classification standard reflects the characteristics of the subject to be processed well, and the reference pattern acquired as the known characteristic information is As compared with the case of using as it is, it becomes possible to further improve the accuracy of the classification process.
  • normal gland duct 50 abnormal gland duct, 60 gland duct disappearance area, 100 light source parts, 101 white light source, 102 rotational color filter, 103 rotational drive unit, 104 condenser lens, 200 imaging unit, 201 light guide fiber, 203 illumination lens, 204 objective lens, 206, 207 imaging device, 209 A / D converter, 210 memories, 212 connectors, 300 processor unit, 301 image processing unit, 302 control unit, 305 image acquisition unit, 310 classification unit, 320 image configuration unit, 330 enhancement processing unit, 340 distance information acquisition unit, 345 known characteristic information acquisition unit, 350 surface shape calculation unit, 351 morphology characteristic setting unit, 352 closing processing unit, 353 normal vector calculation unit, 360 classification processing unit, 361 classification reference data storage unit, 362 projection transformation unit, 363 search area size setting unit, 364 similarity calculation unit, 365 area setting unit, 366 classification reference data generation unit, 370 storage unit, 380 motion detection unit, 390 motion determination unit, 395 shooting condition acquisition unit, 400 display, 500 external

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

　画像処理装置は、被写体の像を含む撮像画像を時系列に取得する画像取得部３０５と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３４０と、時系列の撮像画像に基づいて被写体の局所的な動き情報を検出する動き検出部３８０と、距離情報に基づいて被写体の構造物の分類処理を行う分類部３１０と、分類処理の結果に基づいて撮像画像の強調処理を行い、局所的な動き情報に応じて強調処理の対象又は強調量の制御を行う強調処理部３３０と、を含む。

Description

画像処理装置、内視鏡装置、プログラム及び画像処理方法
　本発明は、画像処理装置、内視鏡装置、プログラム及び画像処理方法等に関する。
　生体内部の観察、診断において、生体表面の腺管構造（ピットパターンと呼ばれている）を用いるものが考えられる。例えば、大腸での早期病変診断にピットパターンが利用されている。この診断方法はピットパターン診断と呼ばれており、正常状態から病変の種類に応じて６種類のタイプ（Ｉ型からＶ型まで）に分類されたピットパターン形状に対して、観察されるピットパターンがどの分類に類似するかにより判定するものである。
　このピットパターン形状を強調表示する手法として、特許文献１には、内視鏡装置及び光プローブを用いた３次元光断層画像を取得する装置が記載されており、この３次元光断層画像を基に、生体組織の深さ方向に垂直な平面のＸＹ画面像を複数の深さ位置について切り出し、その平均画像からピットパターン形状を強調表示する手法が開示されている。
特開２０１０－６８８６５号公報
　例えば上記のような強調表示等を行うために、画像に写った生体の構造物を検出し、分類処理することが考えられる。このような分類処理において画像から構造物を検出する場合、例えば生体の拍動等によって画像に動きブレが生じると、画像から得られる情報が十分でないため、構造物が誤検出されるという課題がある。例えば上記のようなピットパターンを検出する場合、既知のピットパターン形状と画像とをマッチング処理する手法が考えられる。動きブレがあると、実際にはピットパターンが存在する場所でもマッチング処理でピットパターンを検出できず、誤った分類結果となってしまう。
　本発明の幾つかの態様によれば、誤った分類結果に基づく処理が行われることを抑制可能な画像処理装置、内視鏡装置、プログラム及び画像処理方法等を提供できる。
　本発明の一態様は、被写体の像を含む撮像画像を時系列に取得する画像取得部と、前記撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出する動き検出部と、前記距離情報に基づいて、前記被写体の構造物の分類処理を行う分類部と、前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う強調処理部と、を含む画像処理装置。
に関係する。
　本発明の一態様によれば、距離情報に基づいて被写体の構造物の分類処理が行われ、その分類処理の結果に基づいて撮像画像の強調処理が行われ、その強調処理の対象又は強調量が、被写体の局所的な動き情報に応じて制御される。これにより、誤った分類結果に基づく強調処理が行われることを抑制可能になる。
　また本発明の他の態様は、被写体の像を含む撮像画像を時系列に取得する画像取得部と、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出する動き検出部と、前記距離情報に基づいて前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する分類部と、を含む画像処理装置に関係する。
　本発明の一態様によれば、距離情報に基づいて被写体の構造物の分類処理が行われ、その分類処理の対象が、被写体の局所的な動き情報に応じて制御される。これにより、誤った分類結果に基づく後段の処理が行われることを抑制可能になる。
　また本発明の更に他の態様は、上記のいずれかに記載の画像処理装置を含む内視鏡装置に関係する。
　また本発明の更に他の態様は、被写体の像を含む撮像画像を時系列に取得し、前記撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、前記距離情報に基づいて、前記被写体の構造物の分類処理を行い、前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う、ステップをコンピューターに実行させるプログラムに関係する。
　また本発明の更に他の態様は、被写体の像を含む撮像画像を時系列に取得し、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、前記距離情報に基づいて前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する、ステップをコンピューターに実行させるプログラムに関係する。
　また本発明の更に他の態様は、被写体の像を含む撮像画像を時系列に取得し、前記撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、前記距離情報に基づいて、前記被写体の構造物の分類処理を行い、前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う画像処理方法に関係する。
　また本発明の更に他の態様は、被写体の像を含む撮像画像を時系列に取得し、前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、前記距離情報に基づいて前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する画像処理方法に関係する。
図１（Ａ）は、異常部を観察する際の撮像部と被写体の関係を示す図。図１（Ｂ）は、取得した画像の例。 図２（Ａ）は、動きブレが発生している場合の撮像部と被写体の関係を示す図。図２（Ｂ）は、取得した画像の例。 図３は、画像処理装置の第１の構成例。 図４は、画像処理装置の第２の構成例。 図５は、内視鏡装置の構成例。 図６は、第１の実施形態における画像処理部の詳細な構成例。 図７は、歪み補正処理前及び歪み補正処理後の画像例。 図８は、分類処理についての説明図。 図９は、画像処理部が行う処理のフローチャートの例。 図１０は、第２の実施形態における画像処理部の詳細な構成例。 図１１は、第２の実施形態の変形例における画像処理部の詳細な構成例。 図１２は、第３の実施形態における画像処理部の詳細な構成例。 図１３は、第４の実施形態における画像処理部の詳細な構成例。 図１４（Ａ）は、第４の実施形態における撮像部と被写体の関係を示す図。図１４（Ｂ）、図１４（Ｃ）は、取得した画像の例。 図１５は、距離と光学系の倍率を対応付けたテーブルの例。 図１６は、分類部の詳細な構成例。 図１７（Ａ）、図１７（Ｂ）は、表面形状算出部が行う処理についての説明図。 図１８（Ａ）は、基本ピットの例。図１８（Ｂ）は、修正ピットの例。 図１９は、表面形状算出部の詳細な構成例。 図２０は、第１の分類処理手法における分類処理部の詳細な構成例。 図２１（Ａ）～図２１（Ｆ）は、分類処理の具体例についての説明図。 図２２は、第２の分類処理手法における分類処理部の詳細な構成例。 図２３は、複数の分類タイプを用いる場合の分類タイプの例。 図２４（Ａ）～図２４（Ｆ）は、ピットパターンの例。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．本実施形態の概要
　内視鏡装置によりピットパターンの分類処理を行う場合を例に本実施形態の概要について説明する。
　図１（Ａ）に、異常部（例えば早期病変）を観察する際の撮像部２００と被写体の関係を示す。また、図１（Ｂ）に、その際に取得した画像の例を示す。正常腺管４０は正常なピットパターンを示し、異常腺管５０は不整な形状を呈する異常なピットパターンを示し、腺管消失領域６０は、病変によりピットパターンが消失した異常領域を示す。
　図１（Ａ）に示すように、術者は異常部（異常腺管５０、腺管消失領域６０）を発見すると、撮像部２００を異常部に近接させ、撮像部２００と異常部を極力正対させる。図１（Ｂ）に示すように、正常部（正常腺管４０）のピットパターンでは規則的な構造が一様な配列で並んでいる。
　このような正常部を画像処理により検出するには、既知特性情報（先見情報）として正常なピットパターン構造を事前に登録又は学習することで、例えばマッチング処理等により正常部を検出することができる。一方、異常部のピットパターンは不整な形状を呈したり消失したりしているため、正常部に比べ多様な形状をとる。そのため、事前の既知特性情報に基づいて異常部を検出することは困難である。本実施形態では、正常部として検出されなかった領域を異常部として分類することで、ピットパターンを正常部と異常部に分類する。このようにして分類した異常部を強調表示することで、異常部の見落とし防止や質的診断の精度を上げることが可能となる。
　しかしながら、上記の手法では正常部として検出されなかったものが異常部として検出されるため、早期病変以外のものも異常部として検出される誤検出が課題となる。例えば、生体内の拍動等により、撮像部に対して被写体が動いているような場合では、画像中の被写体像に動きブレが発生し、この動きブレにより誤検出が生じる。ここで動きブレとは、被写体又は撮像部が動くことにより、画像の一部又は全体に発生するブレのことである。
　図２（Ａ）に動きブレが発生している場合の撮像部２００と被写体の関係を示す。また、図２（Ｂ）に、その場合に取得した画像の例を示す。図２（Ａ）に示すように生体の一部に動きＭＡが生じると、図２（Ｂ）の画像下部に示すように画像上に動きブレＭＢが発生する。この動きブレＭＢが発生した領域ＲＭＢでは、被写体の構造が不明瞭になるためマッチング処理で正常部として検出されず、異常部として分類されてしまう。この領域ＲＭＢは本来は正常部として表示されるべき領域であるが、異常部に分類されているため異常部として表示されてしまう。
　そこで図３に示すように、本実施形態の画像処理装置は、被写体の像を含む撮像画像を時系列に取得する画像取得部３０５と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３４０と、時系列の撮像画像に基づいて被写体の局所的な動き情報を検出する動き検出部３８０と、距離情報に基づいて被写体の構造物の分類処理を行う分類部３１０と、分類処理の結果に基づいて撮像画像の強調処理を行い、局所的な動き情報に応じて強調処理の対象又は強調量の制御を行う強調処理部３３０と、を含む。
　このようにすれば、被写体の局所的な動き情報を検出することにより、画像の動きブレによって分類結果の信頼性が低くなる領域ＲＭＢを検出できる。そして、その局所的な動き情報に応じて強調処理の対象又は強調量の制御を行うことにより、信頼性の低い分類結果に基づいて強調表示されてしまうことを抑制できる。
　例えば本実施形態では、距離情報に基づく分類処理として、距離情報から被写体表面の形状を求め、その形状に合わせて変形した基準ピットパターンと画像とをマッチング処理し、そのマッチング結果により画像上のピットパターンを分類する。このような処理では動きブレによりマッチング処理の精度が低下するが、本実施形態では、その精度低下による誤表示を防ぐことが可能である。
　また、ピットパターン診断を行う場合には、一般的に被写体に撮像部２００を近接して観察を行うため、被写体上での僅かな動きが画像上で大きな動きブレとなる。そのため、ピットパターン診断において動きブレの影響を除いて異常部検出を行うことは、誤検出の抑制に効果がある。
　また図４に示すように、本実施形態の画像処理装置は、被写体の像を含む撮像画像を時系列に取得する画像取得部３０５と、撮像の際の撮像部２００から被写体までの距離に基づく距離情報を取得する距離情報取得部３４０と、時系列の撮像画像に基づいて被写体の局所的な動き情報を検出する動き検出部３８０と、距離情報に基づいて被写体の構造物の分類処理を行い、局所的な動き情報に応じて分類処理の対象を制御する分類部３１０と、を含んでもよい。
　このようにすれば、局所的な動き情報に応じて分類処理の対象を制御することにより、画像の動きブレによって分類結果の信頼性が低くなる領域ＲＭＢにおいて誤った分類結果となってしまうことを抑制できる。図４の構成では、分類処理の結果は強調処理に限らず他の情報処理に用いてもよいし、或は外部装置に出力して、その外部装置での処理に用いられてもよい。分類結果の誤りが抑制されることにより、これらの処理における処理結果の信頼性を向上できる。
　ここで、距離情報とは、撮像画像の各位置と、その各位置での被写体までの距離とが対応付けられた情報であり、例えば撮像部２００の光軸方向における距離を各画素に対応付けた距離マップである。なお後述するように、距離情報は距離マップに限定されず、撮像部２００から被写体までの距離に基づいて取得される種々の情報であればよい。
　また分類処理とは、ピットパターンの分類処理に限らず、被写体の構造物を例えば種類や状態等に応じて分類する処理であればよい。構造物とは、分類結果をユーザーに提示することによってユーザーの観察や診断をアシストし得るものであり、例えば生体用の内視鏡装置であれば、ピットパターンに限らず、粘膜に生じたポリープや、消化管の襞、血管、癌等の病変であってもよい。分類処理では、それらの種類や、例えば正常／異常等の状態、或は異常度に応じた区分に分類する。
　距離情報に基づく分類処理としては、上述したようなピットパターンの分類処理に限らず、種々の分類処理を想定できる。例えば、ステレオ画像をステレオマッチング処理して距離マップを取得し、その距離マップに対してローパスフィルター処理やモルフォロジー処理等を行うことにより、被写体の大局的な形状の情報を取得する。そして、その大局的な形状の情報を距離マップから減算して局所的な凹凸構造の情報を取得する。そして、分類したい構造の既知特性情報（例えば特定のポリープが有するサイズや形状、或は病変特有の溝などの深さや幅等）と、局所的な凹凸構造の情報とを比較し、既知特性情報に合致する凹凸構造を抽出する。このようにして、ポリープや溝などの特定の構造を分類することができる。このような処理では動きブレによりステレオマッチング処理の精度が低下し、誤った距離情報が取得される可能性がある。その誤った距離情報から凹凸構造を分類すると分類精度が低下するが、本実施形態では、その精度低下による誤表示を防ぐことが可能である。
　また強調処理とは、画像上の特定の対象を目立たせる処理或は識別させる処理である。例えば、特定の種類や状態に分類された領域を構造強調や色強調等する処理であってもよいし、或は、その領域をハイライトする処理や、その領域を線で囲む処理、その領域を示すマークを付す処理であってもよい。また、特定の領域以外の領域に対して上記のような処理を行うことによって、その特定の領域を目立たせて（或は識別させて）もよい。
　２．第１の実施形態
　２．１．内視鏡装置
　次に、本実施形態の詳細な構成について説明する。図５に、内視鏡装置の構成例を示す。内視鏡装置は、光源部１００と撮像部２００とプロセッサー部３００（制御装置）と表示部４００と外部Ｉ／Ｆ部５００とを含む。
　光源部１００は、白色光源１０１と、複数の分光透過率を持った回転色フィルター１０２と、回転色フィルター１０２を駆動する回転駆動部１０３と、回転色フィルター１０２からの分光特性を持った光をライトガイドファイバー２０１の入射端面に集光させる集光レンズ１０４と、を含む。
　回転色フィルター１０２は、三原色の赤の色フィルターと緑の色フィルターと青の色フィルターと回転モーターとから構成されている。
　回転駆動部１０３は、プロセッサー部３００の制御部３０２からの制御信号に基づいて撮像素子２０６及び撮像素子２０７の撮像期間と同期して回転色フィルター１０２を所定回転数で回転させる。例えば回転色フィルター１０２を１秒間に２０回転させると、各色フィルターは６０分の１秒間隔で入射白色光を横切ることになる。撮像素子２０６及び撮像素子２０７は、６０分の１秒間隔で、３原色の各色光（Ｒ或いはＧ或いはＢ）に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。つまり、この構成例では、Ｒ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で面順次で撮像され、実質のフレームレートは２０ｆｐｓとなる。
　撮像部２００は、例えば胃や大腸などの体腔への挿入を可能にするため細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバー２０１と、ライトガイドファイバー２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０３と、を含む。また撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０４、２０５と、集光した結像光を検出するための撮像素子２０６、２０７と、撮像素子２０６、２０７からの光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２０９と、を含む。また撮像部２００は、撮像部２００のスコープＩＤ情報と製造バラツキを含めた固有情報とが記録されているメモリー２１０と、プロセッサー部３００に着脱可能なコネクター２１２と、を含む。撮像素子２０６、２０７は、例えばモノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳイメージセンサー等を利用できる。
　対物レンズ２０４、２０５は、所定間隔離した位置に配置されており、所定の視差画像（以降、ステレオ画像と記す）を撮影可能な位置に配置されており、撮像素子２０６、２０７にそれぞれ左画像、右画像を結像させる。撮像素子２０６、２０７から出力された左画像、右画像は、Ａ／Ｄ変換部２０９によりデジタル信号に変換され、その変換された左画像、右画像は、画像処理部３０１へ出力される。メモリー２１０は制御部３０２と接続されており、スコープＩＤ情報と製造バラツキを含めた固有情報がメモリー２１０から制御部３０２へ転送される。
　プロセッサー部３００は、Ａ／Ｄ変換部２０９から転送された画像に対して種々の画像処理を行う画像処理部３０１（画像処理装置に対応する）と、内視鏡装置の各部を制御する制御部３０２と、を含む。
　表示部４００は、画像処理部３０１から転送される画像を表示するものであり、例えばＣＲＴや液晶モニター等の動画表示可能な表示装置である。
　外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部５００は、例えば電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッターボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ（例えば生体表面の構造物の選択的な強調処理を行う為のスイッチ）等を含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力するようになっている。
　２．２．画像処理部
　図６に、第１の実施形態における画像処理部３０１の詳細な構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０（距離マップ算出部）、記憶部３７０、動き検出部３８０、動き判定部３９０を含む。なお以下ではマッチング処理によりピットパターンの分類処理を行う場合を例に説明するが、上述のように距離情報を用いた種々の分類処理を適用できる。
　撮像部２００は、画像構成部３２０と距離情報取得部３４０に接続される。分類処理部３６０は、強調処理部３３０に接続される。画像構成部３２０は、分類処理部３６０と、強調処理部３３０と、記憶部３７０と、動き検出部３８０に接続される。強調処理部３３０は、表示部４００に接続される。距離情報取得部３４０は、分類処理部３６０と、表面形状算出部３５０に接続される。表面形状算出部３５０は、分類処理部３６０に接続される。記憶部３７０は、動き検出部３８０に接続される。動き検出部３８０は、動き判定部３９０に接続される。動き判定部３９０は、分類処理部３６０に接続される。制御部３０２は、図示を省略するが、各部と双方向に接続されており、その各部の制御を行う。
　距離情報取得部３４０は、Ａ／Ｄ変換部２０９が出力するステレオ画像を取得し、そのステレオ画像に基づいて距離情報を取得する。具体的には、左画像を基準画像とし、その左画像の局所領域の中央に位置する注目画素を通るエピポーラ線上で右画像の局所領域とのマッチング演算を行い、最大相関となる位置を視差として算出する。そして、その算出した視差をＺ軸方向での距離に変換して距離情報を取得し、その距離情報を分類部３１０へ出力する。
　ここで距離情報とは、撮像部２００から被写体までの距離に基づいて取得される種々の情報である。例えば、上記のようにステレオ光学系で三角測量する場合は、視差を生む２つのレンズを結ぶ面の任意の点を基準にした距離を距離情報とすればよい。或は、Time of Flight方式により距離情報を取得してもよい。この方式では、レーザー光等を被写体に照射し、その反射光の到達時間により距離を測定する。この場合、例えば反射光を撮像する撮像素子面の各画素位置を基準にした距離を距離情報として取得すればよい。これらの例では、距離計測の基準点を撮像部２００に設定したが、基準点は、撮像部２００以外の任意の場所に設定してもよい。例えば、基準点を、撮像部２００や被写体を含む３次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の距離情報も本実施形態の距離情報に含まれる。
　撮像部２００から被写体までの距離とは、例えば撮像部２００から被写体までの奥行き方向での距離である。一例としては、撮像部２００の光軸方向での距離を用いればよい。即ち、被写体上のある点での距離は、その点を通る、光軸に平行な線上での撮像部２００から被写体までの距離である。このような距離情報として、例えば距離マップがある。距離マップとは、例えば撮像部２００の光軸方向をＺ軸とした場合に、ＸＹ平面の各点（例えば撮像画像の各画素）について、被写体までのＺ軸方向での距離（奥行き、深度）を当該点の値としたマップのことである。
　また、距離情報取得部３４０は、撮像部２００に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部２００から対応点までの距離をもとにした距離情報を取得してもよい。例えば、撮像部２００から３つの対応点までの実際の距離が「３」、「４」、「５」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離が一律に半分にされた「１．５」、「２」、「２．５」を取得してもよい。
　画像構成部３２０は、Ａ／Ｄ変換部２０９が出力するステレオ画像（左画像及び右画像）を取得し、そのステレオ画像を表示部４００に出力可能な画像にするための画像処理（例えばＯＢ処理、ゲイン処理、γ処理等）を行う。画像構成部３２０は、処理後の画像を記憶部３７０、動き検出部３８０、分類部３１０、強調処理部３３０へ出力する。
　記憶部３７０は、画像構成部３２０から転送される時系列の画像を記憶する。記憶部３７０は、動き検出に必要な枚数の画像を記憶する。例えば２フレームの画像を比較して動きベクトルを取得する場合、１フレームの画像を記憶すればよい。
　動き検出部３８０は、撮像画像に基づいて、画像上での被写体の動き情報を検出する。具体的には、動き検出部３８０は、画像構成部３２０から入力された画像と、記憶部３７０に記憶された１フレーム前の画像に対して、光学系の歪み補正を行う。そして、歪み補正後の画像に対して特徴点のマッチングを行い、マッチングした特徴点の動きベクトルから各画素（又は各領域）での動き量を算出する。
　なお動き情報としては、被写体の動きを表す種々の情報を採用できる。例えば、動きの大きさと方向の情報をもつ動きベクトルを用いてもよいし、動きベクトルの大きさ（動き量）のみを用いてもよい。また、フレーム間の動き情報を複数フレームで平均したものを動き情報として用いてもよい。
　歪み補正では、収差の一種である歪曲収差（以下、「歪み」と呼ぶ）を補正する。図７に、歪み補正処理前及び歪み補正処理後の画像例を示す。まず、動き検出部３８０は、歪み補正処理後の画像の画素座標を取得する。ここで、歪み補正処理後の画像サイズは光学系の歪みに基づいて予め取得されているとする。次に、取得した画素座標（ｘ，ｙ）を、下式（１）を用いて光軸中心を原点とする座標（ｘ’，ｙ’）に変換する。ここで、（ｃｅｎｔｅｒ＿ｘ，ｃｅｎｔｅｒ＿ｙ）は歪み補正処理後の光軸中心の座標である。例えば、歪み補正処理後の光軸中心は歪み補正処理後の画像の中心である。
Figure JPOXMLDOC01-appb-M000001
　次に、変換した画素座標（ｘ’，ｙ’）に基づいて、下式（２）を用いて物体高ｒを算出する。ここで、ｍａｘ＿ｒは歪み補正後画像における最大物体高である。
Figure JPOXMLDOC01-appb-M000002
　次に、算出した物体高ｒに基づいて像高／物体高の比（Ｒ／ｒ）を算出する。具体的には、Ｒ／ｒとｒとの関係をテーブルとして保持しておき、該テーブルを参照することでｒに対応するＲ／ｒを取得する。
　次に、歪み補正処理後の画素座標（ｘ，ｙ）に対応する、歪み補正処理前の画素座標（Ｘ，Ｙ）を下式（３）を用いて取得する。ここで、（ｃｅｎｔｅｒ＿Ｘ，ｃｅｎｔｅｒ＿Ｙ）は歪み補正処理前の光軸中心の座標である。例えば、歪み補正処理前の光軸中心は歪み補正処理前の画像の中心である。
Figure JPOXMLDOC01-appb-M000003
　次に、算出した歪み補正処理前の画素座標（Ｘ，Ｙ）に基づいて、歪み補正処理後の画素座標（ｘ，ｙ）における画素値を算出する。（Ｘ，Ｙ）が整数でない場合、線形補間により周囲の画素値に基づいて算出する。以上の処理を歪み補正処理後の画像の全画素に対して行い、歪み補正する。このような歪み補正処理を行うことで、画像の中心及び周辺で高精度に動き量を検出することが可能になる。
　動き検出部３８０は、歪み補正処理後の画像の各画素について動き量を検出する。以下では、座標（ｘ’，ｙ’）における動き量をＭｖ（ｘ’，ｙ’）と表記する。動き検出部３８０は、検出した動き量Ｍｖ（ｘ’，ｙ’）に対して逆歪み補正処理を行い、動き量Ｍｖ（ｘ’，ｙ’）を歪み補正処理前の画素位置（ｘ，ｙ）での動き量Ｍｖ（ｘ，ｙ）へ変換する。動き検出部３８０は、動き量Ｍｖ（ｘ，ｙ）を動き情報として動き判定部３９０へ転送する。
　なお上記では動き量を各画素で検出する場合を例に説明したが、本実施形態はこれに限定されず、例えば画像を複数の局所領域に分割し、その局所領域毎に動き量を検出してもよい。また以下でも各画素について処理を行う場合を例に説明するが、各領域について処理を行ってもよい。
　動き判定部３９０は、動き情報に基づいて画像内の各画素について動き量が大きいか否かの判定を行う。具体的には、動き検出部３８０から入力された動き量Ｍｖ（ｘ，ｙ）が閾値以上である画素を検出する。閾値は、例えば画像の画素数に応じて事前に設定する。或は、閾値は、外部Ｉ／Ｆ部５００を介してユーザーが設定してもよい。動き判定部３９０は、判定結果を分類部３１０へ転送する。
　分類部３１０は、距離情報と分類基準とに基づいて、画像内の構造物の像に対応する画素の分類処理を行う。具体的には、分類部３１０は、表面形状算出部３５０（３次元形状算出部）と分類処理部３６０とを含む。なお分類部３１０が行う分類処理の詳細については後述し、ここでは概要について説明する。
　表面形状算出部３５０は、距離マップの各画素における被写体表面の法線ベクトルを表面形状情報（広義には３次元形状情報）として算出する。そして、分類処理部３６０は、法線ベクトルに基づいて基準ピットパターンを被写体表面に射影する。また、その画素位置での距離に基づいて基準ピットパターンの大きさを画像上での大きさ（即ち距離が遠いほど画像上では小さくなる見かけの大きさ）に調整する。分類処理部３６０は、このようにして修正した基準ピットパターンと画像とのマッチング処理を行い、基準ピットパターンに合致する領域を検出する。
　例えば図８に示すように、分類処理部３６０は、正常なピットパターンの形状を基準ピットパターンとし、その基準ピットパターンに合致した領域ＧＲ１を「正常部」に分類し、合致しなかった領域ＧＲ２を「異常部（非正常部）」に分類する。また分類処理部３６０は、動き量が閾値以上であると動き判定部３９０により判定された領域ＧＲ３については「不明」に分類する。即ち、動き量が閾値以上である画素についてはマッチング処理の対象から外して分類を「不明」に設定し、それ以外の画素についてマッチング処理を行って「正常部」と「異常部」に分類する。
　ここで「不明」とは、構造物の種類や、正常／異常等の状態、異常度に応じた区分等に分類する分類処理において、いずれの分類に属するかが不明であることを表す。例えば「正常部」と「異常部」に分類する場合、「正常部」と「異常部」のいずれに属するかを判断できない（又は判断しない）ものを「不明」に分類する。
　強調処理部３３０は、分類処理の結果に基づいて画像の強調処理を行う。例えば、「異常部」に分類された領域ＧＲ２に対して、ピットパターンの構造を強調するためのフィルター処理や色強調を行い、「不明」に分類された領域ＧＲ３に対して、分類が不明であることを示すための特定の色を付す処理を行う。
　以上の実施形態によれば、被写体が動くことによる動きブレが発生した場合でも、異常部の誤検出を抑制することができる。即ち、画像上での被写体の動き量が大きい領域ＧＲ３は正常／異常の分類処理の対象から除外されるため、その領域ＧＲ３は正常部や異常部に分類されない。これにより、画像が不明瞭な領域では正常／異常の分類に基づく強調処理が行われず、誤った分類による誤った強調表示を防ぐことができる。
　また、動き量は画素毎（又は局所領域毎）に検出するため、局所的な動きブレが発生した場合でも、動きの大きい領域では異常部の誤検出を抑制しつつ、動きの小さい領域については的確に異常部を検出することが可能になる。
　なお、上記では各画素（又は局所領域）毎の動き情報に基づいて分類処理の検出範囲を設定したが、本実施形態はこれに限定されず、例えば各画素の動き情報の平均を画像全体の動き情報として、画像全体について分類処理を行うか否かを設定してもよい。或は、動き量の大きさを分類処理の指標に加味する構成としてもよい。即ち、動き量の大きい画素を「異常部」と判定されにくくしてもよい。
　２．３．ソフトウェア
　上記の実施形態では、プロセッサー部３００を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されない。例えば、撮像装置を用いて予め取得された画像と距離情報に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
　この場合、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものである。情報記憶媒体は、ＣＤ－ＲＯＭやＵＳＢメモリーの他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステムの内外に備えられるＨＤＤやＲＡＭ、ＲＯＭ等の「固定用の物理媒体」、モデムを介して接続される公衆回線や、他のコンピューターシステム又はサーバーが接続されるローカルエリアネットワーク又は広域エリアネットワーク等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステムによって読み取り可能なプログラムを記録するあらゆる記録媒体を含む。
　即ち、プログラムは、上記の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム（操作部、処理部、記憶部、出力部を備える装置）は、このような記録媒体からプログラムを読み出して実行することで画像処理装置を実現する。なお、プログラムは、コンピューターシステムによって実行されることに限定されるものではなく、他のコンピューターシステム又はサーバーがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
　図９に、画像処理部３０１が行う処理をソフトウェアで実現する場合のフローチャートを示す。
　この処理を開始すると、撮像装置の（距離情報に対応する）光学倍率等を含む撮影条件等のヘッダー情報を入力する（ステップＳ１１）。次に、２つの撮像素子で撮影されたステレオ画像信号を入力する（ステップＳ１２）。次に、ステレオ画像から距離マップを算出する（ステップＳ１３）。次に、距離マップから表面形状（広義には３次元形状）を算出する（ステップＳ１４）。次に、分類基準（基準ピットパターン）を表面形状に応じて修正する（ステップＳ１５）。次に、画像構成処理を行う（ステップＳ１６）。次に、画像構成された画像と、メモリーに記憶された１フレーム前の画像から動き情報を検出する（ステップＳ１７）。次に、画像構成された画像を１フレーム分メモリーに記憶する（ステップＳ１８）。次に、動き情報に基づいて、動きが小さい領域（動きブレの発生していない領域）を「正常部」と「異常部」に分類する（ステップＳ１９）。次に、「異常部」に分類された領域の強調処理を行う（ステップＳ２０）。次に、強調処理された画像を出力する（ステップＳ２１）。次に、動画像の最終画像の場合は処理を終了し、最終画像でない場合はステップＳ１２へ戻る。
　以上の実施形態によれば、動き判定部３９０は、動き情報に基づいて、撮像画像内の画素又は領域での被写体の動き量が閾値よりも大きいか否かの判定を行う。分類部３１０は、動き量が閾値よりも大きいと判定された画素又は領域を、分類処理の対象から除く。
　このようにすれば、画像内において被写体の動きが大きい部分を分類処理の対象から除くことができる。これにより、動きブレによって画像が不明瞭となる部分において、実際の被写体の状態とは異なる分類に誤分類されることを抑制でき、ユーザーに対して正確な情報を提示して診断をアシストできる。また、動き量が大きい画素又は領域ではマッチング処理を行わないため、処理負荷を低減できる。
　具体的には、分類部３１０は、画素又は領域が正常な構造物の特性（例えば図１８（Ａ）で後述するような基本ピット）に合致するか否かを判定することにより、その画素又は領域を正常部と非正常部（異常部）に分類する。そして、分類部３１０は、動き量が閾値よりも大きいと判定された画素又は領域を、正常部と非正常部を分類する処理の対象から除き、正常部と非正常部の分類が不明である不明状態に分類する。
　このようにすれば、被写体を例えば正常ピットパターンが存在する正常部と、それ以外の非正常部とに分類できる。そして、動きブレによって画像が不明瞭となる部分において、実際には正常ピットパターンが存在するにも関わらず非正常部に誤分類されてしまうことを抑制できる。なお、図２３等で後述するように、非正常部は、更に細分化された分類にグルーピングされてもよい。このような場合にも、その細分化された分類が動きブレで誤判定される可能性があるが、本実施形態によれば、そのような誤判定を抑制できる。
　また本実施形態では、分類部３１０は、動き量が閾値よりも大きいと判定された画素又は領域について、分類処理の結果を修正してもよい。即ち、動き判定の結果に関わらず正常／非正常の分類処理を行い、その後に動き判定の結果に基づいて最終的に分類を決定してもよい。
　このようにすれば、動きブレによる誤分類が生じた場合であっても、その分類結果が出力されないので、ユーザーに対して正確な情報を提示できる。例えば、動きが大きい領域の分類結果を「不明（不明状態）」に修正することにより、その領域が分類不能であることをユーザーに知らせることが可能である。
　３．第２の実施形態
　図１０に、第２の実施形態における画像処理部３０１の構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０、記憶部３７０、動き検出部３８０、動き判定部３９０を含む。なお以下では、第１の実施形態と同一の構成要素については同一の符号を付し、適宜説明を省略する。
　第２の実施形態では、動き判定部３９０は強調処理部３３０へ接続される。分類部３１０は、動き情報に基づく分類処理は行わず、各画素を「正常部」と「異常部」に分類する。強調処理部３３０は、動き判定部３９０から入力された判定結果に基づいて強調処理の対象を制御する。即ち、動き量が閾値よりも大きいと判定された画素については、「正常部」及び「異常部」の分類精度が低いため、強調処理を行わない。或は、動き量が閾値よりも大きいと判定された画素に対して特定の色を付す等の強調処理を行い、分類精度が低いことをユーザーに提示してもよい。
　以上の実施形態によれば、動き判定部３９０は、動き情報に基づいて、撮像画像内の画素又は領域での被写体の動き量が閾値よりも大きいか否かの判定を行う。そして、強調処理部３３０は、動き量が閾値よりも大きいと判定された画素又は領域を、分類結果に基づく強調処理の対象から除く。
　このようにすれば、画像内において被写体の動きが大きい部分では分類結果が強調表示されないので、動きブレによって誤分類が生じた場合であっても、ユーザーに対して信頼性の高い分類結果のみを提示できる。
　また本実施形態では、分類部３１０は、画素又は領域が正常な構造物の特性に合致するか否かを判定することにより画素又は領域を正常部と非正常部（異常部）に分類する。そして、強調処理部３３０は、動き量が閾値よりも大きいと判定された画素又は領域を、正常部と非正常部の分類結果に基づく強調処理の対象から除く。
　動きブレによって画像が不明瞭となる部分では、実際には正常ピットパターンが存在するにも関わらず非正常部に誤分類される可能性がある。この点、本実施形態によれば、仮に誤分類が生じたとしても、動きが大きい部分では正常／非正常の強調表示が行われないので、信頼性の高い正常／非正常の分類結果のみを提示できる。
　４．第２の実施形態の変形例
　図１１に、第２の実施形態の変形例における画像処理部３０１の構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０、記憶部３７０、動き検出部３８０を含む。
　この変形例では、第２の実施形態の動き判定部３９０が省略された構成となり、動き検出部３８０は強調処理部３３０へ接続される。強調処理部３３０は、動き情報に基づいて強調量を制御する。具体的には、動き量が大きい画素ほど、その画素での強調量を抑制する。例えば異常部を強調表示する場合、異常部であっても動き量が大きいほど強調度合いが小さくなる。
　以上の実施形態によれば、強調処理部３３０は、動き情報に基づいて、撮像画像内の画素又は領域での被写体の動き量が大きいほど、その画素又は領域に対する強調処理の強調量を小さくする制御を行う。
　一般的には、被写体の動き量が大きいほど画像が不明瞭となるため、マッチング処理の信頼性も低下していくと考えられる。この点、本実施形態によれば、分類結果の信頼性が低いほど強調量を小さくできるので、低信頼度の分類結果まで一律にユーザーに提示されてしまうことを防げる。
　５．第３の実施形態
　図１２に、第３の実施形態における画像処理部３０１の構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０、記憶部３７０、動き検出部３８０、動き判定部３９０を含む。
　第３の実施形態では、動き検出部３８０は、動き判定部３９０と強調処理部３３０に接続され、動き判定部３９０は、分類部３１０へ接続される。分類部３１０は、第１の実施形態と同様に、動きの大きい領域について正常部と異常部の分類処理を行わず、その領域の分類を不明に設定する。強調処理部３３０は、第２の実施形態の変形例と同様に、動きの大きい領域の強調量を抑制する。
　６．第４の実施形態
　図１３に、第４の実施形態における画像処理部３０１の構成例を示す。画像処理部３０１は、分類部３１０、画像構成部３２０、強調処理部３３０、距離情報取得部３４０、記憶部３７０、動き検出部３８０、動き判定部３９０、撮影条件取得部３９５を含む。
　第１の実施形態では動き情報として画像上の動き量を検出したが、第４の実施形態では被写体上での動き量を検出する。なお、第４の実施形態での動き検出処理は、第１～第３の実施形態のいずれにも適用可能である。
　第４の実施形態の動作について図１４（Ａ）～図１４（Ｃ）を用いて具体的に説明する。図１４（Ａ）には、撮像部２００と被写体の関係を示す。図１４（Ｂ）、図１４（Ｃ）には、取得した画像の例を示す。
　図１４（Ａ）に示すように、術者は被写体に撮像部２００を近接させる。この時、撮像部２００と被写体（異常部（異常腺管５０や腺管消失領域６０））を正対させようとするが、生体内の狭い領域では撮像部２００を正対させることが不可能な場合がある。その場合は、被写体に対して斜め方向から画像を撮像する。図１４（Ｂ）に示すように、その時の画像では、近点の画像上部の被写体は大きく表示され、中遠点の画像下部の被写体は小さく表示される。このような場合に、図１４（Ａ）に示すように、近点と中遠点の被写体上で同程度の大きさの動きＭＣ１、ＭＣ２が発生したとすると、図１４（Ｂ）に示すように、中遠点での画像上の動き量ＭＤ２は、近点での画像上の動き量ＭＤ１に比べて、小さく検出される。
　第１の実施形態では、分類部３１０は画像上での動き量に基づいて分類処理の対象範囲を設定していたため、上記のような場合には中遠点の被写体が分類処理の対象範囲に入ることになる。即ち図１４（Ｃ）に示すように、近点の領域ＧＲ３は「不明」に分類され、中遠点の領域ＧＲ１は画像上での動きＭＤ２が小さいため正常／異常の分類処理が行われることになる。しかしながら、中遠点の被写体は構造が小さく表示されるので、動き量ＭＤ２が小さくても構造は不明瞭に表示されてしまう。そのため、画像上の動き量で検出範囲を設定すると中遠点の被写体を異常部と誤検出する可能性がある。
　そこで第４の実施形態では、動き検出部３８０が被写体上での動き量を検出し、その動き量に基づいて分類部３１０が分類処理の対象範囲を設定する。これにより、中遠点の被写体に対しても動きによる分類の誤検出を抑制できる。
　具体的には、第４の実施形態の画像処理部３０１には、撮影条件取得部３９５が追加されており、撮影条件取得部３９５は動き検出部３８０に接続されている。また距離情報取得部３４０は動き検出部３８０に接続されている。制御部３０２は、図示を省略するが、画像処理部３０１の各部に双方向に接続されており、その各部の制御を行う。
　撮影条件取得部３９５は、制御部３０２から画像撮影時の撮影条件を取得する。具体的には、撮像部２００の光学系の倍率Ｋ（ｄ）を取得する。例えば光学系が固定焦点である場合、図１５に示すように、光学系の倍率Ｋ（ｄ）は撮像素子から被写体までの距離ｄに一対一で対応する。倍率Ｋ（ｄ）は像倍率に対応しており、距離ｄが遠いほど被写体が小さく写ることに対応して倍率Ｋ（ｄ）が小さくなる。
　なお、光学系は固定焦点に限定されず、可変焦点（光学ズームが可能）の構成としてもよい。この場合は、図１５のテーブルを光学系のズームレンズ位置（ズーム倍率）毎に持ち、撮像時の光学系のズームレンズ位置に対応したテーブルを参照して倍率Ｋ（ｄ）を取得する。
　動き検出部３８０は、画像上の動き量を検出し、その検出された画像上の動き量と距離情報と撮影条件とに基づいて、被写体上の動き量を検出する。具体的には、動き検出部３８０は、第１の実施形態と同様にして、各画素の座標（ｘ，ｙ）における画像上での動き量Ｍｖ（ｘ，ｙ）を検出する。そして、各画素での被写体までの距離情報ｄ（ｘ，ｙ）を距離マップから取得し、その距離情報ｄ（ｘ，ｙ）に対応する光学系の倍率Ｋ（ｄ（ｘ，ｙ））をテーブルから取得する。動き検出部３８０は、下式（４）に示すように、動き量Ｍｖ（ｘ，ｙ）とＫ（ｄ（ｘ，ｙ））を乗算し、座標（ｘ，ｙ）における被写体上での動き量Ｍｖｏｂｊ（ｘ，ｙ）を算出する。そして、算出した被写体上の動き量Ｍｖｏｂｊ（ｘ，ｙ）を動き情報として分類部３１０へ転送する。
Ｍｖｏｂｊ（ｘ，ｙ）＝Ｍｖ（ｘ，ｙ）×Ｋ（ｄ（ｘ，ｙ））　　（４）
　以上の実施形態によれば、被写体上での動き量Ｍｖｏｂｊ（ｘ，ｙ）に基づいて正常／異常の分類処理を行う範囲を設定するため、被写体までの距離ｄ（ｘ，ｙ）に依らず、動きブレに起因する異常部の誤検出を抑制することが可能となる。
　７．第１の分類処理手法
　７．１．分類部
　上述した第１～第４の実施形態の分類部３１０が行う分類処理について詳細に説明する。図１６に、分類部３１０の詳細な構成例を示す。分類部３１０は、既知特性情報取得部３４５、表面形状算出部３５０、分類処理部３６０を含む。
　以下では観察対象を大腸とする場合を例にとり、分類部３１０の動作について説明する。図１７（Ａ）に示すように、観察対象である大腸の生体表面１は隆起病変のポリープ２を有しており、ポリープ２の粘膜表層は正常腺管４０と異常腺管５０を有しているものとする。また、ポリープ２の付け根には、腺管構造が消失した陥凹型病変６０が存在しているものとする。このポリープ２の上部を上から見た場合、例えば図１（Ｂ）に示すように、正常腺管４０は略円形の形状を示し、異常腺管５０は正常腺管４０とは異形な形状を呈している。
　表面形状算出部３５０は、距離情報取得部３４０から入力される距離情報（例えば距離マップ）に対して、クロージング処理、或いは適応的ローパスフィルター処理を施すことで、所定構造要素のサイズ以上のサイズをもつ構造を抽出する。ここで所定構造要素は、観察部位の生体表面１に形成されている分類判定したい腺管構造（ピットパターン）である。
　具体的には、既知特性情報取得部３４５が、既知特性情報の一つとして構造要素情報を取得し、その構造要素情報を表面形状算出部３５０へ出力する。構造要素情報は、撮像部２００の光学倍率と、生体表面１の表面構造から分類したい腺管構造のサイズ（幅の情報）と、で決定される大きさ情報である。即ち、光学倍率は被写体までの距離に応じて決まっており、その光学倍率でサイズ調整を行うことにより、その距離で撮像された腺管構造の画像上でのサイズを構造要素情報として取得する。
　例えば、プロセッサー部３００の制御部３０２が腺管構造の標準的なサイズを記憶しており、既知特性情報取得部３４５は、そのサイズを制御部３０２から取得し、光学倍率によるサイズ調整を行う。具体的には、制御部３０２は、撮像部２００のメモリー２１０から入力されるスコープＩＤ情報に基づいて、観察部位を決定する。例えば撮像部２００が上部消化器用スコープである場合、観察部位は食道、胃、十二指腸と判定され、下部消化器用スコープである場合、観察部位は大腸と判定される。制御部３０２には、これらの観察部位に応じた標準的な腺管サイズが、予め記録されている。なお、観察部位の決定をスコープＩＤ以外で行う手法として、例えばユーザーが操作可能なスイッチを外部Ｉ／Ｆ部５００が有し、そのスイッチによりユーザーが観察部位を選択する手法がある。
　表面形状算出部３５０は、入力される距離情報に基づいて適応的に表面形状算出情報を生成し、その表面形状算出情報を用いて被写体の表面形状情報を算出する。表面形状情報は、例えば図１７（Ｂ）に示す法線ベクトルＮＶである。表面形状算出情報の詳細については以降で説明するが、例えば距離マップの注目位置での距離情報に適応したモルフォロジーのカーネルサイズ（構造要素のサイズ）であったり、その距離情報に適応したフィルターのローパス特性であったりする。即ち、表面形状算出情報は、距離情報に応じて適応的に、非線形或は線形のローパスフィルターの特性を変更する情報である。
　生成された表面形状情報は、距離マップと共に分類処理部３６０に入力される。図１８（Ａ）、図１８（Ｂ）に示すように、分類処理部３６０は、基本ピットを撮像画像の生体表面の３次元形状に適応させて修正ピット（分類基準）を生成する。基本ピットは、腺管構造を分類するための１つの正常腺管構造をモデル化したものであり、例えば２値画像である。なお、ここではピットパターンを想定しているため、基本ピット、修正ピットという用語を用いるが、より広義な用語として基準パターン、修正パターンと置き換えることが可能である。
　分類処理部３６０は、生成した分類基準（修正ピット）による分類処理を行う。具体的には、分類処理部３６０には、更に画像構成部３２０からの画像が入力される。分類処理部３６０は、修正ピットが撮像画像上に存在するか否かを公知のパターンマッチング処理により判定し、分類領域をグルーピングした分類マップを強調処理部３３０へ出力する。分類マップは、修正ピットが存在する領域とそれ以外の領域に撮像画像を分類したマップである。例えば、修正ピットが存在する領域の画素に“１”を割り当て、それ以外の領域の画素に“０”を割り当てた２値画像である。なお、動き量に応じて「不明」の分類を設定する場合には、「不明」の領域の画素に例えば“２”を割り当て、３値画像としてもよい。
　強調処理部３３０には、更に画像構成部３２０からの画像（分類画像と同一サイズ）が入力される。そして強調処理部３３０は、分類結果を表す情報を用いて、画像構成部３２０から出力される画像に対して強調処理を行う。
　７．２．表面形状算出部
　図１７（Ａ）、図１７（Ｂ）を用いて表面形状算出部３５０が行う処理について詳細に説明する。
　図１７（Ａ）は、撮像部２００の光軸に沿った断面における、被写体の生体表面１と撮像部２００の断面図であり、モルフォロジー処理（クロージング処理）により表面形状を算出している状態を模式化したものである。クロージング処理に利用する球ＳＰ（構造要素）の半径は、分類したい腺管構造のサイズ（表面形状算出情報）の例えば２倍以上（その値を含む）とする。腺管構造のサイズは、上述のように、各画素での被写体までの距離に応じて、画像上でのサイズに調整されたものである。
　このようなサイズの球ＳＰを用いることで、正常腺管４０と異常腺管５０と腺管消失領域６０の微小な凹凸を拾わずに、それらの微小な凹凸よりも滑らかな生体表面１の３次元表面形状を抽出できる。そのため、微小な凹凸を残したままの表面形状を用いて基本ピットを修正ピットに修正した場合に比べて、修正誤差を低減することができる。
　図１８（Ｂ）は、クロージング処理した後の生体表面の断面図であり、生体表面に対して法線ベクトルＮＶを算出した結果を模式化したものである。表面形状情報は、この法線ベクトルＮＶである。なお、表面形状情報は法線ベクトルＮＶに限定されるものではなく、図１８（Ｂ）に示すクロージング処理後の曲面そのものであってもよいし、その他表面形状を表現できる他の情報であってもよい。
　具体的には、既知特性情報取得部３４５が、生体固有の腺管のサイズ（長手方向の幅など）を既知特性情報として取得し、その情報を用いて、実際の生体表面をクロージング処理でなぞる球ＳＰの半径（画像上での腺管のサイズに応じた半径）を決定する。このとき、球ＳＰの半径を、画像上での腺管のサイズよりも大きい半径に設定する。表面形状算出部３５０は、この球ＳＰを用いてクロージング処理を行うことにより、所望の表面形状のみを抽出できる。
　図１９に、表面形状算出部３５０の詳細な構成例を示す。表面形状算出部３５０は、モルフォロジー特性設定部３５１、クロージング処理部３５２、法線ベクトル算出部３５３を含む。
　既知特性情報取得部３４５から、既知特性情報である生体固有の腺管のサイズ（長手方向の幅など）がモルフォロジー特性設定部３５１に入力される。モルフォロジー特性設定部３５１は、その腺管のサイズと距離マップとに基づいて、表面形状算出情報（クロージング処理に用いる球ＳＰの半径等）を決定する。
　決定した球ＳＰの半径情報は、例えば距離マップと同一の画素数を持つ半径マップとしてクロージング処理部３５２へ入力される。半径マップは、各画素に、その画素での球ＳＰの半径の情報が対応付けられたマップである。クロージング処理部３５２は、その半径マップにより画素単位で半径を変更してクロージング処理を行い、その処理結果を法線ベクトル算出部３５３へ出力する。
　法線ベクトル算出部３５３には、クロージング処理後の距離マップが入力される。法線ベクトル算出部３５３は、その距離マップ上の注目サンプル位置での３次元情報（例えば画素の座標と、その座標での距離情報）と、注目サンプル位置に隣接する２つのサンプル位置での３次元情報とにより平面を定義し、その定義した平面の法線ベクトルを算出する。法線ベクトル算出部３５３は、算出した法線ベクトルを、距離マップと同一サンプリング数の法線ベクトルマップとして分類処理部３６０へ出力する。
　７．３．分類処理部
　図２０に、分類処理部３６０の詳細な構成例を示す。分類処理部３６０は、分類基準データ記憶部３６１、射影変換部３６２、探索領域サイズ設定部３６３、類似度算出部３６４、領域設定部３６５を含む。
　分類基準データ記憶部３６１には、図１８（Ａ）に示す生体表面に露出している正常腺管をモデル化した基本ピットが記憶されている。この基本ピットは２値画像であり、所定距離にある正常腺管を撮像した場合に相当する大きさの画像である。分類基準データ記憶部３６１は、この基本ピットを射影変換部３６２へ出力する。
　射影変換部３６２には、距離情報取得部３４０からの距離マップと、表面形状算出部３５０からの法線ベクトルマップと、制御部３０２（図示省略）からの光学倍率と、が入力される。射影変換部３６２は、注目サンプル位置の距離情報を距離マップから抽出し、それに対応するサンプル位置の法線ベクトルを法線ベクトルマップから抽出する。そして、図１８（Ｂ）に示すように、その法線ベクトルを用いて基本ピットを射影変換し、更に光学倍率に合わせて倍率補正を行い、修正ピットを生成する。射影変換部３６２は、その修正ピットを分類基準として類似度算出部３６４へ出力し、修正ピットのサイズを探索領域サイズ設定部３６３へ出力する。
　探索領域サイズ設定部３６３は、修正ピットのサイズの縦横２倍の領域を、類似度算出処理の探索領域として設定し、その探索領域の情報を類似度算出部３６４へ出力する。
　類似度算出部３６４には、注目サンプル位置での修正ピットが射影変換部３６２から入力され、その修正ピットに対応する探索領域が探索領域サイズ設定部３６３から入力される。類似度算出部３６４は、その探索領域の画像を、画像構成部３２０から入力される画像から抽出する。
　類似度算出部３６４は、その抽出した探索領域の画像に対してハイパスフィルター処理、或はバンドパスフィルター処理を施して低周波成分をカットし、そのフィルター処理後の画像に対して２値化処理を行い、探索領域の２値画像を生成する。そして、その探索領域の２値画像内を修正ピットでパターンマッチング処理して相関値を算出し、その相関値のピーク位置と最大相関値のマップを領域設定部３６５へ出力する。例えば、相関値は差分絶対値和であり、最大相関値は差分絶対値和の最小値である。
　なお、相関値の算出方法としてはＰＯＣ（Phase Only Correlation）等、他の手法を用いてもよい。ＰＯＣを用いる場合には、回転や倍率変化について不変となるので、相関算出の精度を高めることが可能である。
　領域設定部３６５は、類似度算出部３６４から入力される最大相関値マップに基づいて、差分絶対値和が所定閾値Ｔ以下（その値を含む）である領域を抽出し、更にその領域内の最大相関値の位置と隣接探索範囲の最大相関値の位置との間の３次元距離を算出する。そして、算出した３次元距離が所定誤差の範囲に含まれている場合は、その最大相関位置を含む領域を正常領域としてグルーピングし、分類マップを生成する。領域設定部３６５は、生成した分類マップを強調処理部３３０へ出力する。
　上記分類処理の具体例を、図２１（Ａ）～図２１（Ｆ）に示す。図２１（Ａ）に示すように、ある画像内位置を処理対象位置とする。図２１（Ｂ）に示すように、射影変換部３６２は、当該処理対象位置での表面形状情報により基準パターンを変形することで、当該処理対象位置での修正パターンを取得する。図２１（Ｃ）に示すように、探索領域サイズ設定部３６３は、取得された修正パターンから、処理対象位置の周辺の探索領域（上述の例であれば修正パターンの縦横２倍のサイズの領域）を設定する。
　図２１（Ｄ）に示すように、類似度算出部３６４は、当該探索領域において、撮像された構造物と修正パターンとのマッチングをとる。このマッチングを画素単位で行ったとすれば、画素毎に類似度が算出される。そして、図２１（Ｅ）に示すように、領域設定部３６５は、探索領域での類似度のピークに対応する画素を特定し、当該画素での類似度が所与の閾値以上であるか否かを判定する。類似度が閾値以上であれば、当該ピーク位置を基準とする修正パターンの大きさの領域（図２１（Ｅ）では修正パターンの中心部を基準位置としているが、これに限定されない）に、修正パターンが検出されたということであるから、当該領域は基準パターンに合致する領域であるという分類をすることができる。
　なお、図２１（Ｆ）に示すように、修正パターンを表す形状の内部を分類基準に合致する領域としてもよく、種々の変形実施が可能である。一方、類似度が閾値未満の場合には、処理対象位置の周辺領域では基準パターンにマッチングする構造はないということになる。この処理を各画像内位置で行うことで、撮像画像内に、０個、１個、或いは複数の基準パターンに合致する領域と、それ以外の領域とが設定されることになる。そして、基準パターンに合致する領域が複数ある場合には、それらのうち重なり合うものや近接するものを統合していくことで、最終的に分類結果が得られることになる。ただし、ここで述べた類似度に基づく分類処理の手法は一例であり、他の手法により分類処理を行ってもよい。また、類似度の具体的な算出手法については、画像間類似度、画像間相違度を算出する種々の手法が知られているため、詳細な説明は省略する。
　以上の実施形態によれば、分類部３１０は、距離情報と既知特性情報に基づいて、被写体の表面形状情報を求める表面形状算出部３５０と、表面形状情報に基づいて分類基準を生成し、生成した分類基準を用いた分類処理を行う分類処理部３６０と、を含む。
　これにより、表面形状情報により表される表面形状に基づいて、適応的に分類基準を生成し分類処理を行うことが可能となる。上述した撮像部２００の光軸方向と被写体表面のなす角度に起因する撮像画像上での構造物の変形等、表面形状による分類処理の精度低下要因は種々考えられるが、本実施形態の手法によれば、そのような場合でも精度よく分類処理できる。
　また、既知特性情報取得部３４５は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部３６０は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。
　これにより、被写体の構造物が表面形状によって変形された状態で撮像された場合にも、精度よく分類処理を行うことが可能になる。具体的には、円形の腺管構造は図１（Ｂ）等に示すように、種々の変形をされた状態で撮像されるが、基準パターン（図１８（Ａ）の基準ピット）から表面形状に応じて適切な修正パターン（図１８（Ｂ）の修正ピット）を生成して分類基準とすることで、変形された領域においても適切にピットパターンを検出し、分類できる。
　また、既知特性情報取得部３４５は、正常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得する。
　これにより、撮像画像を正常である領域と正常でない領域とに分類する分類処理を行うことが可能になる。正常でない領域とは、例えば生体用内視鏡であれば、生体の病変部であることが疑われる領域である。このような領域はユーザーにとって注目度が高いことが想定されるため、適切に分類することで注目すべき領域の見逃しを抑止すること等が可能になる。
　また、被写体は、大局的な３次元構造と、その大局的な３次元構造に比べて局所的な凹凸構造とを有し、表面形状算出部３５０は、被写体が有する大局的な３次元構造と局所的な凹凸構造のうち、大局的な３次元構造を距離情報から抽出することで、表面形状情報を求めてもよい。
　これにより、被写体の構造を大局的なものと局所的なものに分けた場合に、大局的な構造から表面形状情報を求めることが可能になる。撮像画像上での基準パターンの変形は、その基準パターンに比べて大きい構造である大局的な構造に起因するものが支配的である。そのため、本実施形態では大局的な３次元構造から表面形状情報を求めることで、精度よく分類処理を行うことができる。
　８．第２の分類処理手法
　図２２に、第２の分類処理手法における分類処理部３６０の詳細な構成例を示す。分類処理部３６０は、分類基準データ記憶部３６１、射影変換部３６２、探索領域サイズ設定部３６３、類似度算出部３６４、領域設定部３６５、第２の分類基準データ生成部３６６を含む。なお、第２の分類処理手法における構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
　第２の分類処理手法では、分類基準である基本ピットが正常腺管だけでなく、異常腺管に対しても用意する点と、実際の撮像画像のピットを抽出し、第２の分類基準データ（第２の基準パターン）として分類基準データを置き換え、その置き換え後の第２の分類基準データに基づいて類似度を算出し直す点と、が第１の分類処理手法と異なっている。
　具体的には図２４（Ａ）～図２４（Ｆ）に示すように、生体表面のピットパターンは、正常状態であるか異常状態であるかに応じて、また異常状態である場合には病変の進行度等に応じて、その形状が変化することが知られている。例えば、正常粘膜であれば図２４（Ａ）に示すようにピットパターンは円形に近く、病変が進行すると図２４（Ｂ）の星芒状や、図２４（Ｃ）、図２４（Ｄ）の管状型といった複雑な形状になり、さらに進行すると図２４（Ｆ）に示したようにピットパターンが消失したりする。よって、これらの典型的なパターンを基準パターンとして保持しておき、撮像画像に撮像された被写体表面と、当該基準パターンとの類似度等を判定することで、被写体の状態を判定することができる。
　第１の分類処理手法との相違点について詳細に説明する。分類基準データ記憶部３６１には、正常腺管の基本ピットだけでなく、図２３に示すような複数のピットが記録されており、これらのピットは射影変換部３６２へ出力される。射影変換部３６２の処理は第１の分類処理手法と同様である。即ち、分類基準データ記憶部３６１に格納されている全てのピットに対して射影変換処理を行い、複数の分類タイプに対する修正ピットを探索領域サイズ設定部３６３と類似度算出部３６４へ出力する。
　類似度算出部３６４は、複数の修正ピットに対して、それぞれの最大相関値マップを生成する。なお、この時点での最大相関値マップは、分類マップの生成（分類処理の最終出力の生成）に用いられるものではなく、第２の分類基準データ生成部３６６に出力され、新たな分類基準データの生成に用いられることになる。
　第２の分類基準データ生成部３６６は、類似度算出部３６４で類似度が高い（例えば差分絶対値が所定閾値以下である）と判定された画像上の位置のピット画像を、新たに分類基準として採用する。これにより、予め用意されている標準的なモデル化したピットではなく、実際の画像から抽出したピットを分類基準にするため、より最適な精度の高い分類判定が可能となる。
　具体的には、第２の分類基準データ生成部３６６には、類似度算出部３６４からの分類毎の最大相関値マップと、画像構成部３２０からの画像と、距離情報取得部３４０からの距離マップと、制御部３０２からの光学倍率と、既知特性情報取得部３４５からの分類毎の腺管のサイズと、が入力される。そして第２の分類基準データ生成部３６６は、分類毎の最大相関値のサンプル位置に対応する画像データを、その位置の距離情報と腺管のサイズと光学倍率に基づいて抽出する。
　更に第２の分類基準データ生成部３６６は、抽出された実画像から低周波成分を除いたグレースケール画像（明るさの違いをキャンセルする為）を取得し、当該グレースケール画像を第２の分類基準データとして、法線ベクトル及び距離情報と併せて分類基準データ記憶部３６１へ出力する。分類基準データ記憶部３６１は、その第２の分類基準データ及び関連情報を記憶する。これにより、各分類で、被写体との相関性が高い第２の分類基準データを収集できたことになる。
　なお、上記の第２の分類基準データは、撮像部２００の光軸方向と被写体表面とがなす角度、及び撮像部２００から被写体面までの距離による変形（大きさの変化）の影響が排除されていない。よって、第２の分類基準データ生成部３６６は、それらの影響をキャンセルする処理を行った上で第２の分類基準データを生成してもよい。具体的には、上記グレースケール画像に対して、所与の基準方向から所与の距離にあるものとして撮像した場合に相当するように変形処理（射影変換処理及び変倍処理）を行った結果を第２の分類基準データとすればよい。
　第２の分類基準データが生成された後は、当該第２の分類基準データを対象として、射影変換部３６２、探索領域サイズ設定部３６３、類似度算出部３６４において、再度処理を行えばよい。具体的には、第２の分類基準データに対して射影変換処理を行って第２の修正パターンを生成し、生成した第２の修正パターンを分類基準として第１の分類処理手法と同様の処理を行う。
　なお、本実施形態で用いる異常腺管の基本ピットは、点対象で無い場合がほとんどである。よって、類似度算出部３６４での類似度算出（修正パターンを用いる場合と、第２の修正パターンを用いる場合の両方において）では、回転不変のＰＯＣ（Phase Only Correction）を実施して類似度を算出することが望ましい。
　領域設定部３６５は、図２３の分類別（Ｉ型、ＩＩ型、・・・）にグルーピングした分類マップ、或は図２３の分類のタイプ別（タイプＡ、Ｂ、・・・）にグルーピングした分類マップを生成する。具体的には、正常腺管に分類される修正ピットで相関が得られた領域の分類マップを生成し、異常腺管に分類される修正ピットで相関が得られた領域の分類マップを分類別やタイプ別に生成する。そして、これらの分類マップを合成した分類マップ（多値画像）を生成する。合成する際、それぞれの分類で相関が得られた領域のオーバーラップ領域は分類未確定領域としてもよいし、悪性レベルの高い方の分類に置き換えてもよい。領域設定部３６５は、この合成した分類マップを強調処理部３３０へ出力する。
　強調処理部３３０は、多値画像の分類マップに基づいて、例えば輝度或は色の強調処理等を行う。
　以上の実施形態によれば、既知特性情報取得部３４５は、異常状態における被写体の構造物に対応する基準パターンを、既知特性情報取得として取得する。
　これにより、例えば図２３に示すように、複数の基準パターンを取得し、それらを用いて分類基準を生成し、分類処理を行うことが可能になる。即ち、図２４（Ａ）～図２４（Ｆ）に示すような典型的なパターンを基準パターンとして分類処理を行うことで、被写体の状態を詳細に分類することができる。
　また、既知特性情報取得部３４５は、所与の状態における被写体の構造物に対応する基準パターンを、既知特性情報として取得し、分類処理部３６０は、基準パターンに対して、表面形状情報に基づく変形処理を行うことで修正パターンを取得し、撮像画像に撮像された被写体の構造物と、修正パターンとの類似度を、撮像画像の各画像内位置で求め、求めた類似度に基づいて、第２の基準パターン候補を取得してもよい。そして、分類処理部３６０は、取得した第２の基準パターン候補と、表面形状情報に基づいて、新たな基準パターンである第２の基準パターンを生成し、第２の基準パターンに対して、表面形状情報に基づく変形処理を行うことで取得される第２の修正パターンを分類基準として生成し、生成した分類基準を用いて分類処理を行ってもよい。
　これにより、撮像画像に基づいて第２の基準パターンを生成し、当該第２の基準パターンを用いて分類処理を行うことが可能になる。よって、実際に撮像画像に撮像された被写体から分類基準を作成することができるため、当該分類基準は処理対象としている被写体の特性をよく反映したものとなり、既知特性情報として取得された基準パターンをそのまま用いる場合に比べて、分類処理の精度をより向上させること等が可能になる。
　以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
４０　正常腺管、５０　異常腺管、６０　腺管消失領域、１００　光源部、
１０１　白色光源、１０２　回転色フィルター、１０３　回転駆動部、
１０４　集光レンズ、２００　撮像部、２０１　ライトガイドファイバー、
２０３　照明レンズ、２０４　対物レンズ、２０６，２０７　撮像素子、
２０９　Ａ／Ｄ変換部、２１０　メモリー、２１２　コネクター、
３００　プロセッサー部、３０１　画像処理部、３０２　制御部、
３０５　画像取得部、３１０　分類部、３２０　画像構成部、
３３０　強調処理部、３４０　距離情報取得部、３４５　既知特性情報取得部、
３５０　表面形状算出部、３５１　モルフォロジー特性設定部、
３５２　クロージング処理部、３５３　法線ベクトル算出部、
３６０　分類処理部、３６１　分類基準データ記憶部、３６２　射影変換部、
３６３　探索領域サイズ設定部、３６４　類似度算出部、
３６５　領域設定部、３６６　分類基準データ生成部、３７０　記憶部、
３８０　動き検出部、３９０　動き判定部、３９５　撮影条件取得部、
４００　表示部、５００　外部Ｉ／Ｆ部、
ＧＲ１～ＧＲ３　領域、ＭＡ，ＭＣ１，ＭＣ２　動き、ＭＢ　動きブレ、
ＭＤ１，ＭＤ２　動き量、ＮＶ　法線ベクトル、ＳＰ　球

Claims (22)

  1. 　被写体の像を含む撮像画像を時系列に取得する画像取得部と、
    　撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
    　前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出する動き検出部と、
    　前記距離情報に基づいて、前記被写体の構造物の分類処理を行う分類部と、
    　前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う強調処理部と、
    　を含むことを特徴とする画像処理装置。
  2. 　請求項１において、
    　前記動き情報に基づいて、前記撮像画像内の画素又は領域での前記被写体の動き量が閾値よりも大きいか否かの判定を行う動き判定部を含み、
    　前記強調処理部は、
    　前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域を、分類結果に基づく前記強調処理の対象から除くことを特徴とする画像処理装置。
  3. 　請求項２において、
    　前記分類部は、
    　前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
    　前記強調処理部は、
    　前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域を、前記正常部と前記非正常部の分類結果に基づく前記強調処理の対象から除くことを特徴とする画像処理装置。
  4. 　請求項１において、
    　前記強調処理部は、
    　前記動き情報に基づいて、前記撮像画像内の画素又は領域での前記被写体の動き量が大きいほど前記画素又は前記領域に対する前記強調処理の前記強調量を小さくする強調制御部を有することを特徴とする画像処理装置。
  5. 　請求項４において、
    　前記動き情報に基づいて、前記撮像画像内の画素又は領域での前記被写体の動き量が閾値よりも大きいか否かの判定を行う動き判定部を含み、
    　前記分類部は、
    　前記動き判定部が前記動き量が前記閾値よりも大きいと判定した場合、前記画素又は前記領域を前記分類処理の対象から除くことを特徴とする画像処理装置。
  6. 　請求項１において、
    　前記動き検出部は、
    　前記距離情報に基づいて前記撮像画像での前記動き情報を前記被写体上での動き情報に変換し、
    　前記強調処理部は、
    　前記被写体上での動き情報に応じて前記強調処理の対象又は強調量の制御を行うことを特徴とする画像処理装置。
  7. 　請求項６において、
    　前記動き検出部は、
    　前記撮像画像を撮像した時の撮影条件を取得する撮影条件取得部を有し、
    　前記動き検出部は、
    　前記距離情報及び前記撮影条件に基づいて前記被写体上での動き情報を算出することを特徴とする画像処理装置。
  8. 　請求項７において、
    　前記撮影条件は、
    　前記距離情報に対応する前記撮像部の光学系の倍率であり、
    　前記動き検出部は、
    　前記撮像画像での前記動き情報に前記倍率を乗算して前記被写体上での動き情報を算出することを特徴とする画像処理装置。
  9. 　被写体の像を含む撮像画像を時系列に取得する画像取得部と、
    　撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、
    　前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出する動き検出部と、
    　前記距離情報に基づいて前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する分類部と、
    　を含むことを特徴とする画像処理装置。
  10. 　請求項９において、
    　前記動き情報に基づいて、前記撮像画像内の画素又は領域での前記被写体の動き量が閾値よりも大きいか否かの判定を行う動き判定部を含み、
    　前記分類部は、
    　前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域を、前記分類処理の対象から除くことを特徴とする画像処理装置。
  11. 　請求項１０において、
    　前記分類部は、
    　前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
    　前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域を、前記正常部と前記非正常部を分類する処理の対象から除き、前記正常部と前記非正常部の分類が不明である不明状態に分類することを特徴とする画像処理装置。
  12. 　請求項９において、
    　前記動き情報に基づいて、前記撮像画像内の画素又は領域での前記被写体の動き量が閾値よりも大きいか否かの判定を行う動き判定部を含み、
    　前記分類部は、
    　前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域について、前記分類処理の結果を修正することを特徴とする画像処理装置。
  13. 　請求項１２において、
    　前記分類部は、
    　前記画素又は前記領域が正常な構造物の特性に合致するか否かを判定することにより前記画素又は前記領域を正常部と非正常部に分類し、
    　前記動き量が前記閾値よりも大きいと判定された前記画素又は前記領域について、前記正常部と前記非正常部の分類結果を、前記正常部と前記非正常部の分類が不明である不明状態に修正することを特徴とする画像処理装置。
  14. 　請求項９において、
    　前記動き検出部は、
    　前記距離情報に基づいて前記撮像画像での前記動き情報を前記被写体上での動き情報に変換し、
    　前記分類部は、
    　前記被写体上での動き情報に応じて前記分類処理の対象を制御することを特徴とする画像処理装置。
  15. 　請求項９において、
    　前記分類処理の結果に基づいて前記撮像画像の強調処理を行う強調処理部を含むことを特徴とする画像処理装置。
  16. 　請求項１又は９において、
    　前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部を含み、
    　前記分類部は、
    　前記距離情報と前記既知特性情報に基づいて、前記被写体の表面形状情報を求める表面形状算出部と、
    　前記表面形状情報に基づいて分類基準を生成し、生成した前記分類基準を用いた前記分類処理を行う分類処理部と、
    　を含むことを特徴とする画像処理装置。
  17. 　請求項１６において、
    　前記既知特性情報取得部は、
    　所与の状態における前記被写体の前記構造物に対応する基準パターンを、前記既知特性情報として取得し、
    　前記分類処理部は、
    　前記基準パターンに対して前記表面形状情報に基づく変形処理を行うことで取得される修正パターンを、前記分類基準として生成し、生成した前記分類基準を用いて前記分類処理を行うことを特徴とする画像処理装置。
  18. 　請求項１乃至１５のいずれかに記載の画像処理装置を含むことを特徴とする内視鏡装置。
  19. 　被写体の像を含む撮像画像を時系列に取得し、
    　撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
    　前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、
    　前記距離情報に基づいて、前記被写体の構造物の分類処理を行い、
    　前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う、
    　ステップをコンピューターに実行させるプログラム。
  20. 　被写体の像を含む撮像画像を時系列に取得し、
    　撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
    　前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、
    　前記距離情報に基づいて前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する、
    　ステップをコンピューターに実行させるプログラム。
  21. 　被写体の像を含む撮像画像を時系列に取得し、
    　撮像の際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
    　前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、
    　前記距離情報に基づいて、前記被写体の構造物の分類処理を行い、
    　前記分類処理の結果に基づいて前記撮像画像の強調処理を行い、前記局所的な前記動き情報に応じて前記強調処理の対象又は強調量の制御を行う、
    　ことを特徴とする画像処理方法。
  22. 　被写体の像を含む撮像画像を時系列に取得し、
    　前記撮像の際の前記撮像部から前記被写体までの距離に基づく距離情報を取得し、
    　前記時系列の前記撮像画像に基づいて前記被写体の局所的な動き情報を検出し、
    　前記距離情報に基づいて前記被写体の構造物の分類処理を行い、前記局所的な前記動き情報に応じて前記分類処理の対象を制御する、
    　ことを特徴とする画像処理方法。
PCT/JP2013/075629 2013-03-27 2013-09-24 画像処理装置、内視鏡装置、プログラム及び画像処理方法 WO2014155778A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380075017.7A CN105050473B (zh) 2013-03-27 2013-09-24 图像处理装置、内窥镜装置以及图像处理方法
EP13880591.6A EP2979607A4 (en) 2013-03-27 2013-09-24 IMAGE PROCESSING DEVICE, ENDOSCOPIC DEVICE, PROGRAM, AND IMAGE PROCESSING METHOD
US14/807,065 US20150320296A1 (en) 2013-03-27 2015-07-23 Image processing device, endoscope apparatus, information storage device, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013067422A JP6150583B2 (ja) 2013-03-27 2013-03-27 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP2013-067422 2013-03-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/807,065 Continuation US20150320296A1 (en) 2013-03-27 2015-07-23 Image processing device, endoscope apparatus, information storage device, and image processing method

Publications (1)

Publication Number Publication Date
WO2014155778A1 true WO2014155778A1 (ja) 2014-10-02

Family

ID=51622818

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/075629 WO2014155778A1 (ja) 2013-03-27 2013-09-24 画像処理装置、内視鏡装置、プログラム及び画像処理方法

Country Status (5)

Country Link
US (1) US20150320296A1 (ja)
EP (1) EP2979607A4 (ja)
JP (1) JP6150583B2 (ja)
CN (1) CN105050473B (ja)
WO (1) WO2014155778A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084280A (zh) * 2019-03-29 2019-08-02 广州思德医疗科技有限公司 一种确定分类标签的方法及装置
US12008758B2 (en) * 2016-05-19 2024-06-11 Psip Llc Detection of polyps

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
RU2510235C2 (ru) 2008-03-18 2014-03-27 Новадак Текнолоджиз Инк. Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области
WO2017038774A1 (ja) * 2015-09-01 2017-03-09 オリンパス株式会社 撮像システム、処理装置、処理方法及び処理プログラム
CN113648067A (zh) 2015-11-13 2021-11-16 史赛克欧洲运营有限公司 用于目标的照明和成像的系统和方法
GB2545641B (en) * 2015-12-15 2020-05-27 Siemens Medical Solutions Usa Inc A method for detecting motion in a series of image data frames, and providing a corresponding warning to a user
US10980420B2 (en) 2016-01-26 2021-04-20 Stryker European Operations Limited Configurable platform
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
JP6668942B2 (ja) * 2016-05-23 2020-03-18 富士通株式会社 撮影制御装置、プログラム及び方法
EP3469420A4 (en) * 2016-06-14 2020-02-12 Novadaq Technologies ULC ADAPTIVE IMAGING METHODS AND SYSTEMS FOR IMPROVING LOW LIGHT SIGNALS IN MEDICAL VISUALIZATION
CN109068954B (zh) * 2016-06-27 2021-03-19 奥林巴斯株式会社 内窥镜装置
JP6329715B1 (ja) * 2016-10-31 2018-05-23 オリンパス株式会社 内視鏡システムおよび内視鏡
CN110267578B (zh) * 2017-02-06 2022-10-21 恩多斯科技私人有限公司 膀胱映射
JP6931705B2 (ja) 2017-02-10 2021-09-08 ノバダック テクノロジーズ ユーエルシー オープンフィールドハンドヘルド蛍光イメージングシステムおよび方法
EP3586718B1 (en) * 2017-02-24 2023-08-30 FUJIFILM Corporation Endoscope system and processor device
EP3603477A4 (en) 2017-03-28 2020-02-05 FUJIFILM Corporation MEASUREMENT SUPPORT DEVICE, ENDOSCOPIC SYSTEM AND PROCESSOR
EP3603478A4 (en) 2017-03-28 2020-02-05 FUJIFILM Corporation MEASURING ASSISTANCE DEVICE, ENDOSCOPE SYSTEM AND PROCESSOR
WO2018229831A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018235178A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
CN107864321B (zh) * 2017-11-29 2024-02-02 苏州蛟视智能科技有限公司 一种基于定焦镜头的电动调焦装置及方法
CN111758025B (zh) * 2018-02-22 2024-08-13 松下知识产权经营株式会社 检查装置及检查方法
JP7093409B2 (ja) * 2018-06-05 2022-06-29 オリンパス株式会社 内視鏡システム
JP7118147B2 (ja) * 2018-06-05 2022-08-15 オリンパス株式会社 内視鏡システム
JP7326308B2 (ja) * 2018-09-11 2023-08-15 富士フイルム株式会社 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
EP4285809A3 (en) 2018-09-28 2024-02-21 FUJIFILM Corporation Medical image processing device, medical image processing method, program, diagnosis assistance device, and endoscope system
US11457981B2 (en) 2018-10-04 2022-10-04 Acclarent, Inc. Computerized tomography (CT) image correction using position and direction (P andD) tracking assisted optical visualization
JP7213686B2 (ja) * 2018-12-28 2023-01-27 キヤノン株式会社 形状計測装置、制御方法及びプログラム
JP7279533B2 (ja) 2019-06-14 2023-05-23 ソニーグループ株式会社 センサ装置、信号処理方法
EP4115789B1 (en) * 2021-07-08 2023-12-20 Ambu A/S Endoscope image processing device
CN113420170B (zh) * 2021-07-15 2023-04-14 宜宾中星技术智能系统有限公司 大数据图像的多线程存储方法、装置、设备和介质
CN115861718B (zh) * 2023-02-22 2023-05-05 赛维森(广州)医疗科技服务有限公司 胃活检图像分类方法、装置、设备、介质和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278963A (ja) * 2007-05-08 2008-11-20 Olympus Corp 画像処理装置および画像処理プログラム
JP2009071873A (ja) * 2007-04-27 2009-04-02 Sharp Corp 画像処理装置及び画像処理方法
JP2010068865A (ja) 2008-09-16 2010-04-02 Fujifilm Corp 画像診断装置
JP2012010214A (ja) * 2010-06-28 2012-01-12 Panasonic Corp 画像処理装置、画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671540B1 (en) * 1990-08-10 2003-12-30 Daryl W. Hochman Methods and systems for detecting abnormal tissue using spectroscopic techniques
JP2003088498A (ja) * 2001-09-19 2003-03-25 Pentax Corp 電子内視鏡装置
GB0519769D0 (en) * 2005-09-28 2005-11-09 Imp College Innovations Ltd Imaging system
JP4472631B2 (ja) * 2005-12-28 2010-06-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
US7982776B2 (en) * 2007-07-13 2011-07-19 Ethicon Endo-Surgery, Inc. SBI motion artifact removal apparatus and method
JP5658931B2 (ja) * 2010-07-05 2015-01-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2012055498A (ja) * 2010-09-09 2012-03-22 Olympus Corp 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
JP5496852B2 (ja) * 2010-10-26 2014-05-21 富士フイルム株式会社 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5663331B2 (ja) * 2011-01-31 2015-02-04 オリンパス株式会社 制御装置、内視鏡装置、絞り制御方法及びプログラム
JP2013153813A (ja) * 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071873A (ja) * 2007-04-27 2009-04-02 Sharp Corp 画像処理装置及び画像処理方法
JP2008278963A (ja) * 2007-05-08 2008-11-20 Olympus Corp 画像処理装置および画像処理プログラム
JP2010068865A (ja) 2008-09-16 2010-04-02 Fujifilm Corp 画像診断装置
JP2012010214A (ja) * 2010-06-28 2012-01-12 Panasonic Corp 画像処理装置、画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2979607A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008758B2 (en) * 2016-05-19 2024-06-11 Psip Llc Detection of polyps
CN110084280A (zh) * 2019-03-29 2019-08-02 广州思德医疗科技有限公司 一种确定分类标签的方法及装置

Also Published As

Publication number Publication date
CN105050473B (zh) 2017-09-01
EP2979607A4 (en) 2016-11-30
EP2979607A1 (en) 2016-02-03
JP6150583B2 (ja) 2017-06-21
JP2014188222A (ja) 2014-10-06
US20150320296A1 (en) 2015-11-12
CN105050473A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
WO2014155778A1 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP6049518B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6045417B2 (ja) 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
JP6112879B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
WO2014119047A1 (ja) 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
WO2019130924A1 (ja) 画像処理装置、内視鏡システム、画像処理方法、及びプログラム
EP2939586A1 (en) Image processing device, program and image processing method
JP6168876B2 (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JPWO2012153568A1 (ja) 医用画像処理装置
KR20160118037A (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
JP6150555B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
JP6128989B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
CN111161852B (zh) 一种内窥镜图像处理方法、电子设备及内窥镜系统
JP2014232470A (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JP6168878B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法
CN117378980A (zh) 一种内镜远程医疗系统及方法
JP2011167529A (ja) 柵状欠陥検出装置および柵状血管検出方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380075017.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13880591

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013880591

Country of ref document: EP