WO2018131141A1 - 内視鏡用画像処理装置および内視鏡用画像処理方法 - Google Patents

内視鏡用画像処理装置および内視鏡用画像処理方法 Download PDF

Info

Publication number
WO2018131141A1
WO2018131141A1 PCT/JP2017/001050 JP2017001050W WO2018131141A1 WO 2018131141 A1 WO2018131141 A1 WO 2018131141A1 JP 2017001050 W JP2017001050 W JP 2017001050W WO 2018131141 A1 WO2018131141 A1 WO 2018131141A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light image
special light
image processing
superimposed
Prior art date
Application number
PCT/JP2017/001050
Other languages
English (en)
French (fr)
Inventor
元裕 三田村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018561754A priority Critical patent/JPWO2018131141A1/ja
Priority to PCT/JP2017/001050 priority patent/WO2018131141A1/ja
Publication of WO2018131141A1 publication Critical patent/WO2018131141A1/ja
Priority to US16/427,447 priority patent/US20190289179A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Definitions

  • the present invention relates to an endoscope image processing apparatus and an endoscope image processing method.
  • an endoscope apparatus that acquires a normal light image such as a white light image and a special light image such as a fluorescence image and displays the special light image superimposed on the normal light image is known (for example, patents). Reference 1).
  • the normal light image representing the structure of the tissue in the living body includes a lot of structure information having a correlation with the structure of the tissue, such as the outline of the tissue.
  • a special light image representing a specific region of a tissue such as a lesion part labeled with a fluorescent substance, contains a lot of nonstructural information that has no correlation with the tissue structure or has a low correlation. Therefore, when the special light image is superimposed on the normal light image, the structural information in the normal light image is deteriorated by the non-structural information in the special light image, and the structure of the tissue is blurred in the generated superimposed image. There is an inconvenience.
  • the present invention has been made in view of the above-described circumstances, and is an endoscope image processing apparatus and an internal endoscope that can reduce deterioration of structural information of a subject when a special light image is superimposed on a normal light image.
  • An object of the present invention is to provide an endoscope image processing method.
  • One aspect of the present invention is an endoscope image processing apparatus that processes a normal light image of a subject illuminated with broadband visible light and a special light image of the subject illuminated with narrow band special light.
  • a non-structure reduction unit that reduces non-structure information that has no correlation with the structure of the subject in the special light image, and the special light image in which the non-structure information is reduced by the non-structure reduction unit.
  • An image processing apparatus for an endoscope comprising a superimposed image generating unit that generates a superimposed image by superimposing on and an output unit that outputs the superimposed image generated by the superimposed image generating unit to an external device.
  • the normal light image of the subject illuminated with broadband visible light is an image representing the structure of the subject and includes the structure information of the subject.
  • the special light image illuminated with the narrow band special light is an image representing a specific area in the subject that interacts with the special light, and includes non-structural information having no correlation with the structure of the subject.
  • the superimposed image generation unit generates a superimposed image that associates the structure of the subject with the specific region by superimposing the normal light image and the special light image, and the generated superimposed image is output to the output unit.
  • the special light image in which the non-structure information is reduced by the non-structure reduction unit is used for superimposition with the normal light image, the structure information of the subject is deteriorated when the special light image is superimposed on the normal light image. Can be reduced, and a superimposed image with a clear subject structure can be generated.
  • the non-structure reduction unit may reduce the brightness of the special light image.
  • the non-structural information in the superimposed image can be reduced relative to the structural information with a simple process.
  • the non-structure reduction unit may thin out some pixels of the special light image.
  • the non-structural information in the special light image can be reduced by a simple process.
  • the non-structural reduction unit may vary pixels to be thinned between a plurality of time-series special light images. By doing in this way, the position where a pixel is thinned out from a special light image changes with time. As a result, when a superimposed image is generated from a normal light image and a special light image that are continuous like a moving image, information on the same position in the special light image is not always lost in the superimposed image. Information on all positions can be provided to the observer of the superimposed image.
  • the non-structural reduction unit may selectively reduce the non-structural information without reducing the structural information of the subject.
  • a special light image in which the non-structural information is selectively reduced while maintaining the structural information of the subject can be obtained.
  • a structure enhancement unit that enhances the structure information of the subject included in the normal light image may be provided. By doing so, it is possible to generate a superimposed image with a clearer structure of the subject in the normal light image.
  • Another aspect of the present invention is an endoscope image processing method for processing a normal light image of a subject illuminated with broadband visible light and a special light image of the subject illuminated with narrow band special light. And reducing non-structural information having no correlation with the structure of the subject in the special light image, and generating the superimposed image by superimposing the special light image with the reduced non-structural information on the normal light image.
  • An endoscopic image processing method for outputting the generated superimposed image to an external device.
  • the present invention it is possible to reduce the deterioration of the structure information of the subject when the special light image is superimposed on the normal light image.
  • FIG. 1 It is a block diagram which shows the function of the image processing apparatus for endoscopes which concerns on one Embodiment of this invention. It is a figure which shows an example of the normal light image produced
  • An endoscope image processing apparatus 1 (hereinafter simply referred to as an “image processing apparatus”) 1 according to the present embodiment is connected to an endoscope apparatus and a display apparatus (external apparatus), and the endoscope apparatus transmits
  • the image signals acquired by the endoscope device are sequentially received, the received image signals are processed to generate a superimposed image to be described later, and the generated superimposed image is output to the display device and displayed on the display device.
  • the endoscope apparatus obtains a normal light image signal by irradiating a normal tissue (subject) with normal light and photographing reflected light of the normal light from the biological tissue with an imaging device.
  • the endoscope apparatus obtains a fluorescence image signal by irradiating a living tissue with excitation light and photographing fluorescence emitted from a fluorescent substance in the living tissue with an imaging device.
  • Normal light is broadband visible light such as white light
  • excitation light is narrow band light.
  • the fluorescent substance is a drug that accumulates in a specific region such as a lesion in a living tissue.
  • the image processing apparatus 1 includes a normal light image generation unit 2, a fluorescence image generation unit 3, a non-structure reduction unit 4, a superimposed image generation unit 5, and an output unit 6. Yes.
  • the normal light image generation unit 2 receives the normal light image signal from the endoscope apparatus, generates a normal light image from the normal light image signal, and transmits the normal light image to the superimposed image generation unit 5.
  • the normal light image is an image representing the structure of the living tissue such as the surface morphology of the living tissue. Therefore, the normal light image includes a lot of structural information having a spatial correlation with the structure of the living tissue such as the outline A of the living tissue.
  • the fluorescence image generation unit 3 receives a fluorescence image signal from the endoscope apparatus, generates a fluorescence image (special light image) from the fluorescence image signal, and transmits the fluorescence image to the non-structure reduction unit 4.
  • the fluorescence image is an image obtained by photographing fluorescence from a specific area such as a lesion. Therefore, as shown in FIG. 2B, the fluorescent image is an image including a lot of non-structural information that has no spatial correlation with the structure of the living tissue or has a low spatial correlation, such as the fluorescent region B. .
  • the non-structural reduction unit 4 thins out the pixels uniformly over the entire fluorescent image, generates a thinned fluorescent image (see the right figure in FIG. 3) in which some pixels are missing, and the thinned fluorescent image is transferred to the superimposed image generating unit 5.
  • the non-structure reduction unit 4 thins out pixels every other pixel in the row direction and the column direction.
  • white squares indicate pixels
  • black squares indicate thinned pixels.
  • the normal light image is, for example, a color image in RGB format, and has red (R), green (G), and blue (B) channels.
  • the superimposed image generating unit 5 generates a superimposed image in which the thinned fluorescent image is superimposed on the normal light image by adding the signal of the thinned fluorescent image to the G channel signal of the normal light image, and outputs the superimposed image to the output unit 6.
  • the thinned fluorescence image may be added to the R or B channel.
  • the output unit 6 outputs the superimposed image to the display device at a constant frame rate.
  • Such an image processing apparatus 1 includes, for example, a central processing unit (CPU) and a storage device that stores an image processing program for causing the CPU to execute the processes of the units 2, 3, 4, and 5 described above. Realized by computer.
  • CPU central processing unit
  • storage device that stores an image processing program for causing the CPU to execute the processes of the units 2, 3, 4, and 5 described above. Realized by computer.
  • the normal light image signal and the fluorescence image signal acquired by the endoscope apparatus are sequentially input to the image processing apparatus 1.
  • the normal light image generation unit 2 generates a normal light image from the normal light image signal (step S1)
  • the fluorescent image generation unit 3 generates a fluorescent image from the fluorescent image signal (step S2).
  • a thinned fluorescent image is generated by thinning out some pixels of the fluorescent image (step S3).
  • the superimposed image generation unit 5 generates a superimposed image by adding the thinned fluorescence image to the G channel of the normal light image (step S4).
  • the generated superimposed image is transmitted to the display device via the output unit 6 and displayed on the display device (step S5).
  • a fluorescent image in which non-structural information such as the fluorescent region B is reduced by thinning out some pixels is used to generate a superimposed image, and a signal of a normal light image is used as it is.
  • a superimposed image is generated in which a pixel having a signal obtained by adding a fluorescent image signal to a normal light image signal is mixed.
  • the non-structural reduction unit 4 includes a plurality of thinning patterns P1 and P2 that define the positions of thinning target pixels to be thinned out from the fluorescent image, as shown in FIG. Yes.
  • hatched pixels indicate thinning target pixels.
  • FIG. 5 shows two types of thinning patterns P1 and P2, but three or more types of thinning patterns may be prepared.
  • the plurality of thinning patterns P1 and P2 are designed such that the positions of the thinning target pixels are different from each other.
  • the non-structural reduction unit 4 generates a thinned fluorescent image by sequentially applying a plurality of thinning patterns P1 and P2 to a plurality of time-series fluorescent images received from the fluorescent image generating unit 3. Thereby, a plurality of thinned-out fluorescent images with different pixel thinning positions are sequentially generated.
  • display and non-display of information at each position of the fluorescent image are alternately repeated.
  • the image processing apparatus 10 further includes a structure enhancement unit 7 that performs structure enhancement processing on the normal light image.
  • the structure enhancement process is a process for increasing the structure information included in the normal light image, for example, an edge enhancement process or a process for increasing the brightness.
  • the superimposed image generation unit 5 uses the normal light image whose structure is enhanced by the structure enhancement unit 7 to generate a superimposed image. According to this modification, a superimposed image with a clearer structure of the living tissue can be obtained.
  • the non-structure reduction unit 4 determines the brightness of the fluorescent image so that the ratio of the brightness of the fluorescent image to the brightness of the normal light image is equal to or less than a predetermined threshold. By reducing the non-structural information. Specifically, as shown in FIG. 7, the non-structure reduction unit 4 receives the normal light image from the normal light image generation unit 2, calculates the brightness of the normal light image, and also generates the fluorescence image generation unit 3. The fluorescence image is received from the image and the brightness of the fluorescence image is calculated.
  • the brightness of the image is, for example, an average value of signals of all pixels.
  • the predetermined threshold is set so that the structure information of the living tissue in the normal light image is not buried in the non-structure information in the fluorescence image in the superimposed image.
  • the superimposed image generation unit 5 uses the fluorescent image whose brightness has been reduced by the non-structure reduction unit 4 to generate a superimposed image.
  • non-structural information In addition to non-structural information, structural information can be included in the fluorescent image, but the structural information is less than non-structural information. Therefore, when the brightness of the fluorescent image is reduced, the degree of reduction of non-structural information is greater than the degree of reduction of structural information, and the effect of reducing non-structural information relative to structural information is obtained. It is done. Thus, the effect of reducing the non-structural information in the fluorescent image can also be obtained by reducing the brightness of the fluorescent image relative to the brightness of the normal light image. In this variation, instead of or in addition to reducing the brightness of the fluorescent image, the brightness of the fluorescent image is increased with respect to the brightness of the normal light image by increasing the brightness of the normal light image. You may adjust the relative brightness of a normal light image and a fluorescence image so that ratio may become below a predetermined threshold value.
  • the image processing apparatus 30 further includes a structure extraction unit 8 that extracts a structure region having structure information such as a contour of a living tissue from a normal light image.
  • the structure region can be extracted by, for example, a known edge extraction process.
  • the fluorescent image may include a weak fluorescent region (that is, structural information) along the structure of the living tissue in addition to the strong fluorescent region B such as a lesion.
  • the non-structure reduction unit 4 subtracts the structural region extracted by the structure extraction unit 8 from the fluorescent image, thereby removing the weak fluorescent region along the structure of the living tissue from the fluorescent image.
  • the non-structural reduction unit 4 thins out some pixels from the fluorescent image from which the structural region is subtracted to reduce non-structural information, and then subtracts the subtracted structural region from which the non-structural information is reduced. Add again to the image. Thereby, non-structural information can be selectively reduced in the fluorescent image without reducing the structural information of the subject.
  • the excitation light and the fluorescence image for exciting the fluorescent material have been described as examples of the special light and the special light image.
  • the types of the special light and the special light image are limited to this. is not.
  • an infrared light image acquired using infrared light or an NBI image acquired using blue narrow-band light and green narrow-band light may be used for superimposition with a normal light image. Good.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明の内視鏡用画像処理装置(1)は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された被写体の特殊光画像とを処理する画像処理装置であって、特殊光画像内の被写体の構造と相関を有しない非構造情報を低減する非構造低減部(4)と、非構造情報が低減された特殊光画像を通常光画像に重畳して重畳画像を生成する重畳画像生成部(5)と、重畳画像を外部装置へ出力する出力部(6)とを備える。

Description

内視鏡用画像処理装置および内視鏡用画像処理方法
 本発明は、内視鏡用画像処理装置および内視鏡用画像処理方法に関するものである。
 従来、白色光画像のような通常光画像と、蛍光画像のような特殊光画像とを取得し、通常光画像に特殊光画像を重畳表示する内視鏡装置が知られている(例えば、特許文献1参照。)。
特許第4799109号公報
 生体内の組織の構造を表す通常光画像は、組織の輪郭等、組織の構造と相関を有する構造情報を多く含む。一方、蛍光物質で標識された病変部等、組織の特定領域を表す特殊光画像は、組織の構造と相関を有しない、または相関が低い非構造情報を多く含む。したがって、通常光画像に特殊光画像を重畳したときに通常光画像内の構造情報が特殊光画像内の非構造情報によって劣化し、生成された重畳画像において組織の構造が不鮮明化されてしまうという不都合がある。
 本発明は、上述した事情に鑑みてなされたものであって、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができる内視鏡用画像処理装置および内視鏡用画像処理方法を提供することを目的とする。
 上記目的を達成するため、本発明は以下の手段を提供する。
 本発明の一態様は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理装置であって、前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減する非構造低減部と、該非構造低減部によって前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成する重畳画像生成部と、該重畳画像生成部によって生成された前記重畳画像を外部装置へ出力する出力部とを備える内視鏡用画像処理装置である。
 広帯域の可視光で照明された被写体の通常光画像は、被写体の構造を表した画像であり、被写体の構造情報を含む。一方、狭帯域の特殊光で照明された特殊光画像は、被写体の内、特殊光と作用する特定領域を表した画像であり、被写体の構造と相関を有しない非構造情報を含む。
 本態様によれば、重畳画像生成部によって、通常光画像と特殊光画像とを重畳することで被写体の構造と特定領域とを対応付けた重畳画像が生成され、生成された重畳画像が出力部から外部装置に出力される。
 この場合に、非構造低減部によって非構造情報が低減された特殊光画像が通常光画像との重畳に使用されるので、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができ、被写体の構造が鮮明な重畳画像を生成することができる。
 上記態様においては、前記非構造低減部が、前記特殊光画像の明るさを低減してもよい。
 このように特殊光画像の明るさを低減することによって、簡単な処理で、重畳画像内の非構造情報を構造情報に対して相対的に低減することができる。
 上記態様においては、前記非構造低減部が、前記特殊光画像の一部の画素を間引いてもよい。
 このように特殊光画像の一部の画素を間引くことによって、特殊光画像内の非構造情報を簡単な処理で低減することができる。
 上記態様においては、前記非構造低減部が、時系列の複数の特殊光画像間で間引く画素を異ならせてもよい。
 このようにすることで、特殊光画像から画素が間引かれる位置が経時的に変化する。これにより、動画のように連続する通常光画像および特殊光画像から重畳画像を生成する際に、重畳画像において、特殊光画像内の同一位置の情報が常に欠落することを防ぎ、特殊光画像の全ての位置の情報を重畳画像の観察者に提供することができる。
 上記態様においては、前記非構造低減部が、前記被写体の構造情報を低減せずに前記非構造情報を選択的に低減してもよい。
 このようにすることで、被写体の構造情報を維持しつつ非構造情報が選択的に低減された特殊光画像が得られる。このような特殊光画像を重畳画像に用いることで、被写体の構造情報を重畳画像において強調することができる。
 上記態様においては、前記通常光画像に含まれる前記被写体の構造情報を強調する構造強調部を備えていてもよい。
 このようにすることで、通常光画像内の被写体の構造がより鮮明な重畳画像を生成することができる。
 本発明の他の態様は、広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理方法であって、前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減し、前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成し、生成された前記重畳画像を外部装置へ出力する内視鏡用画像処理方法である。
 本発明によれば、特殊光画像を通常光画像に重畳する際の被写体の構造情報の劣化を軽減することができるという効果を奏する。
本発明の一実施形態に係る内視鏡用画像処理装置の機能を示すブロック図である。 図1の内視鏡用画像処理装置の通常光画像生成部によって生成される通常光画像の一例を示す図である。 図1の内視鏡用画像処理装置の蛍光画像生成部によって生成される蛍光画像の一例を示す図である。 図1の内視鏡用画像処理装置の非構造低減部による画素の間引き処理を説明する図である。 図1の内視鏡用画像処理装置による内視鏡用画像処理方法を示すフローチャートである。 図1の内視鏡用画像処理装置の第1の変形例において画素の間引き処理に使用される間引きパターンの例を示す図である。 図1の内視鏡用画像処理装置の第2の変形例の機能を示すブロック図である。 図1の内視鏡用画像処理装置の第3の変形例の機能を示すブロック図である。 図1の内視鏡用画像処理装置の第4の変形例の機能を示すブロック図である。
 以下に、本発明の一実施形態に係る内視鏡用画像処理装置1について図面を参照して説明する。
 本実施形態に係る内視鏡用画像処理装置(以下、単に「画像処理装置」という。)1は、内視鏡装置および表示装置(外部装置)と接続され、該内視鏡装置から該内視鏡装置によって取得された画像信号を順次受信し、受信した画像信号を処理して後述する重畳画像を生成し、生成された重畳画像を表示装置に出力して該表示装置に表示させる。
 内視鏡装置は、生体組織(被写体)に通常光を照射し、生体組織からの通常光の反射光を撮像素子で撮影することによって通常光画像信号を取得する。また、内視鏡装置は、生体組織に励起光を照射し、生体組織内の蛍光物質が発する蛍光を撮像素子で撮影することによって蛍光画像信号を取得する。通常光は、白色光のような広帯域の可視光であり、励起光は、狭帯域の光である。蛍光物質は、例えば、生体組織内の病変部のような特定領域に集積する薬剤である。
 画像処理装置1は、図1に示されるように、通常光画像生成部2と、蛍光画像生成部3と、非構造低減部4と、重畳画像生成部5と、出力部6とを備えている。
 通常光画像生成部2は、内視鏡装置から通常光画像信号を受信し、通常光画像信号から通常光画像を生成し、通常光画像を重畳画像生成部5に送信する。通常光画像は、図2Aに示されるように、生体組織の表面形態のような生体組織の構造を表した画像である。したがって、通常光画像は、生体組織の輪郭A等、生体組織の構造と空間的な相関を有する構造情報を多く含む。
 蛍光画像生成部3は、内視鏡装置から蛍光画像信号を受信し、蛍光画像信号から蛍光画像(特殊光画像)を生成し、蛍光画像を非構造低減部4に送信する。蛍光画像は、病変部のような特定領域からの蛍光を撮影した画像である。したがって、蛍光画像は、図2Bに示されるように、蛍光領域Bのような、生体組織の構造と空間的な相関を有しない、または空間的な相関が低い非構造情報を多く含む画像である。
 非構造低減部4は、蛍光画像の全体にわたって画素を均一に間引き、一部の画素が欠落した間引き蛍光画像(図3の右図参照)を生成し、間引き蛍光画像を重畳画像生成部5に送信する。例えば、非構造低減部4は、図3に示されるように、行方向および列方向に1画素置きに画素を間引く。図3において、白い四角は画素を示し、黒い四角は間引かれた画素を示している。
 通常光画像は、例えばRGB形式のカラー画像であり、赤(R)、緑(G)および青(B)のチャネルを有する。重畳画像生成部5は、通常光画像のGチャネルの信号に間引き蛍光画像の信号を加算することによって、通常光画像に間引き蛍光画像が重畳された重畳画像を生成し、重畳画像を出力部6に送信する。Gチャネルに代えてRまたはBチャネルに間引き蛍光画像を加算してもよい。
 出力部6は、重畳画像を一定のフレームレートで表示装置へ出力する。
 このような画像処理装置1は、例えば、中央演算処理装置(CPU)と、上述した各部2,3,4,5の処理をCPUに実行させるための画像処理プログラムを格納する記憶装置とを備えるコンピュータによって実現される。
 次に、画像処理装置1の作用について図4を参照して説明する。
 内視鏡装置によって取得された通常光画像信号および蛍光画像信号は、順次、画像処理装置1へ入力される。画像処理装置1では、通常光画像生成部2において通常光画像信号から通常光画像が生成され(ステップS1)、蛍光画像生成部3において蛍光画像信号から蛍光画像が生成される(ステップS2)。
 次に、非構造低減部4において、蛍光画像の一部の画素を間引いて間引き蛍光画像が生成される(ステップS3)。次に、重畳画像生成部5において、間引き蛍光画像が通常光画像のGチャネルに加算されることによって重畳画像が生成される(ステップS4)。生成された重畳画像は、出力部6を介して表示装置に送信されて該表示装置に表示される(ステップS5)。
 このように、本実施形態によれば、重畳画像の生成に、一部の画素の間引きによって蛍光領域Bのような非構造情報が低減された蛍光画像が使用され、通常光画像の信号をそのまま有する画素と、通常光画像の信号に蛍光画像の信号が加算された画素とが混在する重畳画像が生成される。これにより、通常光画像内の構造情報が蛍光画像内の非構造情報によって劣化することを軽減し、通常光画像内の生体組織の構造情報が鮮明に維持された重畳画像を生成することができるという利点がある。
 次に、本実施形態に係る画像処理装置1の変形例について説明する。後述する第1から第4の変形例は、適宜組み合わせて実施してもよい。
(第1の変形例)
 第1の変形例に係る画像処理装置において、非構造低減部4は、図5に示されるように、蛍光画像から間引く間引き対象画素の位置を規定した複数の間引きパターンP1,P2を有している。図5において、ハッチングが施されている画素が間引き対象画素を示している。図5には、2種類の間引きパターンP1,P2が示されているが、3種類以上の間引きパターンが用意されていてもよい。
 複数の間引きパターンP1,P2は、間引き対象画素の位置が互いに異なるように設計されている。非構造低減部4は、蛍光画像生成部3から受信する時系列の複数の蛍光画像に対して複数の間引きパターンP1,P2を順番に適用して間引き蛍光画像を生成する。これにより、画素の間引き位置が互いに異なる複数パターンの間引き蛍光画像が順番に生成される。このような複数パターンの間引き蛍光画像を用いて生成された重畳画像が表示装置に順番に表示されると、蛍光画像の各位置の情報の表示と非表示とが交互に繰り返される。
 間引き対象画素の位置が固定されている場合には、蛍光画像内の同一位置の情報が欠落した重畳画像が観察者に提供され続けることになる。本変形例によれば、間引き対象画素の位置を経時的に変化させることによって、蛍光画像内の非構造情報を低減しながらも、蛍光画像内の全位置の情報を観察者に提供することができるという利点がある。
(第2の変形例)
 第2の変形例に係る画像処理装置10は、図6に示されるように、通常光画像に対して構造強調処理を行う構造強調部7をさらに備えている。構造強調処理は、通常光画像に含まれる構造情報を増大する処理であり、例えば、エッジ強調処理または明るさを増大する処理である。重畳画像生成部5は、構造強調部7によって構造強調された通常光画像を重畳画像の生成に使用する。本変形例によれば、生体組織の構造がより鮮明な重畳画像を得ることができる。
(第3の変形例)
 第3の変形例に係る画像処理装置20おいて、非構造低減部4は、通常光画像の明るさに対する蛍光画像の明るさの比が所定の閾値以下となるように、蛍光画像の明るさを低減することによって、非構造情報を低減する。具体的には、非構造低減部4は、図7に示されるように、通常光画像生成部2から通常光画像を受信し、通常光画像の明るさを算出するとともに、蛍光画像生成部3から蛍光画像を受信し、蛍光画像の明るさを算出する。画像の明るさは、例えば、全画素の信号の平均値である。所定の閾値は、重畳画像において通常光画像内の生体組織の構造情報が蛍光画像内の非構造情報に埋もれないように設定される。重畳画像生成部5は、非構造低減部4によって明るさが低減された蛍光画像を重畳画像の生成に使用する。
 蛍光画像には非構造情報に加えて構造情報も含まれ得るが、構造情報は非構造情報に比べて少ない。したがって、蛍光画像の明るさを低減したときに、構造情報の低減度に比べて非構造情報の低減度の方が大きくなり、構造情報に対して非構造情報を相対的に低減する効果が得られる。
 このように、通常光画像の明るさに対する蛍光画像の明るさを低減することによっても、蛍光画像内の非構造情報を低減する効果が得られる。
 本変形例においては、蛍光画像の明るさを低減することに代えて、またはこれに加えて、通常光画像の明るさを増大することによって、通常光画像の明るさに対する蛍光画像の明るさの比が所定の閾値以下となるように、通常光画像と蛍光画像の相対的な明るさを調整してもよい。
(第4の変形例)
 第4の変形例に係る画像処理装置30は、図8に示されるように、通常光画像内から、生体組織の輪郭のような構造情報を有する構造領域を抽出する構造抽出部8をさらに備える。構造領域は、例えば、公知のエッジ抽出処理によって抽出することができる。蛍光画像は、病変部のような強い蛍光領域Bに加えて、生体組織の構造に沿って微弱な蛍光領域(すなわち構造情報)を含み得る。非構造低減部4は、構造抽出部8によって抽出された構造領域を蛍光画像から減算することによって、蛍光画像から、生体組織の構造に沿う弱い蛍光領域を除去する。続いて、非構造低減部4は、構造領域が減算された蛍光画像から一部の画素を間引いて非構造情報を低減し、その後に、減算した構造領域を非構造情報が低減された間引き蛍光画像に再び加算する。これにより、蛍光画像において、被写体の構造情報を低減せずに、非構造情報を選択的に低減することができる。
 このように、非構造情報が選択的に低減された蛍光画像を重畳画像に使用することによって、生体組織の輪郭のような構造情報を重畳画像において強調する効果を得ることができる。
 本変形例においては、画素の間引きに代えて、またはこれに加えて、第3の変形例で説明したように、明るさの低減によって非構造情報を低減した蛍光画像を通常光画像に重畳してもよい。
 上述した実施形態および変形例においては、特殊光および特殊光画像の一例として、蛍光物質を励起する励起光および蛍光画像について説明したが、特殊光および特殊光画像の種類はこれに限定されるものではない。例えば、赤外光を使用して取得された赤外光画像、または、青色狭帯域光および緑色狭帯域光を使用して取得されたNBI画像を、通常光画像との重畳に使用してもよい。
1,10,20,30 内視鏡用画像処理装置
2 通常光画像生成部
3 蛍光画像生成部
4 非構造低減部
5 重畳画像生成部
6 出力部
7 構造強調部
8 構造抽出部

Claims (7)

  1.  広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理装置であって、
     前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減する非構造低減部と、
     該非構造低減部によって前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成する重畳画像生成部と、
     該重畳画像生成部によって生成された前記重畳画像を外部装置へ出力する出力部とを備える内視鏡用画像処理装置。
  2.  前記非構造低減部が、前記特殊光画像の明るさを低減する請求項1に記載の内視鏡用画像処理装置。
  3.  前記非構造低減部が、前記特殊光画像の一部の画素を間引く請求項1または請求項2に記載の内視鏡用画像処理装置。
  4.  前記非構造低減部が、時系列の複数の特殊光画像間で間引く画素を異ならせる請求項3に記載の内視鏡用画像処理装置。
  5.  前記非構造低減部が、前記被写体の構造情報を低減せずに前記非構造情報を選択的に低減する請求項1から請求項4のいずれかに記載の内視鏡用画像処理装置。
  6.  前記通常光画像に含まれる前記被写体の構造情報を強調する構造強調部を備える請求項1から請求項5のいずれかに記載の内視鏡用画像処理装置。
  7.  広帯域の可視光で照明された被写体の通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する内視鏡用画像処理方法であって、
     前記特殊光画像において前記被写体の構造と相関を有しない非構造情報を低減し、
     前記非構造情報が低減された前記特殊光画像を前記通常光画像に重畳して重畳画像を生成し、
     生成された前記重畳画像を外部装置へ出力する内視鏡用画像処理方法。
PCT/JP2017/001050 2017-01-13 2017-01-13 内視鏡用画像処理装置および内視鏡用画像処理方法 WO2018131141A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018561754A JPWO2018131141A1 (ja) 2017-01-13 2017-01-13 内視鏡用画像処理装置および内視鏡用画像処理方法
PCT/JP2017/001050 WO2018131141A1 (ja) 2017-01-13 2017-01-13 内視鏡用画像処理装置および内視鏡用画像処理方法
US16/427,447 US20190289179A1 (en) 2017-01-13 2019-05-31 Endoscope image processing device and endoscope image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/001050 WO2018131141A1 (ja) 2017-01-13 2017-01-13 内視鏡用画像処理装置および内視鏡用画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/427,447 Continuation US20190289179A1 (en) 2017-01-13 2019-05-31 Endoscope image processing device and endoscope image processing method

Publications (1)

Publication Number Publication Date
WO2018131141A1 true WO2018131141A1 (ja) 2018-07-19

Family

ID=62840207

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001050 WO2018131141A1 (ja) 2017-01-13 2017-01-13 内視鏡用画像処理装置および内視鏡用画像処理方法

Country Status (3)

Country Link
US (1) US20190289179A1 (ja)
JP (1) JPWO2018131141A1 (ja)
WO (1) WO2018131141A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039870A1 (ja) * 2019-08-27 2021-03-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
WO2021044900A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 施術システム、画像処理装置、画像処理方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
US11389066B2 (en) 2019-06-20 2022-07-19 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11471055B2 (en) 2019-06-20 2022-10-18 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11540696B2 (en) * 2019-06-20 2023-01-03 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
US11925328B2 (en) 2019-06-20 2024-03-12 Cilag Gmbh International Noise aware edge enhancement in a pulsed hyperspectral imaging system
US11898909B2 (en) 2019-06-20 2024-02-13 Cilag Gmbh International Noise aware edge enhancement in a pulsed fluorescence imaging system
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075198A (ja) * 2005-09-12 2007-03-29 Pentax Corp 電子内視鏡システム
WO2011111619A1 (ja) * 2010-03-09 2011-09-15 オリンパス株式会社 蛍光内視鏡装置
WO2013024788A1 (ja) * 2011-08-15 2013-02-21 オリンパスメディカルシステムズ株式会社 撮像装置
JP2014221168A (ja) * 2013-05-14 2014-11-27 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10234664A (ja) * 1997-02-27 1998-09-08 Toshiba Corp 画像処理装置
WO2012132790A1 (ja) * 2011-03-31 2012-10-04 オリンパス株式会社 蛍光観察装置
JP6237415B2 (ja) * 2014-03-31 2017-11-29 株式会社Jvcケンウッド 映像表示装置
WO2016147366A1 (ja) * 2015-03-19 2016-09-22 オリンパス株式会社 内視鏡装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075198A (ja) * 2005-09-12 2007-03-29 Pentax Corp 電子内視鏡システム
WO2011111619A1 (ja) * 2010-03-09 2011-09-15 オリンパス株式会社 蛍光内視鏡装置
WO2013024788A1 (ja) * 2011-08-15 2013-02-21 オリンパスメディカルシステムズ株式会社 撮像装置
JP2014221168A (ja) * 2013-05-14 2014-11-27 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039870A1 (ja) * 2019-08-27 2021-03-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
WO2021044900A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 施術システム、画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2018131141A1 (ja) 2019-11-07
US20190289179A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
WO2018131141A1 (ja) 内視鏡用画像処理装置および内視鏡用画像処理方法
US11202126B2 (en) Simultaneous display of two or more different sequentially processed images
WO2016136700A1 (ja) 画像処理装置
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
WO2017104192A1 (ja) 医用観察システム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
US20200126220A1 (en) Surgical imaging system and signal processing device of surgical image
JP2008279261A (ja) 内視鏡画像の画像処理のための方法及び装置
WO2020035929A1 (ja) 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
JP2011250925A (ja) 電子内視鏡システム
JP6137892B2 (ja) 撮像システム
JP2018175871A (ja) 撮像装置及び撮像装置の制御プログラム
US11559186B2 (en) Evaluation value calculation device and electronic endoscope system
JP6205531B1 (ja) 内視鏡システム
CN111065315B (zh) 电子内窥镜用处理器以及电子内窥镜系统
JP5481203B2 (ja) 内視鏡装置
JPH0236836A (ja) 内視鏡画像処理装置
WO2017149742A1 (ja) 内視鏡用画像処理装置
WO2017203996A1 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
JP7123135B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
TW202213978A (zh) 影像感測裝置以及影像感測方法
JP5528122B2 (ja) 内視鏡装置
JP2020137955A (ja) 医療用制御装置及び医療用観察システム
WO2023090044A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
US20240087090A1 (en) Processor for electronic endoscope and electronic endoscopic system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17891130

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018561754

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17891130

Country of ref document: EP

Kind code of ref document: A1