WO2016189622A1 - 画像処理装置、医用観察システムおよび画像処理プログラム - Google Patents

画像処理装置、医用観察システムおよび画像処理プログラム Download PDF

Info

Publication number
WO2016189622A1
WO2016189622A1 PCT/JP2015/064920 JP2015064920W WO2016189622A1 WO 2016189622 A1 WO2016189622 A1 WO 2016189622A1 JP 2015064920 W JP2015064920 W JP 2015064920W WO 2016189622 A1 WO2016189622 A1 WO 2016189622A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
hue
pixel
color component
Prior art date
Application number
PCT/JP2015/064920
Other languages
English (en)
French (fr)
Inventor
元裕 三田村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2015/064920 priority Critical patent/WO2016189622A1/ja
Priority to JP2017520096A priority patent/JP6557724B2/ja
Priority to DE112015006491.5T priority patent/DE112015006491T5/de
Publication of WO2016189622A1 publication Critical patent/WO2016189622A1/ja
Priority to US15/806,866 priority patent/US10412271B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6075—Corrections to the hue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an image processing apparatus, a medical observation system, and an image processing program.
  • color information of each pixel of an endoscopic image is converted from an RGB format to an HSV format in order to improve the identifiability of a subject in an endoscopic image, and the obtained hue value, saturation value, and lightness value are converted.
  • An auxiliary diagnostic apparatus for an endoscope that encodes color information based on the information is known (for example, see Patent Document 1).
  • the present invention has been made in view of the above-described circumstances, and is an image processing apparatus capable of providing an image in which high identifiability of a subject is ensured while maintaining the form information of the subject included in the original image, It is an object to provide a medical observation system and an image processing program.
  • a hue acquisition unit that acquires hue information of each pixel from a color original image received from an external device, a brightness acquisition unit that acquires brightness information of each pixel from the original image, A color component selection unit that selects a conversion destination color component of each pixel of the original image based on the hue information from a plurality of preset color components; and the brightness information of each pixel of the original image
  • a color conversion image generation unit that generates a color conversion image by allocating to a conversion destination color component selected by the component selection unit, and the color component selection unit includes a plurality of hue ranges divided by hue thresholds.
  • the color-converted image generation unit color-converts the gradation value based on the lightness information acquired by the lightness acquisition unit.
  • the converted image By applying to each pixel corresponding to the destination color components said selected is an image processing apparatus for generating the color conversion image.
  • the hue information of each pixel of the original image is acquired by the hue acquisition unit, and the conversion destination color of each pixel based on the acquired hue
  • the component is selected by the color component selection unit, and the color conversion image generation unit converts the hue of each pixel into a hue corresponding to the selected conversion destination color component.
  • the hue information of the pixel corresponding to one subject and the hue information of the pixel corresponding to another subject belong to different hue ranges, and a plurality of types of subjects are displayed with different destination color components in the color conversion image. The Thereby, it is possible to ensure high identification of the subject in the color converted image.
  • the morphological information of the subject in the original image is mainly included in the lightness among the three elements constituting the color of each pixel of the original image, that is, hue, saturation and lightness. Therefore, by setting the gradation value of each pixel of the color-converted image to a value based on the brightness information of each pixel of the original image acquired by the brightness acquisition unit, a color that maintains the form information of the subject included in the original image A converted image can be generated.
  • the first aspect includes a saturation acquisition unit that acquires saturation information of each pixel from the original image, and the color component selection unit distributes the saturation information acquired by the saturation acquisition unit.
  • a conversion destination color component associated with a saturation range to which the saturation information of each pixel belongs may be selected from among a plurality of saturation ranges obtained by dividing the range to be determined by a predetermined saturation threshold. In this way, subjects that are similar in hue and difficult to separate based only on the hue can be distinguished based on the difference in saturation, and can be displayed in different hues in the color conversion image.
  • a superimposed image generation unit that generates a superimposed image by superimposing the original image and the color conversion image may be provided. By doing so, it is possible to generate a superimposed image including clearer form information of the subject.
  • the superimposed image generation unit assigns a weight to each of the original image and the color conversion image so that a weight for the original image is larger than a weight for the color conversion image. You may superimpose. By doing in this way, the change of the color of the to-be-photographed object in the superimposition image by superimposing a color conversion image on an original image can be suppressed.
  • an observation apparatus that captures a living body in color and acquires a biological image
  • the image processing apparatus according to any one of the above that receives the biological image as the original image from the observation apparatus. It is a medical observation system.
  • a color conversion image is generated in the image processing device from the biological image acquired by the observation device.
  • the biological image includes a plurality of types of tissues and organs having a red color.
  • color-converted images multiple types of tissues and organs of the same color are displayed in different hues. Therefore, multiple types of tissues and organs that are difficult to identify in a biological image can be easily displayed in color-converted images. Can be identified.
  • the form of the subject can also be observed using the color conversion image.
  • the third aspect of the present invention is based on a hue acquisition step of acquiring hue information of each pixel from a color original image, a brightness acquisition step of acquiring lightness information of each pixel from the original image, and the hue information.
  • a color component selection step of selecting a conversion destination color component of each pixel of the original image from a plurality of preset color components, and the lightness information of each pixel of the original image is selected by the color component selection unit.
  • FIG. 1 is an overall configuration diagram of a medical observation system according to a first embodiment of the present invention. It is a block diagram which shows the function of the image processing apparatus in the medical observation system of FIG. It is a figure explaining the color space which consists of hue, saturation, and lightness. It is a figure which shows an example of color distribution of the biometric image in a hue-saturation plane. It is a figure which shows an example of a biometric image. It is an example of the color conversion image produced
  • a medical observation system 100 includes a light source 2 that outputs illumination light, an endoscope (external device, observation device) 3 that is inserted into a living body and observes the inside of the living body, and the like.
  • the image processing device 1 that processes the biological image acquired by the endoscope 3 and the display unit 4 that displays the image output from the image processing device 1 are provided.
  • the endoscope 3 includes an illumination lens 31 and an objective lens 32 provided at the distal end 3a thereof, and an image sensor 33.
  • the illumination lens 31 emits illumination light supplied from the light source 2 through the light guide 34 toward the front of the tip 3a.
  • the objective lens 32 forms an image of light incident from the living tissue S facing the distal end 3 a on the imaging surface of the imaging element 33 disposed on the proximal end side of the objective lens 32.
  • the image sensor 33 is, for example, a color CCD or color CMOS, and each pixel of the RGB full-color biological image acquired by the image sensor 33 has color information in RGB format. That is, each pixel of the biological image has an R channel, a G channel, and a B channel, and each channel has a predetermined number of gradations (for example, 256 gradations).
  • the image sensor 33 transmits the acquired biological image to the image processing apparatus 1.
  • the image processing apparatus 1 includes a receiving unit 11 that receives a biological image (original image) from the imaging element 33, a hue acquisition unit 12 that acquires hue information of each pixel from the biological image, A brightness acquisition unit 13 that acquires brightness information of each pixel from the image, a color component selection unit 14 that selects a conversion destination color component of each pixel of the biological image from two color components, and a hue of each pixel of the biological image Are converted into conversion destination color components to generate a color conversion image, and a transmission unit 16 that transmits the color conversion image to the display unit 4 is provided.
  • a receiving unit 11 that receives a biological image (original image) from the imaging element 33
  • a hue acquisition unit 12 that acquires hue information of each pixel from the biological image
  • a brightness acquisition unit 13 that acquires brightness information of each pixel from the image
  • a color component selection unit 14 that selects a conversion destination color component of each pixel of the biological image from two color components, and a hue of each pixel of the biological image Are converted into conversion destination
  • the image processing apparatus 1 is, for example, a general-purpose computer, and includes a central processing unit (CPU), a main storage device such as a RAM, and an auxiliary storage device.
  • the auxiliary storage device is a computer-readable non-transitory storage medium and stores an image processing program.
  • the CPU calls an image processing program from the auxiliary storage device to the main storage device and executes the image processing program, the hue acquisition unit 12, the brightness acquisition unit 13, the color component selection unit 14, and the color conversion image generation unit 15 Functions are realized.
  • the image processing apparatus 1 may include dedicated hardware (ASIC) for executing processes described later by the units 12, 13, 14, and 15.
  • ASIC dedicated hardware
  • the hue acquisition unit 12 converts the color information of each pixel of the biological image received by the reception unit 11 from RGB format into color space coordinates formed of a cylindrical coordinate system of hue, saturation, and brightness, and converts the hue value of each pixel. obtain.
  • the hue acquisition unit 12 transmits the obtained hue values of all the pixels to the color component selection unit 14.
  • the brightness acquisition unit 13 converts the color information of each pixel of the biological image received by the reception unit 11 from the RGB format into the color space coordinates of the above-described hue / saturation / brightness format, and obtains the brightness value of each pixel.
  • the brightness acquisition unit 13 transmits the brightness values of all the obtained pixels to the color conversion image generation unit 15.
  • FIG. 3 shows a cylindrical space representing a color space of hue, saturation, and brightness format.
  • the color of each pixel is composed of a hue value, a lightness value, and a saturation value
  • the color of one pixel is represented as the position of one point in the color space.
  • the hue value corresponds to an angle around the central axis of the cylindrical space and can take a value of 0 or more and less than 360.
  • the brightness value corresponds to the height of the cylindrical space in the central axis direction, and can take a value of 0 or more and 1 or less.
  • the saturation value corresponds to the distance in the radial direction from the central axis of the cylindrical space, and can take a value of 0 or more.
  • the hue-saturation plane in the color space of a biological image Tissues and organs (hereinafter collectively referred to simply as “organs”) imaged in the living body image have red color. Therefore, as shown in FIG. 4, the hue values acquired by the hue acquisition unit 11 are distributed only in a partial range of the red system. However, the hue varies from organ to organ. For example, adipose tissue has a yellowish red color and the liver has a purple red color. Therefore, as shown in FIG. 5, when two types of organs A and B are included in the biological image P, the hue value of the pixel corresponding to the organ A and the hue value of the pixel corresponding to the organ B Are distributed in different regions in the hue-saturation plane.
  • the color component selection unit 14 has a predetermined hue threshold T ⁇ with respect to the hue value.
  • the hue threshold value T ⁇ is a value corresponding to a boundary between a region where the hue value of the pixel corresponding to the organ A is distributed and a region where the hue value of the pixel corresponding to the organ B is distributed in the hue-saturation plane. Therefore, the range in which the hue value of the biological image P is distributed is the first hue range in which the hue value of the pixel corresponding to the organ A is distributed and the hue value of the pixel corresponding to the organ B are distributed by the hue threshold T ⁇ . It is divided into two hue ranges. For example, the hue threshold T ⁇ is determined by measuring the boundary value of the distribution area of the hue values of the pixels corresponding to the organs A and B using the biological image P acquired in advance.
  • the single hue threshold T the hue value of the pixel can be surely classified into either the first hue range or the second hue range.
  • multiple hue thresholds are set so that both the lower and upper limits of each hue range are clearly defined. May be.
  • the color component selection unit 14 stores green (G) as the conversion destination color component of the first hue range, and stores blue (B) as the conversion destination color component of the second hue range.
  • the color component selection unit 14 determines whether the hue value of each pixel received from the hue extraction unit 12 belongs to the first hue range or the second hue range, and the hue value belongs to the first hue range. G is selected as the conversion destination color component of the pixel, and B is selected as the conversion destination color component of the pixel whose hue value belongs to the second hue range.
  • the color conversion image is a two-color image expressed using two hues of G and B.
  • Each pixel of the color conversion image has a G channel and a B channel each having a predetermined number of gradations (for example, 256 gradations).
  • the color conversion image generation unit 15 receives the lightness value of each pixel from the lightness acquisition unit 13, and converts the received lightness value into a value in a predetermined number of gradations of the color conversion image. Thereby, a value based on the lightness value in the original image is obtained as the gradation value of each pixel of the color-converted image.
  • the color conversion image generation unit 15 uses the obtained gradation value as the gradation of the channel of the color component selected by the color component selection unit 14 among the G channel and B channel of each pixel of the color conversion image. Set to value. For example, the brightness value of a pixel having a hue value belonging to the first hue range in the biological image P is converted into a G channel gradation value of a pixel at the same position in the color conversion image. As a result, the color conversion image generation unit 15 generates a color conversion image Q in which the region of the organ A is displayed in green and the region of the organ B is displayed in blue as shown in FIG. In FIG. 6, the difference in hatching direction represents the difference in hue. The generated color conversion image Q is transmitted from the transmission unit 16 to the display unit 4 and displayed on the display unit 4.
  • the endoscope 3 is inserted into the living body, the tip 3a is disposed opposite to the living tissue S, and the living body is moved from the illumination lens 31 of the tip 3a.
  • the tissue S is irradiated with illumination light.
  • the illumination light reflected on the surface of the biological tissue S is imaged on the imaging surface of the imaging device 33 by the objective lens 32, and the biological image P is acquired by the imaging device 33.
  • the acquired biological image P is transmitted from the endoscope 3 to the image processing apparatus 1.
  • FIG. 7 shows processing executed by the image processing apparatus 1.
  • the color information of each pixel of the biological image P is converted from RGB format to color space coordinates in the hue / saturation / lightness format, and the hue A value is acquired by the hue acquisition unit 12 (hue acquisition step S1), and a lightness value is acquired by the lightness acquisition unit 13 (lightness acquisition step S2).
  • the color component selection unit 14 selects either G or B as the conversion destination color component of each pixel of the biological image P based on the hue value of the pixel (color component selection step S3).
  • the morphological information of the biological tissue S included in the biological image P includes the hue and saturation. Of the lightness, it remains mainly lightness. Therefore, the morphological information of the living tissue S in the living body image P can be maintained in the color converted image Q by setting the gradation value of each pixel of the color converting image Q to a value based on the brightness value in the living body image P. There is an advantage that the form of the living tissue S can be observed using the color conversion image Q.
  • FIGS. 8 an image processing apparatus 10 according to a second embodiment of the present invention and a medical observation system including the same will be described with reference to FIGS.
  • the medical observation system according to the present embodiment includes an image processing device 10 in FIG. 8 instead of the image processing device 1 in FIG. 2.
  • the image processing apparatus 10 further includes a saturation acquisition unit 17 that acquires the saturation value of each pixel from the biological image P.
  • the saturation acquisition unit 17 converts the color information of each pixel of the biological image P received by the reception unit 11 from RGB format into color space coordinates of hue / saturation / lightness format, and obtains the saturation value of each pixel. .
  • the saturation acquisition unit 17 transmits the obtained saturation values of all the pixels to the color component selection unit 14.
  • the biological image P when the biological image P includes blood in addition to the organs A and B, it corresponds to the organs A and B in the hue-saturation plane as shown in FIG.
  • the hue value of the pixel is biased to be distributed toward the low saturation side, whereas the hue value of the pixel corresponding to blood is biased to be distributed toward the high saturation side. This is because the red color of the blood is brighter than the red color of the organs A and B.
  • the color component selection unit 14 further has a predetermined saturation threshold value Tr for the saturation value.
  • the saturation threshold Tr is a value corresponding to the boundary between the region in which the hue value of pixels corresponding to blood is distributed and the region in which the saturation values of pixels corresponding to organs A and B are distributed in the hue-saturation plane. It is. Therefore, the range in which the saturation value of the biological image P is distributed is determined by the saturation threshold value Tr, the first saturation range in which the saturation value of the pixel corresponding to blood is distributed, and the saturation of the pixel corresponding to the organs A and B. It is divided into a second saturation range in which the degree values are distributed.
  • the saturation threshold value Tr is determined, for example, by measuring the boundary value of the distribution region of the saturation values of pixels corresponding to blood and organs A and B using the biological image P acquired in advance.
  • the color component selection unit 14 stores red (R) as the conversion destination color component in the first saturation range.
  • the color component selection unit 14 first determines whether the saturation value of each pixel received from the hue extraction unit 12 belongs to the first saturation range or the second saturation range, and the saturation value is the first. Red (R) is selected as the conversion destination color component of the pixels belonging to one saturation range.
  • the color component selection unit 14 selects G as the conversion destination color component of the pixel whose hue value belongs to the first hue range among the pixels whose saturation value belongs to the second saturation range, and the hue value Select B as the conversion destination color component of the pixels belonging to the second hue range.
  • the color conversion image Q is a three-color image expressed using three hues of G, B, and R.
  • Each pixel of the color conversion image has a G channel, a B channel, and an R channel each having a predetermined number of gradations (for example, 256 gradations).
  • the color conversion image generation unit 15 obtains the gradation value of each pixel of the color conversion image from the lightness value in the original image, as in the first embodiment.
  • the color conversion image generation unit 15 uses the obtained gradation value as the channel of the color component selected by the color component selection unit 14 from the G channel, B channel, and R channel of each pixel of the color conversion image. Is set to the gradation value. As a result, the color conversion image generation unit 15 performs color conversion in which the organ A region is displayed in green, the organ B region is displayed in blue, and the blood region is displayed in red, as shown in FIG. An image Q is generated. In FIG. 10, the difference in hatching direction represents the difference in hue.
  • the generated color conversion image Q is transmitted from the transmission unit 16 to the display unit 4 and displayed on the display unit 4.
  • FIG. 12 shows processing executed by the image processing apparatus 10.
  • the color information of each pixel of the biological image P is RGB.
  • the format is converted into color space coordinates in the hue / saturation / lightness format, the hue value is acquired by the hue acquisition unit 12 (hue acquisition step S1), and the lightness value is acquired by the lightness acquisition unit 13 (lightness acquisition step S2).
  • the saturation value is acquired by the saturation acquisition unit 17 (saturation acquisition step S5).
  • the color component selection unit 14 selects which of G, B, and R the conversion destination color component of each pixel of the biological image P is based on the saturation value and the hue value (color component selection step) S3 ′).
  • the color conversion image generation unit 15 generates a color conversion image Q in which the brightness value of each pixel of the biological image P is set as the gradation value of the channel of the color component selected by the color component selection unit 14 ( Color conversion image generation step S4 ′).
  • each pixel acquired from the biological image P it is determined whether each pixel corresponds to the organ A, B, or blood, and the hue of the pixel corresponding to blood Is converted to a hue different from the pixels corresponding to the organs A and B.
  • the color conversion image Q in which the blood and the organs A and B are displayed in different hues is obtained. Therefore, there is an advantage that the observer can easily identify and observe not only a plurality of types of organs but also blood in the color conversion image Q.
  • FIG. 13 an image processing device 20 in FIG. 13 instead of the image processing device 1 in FIG. 2.
  • the image processing apparatus 20 further includes a superimposed image generation unit 18 that generates a superimposed image by superimposing the biological image P received by the reception unit 11 and the color conversion image Q generated by the color conversion image generation unit 15. ing.
  • the superimposed image generation unit 18 adds the gradation value of the R channel of each pixel of the biological image P and the gradation value of the R channel of each pixel of the color conversion image Q, and calculates the sum obtained.
  • the gradation value of the R channel of each pixel of the superimposed image is used.
  • the superimposed image generation unit 18 calculates the G channel and B channel gradation values of each pixel of the superimposed image.
  • the superimposed image generated by the superimposed image generation unit 18 is transmitted from the transmission unit 16 to the display unit 4 and displayed on the display unit 4.
  • the superimposed image generation unit 18 has a weight ⁇ (0 ⁇ ⁇ 1) for the biological image P and a weight ⁇ (0 ⁇ ⁇ 1) for the color converted image Q.
  • the color conversion image Q may be superimposed with weights ⁇ and ⁇ .
  • the weight ⁇ is set larger than the weight ⁇ .
  • the superimposed image generation unit 18 multiplies the R channel gradation value of each pixel of the biological image P by the weight ⁇ , and adds the weight ⁇ to the R channel gradation value of each pixel of the color conversion image Q. The sum of the two products obtained by multiplication is used as the gradation value of the R channel of each pixel of the superimposed image. Similarly, the superimposed image generation unit 18 calculates the G channel and B channel gradation values of each pixel of the superimposed image.
  • the organ A is displayed in a color that is generally greener than the original color
  • the organ B is displayed in a color that is generally bluer than the original color
  • blood is the original color. Even more vivid red is displayed. Therefore, by appropriately adjusting the ratio between the gradation value derived from the biological image P and the gradation value derived from the color conversion image Q in the superimposed image by the weights ⁇ and ⁇ , the organs A and B and blood by conversion destination color components In the superimposed image, the organs A, B and blood in the superimposed image are prevented from being excessively biased to the conversion destination color component, and the organs A, B and blood in the superimposed image are There is an advantage that it can be expressed in close colors.
  • the saturation acquisition unit 17 is provided and the color conversion image generation unit 15 generates a three-color image as the color conversion image Q.
  • the saturation acquisition unit 17 The color conversion image generation unit 15 may generate the two-color image described in the first embodiment as the color conversion image Q.
  • G or B is assigned to pixels corresponding to the organs A and B and R is assigned to pixels corresponding to blood in the color conversion image Q.
  • the allocation of color components in the image Q can be changed as appropriate.
  • the conversion destination color component of the color conversion image Q is not limited to any one of R, G, and B, and may be two or more.
  • the organ A in the color conversion image Q has three primary colors ( It may be displayed in an intermediate color other than R, G, B).
  • the color conversion image may be a multicolor image expressed using four or more hues.
  • the medical observation system 100 including the endoscope 3 has been described. However, as long as the color biological image P can be acquired, other types of observation apparatuses other than the endoscope are used. May be used.

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明の画像処理装置（１）は、カラーの原画像から各画素の色相情報および明度情報をそれぞれ取得する色相取得部（１２）および明度取得部（１３）と、複数の色相範囲のうち、各画素の色相情報が属する色相範囲と対応付けられた色成分を当該画素の変換先色成分として選択する色成分選択部（１４）と、各画素の色成分のうち色成分選択部（１４）によって選択された変換先色成分に明度取得部（１３）によって取得された明度情報に基づく階調値を付与した色変換画像を生成する色変換画像生成部（１５）とを備える。

Description

画像処理装置、医用観察システムおよび画像処理プログラム
　本発明は、画像処理装置、医用観察システムおよび画像処理プログラムに関するものである。
　従来、内視鏡画像内の被写体の識別性を高めるために、内視鏡画像の各画素の色情報をＲＧＢ形式からＨＳＶ形式に変換し、得られた色相値、彩度値および明度値に基づいて色情報をコード化する内視鏡の補助診断装置が知られている（例えば、特許文献１参照。）。
特開２０１３－０９４５６２号公報
　しかしながら、色情報をコード化することによって内視鏡画像内の被写体の形態情報が失われるので、コード化された画像からは被写体の形態を観察することができないという問題がある。
　本発明は、上述した事情に鑑みてなされたものであって、原画像に含まれる被写体の形態情報を維持しつつ、被写体の高い識別性を確保した画像を提供することができる画像処理装置、医用観察システムおよび画像処理プログラムを提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の第１の態様は、外部装置から受信されたカラーの原画像から各画素の色相情報を取得する色相取得部と、前記原画像から各画素の明度情報を取得する明度取得部と、前記色相情報に基づいて前記原画像の各画素の変換先色成分を予め設定された複数の色成分の中から選択する色成分選択部と、前記原画像の各画素の前記明度情報を前記色成分選択部によって選択された変換先色成分に割り当てることによって色変換画像を生成する色変換画像生成部とを備え、前記色成分選択部は、色相を色相閾値によって区分した複数の色相範囲のうち、前記各画素の色相情報が属する色相範囲と対応付けられた前記変換先色成分を選択し、前記色変換画像生成部が、前記明度取得部によって取得された明度情報に基づく階調値を色変換画像における前記選択された変換先色成分に対応する各画素に付与することで、前記色変換画像を生成する画像処理装置である。
　本発明の第１の態様によれば、外部から原画像が入力されると、原画像の各画素の色相情報が色相取得部によって取得され、取得された色相に基づいて各画素の変換先色成分が色成分選択部によって選択され、選択された変換先色成分に応じた色相に各画素の色相が色変換画像生成部によって変換される。これにより、フルカラーの原画像から、変換先色成分のみを使用した色変換画像が生成される。
　この場合に、原画像内に含まれる複数種類の被写体が同系色であったとしても、色相は被写体間に差がある。したがって、一の被写体に対応する画素の色相情報と他の被写体に対応する画素の色相情報とは別々の色相範囲に属し、複数種類の被写体は色変換画像において別々の変換先色成分で表示される。これにより、色変換画像において被写体の高い識別性を確保することができる。
　さらに、原画像内の被写体の形態情報は、原画像の各画素の色を構成する３要素、すなわち色相、彩度および明度のうち、主に明度に含まれる。したがって、色変換画像の各画素の階調値を、明度取得部によって取得された原画像の各画素の明度情報に基づく値とすることによって、原画像に含まれる被写体の形態情報を維持した色変換画像を生成することができる。
　上記第１の態様においては、前記原画像から各画素の彩度情報を取得する彩度取得部を備え、前記色成分選択部は、前記彩度取得部によって取得された前記彩度情報が分布する範囲を所定の彩度閾値によって区分した複数の彩度範囲のうち、前記各画素の彩度情報が属する彩度範囲と対応付けられた変換先色成分を選択してもよい。
　このようにすることで、色相が類似していて色相のみに基づく分離が困難な被写体同士を彩度の違いに基づいて区別し、色変換画像において別々の色相で表示することができる。
　上記第１の態様においては、前記原画像と前記色変換画像とを重畳して重畳画像を生成する重畳画像生成部を備えていてもよい。
　このようにすることで、被写体のさらに明確な形態情報を含む重畳画像を生成することができる。
　上記第１の態様においては、前記重畳画像生成部が、前記原画像に対する重みが前記色変換画像に対する重みよりも大きくなるように、前記原画像および前記色変換画像の各々に重みを付して重畳してもよい。
　このようにすることで、色変換画像を原画像に重畳することによる重畳画像内の被写体の色の変化を抑制することができる。
　本発明の第２の態様は、生体をカラー撮影して生体画像を取得する観察装置と、該観察装置から前記生体画像を前記原画像として受信する上記いずれかに記載の画像処理装置とを備える医用観察システムである。
　本発明の第２の態様によれば、観察装置によって取得された生体画像から画像処理装置において色変換画像が生成される。この場合に、生体画像内には、赤系統の色を有する複数種類の組織および臓器が含まれる。色変換画像においては、このような同系色の複数種類の組織および臓器が別々の色相で表示されるので、生体画像においては識別が困難な複数種類の組織および臓器を、色変換画像においては容易に識別することができる。さらに、色変換画像を用いて被写体の形態も観察することができる。
　本発明の第３の態様は、カラーの原画像から各画素の色相情報を取得する色相取得工程と、前記原画像から各画素の明度情報を取得する明度取得工程と、前記色相情報に基づいて前記原画像の各画素の変換先色成分を予め設定された複数の色成分の中から選択する色成分選択工程と、前記原画像の各画素の前記明度情報を前記色成分選択部によって選択された変換先色成分に割り当てることによって色変換画像を生成する色変換画像生成工程とをコンピュータに実行させ、前記色成分選択工程において、色相を色相閾値によって区分した複数の色相範囲のうち、前記各画素の色相情報が属する色相範囲と対応付けられた前記変換先色成分を選択し、前記色変換画像生成において、前記明度取得工程によって取得された明度情報に基づく階調値を色変換画像における前記選択された変換先色成分に対応する各画素に付与することで、前記色変換画像を生成する画像処理プログラムである。
　本発明によれば、原画像に含まれる被写体の形態情報を維持しつつ、被写体の高い識別性を確保した画像を提供することができるという効果を奏する。
本発明の第１の実施形態に係る医用観察システムの全体構成図である。 図１の医用観察システムにおける画像処理装置の機能を示すブロック図である。 色相、彩度および明度からなる色空間を説明する図である。 色相－彩度平面における生体画像の色の分布の一例を示す図である。 生体画像の一例を示す図である。 図５の生体画像から生成される色変換画像の一例である。 図１の画像処理装置による処理を示すフローチャートである。 本発明の第２の実施形態に係る医用観察システムにおける画像処理装置の機能を示すブロック図である。 生体画像の他の例を示す図である。 図９の生体画像から生成される色変換画像の一例である。 色相－彩度平面における生体画像の色の分布の他の例を示す図である。 図８の画像処理装置による処理を示すフローチャートである。 本発明の第３の実施形態に係る医用観察システムにおける画像処理装置の機能を示すブロック図である。
（第１の実施形態）
　以下に、本発明の第１の実施形態に係る画像処理装置１およびこれを備える医用観察システム１００について図１から図７を参照して説明する。
　本実施形態に係る医用観察システム１００は、図１に示されるように、照明光を出力する光源２と、生体内に挿入され生体内を観察する内視鏡（外部装置、観察装置）３と、該内視鏡３によって取得された生体画像を処理する画像処置装置１と、該画像処置装置１から出力された画像を表示する表示部４とを備えている。
　内視鏡３は、その先端３ａに設けられた照明レンズ３１および対物レンズ３２と、撮像素子３３とを備えている。照明レンズ３１は、光源２からライトガイド３４を介して供給された照明光を、先端３ａ前方へ向かって射出する。対物レンズ３２は、先端３ａと対向する生体組織Ｓから入射した光を、対物レンズ３２の基端側に配置された撮像素子３３の撮像面に結像する。
　撮像素子３３は、例えば、カラーＣＣＤまたはカラーＣＭＯＳであり、撮像素子３３によって取得されるＲＧＢフルカラーの生体画像の各画素は、ＲＧＢ形式の色情報を有する。すなわち、生体画像の各画素は、Ｒチャネル、Ｇチャネル、Ｂチャネルを有し、各チャネルは所定の階調数（例えば、２５６階調）を有する。撮像素子３３は、取得した生体画像を画像処理装置１へ送信する。
　画像処理装置１は、図２に示されるように、撮像素子３３から生体画像（原画像）を受信する受信部１１と、生体画像から各画素の色相情報を取得する色相取得部１２と、生体画像から各画素の明度情報を取得する明度取得部１３と、生体画像の各画素の変換先色成分を２つの色成分の中から選択する色成分選択部１４と、生体画像の各画素の色相を変換先色成分に変換して色変換画像を生成する色変換画像生成部１５と、色変換画像を表示部４へ送信する送信部１６とを備えている。
　画像処理装置１は、例えば、汎用のコンピュータであり、中央演算処理装置（ＣＰＵ）と、ＲＡＭのような主記憶装置と、補助記憶装置とを備えている。補助記憶装置は、コンピュータ読み取り可能な非一時的な記憶媒体であり、画像処理プログラムを記憶している。ＣＰＵが、補助記憶装置から主記憶装置に画像処理プログラムを呼び出して該画像処理プログラムを実行することによって、色相取得部１２、明度取得部１３、色成分選択部１４および色変換画像生成部１５の機能が実現されるようになっている。あるいは、画像処理装置１は、各部１２，１３，１４，１５による後述の処理をそれぞれ実行する専用のハードウェア（ＡＳＩＣ）を備えていてもよい。
　色相取得部１２は、受信部１１によって受信された生体画像の各画素の色情報をＲＧＢ形式から色相、彩度、明度の円筒座標系からなる色空間座標に変換し、各画素の色相値を得る。色相取得部１２は、得られた全画素の色相値を色成分選択部１４に送信する。
　明度取得部１３は、受信部１１によって受信された生体画像の各画素の色情報をＲＧＢ形式から上述の色相・彩度・明度形式の色空間座標に変換し、各画素の明度値を得る。明度取得部１３は、得られた全画素の明度値を色変換画像生成部１５に送信する。
　図３は、色相・彩度・明度形式の色空間を表す円柱空間である。この色空間において、各画素の色は、色相値と明度値と彩度値とからなり、１つの画素の色は色空間内の１つの点の位置として表される。色相値は、円柱空間の中心軸回りの角度に対応し、０以上３６０未満の値を取り得る。明度値は、円柱空間の中心軸方向の高さに対応し、０以上１以下の値を取り得る。彩度値は、円柱空間の中心軸からの半径方向の距離に対応し、０以上の値を取り得る。
　ここで、生体画像の色空間における色相－彩度平面について考える。生体画像内に撮影された組織および臓器（以下、これらをまとめて単に「臓器」という。）はいずれも赤系統の色を有する。したがって、図４に示されるように、色相取得部１１によって取得された色相値は、赤系統の一部範囲に限って分布する。ただし、色相は臓器毎に異なる。例えば、脂肪組織は黄色を帯びた赤色を有し、肝臓は紫色を帯びた赤色を有する。したがって、図５に示されるように、生体画像Ｐ内に２種類の臓器Ａ，Ｂが含まれている場合、臓器Ａに対応する画素の色相値と、臓器Ｂに対応する画素の色相値とは、色相－彩度平面において互いに異なる領域に分布する。
　色成分選択部１４は、色相値に対する所定の色相閾値Ｔθを有している。色相閾値Ｔθは、色相－彩度平面内における、臓器Ａに対応する画素の色相値が分布する領域と臓器Ｂに対応する画素の色相値が分布する領域との境界に相当する値である。したがって、生体画像Ｐの色相値が分布する範囲は、色相閾値Ｔθによって、臓器Ａに対応する画素の色相値が分布する第１の色相範囲と臓器Ｂに対応する画素の色相値が分布する第２の色相範囲とに区分される。色相閾値Ｔθは、例えば、予め取得した生体画像Ｐを用いて、臓器Ａ，Ｂに対応する画素の色相値の分布領域の境界値を測定することによって決定される。
　なお、本実施形態においては、被写体が赤系統の色を有する生体組織であり、色相値が赤系統の領域に限って分布する場合を想定しているため、単一の色相閾値Ｔθによって、全画素の色相値を第１の色相範囲および第２の色相範囲のいずれかに確実に分類することができる。ただし、被写体が様々な色相を有し、色相値が広範囲に分布するような場合には、各色相範囲の下限値および上限値の両方が明確に定義されるように、複数の色相閾値を設定してもよい。
　色成分選択部１４は、第１の色相範囲の変換先色成分として緑（Ｇ）を記憶し、第２の色相範囲の変換先色成分として青（Ｂ）を記憶している。色成分選択部１４は、色相抽出部１２から受信した各画素の色相値が第１の色相範囲および第２の色相範囲のいずれに属するかを判定し、色相値が第１の色相範囲に属する画素の変換先色成分としてＧを選択し、色相値が第２の色相範囲に属する画素の変換先色成分としてＢを選択する。
　色変換画像は、ＧおよびＢの２つの色相を用いて表現される２色画像である。色変換画像の各画素は、所定の階調数（例えば、２５６階調）を各々有するＧチャネルおよびＢチャネルを有する。色変換画像生成部１５は、明度取得部１３から各画素の明度値を受信し、受信した明度値を色変換画像の所定の階調数における値に変換する。これにより、色変換画像の各画素の階調値として、原画像における明度値に基づく値が得られる。
　次に、色変換画像生成部１５は、得られた階調値を、色変換画像の各画素のＧチャネルおよびＢチャネルのうち、色成分選択部１４によって選択された色成分のチャネルの階調値に設定する。例えば、生体画像Ｐにおいて第１の色相範囲に属する色相値を有する画素の明度値は、色変換画像内の同一位置の画素のＧチャネルの階調値に変換される。これにより、色変換画像生成部１５は、図６に示されるように、臓器Ａの領域が緑色で表示され、臓器Ｂの領域が青色で表示された色変換画像Ｑを生成する。図６において、ハッチングの向きの違いは色相の違いを表している。生成された色変換画像Ｑは送信部１６から表示部４に送信され、表示部４に表示される。
　次に、このように構成された画像処理装置１および医用観察システム１００の作用について説明する。
　本実施形態に係る医用観察システム１００を用いて生体内を観察するには、生体内に内視鏡３を挿入して先端３ａを生体組織Ｓに対向配置し、先端３ａの照明レンズ３１から生体組織Ｓに照明光を照射する。生体組織Ｓの表面において反射された照明光は、対物レンズ３２によって撮像素子３３の撮像面に結像され、撮像素子３３によって生体画像Ｐが取得される。取得された生体画像Ｐは、内視鏡３から画像処理装置１に送信される。
　図７は、画像処理装置１が実行する処理を示している。
　受信部１１を介して画像処理装置１内に生体画像Ｐが入力されると、生体画像Ｐの各画素の色情報がＲＧＢ形式から色相・彩度・明度形式の色空間座標に変換され、色相値が色相取得部１２によって取得され（色相取得工程Ｓ１）、明度値が明度取得部１３によって取得される（明度取得工程Ｓ２）。次に、色成分選択部１４において、生体画像Ｐの各画素の変換先色成分をＧおよびＢのいずれとするかが、その画素の色相値に基づいて選択される（色成分選択工程Ｓ３）。次に、色変換画像生成部１５において、生体画像Ｐの各画素の明度値を、色成分選択部１４によって選択された色成分と同一の色成分のチャネルの階調値とした色変換画像Ｑが生成される（色変換画像生成工程Ｓ４）。
　この場合に、生体内に存在する複数種類の臓器は同系色を有している。したがって、通常のカラーの生体画像Ｐでは複数種類の臓器を見分けることが難しい。ただし、臓器の色相はそれぞれ異なるので、色相値に基づいて複数種類の臓器を明確に区別することができる。本実施形態によれば、生体画像Ｐから取得した各画素の色相値に基づいて、各画素が複数種類の臓器のうちのいずれに対応しているかを判定し、各画素の色相を臓器の種類毎に対応付けられた色相に変換する。これにより、臓器が種類毎に別々の色相で表示された色変換画像Ｑが得られる。したがって、観察者は、色変換画像Ｑにおいて複数種類の臓器を容易に識別して観察することができるという利点がある。
　さらに、生体画像Ｐの各画素の色情報をＲＧＢ形式から色相・彩度・明度形式の色空間座標に変換した際に、生体画像Ｐに含まれる生体組織Ｓの形態情報は、色相、彩度および明度の内、主に明度に残る。したがって、色変換画像Ｑの各画素の階調値を生体画像Ｐにおける明度値に基づく値とすることによって、生体画像Ｐ内の生体組織Ｓの形態情報を色変換画像Ｑに維持することができ、色変換画像Ｑを用いて生体組織Ｓの形態も観察することができるという利点がある。
（第２の実施形態）
　次に、本発明の第２の実施形態に係る画像処理装置１０およびこれを備える医用観察システムについて図８から図１２を参照して説明する。なお、本実施形態においては、第１の実施形態と構成を共通とする箇所には同一の符号を付して説明を省略する。
　本実施形態に係る医用観察システムは、図２の画像処理装置１に代えて図８の画像処理装置１０を備えている。
　画像処理装置１０は、生体画像Ｐから各画素の彩度値を取得する彩度取得部１７をさらに備えている。彩度取得部１７は、受信部１１によって受信された生体画像Ｐの各画素の色情報をＲＧＢ形式から色相・彩度・明度形式の色空間座標に変換し、各画素の彩度値を得る。彩度取得部１７は、得られた全画素の彩度値を色成分選択部１４に送信する。
　図９に示されるように、生体画像Ｐ内に臓器Ａ，Ｂに加えて血液も含まれている場合、色相－彩度平面において、図１１に示されるように、臓器Ａ，Ｂに対応する画素の色相値は、彩度の低い側に偏って分布するのに対し、血液に対応する画素の色相値は、彩度の高い側に偏って分布する。これは、臓器Ａ，Ｂの赤色に比べて血液の赤色が鮮やかであるためである。
　色成分選択部１４は、彩度値に対する所定の彩度閾値Ｔｒをさらに有している。彩度閾値Ｔｒは、色相－彩度平面内における、血液に対応する画素の色相値が分布する領域と臓器Ａ，Ｂに対応する画素の彩度値が分布する領域との境界に相当する値である。したがって、生体画像Ｐの彩度値が分布する範囲は、彩度閾値Ｔｒによって、血液に対応する画素の彩度値が分布する第１の彩度範囲と臓器Ａ，Ｂに対応する画素の彩度値が分布する第２の彩度範囲とに区分される。彩度閾値Ｔｒは、例えば、予め取得した生体画像Ｐを用いて、血液および臓器Ａ，Ｂに対応する画素の彩度値の分布領域の境界値を測定することによって決定される。
　色成分選択部１４は、第１の彩度範囲の変換先色成分として赤（Ｒ）を記憶している。色成分選択部１４は、まず、色相抽出部１２から受信した各画素の彩度値が第１の彩度範囲および第２の彩度範囲のいずれに属するかを判定し、彩度値が第１の彩度範囲に属する画素の変換先色成分として赤（Ｒ）を選択する。次に、色成分選択部１４は、彩度値が第２の彩度範囲に属する画素のうち、色相値が第１の色相範囲に属する画素の変換先色成分としてＧを選択し、色相値が第２の色相範囲に属する画素の変換先色成分としてＢを選択する。
　本実施形態において、色変換画像Ｑは、Ｇ、ＢおよびＲの３つの色相を用いて表現される３色画像である。色変換画像の各画素は、所定の階調数（例えば、２５６階調）を各々有するＧチャネル、ＢチャネルおよびＲチャネルを有する。色変換画像生成部１５は、第１の実施形態と同様にして、色変換画像の各画素の階調値を原画像における明度値から得る。
　次に、色変換画像生成部１５は、得られた階調値を、色変換画像の各画素のＧチャネル、ＢチャネルおよびＲチャネルのうち、色成分選択部１４によって選択された色成分のチャネルの階調値に設定する。これにより、色変換画像生成部１５は、図１０に示されるように、臓器Ａの領域が緑色で表示され、臓器Ｂの領域が青色で表示され、血液の領域が赤色で表示された色変換画像Ｑを生成する。図１０において、ハッチングの向きの違いは色相の違いを表している。生成された色変換画像Ｑは送信部１６から表示部４に送信され、表示部４に表示される。
　図１２は、画像処理装置１０が実行する処理を示している。
　このように構成された画像処理装置１０および医用観察システムによれば、受信部１１を介して画像処理装置１０内に生体画像Ｐが入力されると、生体画像Ｐの各画素の色情報がＲＧＢ形式から色相・彩度・明度形式の色空間座標に変換され、色相値が色相取得部１２によって取得され（色相取得工程Ｓ１）、明度値が明度取得部１３によって取得され（明度取得工程Ｓ２）、彩度値が彩度取得部１７によって取得される（彩度取得工程Ｓ５）。次に、色成分選択部１４において、生体画像Ｐの各画素の変換先色成分をＧ、ＢおよびＲのいずれとするかが彩度値および色相値に基づいて選択される（色成分選択工程Ｓ３’）。次に、色変換画像生成部１５において、生体画像Ｐの各画素の明度値を、色成分選択部１４によって選択された色成分のチャネルの階調値とした色変換画像Ｑが生成される（色変換画像生成工程Ｓ４’）。
　このように、血液は臓器Ａ，Ｂに比べて鮮やかな赤色を有しているので、彩度値に基づいて血液と臓器Ａ，Ｂとを明確に区別することができる。本実施形態によれば、生体画像Ｐから取得した各画素の彩度値に基づいて、各画素が臓器Ａ，Ｂおよび血液のいずれに対応しているかを判定し、血液に対応する画素の色相を、臓器Ａ，Ｂに対応する画素とは異なる色相に変換する。これにより、血液と臓器Ａ，Ｂとが別々の色相で表示された色変換画像Ｑが得られる。したがって、観察者は、色変換画像Ｑにおいて複数種類の臓器のみならず血液も容易に識別して観察することができるという利点がある。
（第３の実施形態）
　次に、本発明の第３の実施形態に係る画像処理装置２０およびこれを備える医用観察システムについて図１３を参照して説明する。なお、本実施形態においては、第１の実施形態と構成を共通とする箇所には同一の符号を付して説明を省略する。
　本実施形態に係る医用観察システムは、図２の画像処理装置１に代えて図１３の画像処理装置２０を備えている。
　画像処理装置２０は、受信部１１によって受信された生体画像Ｐと、色変換画像生成部１５によって生成された色変換画像Ｑとを重畳して重畳画像を生成する重畳画像生成部１８をさらに備えている。具体的には、重畳画像生成部１８は、生体画像Ｐの各画素のＲチャネルの階調値と色変換画像Ｑの各画素のＲチャネルの階調値とを加算し、得られた和を重畳画像の各画素のＲチャネルの階調値とする。同様にして、重畳画像生成部１８は、重畳画像の各画素のＧチャネルおよびＢチャネルの階調値を算出する。
　本実施形態においては、重畳画像生成部１８によって生成された重畳画像が送信部１６から表示部４に送信され、表示部４に表示される。
　このように構成された画像処理装置２０および医用観察システムによれば、表示部４には、生体画像Ｐと色変換画像Ｑとが重畳された重畳画像が表示される。したがって、重畳画像を用いて生体組織Ｓのより詳細な形態も観察することができるという利点がある。本実施形態のその他の効果は、第１および第２の実施形態と同一であるので説明を省略する。
　本実施形態においては、重畳画像生成部１８が、生体画像Ｐに対する重みα（０＜α＜１）と、色変換画像Ｑに対する重みβ（０＜β＜１）とを有し、生体画像Ｐおよび色変換画像Ｑの各々に重みα，βを付して重畳してもよい。ここで、重みαは重みβよりも大きく設定される。
　具体的には、重畳画像生成部１８は、生体画像Ｐの各画素のＲチャネルの階調値に重みαを乗算し、色変換画像Ｑの各画素のＲチャネルの階調値に重みβを乗算し、得られた２つの積の和を重畳画像の各画素のＲチャネルの階調値とする。同様にして、重畳画像生成部１８は、重畳画像の各画素のＧチャネルおよびＢチャネルの階調値を算出する。
　重畳画像において、臓器Ａは本来の色よりも全体的に緑色を帯びた色で表示され、臓器Ｂは本来の色よりも全体的に青色を帯びた色で表示され、血液は、本来の色よりもさらに鮮やかな赤で表示される。そこで、重畳画像における生体画像Ｐ由来の階調値と色変換画像Ｑ由来の階調値との割合を重みα，βによって適切に調整することで、変換先色成分による臓器Ａ，Ｂおよび血液の識別性を維持しつつ、重畳画像における臓器Ａ，Ｂや血液の色が過度に変換先色成分に偏ってしまうことを防止し、重畳画像において、臓器Ａ，Ｂおよび血液を本来の色により近い色で表現することができるという利点がある。
　また、本実施形態においては、彩度取得部１７を備え、色変換画像生成部１５が色変換画像Ｑとして３色画像を生成する構成について説明したが、これに代えて、彩度取得部１７を省略し、色変換画像生成部１５が第１の実施形態において説明した２色画像を色変換画像Ｑとして生成してもよい。
　また、第１から第３の実施形態においては、色変換画像Ｑにおいて、臓器Ａ，Ｂに対応する画素にＧまたはＢを割り当て、血液に対応する画素にＲを割り当てることとしたが、色変換画像Ｑにおける色成分の割り当ては適宜変更することができる。
　また、色変換画像Ｑの変換先色成分は、Ｒ、Ｇ、Ｂのいずれか１つに限定されるものではなく、２以上であってもよい。例えば、臓器Ａに対応する画素の階調値を、Ｒ、Ｇ、Ｂの３つのチャネルの内の２以上に所定の割合で分配することによって、色変換画像Ｑにおいて臓器Ａが、３原色（Ｒ、Ｇ、Ｂ）以外の中間色で表示されるようにしてもよい。また、４種類以上の臓器を観察する場合には、色変換画像が、４以上の色相を用いて表現される多色画像であってもよい。
　また、第１から第３の実施形態においては、内視鏡３を備える医用観察システム１００について説明したが、カラーの生体画像Ｐを取得することさえできれば内視鏡以外の他の種類の観察装置を用いてもよい。
１，１０，２０　画像処理装置
２　光源
３　内視鏡（外部装置、観察装置）
４　表示部
１２　色相取得部
１３　明度取得部
１４　色成分選択部
１５　色変換画像生成部
１７　彩度取得部
１８　重畳画像生成部
１００　医用観察システム
Ｓ１，Ｓ１’　色相取得工程
Ｓ２，Ｓ２’　明度取得工程
Ｓ３，Ｓ３’　色成分選択工程
Ｓ４，Ｓ４’　色変換画像生成工程
Ｓ５　彩度取得工程

Claims (6)

  1. 　外部装置から受信されたカラーの原画像から各画素の色相情報を取得する色相取得部と、
    　前記原画像から各画素の明度情報を取得する明度取得部と、
    　前記色相情報に基づいて前記原画像の各画素の変換先色成分を予め設定された複数の色成分の中から選択する色成分選択部と、
    　前記原画像の各画素の前記明度情報を前記色成分選択部によって選択された変換先色成分に割り当てることによって色変換画像を生成する色変換画像生成部とを備え、
    　前記色成分選択部は、色相を色相閾値によって区分した複数の色相範囲のうち、前記各画素の色相情報が属する色相範囲と対応付けられた前記変換先色成分を選択し、
    　前記色変換画像生成部が、前記明度取得部によって取得された明度情報に基づく階調値を色変換画像における前記選択された変換先色成分に対応する各画素に付与することで、前記色変換画像を生成する画像処理装置。
  2. 　前記原画像から各画素の彩度情報を取得する彩度取得部を備え、
    　前記色成分選択部は、前記彩度取得部によって取得された前記彩度情報が分布する範囲を所定の彩度閾値によって区分した複数の彩度範囲のうち、前記各画素の彩度情報が属する彩度範囲と対応付けられた変換先色成分を選択する請求項１に記載の画像処理装置。
  3. 　前記原画像と前記色変換画像とを重畳して重畳画像を生成する重畳画像生成部を備える請求項１または請求項２に記載の画像処理装置。
  4. 　前記重畳画像生成部が、前記原画像に対する重みが前記色変換画像に対する重みよりも大きくなるように、前記原画像および前記色変換画像の各々に重みを付して重畳する請求項３に記載の画像処理装置。
  5. 　生体をカラー撮影して生体画像を取得する観察装置と、
    　該観察装置から前記生体画像を前記原画像として受信する請求項１から請求項４のいずれかに記載の画像処理装置とを備える医用観察システム。
  6. 　カラーの原画像から各画素の色相情報を取得する色相取得工程と、
    　前記原画像から各画素の明度情報を取得する明度取得工程と、
    　前記色相情報に基づいて前記原画像の各画素の変換先色成分を予め設定された複数の色成分の中から選択する色成分選択工程と、
    　前記原画像の各画素の前記明度情報を前記色成分選択部によって選択された変換先色成分に割り当てることによって色変換画像を生成する色変換画像生成工程とをコンピュータに実行させ、
    　前記色成分選択工程において、色相を色相閾値によって区分した複数の色相範囲のうち、前記各画素の色相情報が属する色相範囲と対応付けられた前記変換先色成分を選択し、
    　前記色変換画像生成において、前記明度取得工程によって取得された明度情報に基づく階調値を色変換画像における前記選択された変換先色成分に対応する各画素に付与することで、前記色変換画像を生成する画像処理プログラム。
PCT/JP2015/064920 2015-05-25 2015-05-25 画像処理装置、医用観察システムおよび画像処理プログラム WO2016189622A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2015/064920 WO2016189622A1 (ja) 2015-05-25 2015-05-25 画像処理装置、医用観察システムおよび画像処理プログラム
JP2017520096A JP6557724B2 (ja) 2015-05-25 2015-05-25 画像処理装置、医用観察システムおよび画像処理プログラム
DE112015006491.5T DE112015006491T5 (de) 2015-05-25 2015-05-25 Bildverarbeitungsgerät, medizinisches Beobachtungssystem und Bildverarbeitungsprogramm
US15/806,866 US10412271B2 (en) 2015-05-25 2017-11-08 Image processing device, medical observation system, and non-transitory computer readable medium storing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064920 WO2016189622A1 (ja) 2015-05-25 2015-05-25 画像処理装置、医用観察システムおよび画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/806,866 Continuation US10412271B2 (en) 2015-05-25 2017-11-08 Image processing device, medical observation system, and non-transitory computer readable medium storing image processing program

Publications (1)

Publication Number Publication Date
WO2016189622A1 true WO2016189622A1 (ja) 2016-12-01

Family

ID=57393912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064920 WO2016189622A1 (ja) 2015-05-25 2015-05-25 画像処理装置、医用観察システムおよび画像処理プログラム

Country Status (4)

Country Link
US (1) US10412271B2 (ja)
JP (1) JP6557724B2 (ja)
DE (1) DE112015006491T5 (ja)
WO (1) WO2016189622A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019134799B3 (de) * 2019-12-17 2021-03-25 Schölly Fiberoptic GmbH Bildaufnahmeverfahren unter Verwendung einer Farbtransformation sowie zugehöriges medizinisches Bildaufnahmesystem

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62266030A (ja) * 1986-05-14 1987-11-18 株式会社東芝 内視鏡装置
JP2003126015A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置
JP2013094562A (ja) * 2011-11-04 2013-05-20 Hoya Corp 内視鏡の補助診断装置
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819077A (en) 1986-05-14 1989-04-04 Kabushiki Kaisha Toshiba Color image processing system
US7172553B2 (en) 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
JP2016158682A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62266030A (ja) * 1986-05-14 1987-11-18 株式会社東芝 内視鏡装置
JP2003126015A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置
JP2013094562A (ja) * 2011-11-04 2013-05-20 Hoya Corp 内視鏡の補助診断装置
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置

Also Published As

Publication number Publication date
DE112015006491T5 (de) 2018-01-18
US10412271B2 (en) 2019-09-10
US20180069988A1 (en) 2018-03-08
JP6557724B2 (ja) 2019-08-07
JPWO2016189622A1 (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
US11399123B2 (en) Image transformation and display for fluorescent and visible imaging
JP6420230B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6461739B2 (ja) 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
US10231600B2 (en) Image processing apparatus
US9595085B2 (en) Medical image processing device that improves color identification of different areas, method for operating the same, and endoscope system
US11116384B2 (en) Endoscope system capable of image alignment, processor device, and method for operating endoscope system
US10791915B2 (en) Endoscope system, processor device, and method for operating endoscope system
US9854996B2 (en) Medical image processing device, method for operating the same, and endoscope system
JP6196598B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2017164393A (ja) 内視鏡システム及びその作動方法
JP4327380B2 (ja) 蛍光画像表示方法および装置
US20170301069A1 (en) Image processing device and imaging system
WO2017183324A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US20210400181A1 (en) Endoscope apparatus, endoscope image processing apparatus, endoscope apparatus actuation method, and recording medium
JP2011234844A (ja) 制御装置、内視鏡装置及びプログラム
US20110164127A1 (en) Method and endoscope for improving endoscope images
JP6408400B2 (ja) 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法
JP6557724B2 (ja) 画像処理装置、医用観察システムおよび画像処理プログラム
CN107833256B (zh) 用于数字图像的伪着色的方法以及装置
JP2006115963A (ja) 電子内視鏡装置
WO2017149742A1 (ja) 内視鏡用画像処理装置
WO2017212768A1 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP6153913B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
EP4275581A1 (en) Method, processor, and medical fluorescence observation device for toggling images
EP4275578A1 (en) Method, processor, and medical fluorescence observation device using a color-dependent color conversion function

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15893257

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017520096

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015006491

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15893257

Country of ref document: EP

Kind code of ref document: A1