WO2019130834A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2019130834A1
WO2019130834A1 PCT/JP2018/041234 JP2018041234W WO2019130834A1 WO 2019130834 A1 WO2019130834 A1 WO 2019130834A1 JP 2018041234 W JP2018041234 W JP 2018041234W WO 2019130834 A1 WO2019130834 A1 WO 2019130834A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
component
unit
processing
base component
Prior art date
Application number
PCT/JP2018/041234
Other languages
English (en)
French (fr)
Inventor
朋也 佐藤
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201880083095.4A priority Critical patent/CN111511263B/zh
Priority to JP2019562814A priority patent/JP6946468B2/ja
Publication of WO2019130834A1 publication Critical patent/WO2019130834A1/ja
Priority to US16/909,362 priority patent/US11509834B2/en
Priority to US17/966,997 priority patent/US20230042498A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for performing color enhancement processing for expanding a color tone in a predetermined color space on an imaging signal obtained by imaging the inside of a subject.
  • an endoscope there is known a technique capable of adjusting the brightness while suppressing the deterioration of the contrast of the image (see, for example, Patent Document 1).
  • a video signal input from an endoscope is divided into a first signal including a contrast component signal and a second signal other than the contrast component signal, and brightness adjustment is performed on the second signal. After the processing, the first signal and the second signal are synthesized again.
  • a doctor such as an operator judges a normal mucous membrane and an abnormal mucous membrane such as inflammation or a lesion based on the color tone change of the mucous membrane.
  • an abnormal mucous membrane such as inflammation or a lesion based on the color tone change of the mucous membrane.
  • the mucous membrane color is generally distributed in the narrow range of the red region, there is a problem that it is difficult to catch the color tone change between the normal mucous membrane and the abnormal mucous membrane. .
  • the present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus and an image processing method capable of easily capturing a color tone change between a normal mucous membrane and an abnormal mucous membrane.
  • an image processing apparatus comprises a base component corresponding to an illumination light component of an object and an image signal obtained by imaging the inside of a subject; And a detail processing unit for dividing into a detail component corresponding to a reflectance component of an object, and a color enhancement processing for performing color enhancement processing on the base component to expand the color tone of mucous membrane color on a predetermined color space
  • a combining unit configured to combine and output a section, the base component on which the color enhancement processing unit has performed the color enhancement processing, and the detail component.
  • the color enhancement processing section expands the color tone of the mucous membrane color using a predetermined conversion function in the Lab color space with respect to the base component. It is characterized by
  • the color enhancement processing section performs the color enhancement processing based on at least a value obtained by normalizing a blue component with a red component.
  • a brightness correction unit that performs brightness correction on the base component, and a base component on which the brightness correction unit performs the brightness correction.
  • a tone compression unit that performs tone compression processing, and the color enhancement processing unit performs the color enhancement processing on the base on which the tone compression unit has performed the tone compression processing. It is characterized by
  • the imaging signal obtained by imaging the inside of the object is equivalent to a base component corresponding to an illuminance light component of the object, and the base component And a combining unit for combining and outputting after performing predetermined enhancement processing on at least one of the base component and the detail component; and And a color emphasizing processing unit for performing color emphasizing processing of expanding the color tone of the mucous membrane color on the predetermined color space with respect to the synthetic signal.
  • a brightness correction unit that performs brightness correction on the base component, and a base component on which the brightness correction unit performs the brightness correction.
  • a gradation compression unit for performing gradation compression processing.
  • the color enhancement processing unit expands the color tone of the mucous membrane color using a predetermined conversion function in the Lab color space with respect to the composite signal. It is characterized by
  • the color enhancement processing section performs the color enhancement processing based on at least a value obtained by normalizing a blue component with a red component.
  • a base component corresponding to an illumination light component of an object and a detail component corresponding to the base component and a reflectance component of the object, for an imaging signal obtained by imaging the inside of a subject
  • the color enhancement processing step of performing color enhancement processing of expanding the color gradation on the predetermined color space to the base component, and performing the color enhancement processing in the color enhancement processing step And combining the above-mentioned base component and the above-mentioned detail component.
  • a base component corresponding to an illumination light component of an object, and a detail component corresponding to the base component and a reflectance component of the object, for an imaging signal obtained by imaging the inside of a subject A division processing step of dividing into at least one of the base component and the detail component after performing predetermined emphasis processing on the combination component and outputting the combined signal, and the combination signal output in the combination step
  • a color enhancement process step of performing color enhancement process of expanding the color tone of the mucous membrane color on a predetermined color space a base component corresponding to an illumination light component of an object, and a detail component corresponding to the base component and a reflectance component of the object, for an imaging signal obtained by imaging the inside of a subject .
  • ADVANTAGE OF THE INVENTION According to this invention, it is effective in the ability to catch the color tone change of a normal mucous membrane and an abnormal mucous membrane easily.
  • FIG. 1 is a view showing a schematic configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the endoscope system according to the first embodiment of the present invention.
  • FIG. 3A is a schematic view showing a distribution range of mucous membrane color before color tone enhancement processing.
  • FIG. 3B is a schematic view showing a distribution range of mucous membrane color after color tone enhancement processing.
  • FIG. 4A is a schematic view showing a color distribution before color tone enhancement processing.
  • FIG. 4B is a schematic view showing the effect of color distribution after color tone enhancement processing.
  • FIG. 5 is a flowchart showing an outline of processing performed by the processing device according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart showing an outline of processing performed by the processing device according to Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing a functional configuration of a color tone emphasizing unit according to Embodiment 2 of the present invention.
  • FIG. 7A is a schematic view showing a distribution range of mucous membrane color before color tone enhancement processing.
  • FIG. 7B is a schematic view showing a distribution range of mucous membrane color before color tone enhancement processing.
  • FIG. 8A is a schematic view showing a color distribution before color tone enhancement processing.
  • FIG. 8B is a schematic view showing the effect of color distribution after color tone enhancement processing.
  • FIG. 9 is a block diagram showing a functional configuration of an endoscope system according to Modification 1 of Embodiments 1 and 2 of the present invention.
  • FIG. 10 is a block diagram showing a functional configuration of an endoscope system according to a second modification of the first and second embodiments of the present invention.
  • an endoscope system including an endoscope for imaging a body cavity of a subject such as a patient and displaying an image is taken as an example. explain. Further, the present invention is not limited by the embodiment. Furthermore, in the description of the drawings, the same parts are given the same reference numerals.
  • FIG. 1 is a view showing a schematic configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the endoscope system according to the first embodiment of the present invention.
  • An endoscope system 1 shown in FIGS. 1 and 2 includes an endoscope 2 which inserts a tip into a subject and emits illumination light from the tip to capture an in-vivo image of the subject; A light source unit 43 for generating illumination light for emitting light from the tip, performing predetermined image processing on an imaging signal captured by the endoscope 2 and collectively controlling the entire operation of the endoscope system 1 A processing device 3 and a display device 4 for displaying an image corresponding to an imaging signal subjected to signal processing by the processing device 3 are provided.
  • the endoscope 2 has an elongated insertion portion 21 having flexibility, an operation portion 22 connected to the proximal end side of the insertion portion 21 and receiving input of various operation signals, and an insertion portion from the operation portion 22 And 21 a universal cord 23 containing various cables extending in a direction different from the extending direction and connected to the processing device 3 (including the light source unit 43).
  • the insertion unit 21 is a bendable unit formed of a plurality of bending pieces and a tip end portion 24 incorporating an image pickup device 244 in which pixels generating a signal by receiving light and performing photoelectric conversion are two-dimensionally arranged. And an elongated flexible tube portion 26 connected to the base end side of the curved portion 25 and having flexibility.
  • the insertion unit 21 is inserted into the subject, and the imaging device 244 captures an image of a subject such as a living tissue at a position where outside light does not reach.
  • the front end portion 24 is formed of glass fiber or the like and forms a light guide path of light emitted by the light source unit 43, an illumination lens 242 provided at the front end of the light guide 241, and an optical for condensing light.
  • a system 243, and an imaging element 244 provided at an imaging position of the optical system 243, which receives the light collected by the optical system 243, photoelectrically converts the light into an electric signal, and performs predetermined signal processing.
  • the optical system 243 is configured using one or more lenses, and has an optical zoom function to change the angle of view and a focus function to change the focus.
  • the imaging element 244 photoelectrically converts light from the optical system 243 to generate an electric signal (imaging signal) and outputs the electric signal (processing signal) to the processing device 3.
  • a plurality of pixels each having a photodiode for storing charges corresponding to the light amount, a capacitor for converting charges transferred from the photodiodes to voltage levels, and the like are arranged in a matrix.
  • Each pixel sequentially photoelectrically converts light from the optical system 243 to generate an electric signal, and an electric signal generated by a pixel arbitrarily set as a read target among the plurality of pixels of the light receiving unit 244a is sequentially read out And a readout unit 244 b that outputs an imaging signal.
  • the light receiving unit 244a is provided with a color filter, and each pixel receives light in one of wavelength bands of red (R), green (G), and blue (B) color components.
  • the imaging element 244 controls various operations of the distal end portion 24 in accordance with the drive signal received from the processing device 3.
  • the imaging device 244 is realized by using, for example, a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor.
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the operation unit 22 includes a bending knob 221 that bends the bending unit 25 in the vertical and horizontal directions, a treatment tool insertion unit 222 that inserts a treatment tool such as a biological forceps, an electric knife, and an inspection probe into a subject, In addition to 3, it has a plurality of switches 223 which are operation input units for inputting operation instruction signals of peripheral devices such as air supply means, water supply means, and screen display control.
  • the treatment tool inserted from the treatment tool insertion portion 222 is exposed from the opening (not shown) via the treatment tool channel (not shown) of the distal end portion 24.
  • the universal cord 23 incorporates at least a light guide 241 and a collective cable 245 in which one or more signal lines are put together.
  • the collective cable 245 is information including a signal line for transmitting an imaging signal, a signal line for transmitting a driving signal for driving the imaging device 244, and unique information on the endoscope 2 (imaging device 244). Signal lines for transmitting and receiving data.
  • an E / O conversion circuit may be provided at the tip end portion 24 to transmit an optical signal.
  • a communication module or the like may be provided in the distal end portion 24, and an imaging signal may be transmitted between the endoscope 2 and the processing device 3 by wireless communication.
  • an A / D conversion circuit may be provided at the distal end portion 24, and a digital imaging signal may be output to the processing device 3 by performing A / D conversion on the imaging signal.
  • the processing device 3 includes an imaging signal acquisition unit 31, a division processing unit 32, an IHb processing unit 33, a detail enhancement processing unit 34, a brightness correction unit 35, a gradation compression unit 36, a color tone enhancement unit 37, and the like.
  • the image processing apparatus according to the first embodiment includes at least the division processing unit 32, the IHb processing unit 33, the detail enhancement processing unit 34, the brightness correction unit 35, the gradation compression unit 36, and the color tone enhancement unit 37 and a combining unit 38.
  • the image processing apparatus includes at least the division processing unit 32 and the IHb processing using a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), a graphics processing unit (GPU) or the like.
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • GPU graphics processing unit
  • the function of the unit 33, the detail emphasis processing unit 34, the brightness correction unit 35, the gradation compression unit 36, the color tone emphasis unit 37, and the combining unit 38 is exhibited.
  • the imaging signal acquisition unit 31 receives an imaging signal output from the imaging element 244 of the endoscope 2, performs predetermined image processing on the received imaging signal, and outputs the imaging signal to the division processing unit 32.
  • predetermined image processing noise removal processing for removing noise from an imaging signal, A / D conversion processing for converting an analog imaging signal into a digital imaging signal, synchronization processing, and the like are performed.
  • Division processing unit 32 the imaging signal S A input from the imaging signal acquisition unit 31, performs division processing for dividing the visually weak component correlated visually component having a strong correlation.
  • the dividing process for example, using the technique (Retinex theory) described in Lightness and retinex theory, EHLand, JJ Mccann, Journal of the Optical Society of America, 61 (1), 1-11 (1971) It can be carried out.
  • the visually weak component corresponds to the illumination light component of the object and is generally called the base component.
  • a component having a strong visual correlation is a component corresponding to the reflectance component of an object, and is generally called a detail component.
  • the detail component is a component obtained by dividing the signal constituting the image by the base component.
  • the detail component includes an edge component of an object and a contrast component such as a texture component.
  • the division processing unit 32 outputs a signal including a base component (hereinafter referred to as “base component signal S B ”) to the IHb processing unit 33, and a signal including a detail component (hereinafter referred to as “detail component signal S C ”) Are output to the detail emphasizing processing unit 34.
  • the component division processing by the division processing unit 32 may be performed using, for example, the Edge-aware filtering technology described in Temporally Coherent Local Tone Mapping of HDR Video, TOAydin, et al., ACM Transactions on Graphics, Vol 33, November 2014.
  • the space frequency may be divided into a plurality of frequency bands. Further, dividing unit 32 performs R, when the imaging signal S A of the respective color components G and B are input, the division processing described above, respectively for image signals of each color component. Similarly, in the subsequent signal processing, processing is performed on each color component.
  • the IHb processing unit 33 performs hemoglobin index color enhancement processing (hereinafter referred to as “IHb color enhancement processing”) on the base component signal S B input from the division processing unit 32 and performs this IHb color enhancement processing.
  • the base component signal SD is output to the brightness correction unit 35.
  • the IHb color enhancement processing, R by calculating between images an image corresponding to the base component signal S B for each color component of G and B, a process for calculating an approximate mucosal blood flow.
  • Detail enhancement processing section 34 to the detail component signal S C that is input from the division processing unit 32 performs emphasizing detail enhancement processing detail components, the combining unit the detail component signal S E of performing the detail enhancement process Output to 38.
  • the detail emphasizing process is a process of emphasizing contrast components such as an outline component and a texture component of an object.
  • Brightness correction unit 35 performs brightness adjustment processing on the base component signal S D inputted from IHb processing unit 33, the base component signal S F which was the brightness adjustment processing to the grayscale compression section 36 Output.
  • the brightness adjustment processing is processing for performing gain-up processing or the like for increasing the low luminance value based on the luminance value at each pixel position.
  • the brightness correction unit 35 may perform gain-up processing and the like by performing arithmetic processing on the base component signal SD .
  • Gradation compression unit 36 performs gradation compression processing on the base component signal S F which is input from the brightness correction section 35, the base component signal S G subjected to the gradation compression processing to the color enhancement section 37 Output.
  • the gradation compression processing is ⁇ processing or the like.
  • Color enhancement unit 37 the base component signal S G input from the grayscale compression section 36 performs emphasizing color enhancement tones, base component signal S H
  • the synthesis unit 38 performing this color enhancement Output to Specifically, the color tone emphasizing unit 37 performs conversion processing to distribute the mucous membrane colors distributed in the narrow red color area in a wide area. For example, the color tone emphasizing unit 37 performs processing to expand the tone so as to distribute the original mucous membrane color distributed in the narrow red color area to the purple area. The details of the color tone emphasizing process will be described later.
  • the synthesizing unit 38 synthesizes the detail component signal S E and the base component signal S H so that the synthetic signal S in which the distribution range of the mucous membrane color is expanded only for the visually weakly correlated base component. I can be generated.
  • the display image generation unit 39 performs signal processing on the combined signal S I input from the combining unit 38 so as to be a signal that can be displayed by the display device 4, and generates an image signal S J for display. It is generated and output to the display device 4.
  • the display image generating unit 39 performs interpolation processing for each color component, and performs RGB processing at each pixel position. An image signal to which a component is added is generated and output to the display device 4.
  • the input unit 40 is realized using a keyboard, a mouse, a switch, and a touch panel, and receives input of various signals such as an operation instruction signal instructing an operation of the endoscope system 1.
  • the input unit 40 may include a switch provided in the operation unit 22 or a portable terminal such as an external tablet computer.
  • the recording unit 41 records data including various programs for operating the endoscope system 1 and various parameters necessary for the operation of the endoscope system 1.
  • the recording unit 41 includes a program recording unit 411 that records various programs executed by the endoscope system 1.
  • the recording unit 41 is configured using a flash memory, a synchronous dynamic random access memory (SDRAM), a memory card, and the like.
  • the control unit 42 is configured using a CPU (Central Processing Unit) or the like, and performs drive control of each component including the imaging element 244 and the light source unit 43, and input / output control of data to each component.
  • the control unit 42 refers to control information data (for example, readout timing etc.) for imaging control stored in the recording unit 41, and the imaging device as a drive signal through a predetermined signal line included in the collective cable 245. Send to 244.
  • the light source unit 43 includes an illumination unit 401 and an illumination control unit 402. Under the control of the illumination control unit 402, the illumination unit 401 sequentially switches and emits illumination light of different exposure amounts to a subject (subject).
  • the illumination unit 401 includes a light source 401 a and a light source driver 401 b.
  • the light source 401 a is configured using an LED light source that emits white light, one or more lenses, and the like, and emits light (illumination light) by driving the LED light source.
  • the illumination light generated by the light source 401 a is emitted from the tip of the tip 24 toward the subject via the light guide 241.
  • the light source 401 a may be configured using a red LED light source, a green LED light source, and a blue LED light source to emit illumination light.
  • the light source 401 a may be a laser light source or a lamp such as a xenon lamp or a halogen lamp.
  • the light source driver 401 b causes the light source 401 a to emit illumination light by supplying a current to the light source 401 a under the control of the illumination control unit 402.
  • the illumination control unit 402 controls the amount of power supplied to the light source 401 a based on the control signal (light adjustment signal) from the control unit 42 and controls the drive timing of the light source 401 a.
  • Display device 4 displays an image corresponding to the image signal S J of the processing apparatus 3 through the video cable (display image generation unit 39) is generated.
  • the display device 4 is configured using a monitor such as liquid crystal or organic EL (Electro Luminescence).
  • FIG. 3A is a schematic view showing the distribution range of mucous membrane color before the color tone enhancement process
  • FIG. 3B is a schematic view showing the distribution range of mucous membrane color after the color tone enhancement process
  • FIG. 4B is a schematic view showing an effect of the color distribution after the color tone enhancement processing.
  • the horizontal axis indicates the first color
  • the vertical axis indicates the second color.
  • the horizontal axis indicates the first color after conversion by the conversion function for the first color
  • the vertical axis indicates the conversion after the gradation expansion by the conversion function for the second color. Show the second post color.
  • the color tone emphasizing unit 37 extends the mucous membrane color distribution range R2 by emphasizing the mucous membrane color distribution range R1 (FIG. 3A ⁇ FIG. 3B). Specifically, the color tone emphasizing unit 37 sets the first color range B1 (red component) in the mucosal color distribution range R1 to the first color range in the mucosal color distribution range R2 using the conversion function for the first color. Expand the gradation to B2. Furthermore, the color tone enhancement unit 37 ranks the second color range A1 (blue component) in the mucosal color distribution range R1 into the second color range A2 in the mucosal color distribution range R2 by the second color conversion function. Expand the key.
  • the mucosal color distributed in the narrow red color area is enhanced so as to be distributed in a wide area, so that the color tone property is improved, and a normal mucous membrane is obtained.
  • inflammation and color change of early neoplastic lesions can be easily captured.
  • FIG. 5 is a flowchart showing an outline of the process performed by the processing device 3.
  • the imaging signal acquisition unit 31 receives and acquires an imaging signal output from the imaging element 244 of the endoscope 2 (step S101). In this case, the imaging signal acquisition unit 31 performs predetermined image processing on the imaging signal received and acquired from the imaging element 244 and outputs the imaging signal to the division processing unit 32.
  • division processing unit 32 performs the imaging signal S A input from the imaging signal acquisition unit 31, the base component signal S B, the division process of dividing into the detail component signal S C (step S102) .
  • the IHb processing unit 33 performs IHb color enhancement processing on the base component signal S B input from the division processing unit 32 (step S103).
  • the detail enhancement processing section 34 to the detail component signal S C that is input from the division processing unit 32, performs emphasizing detail enhancement processing detail component (step S104).
  • the brightness correction unit 35 performs brightness adjustment processing on the base component signal SD input from the IHb processing unit 33 (step S105).
  • the gradation compression section 36 performs the gradation compression processing for the base component signal S F which is input from the brightness correction section 35 (step S106).
  • color enhancement unit 37 performs the base component signal S G input from the grayscale compression section 36, emphasizing color enhancement processing tones (step S107).
  • the synthesis section 38 performs a detail component signal S E which is input from the detail enhancement processing section 34, the base component signal S H input from the color enhancement unit 37, a synthesizing process for synthesizing (step S108) .
  • the display image generating unit 39 the synthesized signal S I that is input from the combining unit 38 performs display image generation processing for generating a signal displayable manner on the display device 4 (step S109).
  • step S110: Yes when the instruction signal instructing the end is input from the input unit 40 (step S110: Yes), the processing device 3 ends the present process.
  • finish is not input from the input part 40 (step S110: No), the processing apparatus 3 returns to step S101 mentioned above.
  • the synthesizing unit 38 synthesizes and outputs the base component on which the color enhancement processing has been performed by the color enhancement processing unit 37 and the detail component.
  • the color tone change with the abnormal mucous membrane can be easily grasped.
  • color tonality is improved by the color emphasizing processing unit 37 performing the color emphasizing process based on the value normalized to the red component with respect to at least the blue component.
  • the color tone enhancing unit 37 extends the distribution range of the mucous membrane color in the base component signal of each of the R, G and B color components, but in the second embodiment , Expand the distribution range of mucosal color in Lab color space. Therefore, the configuration of the color tone emphasis unit according to the second embodiment will be described below.
  • symbol is attached
  • FIG. 6 is a block diagram showing a functional configuration of the color tone emphasizing unit according to the second embodiment.
  • Color enhancement unit 37a shown in FIG. 6 performs tone enhancement processing to expand the color tone of the base component using a predetermined conversion function in Lab color space, combining unit base component signal S H subjected to the color enhancement Output to 38.
  • the color tone emphasizing unit 37 a includes a Lab conversion processing unit 371, an A * emphasis processing unit 372, a B * emphasis processing unit 373, and an RGB conversion processing unit 374.
  • Lab conversion processing section 371 R input from the grayscale compression section 36, converts the base component signal S G of the respective color components G and B in the Lab color space.
  • the base component signal SGA converted to the Lab color space is input to the A * emphasis processing unit 372.
  • the base component signal S GB converted to the Lab color space is input to the B * emphasis processing unit 373, and the base component signal S GL converted to the Lab color space is input to the RGB conversion processing unit 374.
  • the B * emphasis processing unit 373 performs emphasis processing on the base component signal S GB input from the Lab conversion processing unit 371 with a predetermined function, and performs RGB processing on the base component signal S GB * ′ . It is output to the conversion processing unit 374.
  • the B * emphasizing processing unit 373 uses, as an input argument, a value normalized by a * by the A * emphasizing processing unit 372 to the base component signal S GB input from the Lab conversion processing unit 371. Expand the distribution range of mucosal color by emphasizing the distribution range of mucosal color.
  • B * enhancement processing unit 373 the base component signal S GB inputted from Lab conversion processing unit 371, a base component signal S GB and b *, a base component signal S GB * '
  • b * ′ it is calculated by the following equation (2) as an input argument.
  • Input argument b * / a * (2)
  • the B * emphasis processing unit 373 performs the emphasizing processing on the base component signal S GB input from the Lab conversion processing unit 371 according to the following equation (3).
  • b * ' / a * g (b * / a * ) (3) That is, the following equation (4) holds.
  • b * ' g (b * / a * ) a * (4)
  • the RGB conversion processing unit 374 receives the base component signal S GA * ′ input from the A * enhancement processing unit 372, the base component signal S GB * ′ input from the B * enhancement processing unit 373, and the input from the Lab conversion processing unit 371. relative to base component signal S GL, performs RGB conversion processing for converting R, into the base component signal S H for each color component of G and B, and outputs to the combining unit 38.
  • FIG. 7A is a schematic view showing a distribution range of mucosal color before color tone enhancement processing
  • FIG. 7B is a schematic view showing a distribution range of mucosal color before tone color enhancement processing
  • FIG. 8A is before color tone enhancement processing
  • FIG. 8B is a schematic view showing the effect of the color distribution after the color tone enhancement processing.
  • the horizontal axis indicates A * and the vertical axis indicates B * .
  • the horizontal axis represents the A * conversion function after A * conversion
  • the vertical axis represents the B * conversion function after B * conversion. Show.
  • tone enhancement unit 37a is tonal range of A * in the distribution range R1 mucosal color B1 (red component) by the conversion function of the A *, the range B2 of A * in the distribution range R2 mucosal color To extend Furthermore, color enhancement unit 37a is by the converting function range of B * in the distribution range R1 mucosal color A1 a (blue component) and enter the BB * / A * value, B * range in the distribution range R2 mucosal color Expand the gradation to B2.
  • the mucosal color distributed in the narrow red color area is enhanced so as to be distributed in a wide area, so that the color tone property is improved, and thus a normal mucous membrane is obtained.
  • inflammation and color change of early neoplastic lesions can be easily captured.
  • the color emphasis processing unit 37a spreads the color tone of the mucous membrane color with respect to the base component using a predetermined conversion function in the Lab color space.
  • the color tone change with the abnormal mucous membrane can be easily grasped.
  • the color enhancement processing unit 37a converts the base component into the Lab color space, but the present invention is not limited to this. A process may be performed to broaden the tone.
  • the color enhancement processor 37a may perform conversion processing based on the value obtained by normalizing the red component relative to the brightness component of the base component signal S GL.
  • FIG. 9 is a block diagram showing a functional configuration of an endoscope system according to Modification 1 of Embodiments 1 and 2 of the present invention.
  • An endoscope system 1b shown in FIG. 9 includes a processing device 3b in place of the processing device 3 of the endoscope system 1 according to the first embodiment described above.
  • the processing device 3 b includes a color tone emphasizing portion 37 b in place of the color tone emphasizing portion 37 of the processing device 3 according to the first embodiment described above.
  • the color tone emphasis unit 37 b is provided between the imaging signal acquisition unit 31 and the division processing unit 32. That is, the tone emphasizing unit 37b according to the first modification of the first and second embodiments, the enhancement processing on the image signal S A, a mucosal color distributed red narrow color areas, so as to be distributed over a wide area It was carried out, to output the imaging signal S K subjected to enhancement processing to the division processing section 32.
  • FIG. 10 is a block diagram showing a functional configuration of an endoscope system according to a second modification of the first and second embodiments of the present invention.
  • An endoscope system 1c shown in FIG. 10 includes a processing device 3c in place of the processing device 3 of the endoscope system 1 according to the first embodiment described above.
  • the processing device 3c includes a color tone emphasizing portion 37c instead of the color tone emphasizing portion 37 of the processing device 3 according to the first embodiment described above.
  • the color tone emphasizing unit 37 c is provided between the combining unit 38 and the display image generating unit 39. That is, the color tone emphasizing unit 37c according to the second modification of the first and second embodiments has a wide range of mucous membrane colors distributed in a narrow red color range with respect to the combined signal S I input from the combining unit 38. performs enhancement processing so as to be distributed to, and outputs the subjected to enhancement processing combined signal S L to the display image generating unit 39.
  • control apparatus and the light source device were integral, you may be separate bodies.
  • the endoscope system is described.
  • a capsule endoscope, a video microscope for imaging an object, a mobile phone having an imaging function, and an imaging function are provided.
  • a mobile phone having an imaging function, and an imaging function are provided.
  • Even a tablet type terminal can be applied.
  • the endoscope system is provided with a flexible endoscope, but an endoscope system provided with a rigid endoscope, an industrial endoscope, etc. Even the endoscope system provided can be applied.
  • the endoscope system includes the endoscope inserted into the subject.
  • the endoscope such as a sinus endoscope, an electric knife, an inspection probe, etc. Even the system can be applied.
  • the “parts” described above can be read as “means” or “circuit”.
  • the control unit can be read as control means or a control circuit.
  • the program to be executed by the endoscope system is file data of an installable format or an executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, It is provided by being recorded on a computer readable recording medium such as a DVD (Digital Versatile Disk), a USB medium, a flash memory and the like.
  • a computer readable recording medium such as a DVD (Digital Versatile Disk), a USB medium, a flash memory and the like.
  • the program to be executed by the endoscope system according to the first and second embodiments of the present invention is configured to be stored on a computer connected to a network such as the Internet and provided by downloading via the network. May be Furthermore, the program to be executed by the endoscope system according to the first and second embodiments of the present invention may be provided or distributed via a network such as the Internet.
  • signals are transmitted from the endoscope camera head to the control device via the transmission cable.
  • the endoscope camera head may transmit an image signal or the like to the control device in accordance with a predetermined wireless communication standard (for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)).
  • a predetermined wireless communication standard for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)
  • wireless communication may be performed in accordance with other wireless communication standards.

Abstract

正常粘膜と異常粘膜との色調変化を容易に捉えることができる画像処理装置および画像処理方法を提供する。画像処理装置は、被検体内を撮像した撮像信号に対して、物体の照度光成分に相当するベース成分と、このベース成分および物体の反射率成分に相当するディテール成分と、に分割する分割処理部３２と、ベース成分に対して、所定の色空間上において色階調を広げる色強調処理を行う色強調処理部３７と、色強調処理部３７が色強調処理を行ったベース成分と、ディテール成分とを、合成して出力する合成部３８と、を備える。

Description

画像処理装置および画像処理方法
　本発明は、被写体内を撮像した撮像信号に対して所定の色空間上における色階調を広げる色強調処理を行う画像処理装置および画像処理方法に関する。
　従来、内視鏡において、画像のコントラストの劣化を抑制しつつ、明るさを調整することができる技術が知られている（例えば特許文献１参照）。この技術では、内視鏡から入力された映像信号を、コントラスト成分信号を含む第１の信号と、コントラスト成分信号以外の第２の信号とを分割し、第２の信号に対して明るさ調整処理を施した後、再度、第１の信号と第２の信号とを合成する。
国際公開第２０１７／０２２３２４号
　ところで、内視鏡観察においては、粘膜の色調変化に基づいて、術者等の医師が正常粘膜と炎症や病変等の異常粘膜との判断を行っている。しかしながら、従来の白色光観察時に撮像された画像では、一般的に粘膜色が赤色領域の狭い範囲に分布しているため、正常粘膜と異常粘膜との色調変化を捉えづらいという問題点があった。
　本発明は、上記に鑑みてなされたものであって、正常粘膜と異常粘膜との色調変化を容易に捉えることができる画像処理装置および画像処理方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体内を撮像した撮像信号に対して、物体の照度光成分に相当するベース成分と、該ベース成分および物体の反射率成分に相当するディテール成分と、に分割する分割処理部と、前記ベース成分に対して、所定の色空間上において粘膜色の色階調を広げる色強調処理を行う色強調処理部と、前記色強調処理部が前記色強調処理を行った前記ベース成分と、前記ディテール成分とを、合成して出力する合成部と、を備えることを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記色強調処理部は、前記ベース成分に対して、Ｌａｂ色空間において所定の変換関数を用いて前記粘膜色の色階調を広げることを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記色強調処理部は、少なくとも青色成分に対して赤色成分で規格化した値に基づいて前記色強調処理を行うことを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記ベース成分に対して明るさ補正を行う明るさ補正部と、前記明るさ補正部が前記明るさ補正を行った前記ベース成分に対して階調圧縮処理を行う階調圧縮部と、をさらに備え、前記色強調処理部は、前記階調圧縮部が前記階調圧縮処理を行った前記ベースに対して前記色強調処理を行うことを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、被検体内を撮像した撮像信号に対して、物体の照度光成分に相当するベース成分と、該ベース成分および物体の反射率成分に相当するディテール成分と、に分割する分割処理部と、前記ベース成分または前記ディテール成分の少なくとも一方に対して所定の強調処理を施した後に合成して出力する合成部と、前記合成部から出力された合成信号に対して、所定の色空間上において粘膜色の色階調を広げる色強調処理を行う色強調処理部と、を備えることを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記ベース成分に対して明るさ補正を行う明るさ補正部と、前記明るさ補正部が前記明るさ補正を行った前記ベース成分に対して階調圧縮処理を行う階調圧縮部と、を更に備えることを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記色強調処理部は、前記合成信号に対して、Ｌａｂ色空間において所定の変換関数を用いて前記粘膜色の色階調を広げることを特徴とする。
　また、本発明に係る画像処理装置は、上記発明において、前記色強調処理部は、少なくとも青色成分に対して赤色成分で規格化した値に基づいて前記色強調処理を行うことを特徴とする。
　また、本発明に係る画像処理方法は、被検体内を撮像した撮像信号に対して、物体の照度光成分に相当するベース成分と、該ベース成分および物体の反射率成分に相当するディテール成分と、に分割する分割処理ステップと、前記ベース成分に対して、所定の色空間上において色階調を広げる色強調処理を行う色強調処理ステップと、前記色強調処理ステップで前記色強調処理を行った前記ベース成分と、前記ディテール成分とを、合成して出力する合成ステップと、を含むことを特徴とする。
　また、本発明に係る画像処理方法は、被検体内を撮像した撮像信号に対して、物体の照度光成分に相当するベース成分と、該ベース成分および物体の反射率成分に相当するディテール成分と、に分割する分割処理ステップと、前記ベース成分または前記ディテール成分の少なくとも一方に対して所定の強調処理を施した後に合成して出力する合成ステップと、前記合成ステップで出力された合成信号に対して、所定の色空間上において粘膜色の色階調を広げる色強調処理を行う色強調処理ステップと、を含むことを特徴とする。
　本発明によれば、正常粘膜と異常粘膜との色調変化を容易に捉えることができるという効果を奏する。
図１は、本発明の実施の形態１に係る内視鏡システムの概略構成を示す図である。 図２は、本発明の実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。 図３Ａは、色調強調処理前の粘膜色の分布範囲を示す模式図である。 図３Ｂは、色調強調処理後の粘膜色の分布範囲を示す模式図である。 図４Ａは、色調強調処理前の色分布を示す模式図である。 図４Ｂは、色調強調処理後の色分布の効果を示す模式図である。 図５は、本発明の実施の形態１に係る処理装置が実行する処理の概要を示すフローチャートである。 図６は、本発明の実施の形態２に係る色調強調部の機能構成を示すブロック図である。 図７Ａは、色調強調処理前の粘膜色の分布範囲を示す模式図である。 図７Ｂは、色調強調処理前の粘膜色の分布範囲を示す模式図である。 図８Ａは、色調強調処理前の色分布を示す模式図である。 図８Ｂは、色調強調処理後の色分布の効果を示す模式図である。 図９は、本発明の実施の形態１，２の変形例１に係る内視鏡システムの機能構成を示すブロック図である。 図１０は、本発明の実施の形態１，２の変形例２に係る内視鏡システムの機能構成を示すブロック図である。
　以下、本発明を実施するための形態（以下、「実施の形態」という）として、患者等の被検体の体腔内を撮像して画像を表示する内視鏡を備える内視鏡システムを例に説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。
（実施の形態１）
　〔内視鏡システムの構成〕
　図１は、本発明の実施の形態１に係る内視鏡システムの概略構成を示す図である。図２は、本発明の実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。
　図１および図２に示す内視鏡システム１は、被検体内に先端を挿入し、先端から照明光を照射して被検体の体内画像を撮像する内視鏡２と、内視鏡２の先端から出射するための照明光を発生する光源部４３を有し、内視鏡２が撮像した撮像信号に所定の画像処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３と、処理装置３によって信号処理が施された撮像信号に対応する画像を表示する表示装置４と、を備える。
　〔内視鏡の構成〕
　まず、内視鏡２の詳細な構成について説明する。
　内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（光源部４３を含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
　挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。
　先端部２４は、グラスファイバ等を用いて構成されて光源部４３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４と、を有する。
　光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
　撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成して処理装置３へ出力する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂと、を有する。受光部２４４ａには、カラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。撮像素子２４４は、処理装置３から受信した駆動信号に従って先端部２４の各種動作を制御する。撮像素子２４４は、例えばＣＣＤ（Charge　Coupled　Device）イメージセンサや、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサを用いて実現される。
　操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
　ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態１では、信号線を用いて電気信号を伝送するものとして説明するが、先端部２４にＥ／Ｏ変換回路を設け、光信号によって伝送するものであってもよいし、先端部２４に通信モジュール等を設け、無線通信により内視鏡２と処理装置３との間で撮像信号を伝送するものであってもよい。もちろん、先端部２４にＡ／Ｄ変換回路を設け、撮像信号に対してＡ／Ｄ変換を行うことによってデジタルの撮像信号を処理装置３へ出力するようにしてもよい。
　〔処理装置の構成〕
　次に、処理装置３の構成について説明する。
　処理装置３は、撮像信号取得部３１と、分割処理部３２と、ＩＨｂ処理部３３と、ディテール強調処理部３４と、明るさ補正部３５と、階調圧縮部３６と、色調強調部３７と、合成部３８と、表示画像生成部３９と、入力部４０と、記録部４１と、制御部４２と、光源部４３と、を備える。なお、本実施の形態１に係る画像処理装置は、少なくとも分割処理部３２、ＩＨｂ処理部３３と、ディテール強調処理部３４と、明るさ補正部３５と、階調圧縮部３６と、色調強調部３７と、合成部３８と、とを用いて構成される。また、本実施の形態１に係る画像処理装置は、ＦＰＧＡ（Field　Programmable　Gate　Array）やＡＳＩＣ（Application　Specific　Integrated　Circuit）およびＧＰＵ（Graphics　Processing　Unit）等を用いて、少なくとも分割処理部３２と、ＩＨｂ処理部３３と、ディテール強調処理部３４と、明るさ補正部３５と、階調圧縮部３６と、色調強調部３７と、合成部３８と、の機能を発揮するように構成される。
　撮像信号取得部３１は、内視鏡２の撮像素子２４４から出力された撮像信号を受信するとともに、受信した撮像信号に対して所定の画像処理を施して分割処理部３２へ出力する。ここで、所定の画像処理としては、撮像信号に対してノイズを除去するノイズ除去処理、アナログの撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換処理、および同時化処理等を行う。
　分割処理部３２は、撮像信号取得部３１から入力された撮像信号ＳＡに対して、視覚的に相関の弱い成分と視覚的に相関の強い成分とに分割する分割処理を行う。ここで、分割処理としては、例えば、Lightness　and　retinex　theory,　E.H.Land,　J.J.McCann,　Journal　of　the　Optical　Society　of　America,　61（1）,　1-11（1971）に記載された技術（Retinex理論）を用いて行うことができる。Retinex理論に基づく分割処理において、視覚的に相関の弱い成分は、物体の照明光成分に相当し、一般にベース成分と呼ばれている。これに対して、Retinex理論に基づく分割処理において、視覚的に相関の強い成分は、物体の反射率成分に相当する成分であり、一般にディテール成分と呼ばれている。ディテール成分は、画像を構成する信号をベース成分で除算して得られる成分である。ディテール成分は、物体の輪郭（エッジ）成分や、テクスチャ成分等のコントラスト成分を含む。分割処理部３２は、ベース成分を含む信号（以下、「ベース成分信号ＳＢ」という）をＩＨｂ処理部３３へ出力するとともに、ディテール成分を含む信号（以下、「ディテール成分信号ＳＣ」という）をディテール強調処理部３４へ出力する。なお、分割処理部３２による成分分割処理は、例えばTemporally　Coherent　Local　Tone　Mapping　of　HDR　Video,　T.O.Aydin,　et　al.,　ACM　Transactions　on　Graphics,　Vol　33,　November　2014に記載されたEdge-aware　filtering技術を用いて行ってもよいし、空間周波数を複数の周波数帯域に分けて分割するようにしてもよい。また、分割処理部３２は、Ｒ、ＧおよびＢの各色成分の撮像信号ＳＡが入力された場合、各色成分の撮像信号についてそれぞれ上述した分割処理を行う。同様に、以降の信号処理においても、各色成分について処理が施される。
　ＩＨｂ処理部３３は、分割処理部３２から入力されたベース成分信号ＳＢに対して、ヘモグロビンインデックス色彩強調処理（以下、「ＩＨｂ色彩強調処理」という）を行い、このＩＨｂ色彩強調処理を行ったベース成分信号ＳＤを明るさ補正部３５へ出力する。ここで、ＩＨｂ色彩強調処理とは、Ｒ、ＧおよびＢの各色成分のベース成分信号ＳＢに対応する各画像を画像間演算することで、近似的な粘膜血流量を算出する処理である。
　ディテール強調処理部３４は、分割処理部３２から入力されたディテール成分信号ＳＣに対して、ディテール成分を強調するディテール強調処理を行い、このディテール強調処理を行ったディテール成分信号ＳＥを合成部３８へ出力する。ここで、ディテール強調処理とは、物体の輪郭成分およびテクスチャ成分等のコントラスト成分を強調する処理である。
　明るさ補正部３５は、ＩＨｂ処理部３３から入力されたベース成分信号ＳＤに対して明るさ調整処理を行い、この明るさ調整処理を行ったベース成分信号ＳＦを階調圧縮部３６へ出力する。ここで、明るさ調整処理とは、各画素位置における輝度値をもとに、低輝度値を大きくするゲインアップ処理等を行う処理である。なお、明るさ補正部３５は、ベース成分信号ＳＤに対して演算処理を行うことによって、ゲインアップ処理等を行ってもよい。
　階調圧縮部３６は、明るさ補正部３５から入力されたベース成分信号ＳＦに対して階調圧縮処理を行い、この階調圧縮処理を行ったベース成分信号ＳＧを色調強調部３７へ出力する。ここで、階調圧縮処理とは、γ処理等である。
　色調強調部３７は、階調圧縮部３６から入力されたベース成分信号ＳＧに対して、色調を強調する色調強調処理を行い、この色調強調処理を行ったベース成分信号ＳＨを合成部３８へ出力する。具体的には、色調強調部３７は、赤色の狭い色領域に分布する粘膜色を、広い領域に分布させるような変換処理を行う。例えば、色調強調部３７は、赤色の狭い色領域に分布する元の粘膜色を、紫の領域まで分布するように階調を広げる処理を行う。なお、色調強調処理の詳細は後述する。
　合成部３８は、ディテール強調処理部３４から入力されたディテール成分信号ＳＥと、色調強調部３７から入力されたベース成分信号ＳＨと、を合成し、この合成した合成信号ＳＩを表示画像生成部３９へ出力する。合成部３８は、ディテール成分信号ＳＥと、ベース成分信号ＳＨと、を合成することによって、視覚的に相関の弱いベース成分に対してのみ、粘膜色の分布範囲が拡張された合成信号ＳＩを生成することができる。
　表示画像生成部３９は、合成部３８から入力された合成信号ＳＩに対して、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号ＳＪを生成して表示装置４へ出力する。表示画像生成部３９は、合成部３８から入力された合成信号ＳＩがＲ、ＧおよびＢの各色成分に分かれている場合は、各色成分について補間処理を施して、各画素位置にＲＧＢの色成分を付与した画像信号を生成して表示装置４へ出力する。
　入力部４０は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部４０は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。
　記録部４１は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記録する。記録部４１は、内視鏡システム１が実行する各種プログラムを記録するプログラム記録部４１１を有する。記録部４１は、Ｆｌａｓｈメモリ、ＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）およびメモリカード等を用いて構成される。
　制御部４２は、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、撮像素子２４４および光源部４３を含む各構成部の駆動制御、および各構成部に対するデータの入出力制御などを行う。制御部４２は、記録部４１に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して駆動信号として撮像素子２４４へ送信する。
　〔光源部の構成〕
　次に、光源部４３の構成について説明する。
　光源部４３は、照明部４０１と、照明制御部４０２と、を備える。照明部４０１は、照明制御部４０２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部４０１は、光源４０１ａと、光源ドライバ４０１ｂと、を有する。
　光源４０１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源４０１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。なお、光源４０１ａは、赤色ＬＥＤ光源、緑色ＬＥＤ光源および青色ＬＥＤ光源を用いて構成し、照明光を出射するものであってもよい。また、光源４０１ａは、レーザー光源や、キセノンランプ、ハロゲンランプなどのランプを用いるものであってもよい。
　光源ドライバ４０１ｂは、照明制御部４０２の制御のもと、光源４０１ａに対して電流を供給することにより、光源４０１ａに照明光を出射させる。
　照明制御部４０２は、制御部４２からの制御信号（調光信号）に基づいて、光源４０１ａに供給する電力量を制御するとともに、光源４０１ａの駆動タイミングを制御する。
　〔表示装置の構成〕
　次に、表示装置４の構成について説明する。
　表示装置４は、映像ケーブルを介して処理装置３（表示画像生成部３９）が生成した画像信号ＳＪに対応する画像を表示する。表示装置４は、液晶または有機ＥＬ（Electro　Luminescence）等のモニタを用いて構成される。
　〔色調強調処理の概要〕
　次に、上述した色調強調部３７が実行する色調強調処理の概要について説明する。図３Ａは、色調強調処理前の粘膜色の分布範囲を示す模式図であり、図３Ｂは、色調強調処理後の粘膜色の分布範囲を示す模式図であり、図４Ａは、色調強調処理前の色分布を示す模式図であり、図４Ｂは、色調強調処理後の色分布の効果を示す模式図である。図３Ａおよび図４Ａにおいて、横軸が第一色を示し、縦軸が第二色を示す。また、図３Ｂおよび図４Ｂにおいて、横軸が第一色用の変換関数で階調拡張後の変換後第一色を示し、縦軸が第二色用の変換関数で階調拡張後の変換後第二色を示す。
　図３Ａおよび図３Ｂに示すように、色調強調部３７は、粘膜色の分布範囲Ｒ１の強調処理によって粘膜色の分布範囲Ｒ２を拡張する（図３Ａ→図３Ｂ）。具体的には、色調強調部３７は、粘膜色の分布範囲Ｒ１における第一色の範囲Ｂ１（赤色成分）を第一色用の変換関数によって、粘膜色の分布範囲Ｒ２における第一色の範囲Ｂ２に階調を拡張する。さらに、色調強調部３７は、粘膜色の分布範囲Ｒ１における第二色の範囲Ａ１（青色成分）を第二色用の変換関数によって、粘膜色の分布範囲Ｒ２における第二色の範囲Ａ２に階調を拡張する。これにより、図４Ａおよび図４Ｂに示すように、赤色の狭い色領域に分布する粘膜色を、広い領域に分布するように強調処理を行うので、色階調性が向上することによって、正常粘膜と、炎症および早期腫瘍性病変の色調変化を容易に捉えることができる。
　〔処理装置の処理〕
　次に、処理装置の処理について説明する。図５は、処理装置３が実行する処理の概要を示すフローチャートである。
　まず、図５に示すように、撮像信号取得部３１は、内視鏡２の撮像素子２４４から出力された撮像信号を受信して取得する（ステップＳ１０１）。この場合、撮像信号取得部３１は、撮像素子２４４から受信して取得した撮像信号に対して、所定の画像処理を施して分割処理部３２へ出力する。
　続いて、分割処理部３２は、撮像信号取得部３１から入力された撮像信号ＳＡに対して、ベース成分信号ＳＢと、ディテール成分信号ＳＣとに分割する分割処理を行う（ステップＳ１０２）。
　その後、ＩＨｂ処理部３３は、分割処理部３２から入力されたベース成分信号ＳＢに対して、ＩＨｂ色彩強調処理を行う（ステップＳ１０３）。
　続いて、ディテール強調処理部３４は、分割処理部３２から入力されたディテール成分信号ＳＣに対して、ディテール成分を強調するディテール強調処理を行う（ステップＳ１０４）。
　その後、明るさ補正部３５は、ＩＨｂ処理部３３から入力されたベース成分信号ＳＤに対して明るさ調整処理を行う（ステップＳ１０５）。
　続いて、階調圧縮部３６は、明るさ補正部３５から入力されたベース成分信号ＳＦに対して階調圧縮処理を行う（ステップＳ１０６）。
　その後、色調強調部３７は、階調圧縮部３６から入力されたベース成分信号ＳＧに対して、色調を強調する色調強調処理を行う（ステップＳ１０７）。
　続いて、合成部３８は、ディテール強調処理部３４から入力されたディテール成分信号ＳＥと、色調強調部３７から入力されたベース成分信号ＳＨと、を合成する合成処理を行う（ステップＳ１０８）。
　その後、表示画像生成部３９は、合成部３８から入力された合成信号ＳＩに対して、表示装置４で表示可能な態様の信号を生成する表示画像生成処理を行う（ステップＳ１０９）。
　続いて、入力部４０から終了を指示する指示信号が入力された場合（ステップＳ１１０：Ｙｅｓ）、処理装置３は、本処理を終了する。これに対して、入力部４０から終了を指示する指示信号が入力されていない場合（ステップＳ１１０：Ｎｏ）、処理装置３は、上述したステップＳ１０１へ戻る。
　以上説明した本発明の実施の形態１によれば、合成部３８が色強調処理部３７によって色強調処理が行われたベース成分と、ディテール成分とを、合成して出力するので、正常粘膜と異常粘膜との色調変化を容易に捉えることができる。
　また、本発明の実施の形態１によれば、色強調処理部３７が少なくとも青色成分に対して赤色成分で規格化した値に基づいて色強調処理を行うことによって、色階調性を向上させることができるので、正常粘膜、炎症および早期腫瘍性病変の色調変化を捉えやすくすることができる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１に係る色調強調部３７が異なる。具体的には、上述した実施の形態１では、色調強調部３７は、Ｒ、ＧおよびＢの各色成分のベース成分信号における粘膜色の分布範囲を拡張していたが、本実施の形態２では、Ｌａｂ色空間において粘膜色の分布範囲を拡張する。このため、以下においては、本実施の形態２に係る色調強調部の構成について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。
　〔色調強調部の構成〕
　図６は、本実施の形態２に係る色調強調部の機能構成を示すブロック図である。図６に示す色調強調部３７ａは、Ｌａｂ色空間において所定の変換関数を用いてベース成分の色階調を広げる色調強調処理を行い、この色調強調処理を行ったベース成分信号ＳＨを合成部３８へ出力する。色調強調部３７ａは、Ｌａｂ変換処理部３７１と、Ａ＊強調処理部３７２と、Ｂ＊強調処理部３７３と、ＲＧＢ変換処理部３７４と、を有する。
　Ｌａｂ変換処理部３７１は、階調圧縮部３６から入力されたＲ、ＧおよびＢの各色成分のベース成分信号ＳＧをＬａｂ色空間に変換する。Ｌａｂ色空間に変換されたベース成分信号ＳＧＡは、Ａ＊強調処理部３７２へ入力される。また、Ｌａｂ色空間に変換されたベース成分信号ＳＧＢは、Ｂ＊強調処理部３７３へ入力され、Ｌａｂ色空間に変換されたベース成分信号ＳＧＬは、ＲＧＢ変換処理部３７４へ入力される。
　Ａ＊強調処理部３７２は、Ｌａｂ変換処理部３７１から入力されたベース成分信号ＳＧＡに対して、所定の関数で強調処理を行い、この強調処理を行ったベース成分信号ＳＧＡ ＊’をＲＧＢ変換処理部３７４へ出力する。具体的には、Ａ＊強調処理部３７２は、Ｌａｂ変換処理部３７１から入力されたベース成分信号ＳＧＡに対して、粘膜色の分布範囲を強調処理によって粘膜色の分布範囲を拡張する。より具体的には、Ａ＊強調処理部３７２は、Ｌａｂ変換処理部３７１から入力されたベース成分信号ＳＧＡに対して、ベース成分信号ＳＧＡをａ＊とし、ベース成分信号ＳＧＡ ＊’をａ＊’とした場合、以下の式（１）によって強調処理を行う。
　　ａ＊’＝ｆ（ａ＊）　　　・・・（１）
　Ｂ＊強調処理部３７３は、Ｌａｂ変換処理部３７１から入力されたベース成分信号ＳＧＢに対して、所定の関数で強調処理を行い、この強調処理を行ったベース成分信号ＳＧＢ ＊’をＲＧＢ変換処理部３７４へ出力する。具体的には、Ｂ＊強調処理部３７３は、Ｌａｂ変換処理部３７１から入力されたベース成分信号ＳＧＢに対して、Ａ＊強調処理部３７２によってａ＊で規格化した値を入力引数として、粘膜色の分布範囲を強調処理によって粘膜色の分布範囲を拡張する。より具体的には、Ｂ＊強調処理部３７３は、Ｌａｂ変換処理部３７１から入力されたベース成分信号ＳＧＢに対して、ベース成分信号ＳＧＢをｂ＊とし、ベース成分信号ＳＧＢ ＊’をｂ＊’とした場合、まず、入力引数として、以下の式（２）によって算出する。
　　入力引数＝ｂ＊／ａ＊　　　・・・（２）
そして、以下の式によって、Ｂ＊強調処理部３７３は、Ｌａｂ変換処理部３７１から入力されたベース成分信号ＳＧＢに対して、以下の式（３）によって強調処理を行う。
　　ｂ＊’／ａ＊＝ｇ（ｂ＊／ａ＊）　　　・・・（３）
即ち、以下の式（４）が成り立つ。
　　ｂ＊’＝ｇ（ｂ＊／ａ＊）ａ＊　　　・・・（４）
　ＲＧＢ変換処理部３７４は、Ａ＊強調処理部３７２から入力されたベース成分信号ＳＧＡ ＊’、Ｂ＊強調処理部３７３から入力されたベース成分信号ＳＧＢ ＊’およびＬａｂ変換処理部３７１から入力されたベース成分信号ＳＧＬに対して、Ｒ、ＧおよびＢの各色成分のベース成分信号ＳＨに変換するＲＧＢ変換処理を行い、合成部３８へ出力する。
　〔色調強調処理の概要〕
　次に、上述した色調強調部３７ａが実行する色調強調処理の概要について説明する。図７Ａは、色調強調処理前の粘膜色の分布範囲を示す模式図であり、図７Ｂは、色調強調処理前の粘膜色の分布範囲を示す模式図であり、図８Ａは、色調強調処理前の色分布を示す模式図であり、図８Ｂは、色調強調処理後の色分布の効果を示す模式図である。図７Ａおよび図８Ａにおいて、横軸がＡ＊を示し、縦軸がＢ＊を示す。また、図７Ｂおよび図８Ｂにおいて、横軸がＡ＊の変換関数で階調拡張後の変換後のＡ＊’を示し、縦軸がＢ＊の変換関数で階調拡張後のＢ＊’を示す。
　図７Ａおよび図７Ｂに示すように、色調強調部３７ａは、粘膜色の分布範囲Ｒ１の強調処理によって粘膜色の分布範囲Ｒ２を拡張する（図７Ａ→図７Ｂ）。具体的には、色調強調部３７ａは、粘膜色の分布範囲Ｒ１におけるＡ＊の範囲Ｂ１（赤色成分）をＡ＊の変換関数によって、粘膜色の分布範囲Ｒ２におけるＡ＊の範囲Ｂ２に階調を拡張する。さらに、色調強調部３７ａは、粘膜色の分布範囲Ｒ１におけるＢ＊の範囲Ａ１（青色成分）をＢＢ＊／Ａ＊値を入力とする変換関数によって、粘膜色の分布範囲Ｒ２におけるＢ＊の範囲Ｂ２に階調を拡張する。これにより、図８Ａおよび図８Ｂに示すように、赤色の狭い色領域に分布する粘膜色を、広い領域に分布するように強調処理を行うので、色階調性が向上することによって、正常粘膜と、炎症および早期腫瘍性病変の色調変化を容易に捉えることができる。
　以上説明した本発明の実施の形態２によれば、色強調処理部３７ａがベース成分に対して、Ｌａｂ色空間において所定の変換関数を用いて粘膜色の色階調を広げるので、正常粘膜と異常粘膜との色調変化を容易に捉えることができる。
　なお、本発明の実施の形態２では、色強調処理部３７ａがベース成分をＬａｂ色空間に変換していたが、これに限定されることなく、他の色空間、例えばＲＧＢやＹＣｂＣｒにおいて色階調を広げるような処理を行ってもよい。
　また、本発明の実施の形態２では、色強調処理部３７ａがベース成分信号ＳＧＬの明度成分に対して赤成分で規格化した値に基づいて変換処理を行ってもよい。
（実施の形態１，２の変形例１）
　次に、本発明の実施の形態１，２の変形例１について説明する。図９は、本発明の実施の形態１，２の変形例１に係る内視鏡システムの機能構成を示すブロック図である。
　図９に示す内視鏡システム１ｂは、上述した実施の形態１に係る内視鏡システム１の処理装置３に換えて、処理装置３ｂを備える。処理装置３ｂは、上述した実施の形態１に係る処理装置３の色調強調部３７に換えて、色調強調部３７ｂを備える。
　色調強調部３７ｂは、撮像信号取得部３１と、分割処理部３２との間に設けられる。即ち、本実施の形態１，２の変形例１に係る色調強調部３７ｂは、撮像信号ＳＡに対して、赤色の狭い色領域に分布する粘膜色を、広い領域に分布するように強調処理を行い、強調処理を行った撮像信号ＳＫを分割処理部３２へ出力する。
　以上説明した本発明の実施の形態１，２の変形例１によれば、正常粘膜と異常粘膜との色調変化を容易に捉えることができる。
（実施の形態１，２の変形例２）
　次に、本発明の実施の形態１，２の変形例２について説明する。図１０は、本発明の実施の形態１，２の変形例２に係る内視鏡システムの機能構成を示すブロック図である。
　図１０に示す内視鏡システム１ｃは、上述した実施の形態１に係る内視鏡システム１の処理装置３に換えて、処理装置３ｃを備える。処理装置３ｃは、上述した実施の形態１に係る処理装置３の色調強調部３７に換えて、色調強調部３７ｃを備える。
　色調強調部３７ｃは、合成部３８と表示画像生成部３９との間に設けられる。即ち、本実施の形態１，２の変形例２に係る色調強調部３７ｃは、合成部３８から入力された合成信号ＳＩに対して、赤色の狭い色領域に分布する粘膜色を、広い領域に分布するように強調処理を行い、強調処理を行った合成信号ＳＬを表示画像生成部３９へ出力する。
　以上説明した本発明の実施の形態１，２の変形例２によれば、正常粘膜と異常粘膜との色調変化を容易に捉えることができる。
（その他の実施の形態）
　上述した本発明の実施の形態１，２に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本発明の実施の形態１，２に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本発明の実施の形態１，２で説明した構成要素を適宜組み合わせてもよい。
　また、本発明の実施の形態１，２では、制御装置と光源装置とが一体であったが、別体であってもよい。
　また、本発明の実施の形態１，２では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
　また、本発明の実施の形態１，２では、軟性の内視鏡を備えた内視鏡システムであったが、硬性の内視鏡を備えた内視鏡システム、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。
　また、本発明の実施の形態１，２では、被検体に挿入される内視鏡を備えた内視鏡システムであったが、副鼻腔内視鏡および電気メスや検査プローブ等の内視鏡システムであっても適用することができる。
　また、本発明の実施の形態１，２では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、本発明の実施の形態１，２に係る内視鏡システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
　また、本発明の実施の形態１，２に係る内視鏡システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、また、本発明の実施の形態１，２に係る内視鏡システムに実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
　また、本発明の実施の形態１，２では、伝送ケーブルを介して内視鏡カメラヘッドから制御装置へ信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、内視鏡カメラヘッドから画像信号等を制御装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
１，１ｂ，１ｃ　内視鏡システム
２　内視鏡
３，３ｂ，３ｃ　処理装置
４　表示装置
２１　挿入部
２２　操作部
２３　ユニバーサルコード
２４　先端部
２５　湾曲部
２６　可撓管部
３１　撮像信号取得部
３２　分割処理部
３３　ＩＨｂ処理部
３４　ディテール強調処理部
３５　明るさ補正部
３６　階調圧縮部
３７，３７ａ，３７ｂ，３７ｃ　色調強調部
３８　合成部
３９　表示画像生成部
４０　入力部
４１　記録部
４２　制御部
４３　光源部
２２１　湾曲ノブ
２２２　処置具挿入部
２２３　スイッチ
２４１　ライトガイド
２４２　照明レンズ
２４３　光学系
２４４　撮像素子
２４４ａ　受光部
２４４ｂ　読み出し部
２４５　集合ケーブル
３７１　Ｌａｂ変換処理部
３７２　Ａ＊強調処理部
３７３　Ｂ＊強調処理部
３７４　ＲＧＢ変換処理部
４０１　照明部
４０１ａ　光源
４０１ｂ　光源ドライバ
４０２　照明制御部
４１１　プログラム記録部

Claims (10)

  1. 　被検体内を撮像した撮像信号に対して、物体の照度光成分に相当するベース成分と、該ベース成分および物体の反射率成分に相当するディテール成分と、に分割する分割処理部と、
    　前記ベース成分に対して、所定の色空間上において粘膜色の色階調を広げる色強調処理を行う色強調処理部と、
    　前記色強調処理部が前記色強調処理を行った前記ベース成分と、前記ディテール成分とを、合成して出力する合成部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記色強調処理部は、前記ベース成分に対して、Ｌａｂ色空間において所定の変換関数を用いて前記粘膜色の色階調を広げることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記色強調処理部は、少なくとも青色成分に対して赤色成分で規格化した値に基づいて前記色強調処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記ベース成分に対して明るさ補正を行う明るさ補正部と、
    　前記明るさ補正部が前記明るさ補正を行った前記ベース成分に対して階調圧縮処理を行う階調圧縮部と、
    　をさらに備え、
    　前記色強調処理部は、前記階調圧縮部が前記階調圧縮処理を行った前記ベース成分に対して前記色強調処理を行うことを特徴とする請求項１～３のいずれか一つに記載の画像処理装置。
  5. 　被検体内を撮像した撮像信号に対して、物体の照度光成分に相当するベース成分と、該ベース成分および物体の反射率成分に相当するディテール成分と、に分割する分割処理部と、
    　前記ベース成分または前記ディテール成分の少なくとも一方に対して所定の強調処理を施した後に合成して出力する合成部と、
    　前記合成部から出力された合成信号に対して、所定の色空間上において粘膜色の色階調を広げる色強調処理を行う色強調処理部と、
    　を備えることを特徴とする画像処理装置。
  6. 　前記ベース成分に対して明るさ補正を行う明るさ補正部と、
    　前記明るさ補正部が前記明るさ補正を行った前記ベース成分に対して階調圧縮処理を行う階調圧縮部と、を更に備えることを特徴とする請求項５に記載の画像処理装置。
  7. 　前記色強調処理部は、前記合成信号に対して、Ｌａｂ色空間において所定の変換関数を用いて前記粘膜色の色階調を広げることを特徴とする請求項５に記載の画像処理装置。
  8. 　前記色強調処理部は、少なくとも青色成分に対して赤色成分で規格化した値に基づいて前記色強調処理を行うことを特徴とする請求項５に記載の画像処理装置。
  9. 　被検体内を撮像した撮像信号に対して、物体の照度光成分に相当するベース成分と、該ベース成分および物体の反射率成分に相当するディテール成分と、に分割する分割処理ステップと、
    　前記ベース成分に対して、所定の色空間上において色階調を広げる色強調処理を行う色強調処理ステップと、
    　前記色強調処理ステップで前記色強調処理を行った前記ベース成分と、前記ディテール成分とを、合成して出力する合成ステップと、
    　を含むことを特徴とする画像処理方法。
  10. 　被検体内を撮像した撮像信号に対して、物体の照度光成分に相当するベース成分と、該ベース成分および物体の反射率成分に相当するディテール成分と、に分割する分割処理ステップと、
    　前記ベース成分または前記ディテール成分の少なくとも一方に対して所定の強調処理を施した後に合成して出力する合成ステップと、
    　前記合成ステップで出力された合成信号に対して、所定の色空間上において粘膜色の色階調を広げる色強調処理を行う色強調処理ステップと、
    　を含むことを特徴とする画像処理方法。
PCT/JP2018/041234 2017-12-26 2018-11-06 画像処理装置および画像処理方法 WO2019130834A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880083095.4A CN111511263B (zh) 2017-12-26 2018-11-06 图像处理装置及图像处理方法
JP2019562814A JP6946468B2 (ja) 2017-12-26 2018-11-06 画像処理装置および画像処理装置の作動方法
US16/909,362 US11509834B2 (en) 2017-12-26 2020-06-23 Image processing apparatus and image processing method
US17/966,997 US20230042498A1 (en) 2017-12-26 2022-10-17 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017249132 2017-12-26
JP2017-249132 2017-12-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/909,362 Continuation US11509834B2 (en) 2017-12-26 2020-06-23 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2019130834A1 true WO2019130834A1 (ja) 2019-07-04

Family

ID=67067062

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041234 WO2019130834A1 (ja) 2017-12-26 2018-11-06 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (2) US11509834B2 (ja)
JP (2) JP6946468B2 (ja)
CN (1) CN111511263B (ja)
WO (1) WO2019130834A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012213552A (ja) * 2011-04-01 2012-11-08 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
WO2015025620A1 (ja) * 2013-08-21 2015-02-26 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法
JP2017202241A (ja) * 2016-05-13 2017-11-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び信号処理方法
WO2017203866A1 (ja) * 2016-05-24 2017-11-30 オリンパス株式会社 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
WO2017203996A1 (ja) * 2016-05-24 2017-11-30 オリンパス株式会社 画像信号処理装置、画像信号処理方法および画像信号処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63173182A (ja) 1987-01-13 1988-07-16 Olympus Optical Co Ltd 色彩画像処理方式
US6343158B1 (en) * 1996-12-18 2002-01-29 Fujitsu Limited Apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera
JP4370008B2 (ja) * 1998-11-17 2009-11-25 オリンパス株式会社 内視鏡画像処理装置
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP5355846B2 (ja) * 2006-05-08 2013-11-27 オリンパスメディカルシステムズ株式会社 内視鏡用画像処理装置
US8526736B2 (en) * 2010-10-29 2013-09-03 JVC Kenwood Corporation Image processing apparatus for correcting luminance and method thereof
EP2781191A1 (en) * 2013-03-19 2014-09-24 Schnidar, Harald Methods for assessing erythema
JP6050286B2 (ja) * 2014-06-27 2016-12-21 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP6121368B2 (ja) 2014-06-27 2017-04-26 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JPWO2017022324A1 (ja) * 2015-08-05 2017-08-03 オリンパス株式会社 内視鏡システムの信号処理方法および内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012213552A (ja) * 2011-04-01 2012-11-08 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
WO2015025620A1 (ja) * 2013-08-21 2015-02-26 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法
JP2017202241A (ja) * 2016-05-13 2017-11-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び信号処理方法
WO2017203866A1 (ja) * 2016-05-24 2017-11-30 オリンパス株式会社 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
WO2017203996A1 (ja) * 2016-05-24 2017-11-30 オリンパス株式会社 画像信号処理装置、画像信号処理方法および画像信号処理プログラム

Also Published As

Publication number Publication date
US20200322564A1 (en) 2020-10-08
US11509834B2 (en) 2022-11-22
CN111511263B (zh) 2023-02-28
JP6946468B2 (ja) 2021-10-06
JPWO2019130834A1 (ja) 2020-11-19
CN111511263A (zh) 2020-08-07
JP2022000179A (ja) 2022-01-04
JP7234320B2 (ja) 2023-03-07
US20230042498A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
JP6109456B1 (ja) 画像処理装置および撮像システム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6378846B2 (ja) 画像処理装置
US10574934B2 (en) Ultrasound observation device, operation method of image signal processing apparatus, image signal processing method, and computer-readable recording medium
US20210307587A1 (en) Endoscope system, image processing device, total processing time detection method, and processing device
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP6458205B1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2017203996A1 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
JP6137892B2 (ja) 撮像システム
JP6242552B1 (ja) 画像処理装置
JP6937902B2 (ja) 内視鏡システム
JP6946468B2 (ja) 画像処理装置および画像処理装置の作動方法
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JPWO2019175991A1 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
JP6801990B2 (ja) 画像処理システムおよび画像処理装置
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18894079

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019562814

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18894079

Country of ref document: EP

Kind code of ref document: A1