WO2023112916A1 - 映像信号処理装置、映像信号処理方法および映像信号処理システム - Google Patents

映像信号処理装置、映像信号処理方法および映像信号処理システム Download PDF

Info

Publication number
WO2023112916A1
WO2023112916A1 PCT/JP2022/045848 JP2022045848W WO2023112916A1 WO 2023112916 A1 WO2023112916 A1 WO 2023112916A1 JP 2022045848 W JP2022045848 W JP 2022045848W WO 2023112916 A1 WO2023112916 A1 WO 2023112916A1
Authority
WO
WIPO (PCT)
Prior art keywords
video signal
light
color
visible
signal processing
Prior art date
Application number
PCT/JP2022/045848
Other languages
English (en)
French (fr)
Inventor
正之 芹沢
英資 平岡
優樹 星野
Original Assignee
ｉ－ＰＲＯ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ｉ－ＰＲＯ株式会社 filed Critical ｉ－ＰＲＯ株式会社
Publication of WO2023112916A1 publication Critical patent/WO2023112916A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a video signal processing device, a video signal processing method, and a video signal processing system.
  • Patent Document 1 discloses an electronic endoscope system that can obtain a clear image when imaging the inside of a subject with weak special light.
  • This electronic endoscope system includes a light projecting unit that illuminates the interior of the subject with white light as illumination light for imaging, and an insertion section that is provided at the tip of an insertion section that is inserted into the subject to image the interior of the subject with white light.
  • a CCD that emits fluorescence from within the subject
  • a light projecting unit that emits excitation light for generating fluorescence from within the subject
  • An EMCCD having a charge multiplier that photoelectrically converts and multiplies the accumulated signal charge, an excitation light cut filter that is provided with the EMCCD and shields the excitation light that enters the EMCCD, and a white light or excitation light. and a beam splitter for splitting the light incident from the inside of the subject by irradiating the inside of the subject into two directions of the CCD and the EMCCD.
  • ICG indocyanine green
  • Patent Document 1 discloses that a composite image is generated by superimposing a normal light image of white light inside the subject captured by a CCD and an autofluorescence image of fluorescence inside the subject captured by an EMCCD. disclosed. However, it is not specifically stated how the autofluorescence image inside the subject is superimposed on the normal light image.
  • the present disclosure has been devised in view of the above-described conventional circumstances, and outputs more clearly the fluorescence distribution state in the observation site to which the fluorescent reagent is administered during medical practice, so that doctors and the like can determine the fluorescence emission distribution of the affected area. It is an object of the present invention to provide a video signal processing device, a video signal processing method, and a video signal processing system that make it easier to grasp the state of a video signal.
  • the present disclosure includes a visible image generating unit that generates a visible image signal of the observation site based on a visible light signal from the observation site that is imaged by a camera unit, and an image from the observation site that is imaged by the camera unit.
  • an IR image generation unit that generates an IR image signal of the observation site based on the IR light signal; and an additional color that can be changed based on the brightness level of the IR light.
  • a video signal processing device comprising: a video superimposing unit that superimposes a color-added IR video signal on the visible video signal to generate a superimposed video signal; and an output processing unit that outputs the superimposed video signal to a monitor. I will provide a.
  • the present disclosure is a video signal processing method executed by a video signal processing device connected to a camera unit, wherein the observation site is imaged by the camera head, based on a visible light signal from the observation site. generating an IR image signal of the observation site based on the IR light signal from the observation site imaged by the camera unit; a step of adding an additional color that can be changed based on the IR video signal to the IR video signal, and superimposing the IR video signal added with the additional color on the visible video signal to generate a superimposed video signal; and outputting to a monitor.
  • the present disclosure includes a camera unit including at least a visible image sensor that captures visible light from an observation site and an IR image sensor that captures IR light from the observation site; a visible image generation unit that generates a visible image signal of the observation site based on a visible light signal from the observation site; an IR image generator for generating an IR image signal of a part; adding an additional color that can be changed based on the brightness level of the IR light to the IR image signal; and generating an IR image signal to which the additional color is added
  • a video signal processing system comprising: a video superimposing unit that generates a superimposed video signal by superimposing it on the visible video signal; and an output processing unit that outputs the superimposed video signal to a monitor.
  • FIG. 1 shows a system configuration example of a video signal processing system
  • Block diagram showing an example of the hardware configuration inside the camera head
  • Block diagram showing a hardware configuration example of a signal processing circuit in the CCU
  • FIG. 4 is a diagram showing a first configuration example of a visible IR superimposition processing unit
  • A Graph showing an example of characteristics of weighting coefficient K (weighting coefficient characteristic data PY0) according to IR luminance level
  • B addition for R set in memory MR1 for R, memory MG1 for G, and memory MB1 for B
  • the color characteristics of the color characteristic data PYR1, the additional color characteristic data PYG1 for G, the additional color characteristic data PYB1 for B, the additional color characteristic data PYR1 for R, the additional color characteristic data PYG1 for G, and the additional color characteristic data PYB1 for B are A graph showing an example of the colors generated from the base FIG.
  • FIG. 4 is a diagram showing the operation procedure of the first operation example of the signal processing circuit of FIG. 3 mounted on the CCU; The figure which shows the 2nd structural example of a visible IR superposition process part.
  • FIG. 4 is a diagram showing the operation procedure of the second operation example of the signal processing circuit of FIG.
  • weighting factor K weighting factor characteristic data PY0, weighting factor characteristic data PY1, weighting factor characteristic data PY2
  • IR luminance level IR luminance level
  • R memory MR1 G memory MG1, each color characteristic of additional color characteristic data for R PYR1, additional color characteristic data for G PYG1, additional color characteristic data for B PYB1 set in memory MB1 for B, additional color characteristic data for R PYR1, additional color for G
  • Graph showing an example of colors generated based on characteristic data PYG1 and additional color characteristic data PYB1 for B
  • FIG. 11 is a diagram showing an example of processing when the weighting factor generation unit is configured with a logic circuit (hardware);
  • FIG. 4 is a diagram showing the operation procedure of the third operation example of the signal processing circuit of FIG. 3 mounted on the CCU;
  • FIG. 4 is a diagram showing a display example of superimposed video generated by the CCU according to Embodiment 1 on the first monitor or the second monitor;
  • FIG. 1 is a diagram showing a system configuration example of a video signal processing system 100. As shown in FIG. Here, as a system configuration example of the video signal processing system 100, a configuration example of a head-separated camera in which a camera head and a CCU that performs camera signal processing as an example of a video signal processing device are separated is shown.
  • the video signal processing system 100 is used, for example, during surgery or examination, which are medical procedures. Before this type of medical treatment, ICG (indocyanine green) as an example of a fluorescent reagent is administered into the subject. ICG is deposited in the affected area within the subject. During a medical procedure, when the subject is irradiated with excitation light for causing ICG to emit fluorescence, the excitation light causes the ICG to emit fluorescence.
  • the inside of the subject is an example of a region observed by the video signal processing system 100 .
  • the video signal processing system 100 captures a fluorescence image of fluorescence, which is near-infrared light generated when the ICG emits fluorescence, for example, using the camera head CH1, and captures a visible light image of the area around the affected area in the subject. An image is taken by the head CH1. Further, the video signal processing system 100 superimposes an IR (Infrared Ray) video signal based on the fluorescent image captured by the camera head CH1 on the visible video signal based on the visible light image captured by the camera head CH1 in the CCU10. Output. The details of this superimposition will be described later. As a result, the video signal processing system 100 can effectively assist an observer such as a doctor in observing an affected area in a subject to which ICG has been administered.
  • IR Infrared Ray
  • the video signal processing system 100 includes a camera head CH1, a CCU 10, a first monitor MN1, and a second monitor MN2. Both the first monitor MN1 and the second monitor MN2 may not be provided, and only one of the monitors (for example, the first monitor MN1) may be provided.
  • the camera head CH1 is an example of a camera unit, and is connected to the CCU 10 with a cable (that is, wired).
  • the camera head CH1 converts (that is, captures) an optical image of light from inside the subject from a videoscope (for example, an endoscope) into an electrical signal.
  • a videoscope for example, an endoscope
  • the CCU 10 which is an example of a video signal processing device, is connected to the camera head CH1 by a cable (that is, wired), and is also connected to each of the first monitor MN1 and second monitor MN2 by a cable (that is, wired).
  • the CCU 10 performs predetermined signal processing according to the visible light signal captured by the camera head CH1 to generate a visible video signal (see below), and converts fluorescence (for example, IR light) captured by the camera head CH1. Predetermined signal processing according to the signal is performed to generate an IR video signal (see below).
  • the CCU 10 adds an additional color that can be changed based on the luminance level of the fluorescence (for example, IR light) signal to the IR video signal, and superimposes the IR video signal added with the additional color on the visible video signal. to generate a superimposed video signal (see below).
  • the camera head CH1 as an example of the camera section and the CCU 10 as an example of the video signal processing device may be provided as an integrated configuration.
  • the first monitor MN1 inputs and displays the video signal V4a (eg, visible video signal V32, IR video signal V33, superimposed video signal V31) generated by the CCU 10.
  • V4a eg, visible video signal V32, IR video signal V33, superimposed video signal V31
  • the second monitor MN2 displays the video signal V4b generated by the CCU 10 (eg, visible video signal V32, IR video signal V33, superimposed video signal V31).
  • the video signal V4b generated by the CCU 10 eg, visible video signal V32, IR video signal V33, superimposed video signal V31.
  • FIG. 2 is a block diagram showing an example hardware configuration within the camera head CH1.
  • the camera head CH1 includes a lens 1, a spectral prism 3, an R (Red) sensor 5a, a G (Green) sensor 5b, a B (Blue) sensor 5c, an IR sensor 5d, and a camera head signal.
  • the configuration includes at least the processing circuit 7 .
  • the lens 1 is attached to the object side (tip side) of the spectral prism 3, and receives and condenses the light L1 (for example, RGB light and IR light) that is the reflected light from the diseased part in the subject. Condensed light L2 (for example, RGB light and IR light) enters the spectral prism 3 .
  • L1 for example, RGB light and IR light
  • Condensed light L2 for example, RGB light and IR light
  • a spectroscopy prism 3 which is an example of an optical component, receives the light L2 condensed by the lens 1 and splits it into red light, green light, blue light, and IR light. That is, the spectral prism 3 includes a prism that separates the red light in the wavelength band of red in the light L2, a prism that separates the green light in the wavelength band of green in the light L2, and a prism that separates the green light of the light L2. It is composed of a prism that disperses blue light in the blue wavelength band of L2 and a prism that disperses IR light in the IR wavelength band of light L2.
  • the structure of the spectral prism 3 may be, for example, the structure disclosed in FIG. 5 of Japanese Patent Application Laid-Open No. 2021-13753, or other known structure (for example, the structure of a prism capable of separating into three colors of RGB). I do not care.
  • the R sensor 5a includes at least a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor in which a plurality of pixels suitable for imaging red light among visible light are arranged, and an exposure control circuit. include. Based on the control signal Ex1 from the camera head signal processing circuit 7, the R sensor 5a performs an imaging process of converting the incident red light over an exposure time determined by the exposure control circuit into an electrical signal. The R sensor 5 a generates an R (Red) signal Sg 1 of the affected part (in other words, observation part) in the subject obtained by imaging processing and outputs it to the camera head signal processing circuit 7 .
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the G sensor 5b includes at least a CCD sensor or a CMOS sensor in which a plurality of pixels suitable for imaging green light among visible light, for example, are arranged, and an exposure control circuit. Based on the control signal Ex2 from the camera head signal processing circuit 7, the G sensor 5b performs an imaging process of converting the incident green light over an exposure time determined by the exposure control circuit into an electrical signal. The G sensor 5 b generates a G (Green) signal Sg 2 of the affected part (in other words, observation part) in the subject obtained by imaging processing, and outputs it to the camera head signal processing circuit 7 .
  • Green Green
  • the B sensor 5c includes at least a CCD sensor or a CMOS sensor in which a plurality of pixels suitable for imaging blue light among visible light, for example, are arranged, and an exposure control circuit. Based on the control signal Ex3 from the camera head signal processing circuit 7, the B sensor 5c performs imaging processing of converting the incident blue light over an exposure time determined by the exposure control circuit into an electrical signal. The B sensor 5 c generates a B (Blue) signal Sg 3 of the affected part (in other words, observation part) in the subject obtained by the imaging process, and outputs the B (Blue) signal Sg 3 to the camera head signal processing circuit 7 .
  • the IR sensor 5d includes at least a CCD sensor or a CMOS sensor in which, for example, a plurality of pixels suitable for imaging IR light are arranged, and an exposure control circuit.
  • the IR sensor 5d performs an imaging process of converting incident IR light over an exposure time determined by an exposure control circuit based on a control signal Ex4 from the camera head signal processing circuit 7 into an electrical signal.
  • the IR sensor 5d may be composed of an image sensor in which a known primary color Bayer array filter is arranged.
  • the IR sensor 5 d generates an IR signal Sg 4 of the affected part (in other words, observed part) in the subject obtained by imaging processing and outputs it to the camera head signal processing circuit 7 .
  • the R signal Sg1, G signal Sg2, B signal Sg3, and IR signal Sg4 are input to the camera head signal processing circuit 7.
  • the R signal Sg1, G signal Sg2, B signal Sg3, and IR signal Sg4 are simultaneously imaged by the R sensor 5a, G sensor 5b, B sensor 5c, and IR sensor 5d, respectively, and input to the camera head signal processing circuit 7. be done.
  • the camera head signal processing circuit 7 controls the R sensor 5a, the G sensor 5b, the B sensor 5c, and the IR sensor 5d. For example, the exposure time of each sensor output and the gain of each sensor are controlled.
  • control signals Ex1, Ex2, Ex3, and Ex4 are generated and output to the R sensor 5a, the G sensor 5b, the B sensor 5c, and the IR sensor 5d, respectively.
  • the R sensor 5a, the G sensor 5b, the B sensor 5c, and the IR sensor 5d control the exposure time and the output of each sensor based on the control signals Ex1, Ex2, Ex3, and Ex4 from the camera head signal processing circuit 7. Control the gain of each sensor.
  • the camera head signal processing circuit 7 also generates RGB signals based on the R signal Sg1, G signal Sg2, and B signal Sg3, and converts the RGB signals and IR signals according to the signal band of the transmission path for transmission to the CCU 10. Each of them is converted into a differential signal or the like and transmitted to the camera head CH1.
  • any one of the following alternative configuration examples may be provided instead of the R sensor 5a, G sensor 5b, B sensor 5c, and IR sensor 5d provided in the camera head CH1. .
  • the IR camera signal processing unit 13 of the CCU 10 generates an IR video signal V2 corresponding to a brightness signal based on the IR light picked up by the IR sensor 5d.
  • the RGB camera signal processing unit 12 of the CCU 10 may be configured to generate the RGB video signal V1 based on the visible light signal picked up by the single-plate complementary color image sensor.
  • the camera head signal processing circuit 7 may be configured to separate the IR signal from the other RGB signals from the sensor output video signal and generate video signals of visible light (RGB) components and IR light components.
  • RGB visible light
  • other visible light signals can be input to the RGB camera signal processing unit 12 of the CCU 10 and IR signals can be input to the IR camera signal processing unit 13 of the CCU 10 .
  • the IR camera signal processing unit 13 of the CCU 10 generates an IR video signal V2 corresponding to a luminance signal based on IR light picked up by IR pixels.
  • the RGB camera signal processing unit 12 generates an RGB video signal V1 based on other visible light signals input from the camera head CH1.
  • an image sensor provided with color filters based on five pixels of yellow (Ye)/magenta (Mg)/cyan (Cy)/green (G)/IR may be used.
  • the camera head signal processing circuit 7 separates the IR signal component from the sensor output video signal from other visible light signal components to generate video signals of the visible light (RGB) component and the IR light component.
  • RGB visible light
  • IR signals can be input to the IR camera signal processing unit 13 of the CCU 10 .
  • the IR camera signal processing unit 13 of the CCU 10 generates an IR video signal V2 corresponding to a luminance signal based on IR light picked up by IR pixels.
  • the RGB camera signal processing unit 12 generates an RGB video signal V1 based on other visible light signals input from the camera head CH1.
  • FIG. 3 is a block diagram showing an example hardware configuration within the CCU 10.
  • the CCU 10 is an example of a video signal processing device according to the present disclosure, and has a configuration including at least a signal processing circuit 11 .
  • the CCU 10 is connected to the camera head CH1 so as to enable input/output transmission of signals, and is also connected to the first monitor MN1 and the second monitor MN2 to enable output transmission of signals.
  • the signal processing circuit 11 inputs the RGB signal and the IR signal transmitted from the camera head CH1.
  • the signal processing circuit 11 includes an RGB camera signal processing section 12 , an IR camera signal processing section 13 , a visible IR superimposition processing section 14 and an output processing section 15 .
  • the RGB camera signal processing unit 12 applies predetermined RGB camera signal processing (for example, gain adjustment, white balance, gamma signal processing such as correction and contour enhancement correction) to generate an RGB video signal V1 (an example of a visible video signal) composed of three-system signals.
  • the RGB video signal V1 becomes a color video signal.
  • predetermined RGB camera signal processing are not limited to those described above, and all of the above need not be performed.
  • the RGB camera signal processing unit 12 sends the generated RGB video signal V1 to the visible IR superimposition processing unit 14 .
  • the IR camera signal processing unit 13 applies predetermined IR camera signal processing (for example, gain adjustment, gamma correction, contour enhancement correction) to generate an IR video signal V2.
  • the IR video signal V2 becomes a black and white video signal. It should be noted that examples of predetermined IR camera signal processing are not limited to those described above, and all of the above need not be performed.
  • the IR camera signal processing section 13 sends the generated IR video signal V2 to the visible IR superimposition processing section 14 .
  • the visible IR superimposition processing unit 14 uses the weighting coefficient K from the weighting coefficient generation unit 141 (see FIG. 4) to add the following to the RGB video signal V1 sent from the RGB camera signal processing unit 12:
  • Superimposing processing is performed to superimpose the IR video signal V2 sent from the IR camera signal processing unit 13 to generate a superimposed video signal V31, which is sent to the output processing unit 15.
  • FIG. the superimposed video signal V31, which is a video signal (IRmix) obtained by combining the IR video signal V2 and the RGB video signal V1 output from the visible IR superimposition processing unit 14, is subjected to the superimposition process described above according to the following equation (1). conduct.
  • the superimposed video signal V31 is IRmix, the RGB video signal V1, the IR video signal V2, and the weighting coefficient K when combining the RGB video signal V1 and the IR video signal V2. Also, in Equation (1), the weighting coefficient K satisfies 0 ⁇ K ⁇ 1.
  • the weighting coefficient K approaches 1
  • the IR video signal V2 occupies a larger proportion. V2 is highlighted.
  • the ratio of the IR video signal V2 becomes smaller, and in the superimposed video signal V31, the RGB video signal V1 is emphasized relatively to the IR video signal V2 corresponding to the affected part. .
  • the visible IR superimposition processing unit 14 uses an additional color for coloring (see FIG. 5) for converting the black-and-white IR video signal V2 into a color video signal based on the luminance level of the IR video signal V2 or the intensity of the IR signal. (B)) is determined.
  • the visible IR superimposition processing unit 14 adds (colors) the determined additional color to the black-and-white IR video signal V2 having only the luminance component, converts it into a color video signal, and converts the converted color video signal into a color video signal. It is superimposed on the RGB video signal V1. As shown in FIG.
  • the black-and-white IR video signal V2 containing only the luminance component is not colored.
  • the luminance level of the signal V2 exceeds the aforementioned constant value of 120 and increases toward the upper limit (for example, 1023), as shown in the lower part of FIG. A color having a higher color temperature (for example, red) is selected and colored.
  • the visible IR superimposition processing unit 14 inputs the RGB video signal V1 sent from the RGB camera signal processing unit 12 and the IR video signal V2 sent from the IR camera signal processing unit 13, and directly converts the visible (RGB) video signal into a visible (RGB) video signal.
  • V32 and IR video signal V33 may be sent to the output processing section 15, respectively.
  • the output processing unit 15 selects and switches any one of the superimposed video signal V31, the visible (RGB) video signal V32, and the IR video signal V33 generated by the visible IR superimposition processing unit 14 as the video signals V4a and V4b.
  • the video signal V4a is output to the first monitor MN1 for display, and the video signal V4b is output to the second monitor MN2 for display.
  • FIG. 4 is a diagram showing a first configuration example of the visible IR superimposition processing section.
  • FIG. 5A is a graph showing an example of characteristics of the weighting factor K (weighting factor characteristic data PY0) according to the IR luminance level.
  • FIG. 5B shows each color characteristic of the additional color characteristic data for R, the additional color characteristic data for G PYG1, and the additional color characteristic data for B PYB1 set in the memory for R MR1, the memory for G MG1, and the memory for B MB1.
  • 8 is a graph showing an example of colors generated based on the R additional color characteristic data PYR1, the G additional color characteristic data PYG1, and the B additional color characteristic data PYB1;
  • FIG. 6 is a diagram showing the operation procedure of the first operation example of the signal processing device mounted on the CCU 10. As shown in FIG.
  • the visible IR superposition processing unit 14 includes a weighting coefficient generation unit 141, an R (Red) memory MR1, a G (Green) memory MG1, a B (Blue) memory MB1, a multiplier PLY1, and a multiplier PLY2. , and an adder ADD1.
  • the multiplier PLY1 and the multiplier PLY2 are composed of a total of three multipliers corresponding to RGB.
  • the adder ADD1 is similarly composed of a total of three adders corresponding to RGB.
  • the weighting coefficient generation unit 141 stores the weighting coefficient characteristic data PY0, and based on the IR video signal V2 sent from the IR camera signal processing unit 13, the visible IR superimposition processing unit 14 performs superimposition processing (see below). Controls the synthesis ratio of the R (Red) memory MR1 output, the G (Green) memory MG1 output, and the B (Blue) memory MB1 output generated based on the RGB video signal V1 and the IR video signal V2. Generate a weighting factor K for
  • the R (Red) memory MR1 for storing additional color data corresponding to the luminance level in the IR video signal V2 is configured by, for example, a RAM (Random Access Memory) memory, and is stored in advance as shown in FIG. 5(B).
  • R additional color characteristic data PYR1 for red (R), which is one of the additional colors, is stored.
  • the R additional color stored in the R memory MR1 is selected according to the luminance level input for each pixel of the IR video signal V2.
  • the characteristic data PYR1 is output, and the output signal is input to the multiplier PLY2.
  • a memory MR1 for G (Green) for storing additional color data according to the luminance level of the IR video signal V2 is constituted by, for example, a RAM (Random Access Memory) memory, and is stored in advance as shown in FIG. 5(B).
  • G additional color characteristic data PYG1 for green (G) which is one of the additional colors, is stored.
  • the G (Green) memory MG1 based on the characteristics of preset G additional color characteristic data PYG1, the G additional color stored in the G memory MG1 is selected according to the luminance level input for each pixel of the IR video signal V2.
  • the characteristic data PYG1 is output, and the output signal is input to the multiplier PLY2.
  • the B (Blue) memory MB1 for storing the additional color data according to the luminance level of the IR video signal V2 is composed of, for example, a RAM (Random Access Memory) memory, and is stored in advance as shown in FIG. 5(B).
  • B additional color characteristic data PYB1 for blue (B), which is one of the additional colors, is stored.
  • the additional color for B stored in the memory MB1 for B is selected according to the luminance level input for each pixel of the IR video signal V2.
  • the characteristic data PYB1 is output, and the output signal is input to the multiplier PLY2.
  • the multiplier PLY1 corresponds to the video signal for each color component of visible light (R), visible light (G), and visible light (B) corresponding to the RGB video signal V1 shown in FIG. is composed of three multipliers, and performs a process of multiplying each weighting factor (1-K) for each color component of visible light (R), visible light (G), and visible light (B). input.
  • the multiplier PLY2 is composed of three multipliers, and multiplies each output of the memory MR1 for R, the memory MG1 for G, and the memory MB1 for B by a weighting coefficient K and inputs the result to the adder ADD1. do.
  • the adder ADD1 shown in FIG. 4 adds the outputs of the multipliers PLY1 and PLY2.
  • the IR video signal V2 and the visible light video signal (visible light R, visible light G, visible light B) corresponding to the RGB video signal V1 output from the multiplier PLY1 multiplied by the weighting coefficient (1-K) are used as the originals.
  • IRmixR (R+IR) video, IRmixG (G+IR) video, and IRmixB (B+IR) video shown in FIG. 4 can be generated.
  • weighting factor characteristic data PY0 the R additional color characteristic data PYR1, the G additional color characteristic data PYG1, and the B additional color characteristic data PYB1 will be described with reference to FIGS. 5(A) and 5(B). .
  • the weighting factor characteristic data PY0 shown in FIG. 5A is data indicating the characteristic that the weighting factor K changes from 0 to 1 according to the luminance level of the IR video signal V2.
  • the weighting coefficient K 0 when the luminance level of the IR video signal V2 shown in the characteristic diagram of the weighting coefficient characteristic data PY0 ranges from 0 to 120, and the luminance level of the IR video signal V2 is around 120. From 330 to 330, the weighting coefficient K monotonously increases linearly, and from 330 to 1023, the weighting coefficient K is 1.
  • the additional color characteristic data for each color stored in the memory MR1 for R, the memory MG1 for G, and the memory MB1 for B are weighted by the multiplier PLY2 shown in FIG. controlled by K.
  • Each of the following outputs changes according to the luminance level of the IR video signal V2.
  • the R additional color characteristic data PYR1, the G additional color characteristic data PYG1, and the B additional color characteristic data PYB1 shown in FIG. 5B are stored in the R memory MR1, G memory MG1, and B memory MB1. It shows the data characteristics of the additive color.
  • color characteristic data PYR1 for R used for converting the IR video signal into a red (R) component visible image and superimposing it on the red (R) component visible image output from the multiplier PLY1. is retained.
  • color characteristic data PYG1 for G used for converting the IR video signal into a visible image of the green (G) component and superimposing it on the visible image of the green (G) component output from the multiplier PLY1. is retained.
  • color characteristic data PYB1 for B used for converting the IR video signal into a visible image of the blue (B) component and superimposing it on the visible image of the blue (B) component output from the multiplier PLY1. is retained.
  • the characteristic data such that the IR video signal is gradually colored and changed from blue to green to yellow to red according to the IR brightness level of the input IR video signal V2 is stored in advance in the R memory MR1. , G memory MG1, and B memory MB1.
  • the outputs of the R memory MR1, the G memory MG1, and the B memory MB1 change according to the luminance level of the IR video signal V2.
  • the luminance level of the input IR video signal V2 is 120 or less
  • the outputs of the memory MR1 for R, the memory MG1 for G, and the memory MB1 for B are 0, and the luminance level of the IR video signal V2 is blue
  • the B) component is output from the B memory MB1
  • the luminance level of the IR video signal V2 is 330
  • the green (G) component is output from the G memory MG1
  • the luminance level of the IR video signal V2 is 640, red (R).
  • a component is output from the memory for R MR1.
  • the R memory MR1, the G memory MG1, and the B memory MB1 are generated.
  • the hue changes depending on the ratio of the blue (B) component, green (G) component, and red (R) component of each output of , and the output level of the R memory MR1, G memory MG1, and B memory MB1 changes the color.
  • the visible IR superimposition processing unit 14 determines the ratio of IR superimposition to the visible light image with a weighting coefficient K for each color data output from the R memory MR1, G memory MG1, and B memory MB1.
  • outputs from the R memory MR1, G memory MG1, and B memory MB1 are further controlled in output level by a weighting coefficient K in a multiplier PLY2, and the video signal on the other visible light side is
  • the output level of (visible light RGB) is controlled by a weighting coefficient (1-K) in a multiplier PLY1.
  • the IRmixR (R+IR) image, IRmixG (G+IR) image, and IRmixB (B+IR) image which are the image signals output from the adder ADD1 in FIG.
  • the image of the output of the multiplier PLY2, which has been color-converted into additional colors such as green, yellow, and red, is added (synthesized), and at the same time, the weighting coefficient K is applied to the IR of the visible image. It can be generated as a proportion-controlled video.
  • FIG. 6 is a diagram showing the operation procedure of the first operation example of the signal processing circuit 11 mounted on the CCU 10.
  • FIG. A supplementary description of the processing corresponding to the visible IR superposition processing unit 14 in FIG. 3 will be given with reference to FIG.
  • step St1 corresponds to the processing performed by the RGB camera signal processing unit 12 in FIG.
  • RGB camera signal processing is performed to generate a (RGB 100%) visible video signal corresponding to the RGB video signal V1.
  • step St2 corresponds to the processing performed by the IR camera signal processing unit 13 in FIG. After processing, an IR (100%) video signal corresponding to the IR video signal V2 is generated.
  • step St3 corresponds to the weighting coefficient K generation processing performed by the weighting coefficient generation unit 141 of FIG.
  • the IR video signal output from the processing unit 13 is input, and based on the input IR video signal and the characteristics of the weighting coefficient characteristic data PY0 shown in FIG.
  • a weighting factor K is generated according to the luminance level of each pixel of the signal.
  • step St4 corresponds to the (1-K) generation processing performed by the weighting coefficient generation unit 141 shown in FIG.
  • a weighting factor (1 ⁇ K) is calculated and generated for each pixel based on the weighting factor K of .
  • step St5 corresponds to the multiplication process performed by the multiplier PLY1 of the visible IR superposition processing unit 14 in FIG.
  • the weighting coefficient (1-K) is multiplied by the corresponding pixel of the RGB camera signal visible video output output in step St1 (corresponding to the RGB video signal V1 output from the RGB camera signal processing unit 12 in FIG. 3).
  • the multiplier PLY1 generates RGB(1-K) in FIG.
  • step St6 the processing of step St6 generates signals corresponding to the respective memory outputs of the R memory MR1, G memory MG1, and B memory MB1 shown in FIG.
  • step St6 based on the luminance level of the IR video signal output in step St2, additional color characteristic data is stored in each of the R memory MR1, G memory MG1, and B memory MB1 (FIG. 5B). to output the additional color characteristic data PYR1 for R, the additional color characteristic data PYG1 for G, and the additional color characteristic data PYB1 for B shown in , and the color ratio of the additional colors (for example, red, green, and blue) to be added to the IR video signal. (hue and shade of color).
  • additional colors for example, red, green, and blue
  • step St7 corresponds to the multiplication processing performed by the multiplier PLY2 of the visible IR superposition processing unit 14 of FIG. , multiplication processing by the weighting coefficient K is performed on the image signal after the additional color conversion for each pixel of the IR image signal output in step St6.
  • multiplier PLY2 generates K(IR) in FIG.
  • step St8 corresponds to the addition processing performed by the adder ADD1 of the visible IR superposition processing unit 14 of FIG. (1-K) is added to K(IR) generated based on the IR image that is weighted by additional color processing and the weighting coefficient K for the IR image output in step St7.
  • the processing corresponding to the above-described (formula 1) is performed, and IRmix (R+IR), IRmix (G+IR) and IRmix (B+IR) are generated at the output of the adder ADD1 of the visible IR superposition processing unit 14 in FIG. , an image equivalent to MIX (RGB+IR) output from the visible IR superimposition processing unit 14 shown in FIG. 3 can be generated.
  • the (RGB 100%) visible video signal output in step St1 is output as the visible (RGB) video signal V32 equivalent to the RGB video signal V1 output from the RGB camera signal processing unit 12 in FIG. 3, and the IR video signal output in step St2 is output.
  • (IR 100%) is output as an IR video signal V33 equivalent to the IR video signal V2 output from the IR camera signal processing unit 13 in FIG. 3 so that it can be output.
  • the IR sensor 5d of FIG. 2 simply acquires the excitation light of the site where the fluorescent reagent such as ICG is deposited in the affected area of the lesion, particularly in the subject, and the image as the IR image generated as the IR image signal V33.
  • a superimposed video signal V31 can be generated by synthesizing the visible (RGB) video signal V1 and the color IR video.
  • the video displayed on the first monitor MN1 via the video signal V4a and on the second monitor MN2 via the video signal V4b is divided into visible (RGB) video signal V32, IR video signal V33,
  • the superimposed video signal V31 can be arbitrarily selected. This enables a user such as a doctor to freely select a superimposed video signal V31 (that is, MIX (RGB+IR) video) on the first monitor MN1 and a visible (RGB) video on the second monitor MN2.
  • the state of the affected area of the lesion can be displayed as the superimposed image signal V31 (that is, the MIX (RGB+IR) image in FIG. 6). , equivalent to the ADD1 output in FIG. 7) as well as the visible (RGB) video signal V32, the condition of the affected part of the lesion can be grasped in detail, and medical action can be performed.
  • the superimposed video signal V31 (that is, the MIX (RGB+IR) video in FIG. 6, equivalent to the output of the adder ADD1 in FIG. 7) can express hue (color tone) and color density according to the luminance level of IR.
  • the superimposed video signal V31 (that is, FIG. 6 MIX (RGB + IR) image, equivalent to the output of the adder ADD1 in FIG. Because it can be understood, it can contribute to the improvement of safety in medical practice and the realization of invasive surgery. can reduce the burden on
  • FIG. 7 is a diagram showing a second configuration example of the visible IR superimposition processing section.
  • FIG. 8 is a diagram showing the operation procedure of the second operation example of the signal processing circuit 11 of FIG. 3 mounted on the CCU 10. As shown in FIG. In the description of FIGS. 7 and 8, the same reference numerals or step numbers are given to the same contents as those of FIGS. 4 and 6 to simplify or omit the description, and different contents will be described.
  • the visible IR superposition processing unit 14A shown in FIG. 7 includes a weighting coefficient generation unit 141A, a microprocessor 143, an R (Red) memory MR1, a G (Green) memory MG1, and a B (Blue) memory MB1. , a multiplier PLY1, a multiplier PLY2, and an adder ADD1.
  • the multiplier PLY1 and the multiplier PLY2 are composed of a total of three multipliers corresponding to RGB.
  • the adder ADD1 is similarly composed of a total of three adders corresponding to RGB.
  • the weighting factor generation unit 141A stores the weighting factor characteristic data PY0 shown in FIG.
  • a weighting coefficient K is generated for controlling the mixing ratio of the RGB video signal V1 and the IR video signal V2 to be processed (see below).
  • the microprocessor 143 is a so-called MPU (Micro Processing Unit), and a user operation such as a doctor determines the characteristics of the weighting coefficient K, the weighting coefficient K, and the R addition for the R memory MR1, the G memory MG1, and the B memory MB1. It is provided so that the color characteristic data PYR1, the additional color characteristic data PYG1 for G, and the additional color characteristic data PYB1 for B can be arbitrarily manipulated.
  • the microprocessor 143 accepts a user operation to change the characteristic indicated by the weighting factor characteristic data PY0 (see FIG. 5A) corresponding to the weighting factor K corresponding to the luminance level of the IR video signal V2.
  • Microprocessor 143 changes the characteristic indicated by weighting factor characteristic data PY0 (see FIG. 5A) in accordance with this user operation.
  • the weighting coefficient characteristic data PY0 of the weighting coefficient K in FIG. the color-added IR image is reflected in the visible IR superimposed image even when the luminance level of the IR image is low, and the change in superimposed color can be made steeper.
  • the weighting coefficient characteristic data PY0 starts to increase at 280 and the slope of the increase is moderated, the IR image becomes a visible IR superimposed image at a high luminance level of the IR image. It is reflected, and the change of the superimposed color can also be moderated.
  • weighting coefficient characteristic data PY0 of the weighting coefficient K is changed is shown here, additional R color characteristic data PYR1 for the R memory MR1, the G memory MG1, and the B memory MB1 shown in FIG. , G additional color characteristic data PYG1 and B additional color characteristic data PYB1, it is possible to similarly control the color tone and density of the IR image on the visible IR superimposed image. It is also possible to control both the weighting coefficient characteristic data PY0 of the weighting coefficient K and the memory MR1 for R, memory MG1 for G, and memory MB1 for B to similarly control the hue and shade of the IR image on the visible IR superimposed image. can.
  • the microprocessor 143 transmits the changed new weighting factor characteristic data based on the user's operation to the weighting factor generation unit 141A, and also stores the changed new memory MR1 for R, memory MG1 for G, and memory for B.
  • the characteristic data of the MB1 data is transmitted to the R memory MR1, the G memory MG1, and the B memory MB1.
  • the weighting factor characteristic data PY0 after being changed by the user's operation sent from the microprocessor 143 is reflected so as to be used in step St3A.
  • Use of the R additional color characteristic data PYR1, the G additional color characteristic data PYG1, and the B additional color characteristic data PYB1 for the memory MG1 and the B memory MB1 is fetched in step St6A, and the use of the data in step St7 (see FIG. 7) is performed. (corresponding to multiplier PLY2) to be used as an input to the operation.
  • step St7 (corresponding to the multiplier PLY2 in FIG. 7), the weighting coefficient characteristic data PY0 after being changed by the user's operation and the additional color characteristic data PYR1 for R reflecting the change by the user's operation, By multiplying the color-converted additional color characteristic data PYG1 for G and the additional color characteristic data PYB1 for B to generate the signal K(IR) shown in FIG. ), (1-K) for controlling the synthesis of the RGB visible image shown in FIG. Multiply to produce the RGB(1-K) image shown in FIG.
  • step St7 (corresponding to multiplier PLY2 in FIG. 7) and the signal K (IR) in FIG. 8 after color conversion after additional color conversion are shown in FIG. 8 of the output of step St5 (corresponding to multiplier PLY1 in FIG. 7).
  • step St8 By adding (synthesizing) the RGB(1-K) with the adder ADD1 in step St8 of FIG. 8, the MIX (RGB+IR) image shown in FIG. 8 is generated.
  • a user such as a doctor can arbitrarily change the weighting coefficient K and each characteristic of the additional color. can be changed arbitrarily.
  • FIG. 9A is a graph showing an example of characteristics of the weighting factor K (weighting factor characteristic data PY0, weighting factor characteristic data PY1, weighting factor characteristic data PY2) according to the IR luminance level.
  • FIG. 9B shows the color characteristics of the R additional color characteristic data PYR1, G additional color characteristic data PYG1, and B additional color characteristic data PYB1 set in the R memory MR1, G memory MG1, and B memory MB1. , and an example of colors generated based on the R additional color characteristic data PYR1, the G additional color characteristic data PYG1, and the B additional color characteristic data PYB1.
  • the same reference numerals or step numbers are assigned to the same components or processing as those of FIGS. 5A and 5B. Simplify or omit, and explain different content.
  • weighting factor K has multi-level gradation from 0 to 255 in FIG. 9(A). That is, in the present embodiment, the weighting coefficient K does not always need to take a value from 0 to 1, and even if it has a value having multiple levels of gradation (for example, 256 levels) as shown in FIG. good.
  • weighting factor characteristic data PY1 and PY2 are shown in addition to weighting factor characteristic data PY0 (see FIG. 5A).
  • the weighting factor characteristic data PY1 has a characteristic in which the luminance level of the IR video signal V2 at the start of superposition of the IR video signal V2 is shifted to the high luminance side compared to the characteristic indicated by the weighting factor characteristic data PY0.
  • the brightness level of the IR video signal V2 was around 120 when superposition of the IR video signal V2 was started.
  • the brightness level of the IR video signal V2 is around 280.
  • the weighting factor characteristic data PY2 is such that the luminance level of the IR video signal V2 gradually increases from 120 to 1023, and has a gentler slope than the characteristics shown in the weighting factor characteristic data PY0 and PY1. be.
  • the IR image in the IRmix (RGB+IR) signal in FIG. Saturation can be prevented.
  • the visible IR superimposition processing section 14A can, for example, express the formula (2) superimposing process for generating the IRmix (RGB+IR) signal shown in FIG.
  • the visible IR superposition processing unit 14A corresponds to each output of the R memory MR1, the G memory MG1, and the B memory MB1 corresponding to the brightness level of the IR video signal V2 rather than the IR video signal V2 itself.
  • a video signal obtained by adding colors based on the IR video signal V2 is superimposed on the visible light (RGB) video signal V1.
  • IRmixR (R+IR), IRmixG (G+IR), and IRmixB (B+IR) which are video signals after synthesis processing by the adder ADD1 (see FIG. 7), are represented by the following equations (3) and (4).
  • equation (5) can be expressed by equation (5).
  • K satisfies 0 ⁇ K ⁇ 255.
  • the visible IR superposition processing unit 14A in FIG. 7 allows the plurality of weighting factor characteristic data PY0, PY1, and PY2 to finely adjust each characteristic compared to the case where the weighting factor K changes between 0 and 1.
  • the weighting coefficient K is arbitrarily selected according to the characteristics of the IR video signal V2, and based on the RGB video signal V1 and the IR video signal V2 (R memory MR1, G memory MG1 , each output of the memory MB1 for B) can be combined (superimposed) with the IR video signal after additional color conversion.
  • Select the characteristic data PY2 select the weighting factor characteristic data PY0 of FIG.
  • FIG. 10 is a diagram showing a hardware configuration example of the weighting factor generator 141B.
  • FIG. 11 is a diagram showing an example of processing when the weighting coefficient generator 141B is configured by a logic circuit (hardware).
  • FIG. 12 is a diagram showing the operation procedure of the third operation example of the signal processing circuit 11 of FIG. 3 mounted on the CCU 10.
  • the weighting factor generator 141B is provided instead of the weighting factor generator 141 in the configuration of the visible IR superposition processor 14 shown in FIG.
  • the weighting coefficient generation unit 141B includes a subtractor 21, a positive clip processing unit 22, an x2 processing unit 23, an x4 processing unit 24, an x8 processing unit 25, a selector 26, an adder 27, and a negative clip processing unit. 28.
  • the configuration and processing of each unit will be described with reference to FIGS. 10, 11 and 12.
  • FIG. 12 The configuration and processing of each unit will be described with reference to FIGS. 10, 11 and 12.
  • the IR light signal input to the weighting factor generator 141B (corresponding to step St12 in FIG. 12) shown in FIG. 10 corresponds to the luminance signal output from the IR sensor 5d in FIG . (corresponding to characteristic 31 in FIG. 11, step St11 output in FIG. 12).
  • the IR superimposition start level setting value P1 corresponding to the reference setting for starting IR superposition is subtracted from the IR light signal in FIG. 10 as shown in step St21 in FIG.
  • the IR superimposition start level setting value P1 is set in the RGB format for additional colors based on the respective outputs of the R memory MR1, G memory MG1, and B memory MB1 corresponding to the luminance level of the IR video signal V2. It corresponds to the luminance level that is the reference when starting the process of superimposing the converted color data on the RGB video signal V1.
  • a characteristic 32 in FIG. 11 is an output characteristic obtained by subtracting the IR superimposition start level setting value P1 from the characteristic 31 of the IR luminance signal. If the luminance level of the input is less than LM1, the output will be negative data, and if it is greater than LM1, the output will be positive.
  • the positive clip processing unit 22 in step St22 of FIG. 11 performs processing ( clip processing).
  • a characteristic 33 in FIG. 11 is an output characteristic obtained by subjecting the output characteristic after subtraction processing by the subtractor 21 to positive clip processing. If the luminance level of the characteristic 31 of the input based on the IR light in FIG. zero).
  • the x2 processing unit 23 in FIG. 10 (corresponding to step St23 in FIG. 11) generates the characteristic K2 by doubling the slope of the negative data of the characteristic 33 shown in step St22 in FIG.
  • the x4 processing unit 24 in FIG. 10 (corresponding to step St23 in FIG. 11) generates the characteristic K3 by quadrupling the slope of the negative data of the characteristic 33 shown in step St22 in FIG.
  • the x8 processing unit 25 in FIG. 10 (corresponding to step St23 in FIG. 11) generates the characteristic K4 by processing the negative data of the characteristic 33 shown in step St22 in FIG. 11 by eight times the slope.
  • the selector 26 shown in FIG. 10 selects the output characteristics of each of the positive clip processing unit 22, the x2 processing unit 23, the x4 processing unit 24, and the x8 processing unit 25 and the characteristics of the luminance signal generated based on the IR light signal.
  • a tilt adjustment set value is input, and the characteristic that provides a tilt that matches the tilt adjustment set value is selected.
  • the slope adjustment setting value is a weighting coefficient K as shown in FIGS. Corresponds to the tilt setting value.
  • characteristic K1 is selected.
  • the tilt adjustment set value does not have to be a fixed value such as an integer magnification such as x2, x4, or x8. can be the value specified by
  • the adder 27 in FIG. 10 superimposes the IR image on the RGB video signal V1 at a maximum ratio according to the characteristic 33 shown in FIG. 11 selected by the selector 26 and the luminance signal generated based on the IR light signal.
  • the IR superimposition maximum level set value LM2 (see step St24 in FIG. 11) corresponding to the reference value is added.
  • a characteristic 34 in FIG. 11 is obtained in which the output characteristic of the selector 26 is raised by an amount corresponding to the IR superimposition maximum level set value LM2.
  • a characteristic 34 at step St24 in FIG. 11 is an output characteristic obtained by negative clipping the output characteristic after addition processing by the adder 27, and corresponds to the output of the negative clip processing unit 28 in FIG.
  • the weighting factor K can be easily configured by a circuit configuration as shown in the weighting factor generator 141B of FIG.
  • FIG. 13A is a diagram showing a display example of a superimposed image generated by a general medical camera on the first monitor MN1 or the second monitor MN2.
  • FIG. 13B is a diagram showing a display example of superimposed video generated by the signal processing circuit 11 of FIG.
  • the IR image signal before superimposition is originally a black and white image, and the fluorescent reagent emits fluorescence.
  • the affected area (for example, the affected area indicated by the range ZN1 from the line LL1 to the line LL2) is indicated only by a single color (for example, white) or a gradation color from white to black. For this reason, it is sometimes difficult for a user such as a doctor to easily determine which part of the fluorescence-emitting part (for example, the affected part of the lesion) is most deteriorated, and which part should be excised by surgical operation. Since it is assumed that it is difficult to judge whether or not, it is assumed that there will be cases where it is difficult to perform medical procedures smoothly.
  • the additional color is added based on the intensity (for example, luminance level) of the IR video signal V2 before being superimposed on the RGB video signal V1. is determined and color addition processing is performed for each pixel of the IR video signal V2, and the IR video signal weighted including color shading from blue through green to red according to the luminance level of the IR video signal V2 is converted into the RGB video signal V1. superimposed on As a result, as shown in FIG.
  • the range of the upper portion from the line LL1 and the lower portion from the line LL2 where the intensity (for example, luminance level) of the IR video signal V2 is small is added to blue (see FIG. 5).
  • a range ZN1 in which the intensity (e.g., luminance level) of the IR video signal V2 is medium is added to green (see FIG. 5), and the intensity (e.g., luminance level) of the IR video signal V2 is high by the line L3.
  • the enclosed range ZN2 is colored red (see FIGS. 5(A), 5(B) or 9(A), 9(B)).
  • the state of the affected area particularly the range ZN2
  • the red colored range ZN2 is the main part of the lesion. It is expected that they will be able to perform smooth and appropriate medical actions.
  • the signal processing circuit 11 of FIG. 3 installed in the CCU 10 that configures the video signal processing system 100 according to the present embodiment can detect the visible light from the observation site imaged by the camera section (for example, the camera head CH1).
  • a visible image generation unit for example, the RGB camera signal processing unit 12
  • an IR image generation unit for example, an IR camera signal processing unit 13
  • an additional color that can be changed based on the luminance level of the IR light is added to the IR image signal, and the additional color is added.
  • a video superimposition unit for example, a visible IR superimposition processing unit 16 that superimposes the IR video signal on the visible video signal to generate a superimposed video signal
  • a monitor for example, one of the first monitor MN1 and the second monitor MN2 and an output processing unit 17 for outputting to at least one
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 can more clearly output the fluorescence distribution state in the observation site to which the fluorescent reagent has been administered during a medical procedure such as surgery or examination. It is possible to more easily grasp the state of the fluorescence emission distribution of the affected area.
  • the image superimposition unit (for example, the visible IR superimposition processing unit 14 in FIG. 3) generates additional color characteristic data (FIG. 5(B) or FIG. 9 (B)), and has an additional color memory (for example, a memory MR1 for R, a memory MG1 for G, and a memory MB1 for B), and based on the color addition ratio of the additional color corresponding to the luminance level of the IR light. to add an additional color to the IR video signal.
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 can reproduce the affected area in the IR video signal, which could only be expressed in specific color gradations from a single color (for example, green) or from light green to dark green.
  • a portion that should be more noted can be expressed with arbitrary additional colors and color densities according to the brightness level of the IR light.
  • the additional color is composed of multiple colors (eg, red, green, and blue).
  • the additional color memory has additional color characteristic data (for example, additional color characteristic data PYR1 for R, additional color characteristic data PYG1 for G, and additional color characteristic data PYB1 for B) for each color.
  • additional color characteristic data PYR1 for R additional color characteristic data
  • PYG1 for G additional color characteristic data
  • PYB1 for B additional color characteristic data for B
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 can determine the ratio of the additive color (for example, how much blue to green and what shade of red) according to the luminance level of the IR video signal V2. It is possible to decide whether to add color or not, and the visibility of the portion of the IR video signal can be improved by the color addition processing.
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 determines a weighting coefficient K for superimposing the IR video signal added with the additional color on the visible video signal based on the luminance level of the IR light. It further includes a weighting factor determination unit (for example, weighting factor generation unit 141).
  • a video superimposing unit eg, visible IR superimposing processing unit 16
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 can adjust the ratio (that is, weighting factor) of superimposition of the RGB video signal and the IR video signal according to the luminance level of the IR video signal. It is possible to generate a superimposed video signal that enables enhancement of the IR video signal superimposed on the RGB video signal.
  • the weighting factor generator 141 in FIG. 4 stores weighting factor characteristic data PY0 indicating the characteristics of the weighting factor based on the luminance level of IR light shown in FIG.
  • a weighting factor K is generated based on the weighting factor characteristic data PY0. 4 can easily determine the weighting coefficient K for superimposing the IR video signal on the visible video signal.
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 further includes a user interface unit (for example, a microprocessor 18) that changes the characteristics of the addition ratio of the additional color according to the user's operation, as shown in FIG. Prepare.
  • a video superimposition unit (for example, the visible IR superimposition processing unit 14 in FIG. 3) adds an additional color to the IR video signal based on the characteristics of the added color ratio of the changed additional color.
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 can easily change the additive color ratio (hue) of the part to be noticed in the IR video signal while reflecting the preference of the user such as a doctor. can.
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 further includes a user interface unit (for example, a microprocessor 18) that changes the gradation characteristics of the color addition ratio when the additional color is added according to the user's operation.
  • a video superimposition unit (for example, the visible IR superimposition processing unit 14 in FIG. 3) adds an additional color to the IR video signal based on the gradation characteristics of the added color ratio of the changed additional color.
  • the CCU 10 can easily change the gradation characteristics of the color addition rate (that is, the characteristics of the color depth) of a portion of interest in the IR video signal while reflecting the preferences of the user such as a doctor. .
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 further includes a user interface unit (for example, microprocessor 143) that changes the characteristics of the weighting coefficient according to user's operation.
  • the weighting factor determination unit 15A determines the weighting factors based on the changed weighting factor characteristics. Thereby, the CCU 10 can easily determine the weighting factor K in a state in which the preference of the user such as a doctor is reflected.
  • the weighting factor generation unit 141B in FIG. 11 generates weighting factor characteristics based on the luminance level of the IR light, and determines the weighting factors based on the luminance level of the IR light and the generated weighting factor characteristics. do.
  • the signal processing circuit 11 of FIG. 3 mounted on the CCU 10 can generate the characteristics of the weighting coefficient K (see FIG. 11) based on the luminance level of the IR light with a simple circuit. It is possible to appropriately determine the composition ratio when superimposing video signals with a simple circuit configuration.
  • the visible image sensor and IR image sensor of the camera unit for example, camera head CH1) shown in FIG. image sensor (B sensor 5c), a third image sensor (G sensor 5b) capable of imaging green light, and a fourth image sensor (IR sensor 5d).
  • Red light, blue light, green light, and IR light are separated by the spectral prism 3, red light is sent to the first image sensor (R sensor 5a), blue light is sent to the second image sensor (B sensor 5c), and green light is split.
  • the images output from the camera signal processing shown in FIG. can be improved compared to
  • the reproduction and sensitivity of the visible image portion in the superimposed video signal V31 output from the visible IR superimposition processing unit 14 in FIG. can improve.
  • the visible image sensor is composed of a primary color Bayer image sensor to which one Bayer array color filter of red (R), blue (B), and green (G) is attached.
  • the visible sensor of the camera section (for example, the camera head CH1 in FIG. 2) can be simply configured as a single image sensor in which color filters in the Bayer arrangement are arranged, such as by making it lighter and smaller.
  • the camera head signal processing circuit 7 of the camera head CH1 shown in FIG. three systems of RGB (visible) signals of R, G, and B can be input, so the processing of the RGB camera signal processing unit 12 mounted on the CCU 10 does not involve a large change.
  • the visible image sensor is composed of a complementary color image sensor attached with one complementary color filter capable of imaging each of yellow light (Ye), magenta light (Mg), cyan light (Cy), and green light (G). .
  • the visible sensor of the camera section (for example, camera head CH1) can be configured simply as a single image sensor in which complementary color filters are arranged, such as being lightweight and miniaturized.
  • RGB visible signals
  • the outputs of the camera head signal processing circuit 7 of the camera head CH1 shown in FIG. G) signals are input to the RGB camera signal processing unit 12 on the CCU 10 side in FIG. It may be configured so that R, G, and B can be output.
  • the visible image sensor and the IR image sensor are composed of one image sensor attached with an IR color filter in addition to the primary colors of red (R), blue (B), and green (G) in the Bayer array.
  • R red
  • B blue
  • G green
  • the visible image sensor and the IR image sensor are composed of one image sensor attached with an IR color filter in addition to the primary colors of red (R), blue (B), and green (G) in the Bayer array.
  • the visible image sensor and the IR image sensor are attached with IR color filters in addition to complementary colors yellow (Ye), magenta (Mg), cyan (Cy), and green (G), as shown in FIG. It consists of one image sensor.
  • R, G, and B are obtained from the complementary colors yellow (Ye), magenta (Mg), cyan (Cy), green (G), and IR signals output from the camera head signal processing circuit 7 of the camera head CH1 in FIG.
  • RGB (visible) signals of R, G, and B are input to the input of the RGB camera signal processing unit 12 on the CCU 10 side, and to the input of the IR camera signal processing unit 13 An IR signal can be input.
  • IR signal is input to the IR camera signal processing unit 13 input on the CCU 10 side in FIG. 3 as a green (G) IR signal.
  • Mg green
  • Cy cyan light
  • G green light
  • red, green, and blue are given as examples of additional colors, but the additional colors may not be limited to these three colors.
  • two color difference signals (Cb, Cr) corresponding to the luminance signal (Y) may be used as additional colors.
  • the luminance signal (Y) is applied to the green component added (colored) to the IR video signal V2
  • the color difference signal (Cr) is applied to the red component added (colored) to the IR video signal V2
  • the color difference signal (Cb) may be used in association with the blue component to be colored.
  • the RGB camera signal processing unit 12 generates a luminance signal (Y) and two color difference signals (Cr, Cb).
  • the R memory MR1 the G memory MG1, and the B memory MB1
  • the visible IR superimposition processing unit 14 shown in FIG. 3, the visible IR superimposition processing unit 14 shown in FIG. 4, and the visible IR superimposition processing unit 14A shown in FIG. ) memory, color difference signal (Cr) memory, and color difference signal (Cb) memory are superimposed on the visible light (RGB) video signal V1.
  • IRmixY, IRmixCr, and IRmixCb are color data corresponding to the respective outputs of the luminance signal (Y) memory, the color difference signal (Cr) memory, and the color difference signal (Cb) memory corresponding to the luminance level of the IR video signal V2.
  • equations (6) to (8) are established.
  • K satisfies 0 ⁇ K ⁇ 255.
  • the present disclosure is a video signal processing device that more clearly outputs the fluorescence distribution state in the observation site where the fluorescent reagent is administered during medical practice, and makes it easier for doctors and others to grasp the state of the fluorescence emission distribution of the affected area. , a video signal processing method and a video signal processing system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

映像信号処理装置は、カメラ部により撮像された観察部位からの可視光の信号に基づいて、観察部位の可視映像信号を生成する可視映像生成部と、カメラ部により撮像された観察部位からのＩＲ光の信号に基づいて、観察部位のＩＲ映像信号を生成するＩＲ映像生成部と、ＩＲ光の輝度レベルに基づいて変更可能な付加色をＩＲ映像信号に加色し、付加色が加色されたＩＲ映像信号を可視映像信号に重畳して重畳映像信号を生成する映像重畳部と、重畳映像信号を出力する出力処理部と、を備える。

Description

映像信号処理装置、映像信号処理方法および映像信号処理システム
　本開示は、映像信号処理装置、映像信号処理方法および映像信号処理システムに関する。
　特許文献１には、微弱な特殊光によって被検体内を撮像する場合に鮮明な画像を得られる電子内視鏡システムが開示されている。この電子内視鏡システムは、被検体内に撮像用の照明光として白色光を照明する投光ユニットと、被検体内に挿入する挿入部の先端に設けられ、被検体内を白色光によって撮像するＣＣＤと、被検体内から蛍光を発生させるための励起光を照射する投光ユニットと、挿入部の先端に設けられ、励起光の照射によって発生した蛍光によって被検体内を撮像するとともに、蛍光を光電変換して蓄積した信号電荷を増倍する電荷増倍部とを有するＥＭＣＣＤと、ＥＭＣＣＤとともに設けられ、ＥＭＣＣＤに入射する励起光を遮蔽する励起光カットフィルタと、白色光または励起光を被検体内に照射することによって被検体内から入射する光をＣＣＤとＥＭＣＣＤの２方向に分岐させるビームスプリッタと、を備える。
日本国特開２０１２－１５７５５９号公報
　近年、医療行為である手術あるいは検査時に、被検体内に蛍光試薬としてＩＣＧ（インドシアニングリーン）が予め投与され、励起光の照射等によりＩＣＧを励起させ、ＩＣＧが発する近赤外の蛍光像を被写体像として撮像し、観察することにより医療診断を行うことが注目されている。
　特許文献１には、ＣＣＤにより撮像された被検体内の白色光による通常光画像と、ＥＭＣＣＤにより撮像された被検体内の蛍光による自家蛍光画像とが重畳された合成画像が生成されることが開示されている。しかしながら、被検体内の自家蛍光画像を通常光画像にどのような態様で重畳するかは具体的に明記されていない。このため、例えば上述した医療行為の際に、白色光によって撮像された通常光画像に対して、例えば自家蛍光画像中の蛍光部分が単色で示されるように重畳されてしまうと、蛍光の発光分布状態（例えばＩＣＧ等の蛍光試薬が投与された患部内の特に強く反応している部分と特に反応していない部分との区別）の様子が分かり難いという課題があった。つまり、上述した医療行為時に、蛍光試薬が投与された観察部位内の蛍光の分布状態をより鮮明に出力することが困難であり、医師等が患部の蛍光の発光分布の状態把握をより簡易にする点において改善の余地があった。
　本開示は、上述した従来の事情に鑑みて案出され、医療行為時に、蛍光試薬が投与された観察部位内の蛍光の分布状態をより鮮明に出力し、医師等が患部の蛍光の発光分布の状態把握をより簡易にする映像信号処理装置、映像信号処理方法および映像信号処理システムを提供することを目的とする。
　本開示は、カメラ部により撮像された観察部位からの可視光の信号に基づいて、前記観察部位の可視映像信号を生成する可視映像生成部と、前記カメラ部により撮像された前記観察部位からのＩＲ光の信号に基づいて、前記観察部位のＩＲ映像信号を生成するＩＲ映像生成部と、前記ＩＲ光の輝度レベルに基づいて変更可能な付加色を前記ＩＲ映像信号に加色し、前記付加色が加色されたＩＲ映像信号を前記可視映像信号に重畳して重畳映像信号を生成する映像重畳部と、前記重畳映像信号をモニタに出力する出力処理部と、を備える、映像信号処理装置を提供する。
　また、本開示は、カメラ部に接続された映像信号処理装置により実行される映像信号処理方法であって、前記カメラヘッドにより撮像された観察部位からの可視光の信号に基づいて、前記観察部位の可視映像信号を生成するステップと、前記カメラ部により撮像された前記観察部位からのＩＲ光の信号に基づいて、前記観察部位のＩＲ映像信号を生成するステップと、前記ＩＲ光の輝度レベルに基づいて変更可能な付加色を前記ＩＲ映像信号に加色し、前記付加色が加色されたＩＲ映像信号を前記可視映像信号に重畳して重畳映像信号を生成するステップと、前記重畳映像信号をモニタに出力するステップと、を有する、映像信号処理方法を提供する。
　また、本開示は、観察部位からの可視光を撮像する可視イメージセンサと、前記観察部位からのＩＲ光を撮像するＩＲイメージセンサと、を少なくとも有するカメラ部と、前記カメラヘッドにより撮像された前記観察部位からの可視光の信号に基づいて、前記観察部位の可視映像信号を生成する可視映像生成部と、前記カメラ部により撮像された前記観察部位からのＩＲ光の信号に基づいて、前記観察部位のＩＲ映像信号を生成するＩＲ映像生成部と、前記ＩＲ光の輝度レベルに基づいて変更可能な付加色を前記ＩＲ映像信号に加色し、前記付加色が加色されたＩＲ映像信号を前記可視映像信号に重畳して重畳映像信号を生成する映像重畳部と、前記重畳映像信号をモニタに出力する出力処理部と、を備える、映像信号処理システムを提供する。
　本開示によれば、医療行為時に、蛍光試薬が投与された観察部位内の蛍光の分布状態をより鮮明に出力し、医師等が患部の蛍光の発光分布の状態把握をより簡易にすることができる。
映像信号処理システムのシステム構成例を示す図 カメラヘッド内のハードウェア構成例を示すブロック図 ＣＣＵ内の信号処理回路のハードウェア構成例を示すブロック図 可視ＩＲ重畳処理部の第１構成例を示す図 （Ａ）ＩＲ輝度レベルに応じた重み付け係数Ｋ（重み付け係数特性データＰＹ０）の特性の一例を示すグラフ、（Ｂ）Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１に設定するＲ用付加色特性データＰＹＲ１、Ｇ用付加色特性データＰＹＧ１，Ｂ用付加色特性データＰＹＢ１の各色特性、および、Ｒ用付加色特性データＰＹＲ１、Ｇ用付加色特性データＰＹＧ１、Ｂ用付加色特性データＰＹＢ１をもとに生成される色の一例を示すグラフ ＣＣＵに搭載される図３の信号処理回路の第１動作例の動作手順を示す図 可視ＩＲ重畳処理部の第２構成例を示す図 ＣＣＵに搭載される図３の信号処理回路の第２動作例の動作手順を示す図 （Ａ）ＩＲ輝度レベルに応じた重み付け係数Ｋ（重み付け係数特性データＰＹ０、重み付け係数特性データＰＹ１、重み付け係数特性データＰＹ２）の特性の一例を示すグラフ、（Ｂ）Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１，Ｂ用メモリＭＢ１に設定するＲ用付加色特性データＰＹＲ１、Ｇ用付加色特性データＰＹＧ１、Ｂ用付加色特性データＰＹＢ１の各色特性、および、Ｒ用付加色特性データＰＹＲ１、Ｇ用付加色特性データＰＹＧ１、Ｂ用付加色特性データＰＹＢ１をもとに生成される色の一例を示すグラフ 重み付け係数生成部のハードウェア構成例を示す図 重み付け係数生成部をロジック回路（ハードウェア）で構成する場合の処理例を示す図 ＣＣＵに搭載される図３の信号処理回路の第３動作例の動作手順を示す図 一般的な医療用カメラにより生成された重畳映像の第１モニタあるいは第２モニタでの表示例を示す図 実施の形態１に係るＣＣＵにより生成された重畳映像の第１モニタあるいは第２モニタでの表示例を示す図
　以下、適宜図面を参照しながら、本開示に係る映像信号処理装置、映像信号処理方法および映像信号処理システムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（システム構成）
　図１は、映像信号処理システム１００のシステム構成例を示す図である。ここでは、映像信号処理システム１００のシステム構成例として、カメラヘッドと映像信号処理装置の一例としてのカメラ信号処理を行うＣＣＵとが分離されたヘッド分離型カメラの構成例として示す。
　映像信号処理システム１００は、例えば医療行為である手術あるいは検査の際に使用される。この種の医療行為前、被検体内には蛍光試薬の一例としてのＩＣＧ（インドシアニングリーン）が投与される。ＩＣＧは被検体内の患部に堆積する。医療行為の最中、ＩＣＧを蛍光発光させるための励起光が被検体内に照射されると、励起光によってＩＣＧが蛍光発光する。以下、被検体内は、映像信号処理システム１００による観察部位の一例である。
　映像信号処理システム１００は、例えばＩＣＧが蛍光発光した時に生じた近赤外光である蛍光の蛍光像をカメラヘッドＣＨ１において撮像するとともに、被検体内の患部周囲の可視光の可視光像をカメラヘッドＣＨ１において撮像する。さらに、映像信号処理システム１００は、カメラヘッドＣＨ１において撮像された可視光像に基づく可視映像信号に、カメラヘッドＣＨ１において撮像された蛍光像に基づくＩＲ（Ｉｎｆｒａｒｅｄ　Ｒａｙ）映像信号をＣＣＵ１０において重畳して出力する。この重畳の詳細については後述する。これにより、映像信号処理システム１００は、医師等の観察者による、被検体内のＩＣＧが投与された患部等の観察を効果的に支援できる。
　具体的には、映像信号処理システム１００は、カメラヘッドＣＨ１と、ＣＣＵ１０と、第１モニタＭＮ１と、第２モニタＭＮ２とを含む構成である。なお、第１モニタＭＮ１および第２モニタＭＮ２の両方が設けられなくてもよく、いずれか一方のモニタ（例えば第１モニタＭＮ１）だけが設けられてもよい。
　カメラヘッドＣＨ１は、カメラ部の一例であり、ＣＣＵ１０とケーブル（つまり有線）で接続される。カメラヘッドＣＨ１は、ビデオスコープ（例えば内視鏡用スコープ）からの被検体内からの光の光学像を電気信号に変換（つまり撮像）する。カメラヘッドＣＨ１の構成例は図２を参照して後述する。
　映像信号処理装置の一例としてのＣＣＵ１０は、カメラヘッドＣＨ１とケーブル（つまり有線）で接続されるとともに、第１モニタＭＮ１および第２モニタＭＮ２のそれぞれとケーブル（つまり有線）で接続される。ＣＣＵ１０は、カメラヘッドＣＨ１により撮像された可視光の信号に応じた所定の信号処理を施して可視映像信号（後述参照）を生成するとともに、カメラヘッドＣＨ１により撮像された蛍光（例えばＩＲ光）の信号に応じた所定の信号処理を施してＩＲ映像信号（後述参照）を生成する。また、ＣＣＵ１０は、蛍光（例えばＩＲ光）の信号の輝度レベルに基づいて変更可能な付加色をＩＲ映像信号に加色し、付加色が加色されたＩＲ映像信号を可視映像信号に重畳して重畳映像信号（後述参照）を生成する。ＣＣＵ１０の構成例は図３を参照して後述する。なお、カメラ部の一例としてのカメラヘッドＣＨ１と映像信号処理装置の一例としてのＣＣＵ１０とは、一体化された構成として設けられても構わない。
　第１モニタＭＮ１は、ＣＣＵ１０により生成された映像信号Ｖ４ａ（例えば、可視映像信号Ｖ３２、ＩＲ映像信号Ｖ３３、重畳映像信号Ｖ３１）を入力して表示する。
　第２モニタＭＮ２は、ＣＣＵ１０により生成された映像信号Ｖ４ｂ（例えば、可視映像信号Ｖ３２、ＩＲ映像信号Ｖ３３、重畳映像信号Ｖ３１）を表示する。
　図２は、カメラヘッドＣＨ１内のハードウェア構成例を示すブロック図である。カメラヘッドＣＨ１は、レンズ１と、分光プリズム３と、Ｒ（Ｒｅｄ）用センサ５ａと、Ｇ（Ｇｒｅｅｎ）用センサ５ｂと、Ｂ（Ｂｌｕｅ）用センサ５ｃと、ＩＲ用センサ５ｄと、カメラヘッド信号処理回路７とを少なくとも含む構成である。
　レンズ１は、分光プリズム３の対物側（先端側）に取り付けられ、被検体内の患部からの反射光である光Ｌ１（例えばＲＧＢ光ならびにＩＲ光）を入射して集光する。集光された光Ｌ２（例えばＲＧＢ光ならびにＩＲ光）は、分光プリズム３に入射する。
　光学部品の一例としての分光プリズム３は、レンズ１により集光された光Ｌ２を入射し、Ｒｅｄ光、Ｇｒｅｅｎ光、Ｂｌｕｅ光、ＩＲ光のそれぞれに分光する。つまり、分光プリズム３は、光Ｌ２のうち赤色（Ｒｅｄ）の波長帯を有するＲｅｄ光を分光するプリズムと、光Ｌ２のうち緑色（Ｇｒｅｅｎ）の波長帯を有するＧｒｅｅｎ光を分光するプリズムと、光Ｌ２のうち青色（Ｂｌｕｅ）の波長帯を有するＢｌｕｅ光を分光するプリズムと、光Ｌ２のうちＩＲの波長帯を有するＩＲ光を分光するプリズムとにより構成される。なお、分光プリズム３の構造としては、例えば特開２０２１－１３７５３号公報の図５に開示された構造でもよいし、他の公知な構造（例えばＲＧＢの３色に分光可能なプリズムの構造）でも構わない。
　Ｒ用センサ５ａは、例えば可視光のうちＲｅｄ光の撮像に適した複数の画素が配列されたＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサと、露光制御回路と、を少なくとも含む。Ｒ用センサ５ａは、カメラヘッド信号処理回路７からの制御信号Ｅｘ１に基づいて露光制御回路により定められる露光時間にわたって入射したＲｅｄ光を電気信号に変換する撮像処理を行う。Ｒ用センサ５ａは、撮像処理により得られた被検体内の患部（言い換えると、観察部位）のＲ（Ｒｅｄ）信号Ｓｇ１を生成してカメラヘッド信号処理回路７に出力する。
　Ｇ用センサ５ｂは、例えば可視光のうちＧｒｅｅｎ光の撮像に適した複数の画素が配列されたＣＣＤセンサまたはＣＭＯＳセンサと、露光制御回路と、を少なくとも含む。Ｇ用センサ５ｂは、カメラヘッド信号処理回路７からの制御信号Ｅｘ２に基づいて露光制御回路により定められる露光時間にわたって入射したＧｒｅｅｎ光を電気信号に変換する撮像処理を行う。Ｇ用センサ５ｂは、撮像処理により得られた被検体内の患部（言い換えると、観察部位）のＧ（Ｇｒｅｅｎ）信号Ｓｇ２を生成してカメラヘッド信号処理回路７に出力する。
　Ｂ用センサ５ｃは、例えば可視光のうちＢｌｕｅ光の撮像に適した複数の画素が配列されたＣＣＤセンサまたはＣＭＯＳセンサと、露光制御回路と、を少なくとも含む。Ｂ用センサ５ｃは、カメラヘッド信号処理回路７からの制御信号Ｅｘ３に基づいて露光制御回路により定められる露光時間にわたって入射したＢｌｕｅ光を電気信号に変換する撮像処理を行う。Ｂ用センサ５ｃは、撮像処理により得られた被検体内の患部（言い換えると、観察部位）のＢ（Ｂｌｕｅ）信号Ｓｇ３を生成してカメラヘッド信号処理回路７に出力する。
　ＩＲ用センサ５ｄは、例えばＩＲ光の撮像に適した複数の画素が配列されたＣＣＤセンサまたはＣＭＯＳセンサと、露光制御回路と、を少なくとも含む。ＩＲ用センサ５ｄは、カメラヘッド信号処理回路７からの制御信号Ｅｘ４に基づいて露光制御回路により定められる露光時間にわたって入射したＩＲ光を電気信号に変換する撮像処理を行う。ＩＲ用センサ５ｄは、公知の原色ベイヤ配列によるフィルタが配置されたイメージセンサにより構成されてよい。ＩＲ用センサ５ｄは、撮像処理により得られた被検体内の患部（言い換えると、観察部位）のＩＲ信号Ｓｇ４を生成してカメラヘッド信号処理回路７に出力する。
　カメラヘッド信号処理回路７には、Ｒ信号Ｓｇ１、Ｇ信号Ｓｇ２、Ｂ信号Ｓｇ３、ＩＲ信号Ｓｇ４を入力する。Ｒ信号Ｓｇ１、Ｇ信号Ｓｇ２、Ｂ信号Ｓｇ３、ＩＲ信号Ｓｇ４は、Ｒ用センサ５ａ、Ｇ用センサ５ｂ、Ｂ用センサ５ｃ、ＩＲ用センサ５ｄによりそれぞれ同時に撮像されてカメラヘッド信号処理回路７に入力される。カメラヘッド信号処理回路７は、Ｒ用センサ５ａ、Ｇ用センサ５ｂ、Ｂ用センサ５ｃ、ＩＲ用センサ５ｄの各センサを制御し、例えば各センサ出力の露光時間や各センサのゲインを制御するための制御信号Ｅｘ１、Ｅｘ２、Ｅｘ３、Ｅｘ４を生成してＲ用センサ５ａ、Ｇ用センサ５ｂ、Ｂ用センサ５ｃ、ＩＲ用センサ５ｄのそれぞれに出力する。Ｒ用センサ５ａ、Ｇ用センサ５ｂ、Ｂ用センサ５ｃ、ＩＲ用センサ５ｄのそれぞれは、カメラヘッド信号処理回路７からの制御信号Ｅｘ１、Ｅｘ２、Ｅｘ３、Ｅｘ４に基づいて各センサ出力の露光時間や各センサのゲインを制御する。また、カメラヘッド信号処理回路７は、Ｒ信号Ｓｇ１、Ｇ信号Ｓｇ２、Ｂ信号Ｓｇ３に基づいてＲＧＢ信号を生成し、ＣＣＵ１０に伝送するために伝送経路の信号帯域に応じてＲＧＢ信号およびＩＲ信号のそれぞれを差動信号等に変換してカメラヘッドＣＨ１に伝送する。
　なお、カメラヘッドＣＨ１に設けられるＲ用センサ５ａ、Ｇ用センサ５ｂ、Ｂ用センサ５ｃ、ＩＲ用センサ５ｄの代わりとして、次の複数の代替構成例のうちいずれか１つが設けられても構わない。
　具体的には、第１の代替構成例として、図２に示した４つのセンサ（つまり、Ｒ用センサ５ａ、Ｇ用センサ５ｂ、Ｂ用センサ５ｃ、ＩＲ用センサ５ｄ）ではなく、１つのセンサ（つまり、赤（Ｒ）／緑（Ｇｒ）／青（Ｂ）／緑（Ｇｂ）の４色のカラーフィルタが画素ごとに貼られているような単板ベイヤ配列のカラーフィルタが設けられたイメージセンサ）と１つのＩＲ用センサ５ｄとにより構成されてもよい。
　また、第２の代替構成例として、図２に示した４つのセンサ（つまり、Ｒ用センサ５ａ、Ｇ用センサ５ｂ、Ｂ用センサ５ｃ、ＩＲ用センサ５ｄ）ではなく、１つの可視用補色センサ（つまり、黄（Ｙｅ）／マゼンタ（Ｍｇ）／シアン（Ｃｙ）／緑（Ｇ）の４色のカラーフィルタが画素ごとに貼られているような単板補色イメージセンサ）と１つのＩＲ用センサ５ｄとにより構成してもよい。この場合、ＣＣＵ１０のＩＲカメラ信号処理部１３は、ＩＲ用センサ５ｄより撮像されたＩＲ光に基づいた輝度信号に相当するＩＲ映像信号Ｖ２を生成する。また、ＣＣＵ１０のＲＧＢカメラ信号処理部１２は、単板補色イメージセンサにより撮像された可視光の信号に基づいてＲＧＢ映像信号Ｖ１を生成する構成としても良い。
　また、第３の代替構成例として、図２に示した４つのセンサ（つまり、Ｒ用センサ５ａ、Ｇ用センサ５ｂ、Ｂ用センサ５ｃ、ＩＲ用センサ５ｄ）ではなく、例えば１つの赤（Ｒ）／緑（Ｇ）／青（Ｂ）／ＩＲのような画素構成を有する特殊な、一般的な単板ベイヤ配列に近いフィルタが設けられたイメージセンサにより構成してもよい。この場合、例えばカメラヘッド信号処理回路７は、センサ出力の映像信号からＩＲ信号を他のＲＧＢ信号と分離し、可視光（ＲＧＢ）成分、ＩＲ光成分の映像信号を生成する構成としても良い。これにより、他の可視光の信号はＣＣＵ１０のＲＧＢカメラ信号処理部１２に入力可能となり、ＩＲ信号はＣＣＵ１０のＩＲカメラ信号処理部１３に入力可能となる。この場合、ＣＣＵ１０のＩＲカメラ信号処理部１３は、ＩＲ画素より撮像されたＩＲ光に基づいた輝度信号に相当するＩＲ映像信号Ｖ２を生成する。ＲＧＢカメラ信号処理部１２は、カメラヘッドＣＨ１から入力された他の可視光の信号に基づいてＲＧＢ映像信号Ｖ１を生成する。
　また、第４の代替構成例として、図２に示した４つのセンサ（つまり、Ｒ用センサ５ａ、Ｇ用センサ５ｂ、Ｂ用センサ５ｃ、ＩＲ用センサ５ｄ）ではなく、１つの色フィルタセンサ（つまり、黄（Ｙｅ）／マゼンタ（Ｍｇ）／シアン（Ｃｙ）／緑（Ｇ）／ＩＲの５画素を基準とした色フィルタが設けられたイメージセンサ）により構成されてもよい。この場合、例えばカメラヘッド信号処理回路７は、センサ出力の映像信号からＩＲ信号成分を他の可視光の信号成分から分離し、可視光（ＲＧＢ）成分、ＩＲ光成分の映像信号を生成する。これにより、他の可視光の信号はＣＣＵ１０のＲＧＢカメラ信号処理部１２に入力可能となり、ＩＲ信号はＣＣＵ１０のＩＲカメラ信号処理部１３に入力可能となる。この場合、ＣＣＵ１０のＩＲカメラ信号処理部１３はＩＲ画素より撮像されたＩＲ光に基づいた輝度信号に相当するＩＲ映像信号Ｖ２を生成する。ＲＧＢカメラ信号処理部１２は、カメラヘッドＣＨ１から入力された他の可視光の信号に基づいてＲＧＢ映像信号Ｖ１を生成する。
　図３は、ＣＣＵ１０内のハードウェア構成例を示すブロック図である。ＣＣＵ１０は、本開示に係る映像信号処理装置の一例であり、信号処理回路１１を少なくとも含む構成である。ＣＣＵ１０は、信号の入出力伝送が可能となるようにカメラヘッドＣＨ１と接続されるとともに、信号の出力伝送が可能となるように第１モニタＭＮ１および第２モニタＭＮ２と接続される。
　信号処理回路１１は、カメラヘッドＣＨ１から伝送されたＲＧＢ信号、ＩＲ信号をそれぞれ入力する。信号処理回路１１は、ＲＧＢカメラ信号処理部１２と、ＩＲカメラ信号処理部１３と、可視ＩＲ重畳処理部１４と、出力処理部１５とを含む。
　ＲＧＢカメラ信号処理部１２（可視映像生成部の一例）は、信号処理回路１１に入力されたＲＧＢ信号（可視光の信号の一例）に所定のＲＧＢカメラ信号処理（例えばゲイン調整、ホワイトバランス、ガンマ補正、輪郭強調補正などの信号処理）を施して３系統の信号からなるＲＧＢ映像信号Ｖ１（可視映像信号の一例）を生成する。ＲＧＢ映像信号Ｖ１は、カラーの映像信号となる。なお、所定のＲＧＢカメラ信号処理の例は、上述したものに限定されないし、上述したもの全てを実行しなくてもよい。ＲＧＢカメラ信号処理部１２は、生成されたＲＧＢ映像信号Ｖ１を可視ＩＲ重畳処理部１４に送る。
　ＩＲカメラ信号処理部１３（ＩＲ映像生成部の一例）は、信号処理回路１１に入力されたＩＲ信号（ＩＲ光の信号の一例）に所定のＩＲカメラ信号処理（例えばゲイン調整、ガンマ補正、輪郭強調補正）を施してＩＲ映像信号Ｖ２を生成する。ＩＲ映像信号Ｖ２は、白黒の映像信号となる。なお、所定のＩＲカメラ信号処理の例は、上述したものに限定されないし、上述したもの全てを実行しなくてもよい。ＩＲカメラ信号処理部１３は、生成されたＩＲ映像信号Ｖ２を可視ＩＲ重畳処理部１４に送る。
　可視ＩＲ重畳処理部１４（映像重畳部の一例）は、重み付け係数生成部１４１（図４参照）からの重み付け係数Ｋを用いて、ＲＧＢカメラ信号処理部１２から送られたＲＧＢ映像信号Ｖ１に、ＩＲカメラ信号処理部１３から送られたＩＲ映像信号Ｖ２を重畳する重畳処理を行って重畳映像信号Ｖ３１を生成して出力処理部１５に送る。例えば、可視ＩＲ重畳処理部１４の出力であるＩＲ映像信号Ｖ２とＲＧＢ映像信号Ｖ１を合成した映像信号（ＩＲｍｉｘ）である重畳映像信号Ｖ３１は、以下の式（１）にしたがって上述した重畳処理を行う。式（１）では、重畳映像信号Ｖ３１をＩＲｍｉｘ、ＲＧＢ映像信号Ｖ１、ＩＲ映像信号Ｖ２、ＲＧＢ映像信号Ｖ１とＩＲ映像信号Ｖ２とを合成する際の重み付け係数をＫとして示している。また、式（１）において、重み付け係数Ｋは、０≦Ｋ≦１である。
Figure JPOXMLDOC01-appb-M000001
　したがって、重み付け係数Ｋが１に近づくほどＩＲ映像信号Ｖ２の占める割合が大きくなり、重畳映像信号Ｖ３１において、背景部分に相当するＲＧＢ映像信号Ｖ１に対して相対的に患部部分に相当するＩＲ映像信号Ｖ２が強調される。一方、重み付け係数Ｋが０に近づくほどＩＲ映像信号Ｖ２の占める割合が小さくなり、重畳映像信号Ｖ３１において、患部部分に相当するＩＲ映像信号Ｖ２に対して相対的にＲＧＢ映像信号Ｖ１が強調される。
　特に、可視ＩＲ重畳処理部１４は、ＩＲ映像信号Ｖ２の輝度レベルもしくはＩＲ信号の強度に基づいて、白黒のＩＲ映像信号Ｖ２をカラーの映像信号に変換するための着色用の付加色（図５（Ｂ）参照）を決定する。可視ＩＲ重畳処理部１４は、この決定された付加色を輝度成分のみの白黒のＩＲ映像信号Ｖ２に加色（着色）してカラーの映像信号に変換し、この変換されたカラーの映像信号をＲＧＢ映像信号Ｖ１に重畳する。図５（Ｂ）に示すように、付加色は、例えばＩＲ映像信号Ｖ２の輝度レベルが一定値（例えば１２０）未満では輝度成分のみの白黒のＩＲ映像信号Ｖ２に着色は施されないが、ＩＲ映像信号Ｖ２の輝度レベルが上述した一定値である１２０を超えて上限値（例えば１０２３）に向かって大きくなると、図５（Ｂ）下部に示すように色温度の低い色（例えば青色）から色温度の高い色（例えば赤色）に徐々に色温度が高くなる色が選択されて着色される。
　このカラーの映像信号への変換の意義は、輝度成分のみの白黒のＩＲ映像信号Ｖ２が第１モニタＭＮ１および第２モニタＭＮ２のうち少なくとも一方に仮に表示されると、蛍光試薬（例えばＩＣＧ）の蛍光発光部分が単色（例えば白色）あるいは白色から黒色までの階調色で示されるだけであって蛍光発光部分の輝度レベルだけの差では医師等のユーザが患部の状態を明確に把握しづらいことに起因する。付加色の詳細については、図５（Ａ）および図５（Ｂ）を参照して後述する。なお、可視ＩＲ重畳処理部１４は、ＲＧＢカメラ信号処理部１２から送られたＲＧＢ映像信号Ｖ１、ＩＲカメラ信号処理部１３から送られたＩＲ映像信号Ｖ２を入力してそのまま可視（ＲＧＢ）映像信号Ｖ３２、ＩＲ映像信号Ｖ３３としてそれぞれ出力処理部１５に送ってもよい。
　出力処理部１５は、可視ＩＲ重畳処理部１４により生成された重畳映像信号Ｖ３１、可視（ＲＧＢ）映像信号Ｖ３２、ＩＲ映像信号Ｖ３３のうちいずれかを映像信号Ｖ４ａ，Ｖ４ｂとして選択して切り替え、第１モニタＭＮ１に向けて映像信号Ｖ４ａを出力して表示させ、さらに、第２モニタＭＮ２に向けて映像信号Ｖ４ｂを出力して表示させる。
（重畳処理の第１構成例および第１動作例）
　図４は、可視ＩＲ重畳処理部の第１構成例を示す図である。図５（Ａ）は、ＩＲ輝度レベルに応じた重み付け係数Ｋ（重み付け係数特性データＰＹ０）の特性の一例を示すグラフである。図５（Ｂ）は、Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１に設定するＲ用付加色特性データ、Ｇ用付加色特性データＰＹＧ１，Ｂ用付加色特性データＰＹＢ１の各色特性、および、Ｒ用付加色特性データＰＹＲ１、Ｇ用付加色特性データＰＹＧ１、Ｂ用付加色特性データＰＹＢ１をもとに生成される色の一例を示すグラフである。図６は、ＣＣＵ１０に搭載される信号処理装置の第１動作例の動作手順を示す図である。
　可視ＩＲ重畳処理部１４は、重み付け係数生成部１４１と、Ｒ（Ｒｅｄ）用メモリＭＲ１と、Ｇ（Ｇｒｅｅｎ）用メモリＭＧ１と、Ｂ（Ｂｌｕｅ）用メモリＭＢ１と、乗算器ＰＬＹ１と、乗算器ＰＬＹ２と、加算器ＡＤＤ１とを含む構成である。乗算器ＰＬＹ１、乗算器ＰＬＹ２は、ＲＧＢのそれぞれに対応した計３個の乗算器により構成される。加算器ＡＤＤ１も同様に、ＲＧＢのそれぞれに対応した計３個の加算器により構成される。
　重み付け係数生成部１４１は、重み付け係数特性データＰＹ０を保存し、ＩＲカメラ信号処理部１３から送られたＩＲ映像信号Ｖ２に基づいて、可視ＩＲ重畳処理部１４が行う重畳処理（後述参照）の対象となるＲＧＢ映像信号Ｖ１とＩＲ映像信号Ｖ２を元に生成したＲ（Ｒｅｄ）用メモリＭＲ１出力と、Ｇ（Ｇｒｅｅｎ）用メモリＭＧ１出力と、Ｂ（Ｂｌｕｅ）用メモリＭＢ１出力との合成割合を制御するための重み付け係数Ｋを生成する。
　ＩＲ映像信号Ｖ２に輝度レベルに応じた付加色データを格納するためのＲ（Ｒｅｄ）用メモリＭＲ１は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）メモリにて構成し、予め図５（Ｂ）に示すような付加色の一つである赤（Ｒ）色用のＲ用付加色特性データＰＹＲ１を保存しておく。Ｒ（Ｒｅｄ）用メモリＭＲ１では、予め設定したＲ用付加色特性データＰＹＲ１の特性に基づき、ＩＲ映像信号Ｖ２の画素ごとの輝度レベル入力に応じてＲ用メモリＭＲ１に格納されたＲ用付加色特性データＰＹＲ１のデータを出力し、出力信号を乗算器ＰＬＹ２に入力する。
　ＩＲ映像信号Ｖ２の輝度レベルに応じた付加色データを格納するためのＧ（Ｇｒｅｅｎ）用メモリＭＲ１は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）メモリにて構成し、予め図５（Ｂ）に示すような付加色の一つである緑（Ｇ）色用のＧ用付加色特性データＰＹＧ１を保存しておく。Ｇ（Ｇｒｅｅｎ）用メモリＭＧ１では、予め設定したＧ用付加色特性データＰＹＧ１の特性に基づき、ＩＲ映像信号Ｖ２の画素ごとの輝度レベル入力に応じてＧ用メモリＭＧ１に格納されたＧ用付加色特性データＰＹＧ１のデータを出力し、出力信号を乗算器ＰＬＹ２に入力する。
　ＩＲ映像信号Ｖ２の輝度レベルに応じた付加色データを格納するためのＢ（Ｂｌｕｅ）用メモリＭＢ１は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）メモリにて構成し、予め図５（Ｂ）に示すような付加色の一つである青（Ｂ）色用のＢ用付加色特性データＰＹＢ１を保存しておく。Ｂ（Ｂｌｕｅ）用メモリＭＢ１では、予め設定したＢ用付加色特性データＰＹＢ１の特性に基づき、ＩＲ映像信号Ｖ２の画素ごとの輝度レベル入力に応じてＢ用メモリＭＢ１に格納されたＢ用付加色特性データＰＹＢ１のデータを出力し、出力信号を乗算器ＰＬＹ２に入力する。
　乗算器ＰＬＹ１は、図３に示すＲＧＢ映像信号Ｖ１に相当する可視光（Ｒ）、可視光（Ｇ）、可視光（Ｂ）の各色成分ごとの映像信号に対応するため、図４に示すように３つの乗算器により構成され、可視光（Ｒ）、可視光（Ｇ）、可視光（Ｂ）の各色成分ごとに各重み付け係数（１－Ｋ）を乗算する処理を行って加算器ＡＤＤ１に入力する。
　乗算器ＰＬＹ２は、３つの乗算器により構成され、Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１の各出力に対して、それぞれ重み付け係数Ｋを乗算する処理を行って加算器ＡＤＤ１に入力する。
　図４に示す加算器ＡＤＤ１では、乗算器ＰＬＹ１、ＰＬＹ２のそれぞれの出力を加算する。これにより、重み付け係数（１－Ｋ）が乗算された乗算器ＰＬＹ１出力のＲＧＢ映像信号Ｖ１に相当する可視光映像信号（可視光Ｒ、可視光Ｇ、可視光Ｂ）とＩＲ映像信号Ｖ２を元にＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１により付加色処理され、さらに重み付け係数（１－Ｋ）が乗算された乗算器ＰＬＹ２出力とが重み付け係数Ｋにより、適切な割合で合成された、図４に示すＩＲｍｉｘＲ（Ｒ＋ＩＲ）映像、ＩＲｍｉｘＧ（Ｇ＋ＩＲ）映像、ＩＲｍｉｘＢ（Ｂ＋ＩＲ）映像を生成することができる。
　ここで、図５（Ａ）および図５（Ｂ）を参照して重み付け係数特性データＰＹ０ならびにＲ用付加色特性データＰＹＲ１，Ｇ用付加色特性データＰＹＧ１，Ｂ用付加色特性データＰＹＢ１について説明する。
　図５（Ａ）に示す重み付け係数特性データＰＹ０は、ＩＲ映像信号Ｖ２の輝度レベルに応じて、重み付け係数Ｋが０から１まで変化する特性を示すデータである。図５（Ａ）の例では、重み付け係数特性データＰＹ０の特性図に示すＩＲ映像信号Ｖ２の輝度レベルが０から１２０までは重み付け係数Ｋ＝０であり、ＩＲ映像信号Ｖ２の輝度レベルが１２０付近から３３０までは一次関数的に重み付け係数Ｋが単調増加し、ＩＲ映像信号Ｖ２の強度が３３０から１０２３までは重み付け係数Ｋ＝１となっている。
　Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１に格納されている各色ごとの付加色特性データは、ＩＲ映像信号Ｖ２の輝度レベルによって、図４に示す乗算器ＰＬＹ２を介して、重み付け係数Ｋによって制御される。ＩＲ映像信号Ｖ２の輝度レベルに応じて次のそれぞれの出力が変化する。
　Ｒ用メモリＭＲ１に赤（Ｒ）成分のデータ
　Ｇ用メモリＭＧ１に緑（Ｇ）成分のデータ
　Ｂ用メモリＭＢ１に青（Ｂ）成分のデータ
　図５（Ｂ）に示すＲ用付加色特性データＰＹＲ１，Ｇ用付加色特性データＰＹＧ１，Ｂ用付加色特性データＰＹＢ１は、Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１に格納する各付加色のデータ特性を示している。
　Ｒ用メモリＭＲ１には、ＩＲ映像信号を赤（Ｒ）成分の可視映像に変換して乗算器ＰＬＹ１出力の赤（Ｒ）成分の可視映像に重畳するために使用するＲ用付加色特性データＰＹＲ１が保持される。
　Ｇ用メモリＭＧ１には、ＩＲ映像信号を緑（Ｇ）成分の可視映像に変換して乗算器ＰＬＹ１出力の緑（Ｇ）成分の可視映像に重畳するために使用するＧ用付加色特性データＰＹＧ１が保持される。
　Ｂ用メモリＭＢ１には、ＩＲ映像信号を青（Ｂ）成分の可視映像に変換して乗算器ＰＬＹ１出力の青（Ｂ）成分の可視映像に重畳するために使用するＢ用付加色特性データＰＹＢ１が保持される。
　図５（Ｂ）の例では、入力のＩＲ映像信号Ｖ２のＩＲ輝度レベルに応じて徐々にＩＲ映像信号を青色～緑色～黄色～赤色に着色、変化するような特性データを予めＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１に設定している。これにより、ＩＲ映像信号Ｖ２の輝度レベルに応じて、Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１の各出力が変化する。
　例えば、入力のＩＲ映像信号Ｖ２の輝度レベルが１２０以下であれば、Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１の各出力は０、ＩＲ映像信号Ｖ２の輝度レベルが１２０より青（Ｂ）成分がＢ用メモリＭＢ１から出力され、ＩＲ映像信号Ｖ２の輝度レベルが３３０より緑（Ｇ）成分がＧ用メモリＭＧ１から出力され、ＩＲ映像信号Ｖ２の輝度レベルが６４０より赤（Ｒ）成分がＲ用メモリＭＲ１から出力される。
　このようにＩＲ映像信号Ｖ２の輝度レベルに応じて青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分が変化することにより、Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１の各出力の青（Ｂ）成分、緑（Ｇ）成分、赤（Ｒ）成分の比に応じて色相が変化し、Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１の出力レベルにより色の濃淡を制御することでＩＲ映像信号Ｖ２の輝度レベルに応じてＩＲ映像信号Ｖ２を青色～緑色～黄色～赤色のような各色の濃淡を加味した付加色に変換することができる。
　さらに、可視ＩＲ重畳処理部１４は、このＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１の各色データの出力に対して重み付け係数Ｋにて可視光映像に対するＩＲ重畳の割合を決定する。
　図４に示すように各Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１の出力は、さらに乗算器ＰＬＹ２にて重み付け係数Ｋによって出力レベルが制御され、もう一方の可視光側の映像信号（可視光ＲＧＢ）は乗算器ＰＬＹ１にて重み付け係数（１－Ｋ）によって出力レベルが制御される。
　したがって、図４の加算器ＡＤＤ１出力の各映像信号である、ＩＲｍｉｘＲ（Ｒ＋ＩＲ）映像、ＩＲｍｉｘＧ（Ｇ＋ＩＲ）映像、ＩＲｍｉｘＢ（Ｂ＋ＩＲ）映像は、可視光映像の乗算器ＰＬＹ１の出力にＩＲ映像を青色～緑色～黄色～赤色のような各色の濃淡を加味した付加色にカラー変換した乗算器ＰＬＹ２の出力の映像が加算（合成）された映像として生成されると同時に重み付け係数Ｋによって、可視映像に対するＩＲ映像の割合が制御された映像として生成することができる。
　図６は、ＣＣＵ１０に搭載される信号処理回路１１の第１動作例の動作手順を示す図である。図６を用いて図３の可視ＩＲ重畳処理部１４相当の処理について補足説明する。
　図６において、ステップＳｔ１の処理は図３のＲＧＢカメラ信号処理部１２が行う処理に相当し、ＲＧＢカメラ信号処理部１２は、図２のカメラヘッドＣＨ１からのＲＧＢ信号にガンマ補正、輪郭補正などのＲＧＢカメラ信号処理を施してＲＧＢ映像信号Ｖ１相当の（ＲＧＢ１００％）可視映像信号を生成する。ステップＳｔ２の処理は図３のＩＲカメラ信号処理部１３が行う処理に相当し、ＩＲカメラ信号処理部１３は、図２のカメラヘッドＣＨ１からのＩＲ信号にガンマ補正、輪郭補正などのＩＲカメラ信号処理を施してＩＲ映像信号Ｖ２相当のＩＲ（１００％）映像信号を生成する。
　図６において、ステップＳｔ３の処理は図４の重み付け係数生成部１４１が行う重み付け係数Ｋ生成処理に相当し、重み付け係数生成部１４１には、ステップＳｔ２のＩＲカメラ信号処理により図３のＩＲカメラ信号処理部１３から出力されたＩＲ映像信号を入力し、その入力されたＩＲ映像信号と図５（Ａ）に示す重み付け係数特性データＰＹ０の特性と、を元にしてからステップＳｔ２の出力のＩＲ映像信号の画素ごとの輝度レベルに応じた重み付け係数Ｋを生成する。
　図６において、ステップＳｔ４の処理は図４に示す重み付け係数生成部１４１が行う（１－Ｋ）生成処理に相当し、可視ＩＲ重畳処理部１４は、図６のステップＳｔ３で生成された画素ごとの重み付け係数Ｋをもとに、重み付け係数（１－Ｋ）を画素ごとに演算して生成する。
　図６において、ステップＳｔ５の処理は図４の可視ＩＲ重畳処理部１４の乗算器ＰＬＹ１が行う乗算処理に相当し、可視ＩＲ重畳処理部１４は、ステップＳｔ４で生成された演算された画素ごとの重み付け係数（１－Ｋ）を、ステップＳｔ１出力のＲＧＢカメラ信号可視映像出力（図３のＲＧＢカメラ信号処理部１２出力のＲＧＢ映像信号Ｖ１に相当）の対応する画素と乗算処理する。これにより、乗算器ＰＬＹ１は、図６のＲＧＢ（１－Ｋ）を生成する。
　図６において、ステップＳｔ６の処理は図４に示すＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１の各メモリ出力に相当する信号を生成する。ステップＳｔ６では、ステップＳｔ２の出力のＩＲ映像信号の輝度レベルを元に付加色特性データをＲ用メモリＭＲ１、Ｇ用メモリＭＧ１，Ｂ用メモリＭＢ１の各メモリに保持している図５（Ｂ）に示すＲ用付加色特性データＰＹＲ１、Ｇ用付加色特性データＰＹＧ１、Ｂ用付加色特性データＰＹＢ１を出力し、ＩＲ映像信号に加色するべき付加色（例えば赤、緑、青）の色割合（色相および色の濃淡）を決定する。
　図６において、ステップＳｔ７の処理は図４の可視ＩＲ重畳処理部１４の乗算器ＰＬＹ２が行う乗算処理に相当し、可視ＩＲ重畳処理部１４は、ステップＳｔ３で決定された画素ごとの重み付け係数Ｋに基づき、ステップＳｔ６出力のＩＲ映像信号の画素ごとに付加色変換された後の映像信号に対し、重み付け係数Ｋとの乗算処理を実行する。これにより、乗算器ＰＬＹ２は、図６のＫ（ＩＲ）を生成する。
　図６において、ステップＳｔ８の処理は図４の可視ＩＲ重畳処理部１４の加算器ＡＤＤ１が行う加算処理に相当し、ステップＳｔ５出力の重み付け係数（１－Ｋ）で重み付けされた可視映像であるＲＧＢ（１－Ｋ）と、ステップＳｔ７出力のＩＲ映像に対して付加色処理および重み付け係数Ｋにより重み付されたＩＲ映像をもとに生成したＫ（ＩＲ）と、を加算する。これにより、前述の（式１）相当の処理が実施され、図４の可視ＩＲ重畳処理部１４の加算器ＡＤＤ１出力ではＩＲｍｉｘ（Ｒ+ＩＲ）およびＩＲｍｉｘ（Ｇ＋ＩＲ）およびＩＲｍｉｘ（Ｂ＋ＩＲ）が生成され、図３に示す可視ＩＲ重畳処理部１４出力のＭＩＸ（ＲＧＢ＋ＩＲ）相当の映像を生成することができる。
　また、ステップＳｔ１出力の（ＲＧＢ１００％）可視映像信号を図３のＲＧＢカメラ信号処理部１２から出力されるＲＧＢ映像信号Ｖ１相当の可視（ＲＧＢ）映像信号Ｖ３２として出力、ステップＳｔ２出力のＩＲ映像信号（ＩＲ１００％）を図３のＩＲカメラ信号処理部１３から出力されるＩＲ映像信号Ｖ２相当のＩＲ映像信号Ｖ３３として出力し、出力できるようにする。これにより、図３の可視ＩＲ重畳処理部１４からの出力同等の映像出力を生成することができる。
　これにより、単に被検体内の特に病巣の患部のＩＣＧ等の蛍光試薬が堆積する箇所の励起光を図２のＩＲ用センサ５ｄにて取得し、ＩＲ映像信号Ｖ３３として生成したＩＲ映像としての映像だけでなく、可視（ＲＧＢ）映像信号Ｖ１と付加色（カラー）化したＩＲ映像を合成した重畳映像信号Ｖ３１としても生成できる。
　さらに図３の出力処理部１５では、映像信号Ｖ４ａを介して第１モニタＭＮ１、映像信号Ｖ４ｂを介して第２モニタＭＮ２に表示する映像を、可視（ＲＧＢ）映像信号Ｖ３２、ＩＲ映像信号Ｖ３３、重畳映像信号Ｖ３１の中から任意に選択できるようにする。これにより、医師等のユーザが自由に選択できるようにし、医師等のユーザは第１モニタＭＮ１には重畳映像信号Ｖ３１（つまり、ＭＩＸ（ＲＧＢ＋ＩＲ）映像）、第２モニタＭＮ２には可視（ＲＧＢ）映像信号Ｖ３２を出力するなど、常時、両方の映像を選択、比較することで表示できる状態にしておくことで、病巣の患部状況を重畳映像信号Ｖ３１（つまり、図６のＭＩＸ（ＲＧＢ＋ＩＲ）映像相当、図７のＡＤＤ１出力相当）だけでなく、可視（ＲＧＢ）映像信号Ｖ３２からも、病巣の患部の状態を詳細に把握しつつ、医療行為を行うことができるようにしておく。
　また、重畳映像信号Ｖ３１（つまり、図６のＭＩＸ（ＲＧＢ＋ＩＲ）映像、図７の加算器ＡＤＤ１出力相当）は、ＩＲの輝度レベルに応じて色合（色調）や色の濃淡を表現できるため、ＩＲ光の輝度レベルが高い傾向がある蛍光試薬が堆積する箇所の輝度レベルに応じて、例えばＩＲの輝度レベルが高いほど濃い赤色、輝度レベルが低いほど濃い青色等、重畳映像信号Ｖ３１（つまり、図６のＭＩＸ（ＲＧＢ＋ＩＲ）映像、図７の加算器ＡＤＤ１出力相当）のＩＲの付加色を設定することで、医師等のユーザは、病巣の中心部を特定し易くなり、視覚的に直感的に把握できるため、医療行為の安全性向上や侵襲な手術等の実現に寄与することができ、手術対象の患者にとっては、病巣の患部の核となる部分のみ切除できる可能性が高くなることで身体への負担を軽減することができる。
（重畳処理の第２構成例および第２動作例）
　図７は、可視ＩＲ重畳処理部の第２構成例を示す図である。図８は、ＣＣＵ１０に搭載される図３の信号処理回路１１の第２動作例の動作手順を示す図である。図７および図８の説明において、図４および図６の構成あるいは処理と同一の内容のものには同一の符号あるいはステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
　図７に示す可視ＩＲ重畳処理部１４Ａは、重み付け係数生成部１４１Ａと、マイクロプロセッサ１４３と、Ｒ（Ｒｅｄ）用メモリＭＲ１と、Ｇ（Ｇｒｅｅｎ）用メモリＭＧ１と、Ｂ（Ｂｌｕｅ）用メモリＭＢ１と、乗算器ＰＬＹ１と、乗算器ＰＬＹ２と、加算器ＡＤＤ１とを含む構成である。乗算器ＰＬＹ１、乗算器ＰＬＹ２は、ＲＧＢのそれぞれに対応した計３個の乗算器により構成される。加算器ＡＤＤ１も同様に、ＲＧＢのそれぞれに対応した計３個の加算器により構成される。
　重み付け係数生成部１４１Ａは、図５（Ａ）に示す重み付け係数特性データＰＹ０を保存し、ＩＲカメラ信号処理部１３から送られたＩＲ映像信号Ｖ２に基づいて、可視ＩＲ重畳処理部１４Ａが行う重畳処理（後述参照）の対象となるＲＧＢ映像信号Ｖ１とＩＲ映像信号Ｖ２との合成割合を制御するための重み付け係数Ｋを生成する。
　マイクロプロセッサ１４３は、いわゆるＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、医師等のユーザ操作が重み付け係数Ｋの特性や重み付け係数ＫおよびＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１用のＲ用付加色特性データＰＹＲ１，Ｇ用付加色特性データＰＹＧ１，Ｂ用付加色特性データＰＹＢ１を任意に操作できるようにするために設けられる。マイクロプロセッサ１４３は、ＩＲ映像信号Ｖ２の輝度レベルに応じた重み付け係数Ｋに相当する重み付け係数特性データＰＹ０（図５（Ａ）参照）が示す特性のユーザ操作による変更を受け付ける。マイクロプロセッサ１４３は、このユーザ操作に応じて、重み付け係数特性データＰＹ０（図５（Ａ）参照）が示す特性を変更する。例えば重み付け係数Ｋの重み付け係数特性データＰＹ０が図５（Ａ）ではＩＲ輝度レベル＝１２０付近から増加を開始している特性をＩＲ輝度レベル＝１００から増加開始とし、さらに増加する際の傾きの特性を急俊にすれば、その分、ＩＲ映像の輝度レベルが低いレベルでも付加色されたＩＲ映像が可視ＩＲ重畳映像にとして反映され、重畳色の変化も急峻にすることができる。また、その逆に重み付け係数特性データＰＹ０が増加を開始する特性として２８０、増加する際の傾きを緩やかにすれば、その分、ＩＲ映像の輝度レベルが高いレベルでＩＲ映像が可視ＩＲ重畳映像に反映され、重畳色の変化も緩やかにすることができる。
　ここでは重み付け係数Ｋの重み付け係数特性データＰＹ０を変化させる例を示したが、図５（Ｂ）に示すＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１用のＲ用付加色特性データＰＹＲ１，Ｇ用付加色特性データＰＹＧ１，Ｂ用付加色特性データＰＹＢ１の特性を変更することにより、同様に可視ＩＲ重畳映像へのＩＲ映像の色合いや濃淡を制御することができる。また重み付け係数Ｋの重み付け係数特性データＰＹ０とＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１の両方を制御して同様に可視ＩＲ重畳映像へのＩＲ像の色合いや濃淡を制御することもできる。マイクロプロセッサ１４３は、ユーザ操作に基づく、この変更後の新たな重み付け係数特性データを重み付け係数生成部１４１Ａに送信するとともに、この変更後の新たなＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１データの特性データをＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１に送信する。
　図８に示す処理ではマイクロプロセッサ１４３から送られたユーザ操作による変更後の重み付け係数特性データＰＹ０をステップＳｔ３Ａで使用されるように反映し、またユーザ操作による変更後のＲ用メモリＭＲ１、Ｇ用メモリＭＧ１、Ｂ用メモリＭＢ１用のＲ用付加色特性データＰＹＲ１，Ｇ用付加色特性データＰＹＧ１，Ｂ用付加色特性データＰＹＢ１データの使用をステップＳｔ６Ａにて取込み、ステップＳｔ７での（図７の乗算器ＰＬＹ２相当）への演算への入力に使用されるように反映される。
　さらにステップＳｔ７（図７の乗算器ＰＬＹ２相当）での演算が行われるステップＳｔ７ではユーザ操作による変更後の重み付け係数特性データＰＹ０およびユーザ操作による変更後が反映されたＲ用付加色特性データＰＹＲ１，Ｇ用付加色特性データＰＹＧ１，Ｂ用付加色特性データＰＹＢ１が反映されたカラー変換後を乗算することで図８に示す信号Ｋ（ＩＲ）を生成し、ステップＳｔ５（図７の乗算器ＰＬＹ１相当）ではユーザ操作による変更後の重み付け係数特性データＰＹ０を元にしたステップＳｔ４出力の図８に示すＲＧＢ可視映像の合成を制御するための（１－Ｋ）とステップＳｔ１出力のＲＧＢ可視映像とを乗算し、図８に示すＲＧＢ（１－Ｋ）映像を生成する。
　ステップＳｔ７（図７の乗算器ＰＬＹ２相当）の出力と付加色変換後のカラー変換後の図８の信号Ｋ（ＩＲ）とをステップＳｔ５出力（図７の乗算器ＰＬＹ１相当）の図８に示すＲＧＢ（１－Ｋ）とを図８のステップＳｔ８において加算器ＡＤＤ１にて加算（合成）することで、図８に示すＭＩＸ（ＲＧＢ＋ＩＲ）映像を生成する。
　これにより、医師等のユーザは任意に重み付け係数Ｋおよび付加色の各特性を任意に変更することができるため、ユーザの好みに合わせてＩＲ重畳映像の表示色、色の濃さ等の表示態様を任意に変更できる。
　図９（Ａ）は、ＩＲ輝度レベルに応じた重み付け係数Ｋ（重み付け係数特性データＰＹ０、重み付け係数特性データＰＹ１、重み付け係数特性データＰＹ２）の特性の一例を示すグラフである。図９（Ｂ）は、Ｒ用メモリＭＲ１、Ｇ用メモリＭＧ１，Ｂ用メモリＭＢ１に設定するＲ用付加色特性データＰＹＲ１、Ｇ用付加色特性データＰＹＧ１、Ｂ用付加色特性データＰＹＢ１の各色特性、および、Ｒ用付加色特性データＰＹＲ１、Ｇ用付加色特性データＰＹＧ１、Ｂ用付加色特性データＰＹＢ１をもとに生成される色の一例を示すグラフである。図９（Ａ），図９（Ｂ）の説明において、図５（Ａ），図５（Ｂ）の構成あるいは処理と同一の内容のものには同一の符号あるいはステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
　図５（Ａ）との違いは、図９（Ａ）では重み付け係数Ｋが０から２５５までの多段階階調を有する点である。つまり、本実施の形態において重み付け係数Ｋは常に０から１までの値をとる必要はなく、図９（Ａ）に示すように多段階（例えば２５６段階）の階調を有する値であってもよい。図９（Ａ）の例では、重み付け係数特性データＰＹ０（図５（Ａ）参照）の他に、重み付け係数特性データＰＹ１，ＰＹ２が示されている。
　重み付け係数特性データＰＹ１は、重み付け係数特性データＰＹ０が示す特性に比べ、ＩＲ映像信号Ｖ２の重畳を開始する時のＩＲ映像信号Ｖ２の輝度レベルを高輝度側にシフトされた特性となっている。重み付け係数特性データＰＹ０では、ＩＲ映像信号Ｖ２の重畳を開始する時のＩＲ映像信号Ｖ２の輝度レベルは１２０付近であったが、重み付け係数特性データＰＹ１では、ＩＲ映像信号Ｖ２の重畳を開始する時のＩＲ映像信号Ｖ２の輝度レベルは２８０付近となっている。
　このような場合は、例えば図２のＩＲ用センサ５ｄ出力の輝度レベルが著しく高い場合に、ＩＲｍｉｘ（ＲＧＢ＋ＩＲ）信号へのＩＲ映像の可視ＲＧＢ映像への重畳開始する基準とするＩＲ輝度レベルが低く抑えることで、ＩＲ光の輝度レベルが２８０を超えないと、図８のＩＲｍｉｘ（ＲＧＢ＋ＩＲ）信号生成時へのＩＲ映像のＩＲｍｉｘ信号の中でＩＲ映像が重畳されないようにする。これによりＩＲ光の輝度レベルが高い場合に図８のＩＲｍｉｘ（ＲＧＢ＋ＩＲ）信号にしめるＩＲ映像の割合が大きくなりすぎることを防ぐことができる。
　重み付け係数特性データＰＹ２は、ＩＲ映像信号Ｖ２の輝度レベルが１２０から１０２３にかけて徐々に増加するようにしたものであり、重み付け係数特性データＰＹ０，ＰＹ１に示す特性に比べ傾きを緩やかにしている特性である。このような場合は、例えば、図２のＩＲ用センサ５ｄ出力の輝度レベルが１２０以上で急激に高くなるような場合であっても、重み付け係数特性データＰＹ０，ＰＹ１に比べて図８のＩＲｍｉｘ（ＲＧＢ＋ＩＲ）信号のＩＲ映像の割合を低く抑えることができ、さらにＩＲ映像信号Ｖ２の輝度レベルに応じて緩やかに重畳することができるため、図８のＩＲｍｉｘ（ＲＧＢ＋ＩＲ）信号中のＩＲ映像がすぐに飽和することを防ぐことができる。
　前述のようにあらかじめ、重み付け係数特性データＰＹ０，ＰＹ１，ＰＹ２のような複数の重み付け係数特性データを重み付け係数生成部１４１Ａにより保存しておけば、可視ＩＲ重畳処理部１４Ａでは、例えば式（２）の重畳式にしたがって、図８に示すＩＲｍｉｘ（ＲＧＢ＋ＩＲ）信号生成のための重畳処理を行う。
Figure JPOXMLDOC01-appb-M000002
　具体的には、可視ＩＲ重畳処理部１４Ａは、ＩＲ映像信号Ｖ２そのものではなく、ＩＲ映像信号Ｖ２の輝度レベルに応じたＲ用メモリＭＲ１，Ｇ用メモリＭＧ１，Ｂ用メモリＭＢ１の各出力に相当するＩＲ映像信号Ｖ２をもとに付加色化した映像信号を、可視光（ＲＧＢ）映像信号Ｖ１に重畳する。ここで、加算器ＡＤＤ１（図７参照）による合成処理後の映像信号であるＩＲｍｉｘＲ（Ｒ＋ＩＲ），ＩＲｍｉｘＧ（Ｇ＋ＩＲ），ＩＲｍｉｘＢ（Ｂ＋ＩＲ）を式で示すと以下の式（３）、式（４）、式（５）で表現できる。式（３）、式（４）、式（５）において、Ｋは０≦Ｋ≦２５５である。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　これにより、図７の可視ＩＲ重畳処理部１４Ａは、重み付け係数Ｋが０から１の間で変化する特性を用いる場合に比べ、複数の重み付け係数特性データＰＹ０，ＰＹ１，ＰＹ２がそれぞれの特性をきめ細かく設定することができ、かつ重み付け係数ＫをＩＲ映像信号Ｖ２の特性に応じて任意に選択した上で、ＲＧＢ映像信号Ｖ１とＩＲ映像信号Ｖ２を元にした（Ｒ用メモリＭＲ１，Ｇ用メモリＭＧ１，Ｂ用メモリＭＢ１の各出力）の付加色変換後のＩＲ映像信号との合成（重畳）処理を行うことができるため、ＩＲ輝度レベルが顕著に高い場合は、図９（Ａ）の重み付け係数特性データＰＹ２を選択、ＩＲ輝度レベルが顕著に低い場合は図９（Ａ）の重み付け係数特性データＰＹ０を選択、ＩＲ輝度レベルが適切なレベルであれば図９（Ａ）の重み付け係数特性データＰＹ１を選択するなどすることにより、合成（重畳）処理を行うことができるなど、より微細な制御を行った上で合成処理後の映像信号である図７に示すＩＲｍｉｘＲ（Ｒ＋ＩＲ），ＩＲｍｉｘＧ（Ｇ＋ＩＲ），ＩＲｍｉｘＢ（Ｂ＋ＩＲ）を生成することができる。なお、ここでは複数の重み付け係数Ｋを用いた例を示したが、１つの重み付け係数Ｋのみとし、重み付け係数Ｋの可変範囲を拡大しても重畳処理の精度向上を図ることができ、よりきめ細かな制御ができる。
（重畳処理の第３構成例および第３動作例）
　図１０は、重み付け係数生成部１４１Ｂのハードウェア構成例を示す図である。図１１は、重み付け係数生成部１４１Ｂをロジック回路（ハードウェア）で構成する場合の処理例を示す図である。図１２は、ＣＣＵ１０に搭載される図３の信号処理回路１１の第３動作例の動作手順を示す図である。図１２の説明において、図６の処理と同一の内容のものには同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。重み付け係数生成部１４１Ｂは、図４に示す可視ＩＲ重畳処理部１４の構成において、重み付け係数生成部１４１の代わりに設けられる。
　図１０に示す重み付け係数生成部１４１Ｂは、重み付け係数生成部１４１，１４１Ａと異なり、カメラヘッドＣＨ１から伝送されたＩＲ光信号の輝度レベルに基づいて、重み付け係数Ｋの重み付け係数特性データの示す特性３４（図１２参照）を生成する。重み付け係数生成部１４１Ｂは、減算器２１と、正クリップ処理部２２と、ｘ２処理部２３と、ｘ４処理部２４と、ｘ８処理部２５と、セレクタ２６と、加算器２７と、負クリップ処理部２８とを含む構成である。各部の構成および処理について図１０，図１１，図１２を参照して説明する。
　図１０に示す重み付け係数生成部１４１Ｂ（図１２のステップＳｔ１２相当）入力のＩＲ光信号は図２のＩＲ用センサ５ｄ出力の輝度信号に相当し、例えばＺ変換であれば「１＋Ｚ－１」によって生成する（図１１の特性３１，図１２のステップＳｔ１１出力に相当）。次に図１０のＩＲ光信号からＩＲ重畳開始の基準となる設定に相当するＩＲ重畳開始レベル設定値Ｐ１を図１１のステップＳｔ２１に示すように減算する。
　ここで、ＩＲ重畳開始レベル設定値Ｐ１は、ＩＲ映像信号Ｖ２の輝度レベルに応じたＲ用メモリＭＲ１，Ｇ用メモリＭＧ１，Ｂ用メモリＭＢ１の各出力を元にした付加色用のＲＧＢ形式に変換された色データをＲＧＢ映像信号Ｖ１に重畳する処理を開始する際の基準となる輝度レベルに相当する。
　図１１の特性３２は、ＩＲ輝度信号の特性３１に対してＩＲ重畳開始レベル設定値Ｐ１を減算処理された出力特性である。入力の輝度レベルがＬＭ１以下であれば出力が負のデータとなり、ＬＭ１より大きいであれば出力は正となる。
　図１１のステップＳｔ２２の正クリップ処理部２２は、減算器２１の出力の特性３２（図１１参照）において値が０（ゼロ）以上となる範囲Ｐ２の値を０（ゼロ）に変換する処理（正クリップ処理）を実行する。図１１の特性３３は、減算器２１による減算処理後の出力特性に対して正クリップ処理された出力特性である。図１１のＩＲ光を元にした入力の特性３１の輝度レベルがＬＭ１以上であれば出力は０（ゼロ）となり、正クリップ処理部２２出力は特性３３のように正のデータはクリップされ０（ゼロ）になる。
　図１０のｘ２処理部２３（図１１のステップＳｔ２３相当）は、図１１のステップＳｔ２２に示す特性３３の負のデータに対して傾きを２倍処理した特性Ｋ２を生成する。
　図１０のｘ４処理部２４（図１１のステップＳｔ２３相当）は、図１１のステップＳｔ２２に示す特性３３の負のデータに対して傾きを４倍処理した特性Ｋ３を生成する。
　図１０のｘ８処理部２５（図１１のステップＳｔ２３相当）は、図１１のステップＳｔ２２に示す特性３３の負のデータに対して傾きを８倍処理した特性Ｋ４を生成する。
　次に図１０のセレクタ２６は、正クリップ処理部２２、ｘ２処理部２３、ｘ４処理部２４、ｘ８処理部２５のそれぞれの出力特性とＩＲ光信号を元に生成した輝度信号の特性に応じた傾き調整設定値とを入力し、傾き調整設定値に合致する傾きが得られた特性を選択する。ここで、傾き調整設定値とは、ＩＲ輝度信号に輝度レベル信号に応じた加色（着色）を制御する基準となる図５（Ａ）、図９（Ａ）に示すような重み付け係数Ｋの傾き設定値に相当する。図１１の例では、特性Ｋ１が選択される。なお、傾き調整設定値は、ｘ２、ｘ４、ｘ８倍等、整数倍率のような固定値である必要はなく、例えばユーザが青色から赤色にどれくらいの輝度レベルの幅で乗り換えたいか、ユーザの好みで指定された値でもよい。
　図１０の加算器２７は、セレクタ２６により選択された図１１に示す特性３３とＩＲ光信号を元に生成した輝度信号に応じて、ＩＲ映像を最大どれくらいの割合でＲＧＢ映像信号Ｖ１に重畳するかの基準値にあたるＩＲ重畳最大レベル設定値ＬＭ２(図１１のステップＳｔ２４参照)とを加算処理する。この加算処理により、セレクタ２６の出力特性がＩＲ重畳最大レベル設定値ＬＭ２相当分、全体的に持ち上げられた図１１の特性３４が得られる。
　ここで、ＩＲ重畳最大レベル設定値ＬＭ２の最大値には、重畳処理においてＩＲ映像信号Ｖ２が１００％使用するための基準となる重み付け係数Ｋの上限値に相当する設定値である。例えば重畳処理時の重み付け係数Ｋの下限値＝０、重み付け係数Ｋの上限値＝２５５を用いて重み付けする場合、ＩＲ重畳最大レベル設定値ＬＭ２＝２５５を設定する。
　図１０の負クリップ処理部２８では、加算器２７から出力された特性（図１１のステップＳｔ２４参照）において値が０（ゼロ）以下となる特性値を０（ゼロ）に変換する処理（負クリップ処理）を実行する。図１１のステップＳｔ２４の特性３４は、加算器２７による加算処理後の出力特性に対して負クリップ処理された出力特性であり、図１０の負クリップ処理部２８出力に相当する。
　図１１のステップＳｔ２４の特性３４に示すように入力の輝度レベルがＬＭ１以下であれば、その出力は０（ゼロ）となり、ＬＭ１以上であれば徐々に増加し、図１１のステップＳｔ２４の特性に示すようにＩＲ重畳最大レベル設定値ＬＭ２で設定した最大値２５５まで増加する。これにより、図１０の負クリップ処理部２８の出力特性は図１１に示す特性３４相当の重み付け係数Ｋとして得られる（図１２のステップＳｔ１２相当）。このように重み付け係数Ｋは図１０の重み付け係数生成部１４１Ｂに示すような回路構成で容易に構成することもできる。
　図１３Ａは、一般的な医療用カメラにより生成された重畳映像の第１モニタＭＮ１あるいは第２モニタＭＮ２での表示例を示す図である。図１３Ｂは、実施の形態１に係るＣＣＵ１０に搭載される図３の信号処理回路１１により生成された重畳映像の第１モニタＭＮ１あるいは第２モニタＭＮ２での表示例を示す図である。
　図１３Ａに示すように、特許文献１等の従来方式で可視光映像信号にＩＲ映像信号が重畳された場合には、重畳前のＩＲ映像信号は元々白黒の映像であり、蛍光試薬が蛍光発光した箇所（例えば線ＬＬ１から線ＬＬ２までの範囲ＺＮ１により示される患部）が単色（例えば白色）あるいは白色から黒色までの階調色で示されるだけである。このため、医師等のユーザは、蛍光発光する部分（例えば病巣患部）のどこが一番悪化しているのか容易に判断することが困難な場合があり、外科手術にてどの部位を切除すれば良いかの判断をすることも難しいことが想定されるため、スムーズに医療行為を行うことが難しい場合が想定される。
　一方、本実施の形態に係るＣＣＵ１０に搭載される図３の信号処理回路１１によれば、ＲＧＢ映像信号Ｖ１に重畳する前に、ＩＲ映像信号Ｖ２の強度（例えば輝度レベル）に基づいて付加色を決定してＩＲ映像信号Ｖ２の画素ごとに加色処理を施し、ＩＲ映像信号Ｖ２の輝度レベルに応じて青色から緑色を経て赤色に色の濃淡含め重み付けされたＩＲ映像信号をＲＧＢ映像信号Ｖ１に重畳する。これにより、図１３Ｂに示すように、ＩＲ映像信号Ｖ２の強度（例えば輝度レベル）が小程度の部分となる線ＬＬ１から上部部分および線ＬＬ２から下部部分の範囲が青色（図５参照）に加色され、ＩＲ映像信号Ｖ２の強度（例えば輝度レベル）が中程度の範囲ＺＮ１が緑色（図５参照）に加色され、ＩＲ映像信号Ｖ２の強度（例えば輝度レベル）が大程度の線Ｌ３により囲まれる範囲ＺＮ２が赤色（図５（Ａ）、図５（Ｂ）または図９（Ａ）、図９（Ｂ）参照）に加色される。したがって、医師等のユーザは、患部の特に範囲ＺＮ２の様態が気になる注目部分であること（例えば赤く加色された範囲ＺＮ２は病巣部分の要部であること）を即座かつ直感的に把握でき、スムーズかつ適切な医療行為を行うことが期待される。
　以上により、本実施の形態に係る映像信号処理システム１００を構成するＣＣＵ１０に搭載される図３の信号処理回路１１は、カメラ部（例えばカメラヘッドＣＨ１）により撮像された観察部位からの可視光の信号に基づいて、観察部位の可視映像信号を生成する可視映像生成部（例えばＲＧＢカメラ信号処理部１２）と、カメラヘッドＣＨ１により撮像された観察部位からのＩＲ光の信号に基づいて、観察部位のＩＲ映像信号を生成するＩＲ映像生成部（例えばＩＲカメラ信号処理部１３）と、ＩＲ光の輝度レベルに基づいて変更可能な付加色をＩＲ映像信号に加色し、付加色が加色されたＩＲ映像信号を可視映像信号に重畳して重畳映像信号を生成する映像重畳部（例えば可視ＩＲ重畳処理部１６）と、重畳映像信号をモニタ（例えば第１モニタＭＮ１および第２モニタＭＮ２のうち少なくとも一方）に出力する出力処理部１７と、を備える。
　これにより、ＣＣＵ１０に搭載される図３の信号処理回路１１は、手術あるいは検査等の医療行為時に、蛍光試薬が投与された観察部位内の蛍光の分布状態をより鮮明に出力でき、医師等が患部の蛍光の発光分布の状態把握をより簡易にすることができる。
　また、映像重畳部（例えば図３の可視ＩＲ重畳処理部１４）は、ＩＲ光の輝度レベルに基づく付加色の加色割合の特性を示す付加色特性データ（図５（Ｂ）、または図９（Ｂ）参照）を保存する付加色メモリ（例えばＲ用メモリＭＲ１と、Ｇ用メモリＭＧ１と、Ｂ用メモリＭＢ１）を有し、ＩＲ光の輝度レベルに対応する付加色の加色割合に基づいてＩＲ映像信号に付加色を加色する。これにより、ＣＣＵ１０に搭載される図３の信号処理回路１１は、単色（例えば緑色）あるいは薄い緑色から濃い緑色までの階調により特定の色の濃淡でしか表現できなかったＩＲ映像信号中の患部等のより注目するべき箇所をＩＲ光の輝度レベルに応じて任意の付加色および色の濃淡で表現できる。
　また、付加色は、複数の色（例えば赤色、緑色、青色）により構成される。付加色メモリは、色ごとに、付加色特性データ（例えばＲ用付加色特性データＰＹＲ１，Ｇ用付加色特性データＰＹＧ１，Ｂ用付加色特性データＰＹＢ１）を有する。これにより、ＣＣＵ１０に搭載される図３の信号処理回路１１は、ＩＲ映像信号Ｖ２の輝度レベルに応じて、付加色の加色の割合（例えばどの程度青色から緑色さらに赤色までどのような濃淡で加色するか）を決定でき、加色処理によってＩＲ映像信号の部分の視認性の向上を図ることができる。
　また、ＣＣＵ１０に搭載される図３の信号処理回路１１は、ＩＲ光の輝度レベルに基づいて、付加色が加色されたＩＲ映像信号を可視映像信号に重畳するための重み付け係数Ｋを決定する重み付け係数決定部（例えば重み付け係数生成部１４１）、をさらに備える。映像重畳部（例えば可視ＩＲ重畳処理部１６）は、重み付け係数に基づいて、重畳映像信号を生成する。これにより、ＣＣＵ１０に搭載される図３の信号処理回路１１は、ＩＲ映像信号の輝度レベルに応じてＲＧＢ映像信号とＩＲ映像信号の重畳の割合（つまり重み付け係数）を調整できるので、背景部分となるＲＧＢ映像信号に対して重畳されるＩＲ映像信号の強調が可能となる重畳映像信号を生成できる。
　また、図４の重み付け係数生成部１４１は、図５（Ａ）に示すＩＲ光の輝度レベルに基づく重み付け係数の特性を示す重み付け係数特性データＰＹ０を保存するとともに、ＩＲ光の輝度レベルに応じて重み付け係数特性データＰＹ０に基づいて重み付け係数Ｋを生成する。これにより、図４の重み付け係数生成部１４１は、ＩＲ映像信号を可視映像信号に重畳するための重み付け係数Ｋを簡易に決定できる。
　また、ＣＣＵ１０に搭載される図３の信号処理回路１１は、図７に示すようにユーザ操作に応じて付加色の加色割合の特性を変更するユーザインターフェース部（例えばマイクロプロセッサ１８）、をさらに備える。映像重畳部（例えば図３の可視ＩＲ重畳処理部１４）は、変更後の付加色の加色割合の特性に基づいてＩＲ映像信号に付加色を加色する。これにより、ＣＣＵ１０に搭載される図３の信号処理回路１１では、医師等のユーザの嗜好性が反映された状態でＩＲ映像信号中の注目するべき箇所の加色割合（色相）を容易に変更できる。
　また、ＣＣＵ１０に搭載される図３の信号処理回路１１は、ユーザ操作に応じて付加色の加色時の加色割合の濃淡特性を変更するユーザインターフェース部（例えばマイクロプロセッサ１８）、をさらに備える。映像重畳部（例えば図３の可視ＩＲ重畳処理部１４）は、変更後の付加色の加色割合の濃淡特性に基づいてＩＲ映像信号に付加色を加色する。これにより、ＣＣＵ１０は、医師等のユーザの嗜好性が反映された状態でＩＲ映像信号中の注目するべき箇所の加色割合の濃淡特性（つまり、色の濃さの特性）を容易に変更できる。
　また、ＣＣＵ１０に搭載される図３の信号処理回路１１は、ユーザ操作に応じて重み付け係数の特性を変更するユーザインターフェース部（例えばマイクロプロセッサ１４３）、をさらに備える。重み付け係数決定部１５Ａは、変更後の重み付け係数の特性に基づいて重み付け係数を決定する。これにより、ＣＣＵ１０は、医師等のユーザの嗜好性が反映された状態で重み付け係数Ｋを容易に決定できる。
　また、図１１の重み付け係数生成部１４１Ｂは、ＩＲ光の輝度レベルに基づいて、重み付け係数の特性を生成し、ＩＲ光の輝度レベルと生成された重み付け係数の特性とに基づいて重み付け係数を決定する。これにより、ＣＣＵ１０に搭載される図３の信号処理回路１１は、ＩＲ光の輝度レベルに基づいて、重み付け係数Ｋの特性（図１１参照）を容易な回路にて生成でき、ＲＧＢ映像信号とＩＲ映像信号を重畳する際の合成割合を容易な回路構成で適切に決定できる。
　また、図２のカメラ部（例えばカメラヘッドＣＨ１）の可視イメージセンサおよびＩＲイメージセンサは、赤色光を撮像可能な第１のイメージセンサ（Ｒ用センサ５ａ）と、青色光を撮像可能な第２のイメージセンサ（Ｂ用センサ５ｃ）と、緑色光を撮像可能な第３のイメージセンサ（Ｇ用センサ５ｂ）と、第４のイメージセンサ（ＩＲ用センサ５ｄ）を有して構成される。分光プリズム３で赤色光、青色光、緑色光、ＩＲ光を分光し、赤色光は第１のイメージセンサ（Ｒ用センサ５ａ）、青色光は第２のイメージセンサ（Ｂ用センサ５ｃ）、緑色光は第３のイメージセンサ（Ｇ用センサ５ｂ）、ＩＲ光は第４のイメージセンサ（ＩＲ用センサ５ｄ）の各センサに入射する。これにより、図３のカメラ信号処理出力の映像は各光の色成分に対応したイメージセンサを設けているため、可視ＲＧＢ映像の色再現や感度がベイヤ配列の色フィルタが貼られたようなセンサに比べて向上できる。また、図３の可視ＩＲ重畳処理部１４出力の重畳映像信号Ｖ３１における可視映像部分や可視（ＲＧＢ）映像信号Ｖ３２の再現や感度に関してもベイヤ配列の色フィルタが貼られたようなセンサに比べて向上できる。
　また、可視イメージセンサは、赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）の１つのベイヤ配列のカラーフィルタが貼られた原色ベイヤイメージセンサにより構成する。これにより、カメラ部（例えば図２のカメラヘッドＣＨ１）の可視用センサは、ベイヤ配列によるカラーフィルタが配置された１つのイメージセンサとして軽量、小型化する等、簡略に構成できる。また、例えばベイヤ配列のセンサ出力から図２のカメラヘッドＣＨ１のカメラヘッド信号処理回路７でＲ、Ｇ、Ｂ信号を生成・分離することで図３のＣＣＵ１０に搭載のＲＧＢカメラ信号処理部１２入力にはＲ、Ｇ、Ｂの３系統のＲＧＢ（可視）信号を入力することができるため、ＣＣＵ１０に搭載のＲＧＢカメラ信号処理部１２の処理は大きな変更を伴うことがない。
　また、可視イメージセンサは、黄色光（Ｙｅ）、マゼンタ色光（Ｍｇ）、シアン色光（Ｃｙ）、緑色光（Ｇ）のそれぞれを撮像可能な１つの補色フィルタが貼られた補色イメージセンサにより構成する。これにより、カメラ部（例えばカメラヘッドＣＨ１）の可視用センサは、補色フィルタが配置された１つのイメージセンサとして軽量、小型化する等、簡略に構成できる。また、補色イメージセンサ出力から図２のカメラヘッドＣＨ１のカメラヘッド信号処理回路７でＲ、Ｇ、Ｂ信号を生成・分離することで図３のＣＣＵ１０側のＲＧＢカメラ信号処理部１２入力にはＲ、Ｇ、Ｂの３系統のＲＧＢ（可視）信号を入力することができる。なお、図２のカメラヘッドＣＨ１のカメラヘッド信号処理回路７出力でＲ、Ｇ、Ｂを生成するのではなく、出力は黄色（Ｙｅ）、マゼンタ色（Ｍｇ）、シアン色（Ｃｙ）、緑色（Ｇ）信号として図３のＣＣＵ１０側のＲＧＢカメラ信号処理部１２入力には補色の黄色（Ｙｅ）、マゼンタ色光（Ｍｇ）、シアン色光（Ｃｙ）、緑色光（Ｇ）に対応したカメラ信号処理としてＲ、Ｇ、Ｂを出力できるように構成しても良い。
　また、可視イメージセンサおよびＩＲイメージセンサは、原色ベイヤ配列の赤色（Ｒ）、青色（Ｂ）、緑色（Ｇ）に加えてＩＲの色フィルタが貼られた、１つのイメージセンサにより構成する。図２のカメラヘッドＣＨ１のカメラヘッド信号処理回路７でＲ、Ｇ、Ｂ、ＩＲ信号を生成・分離することで、ＣＣＵ１０側のＲＧＢカメラ信号処理部１２入力にはＲ、Ｇ、Ｂの３系統のＲＧＢ（可視）信号を入力、ＩＲカメラ信号処理部１３入力にはＩＲ信号を入力することができる。
　また、可視イメージセンサおよびＩＲイメージセンサは、図１７に示すように補色の黄色（Ｙｅ）、マゼンタ色（Ｍｇ）、シアン色（Ｃｙ）、緑色（Ｇ）に加えて、ＩＲの色フィルタが貼られた、１つのイメージセンサにより構成する。これにより、図２のカメラヘッドＣＨ１のカメラヘッド信号処理回路７出力の補色の黄色（Ｙｅ）、マゼンタ色（Ｍｇ）、シアン色（Ｃｙ）、緑色（Ｇ）、ＩＲ信号からＲ、Ｇ、Ｂ、、ＩＲ信号を生成・分離することで、ＣＣＵ１０側のＲＧＢカメラ信号処理部１２入力にはＲ、Ｇ、Ｂの３系統のＲＧＢ（可視）信号を入力、ＩＲカメラ信号処理部１３入力にはＩＲ信号を入力することができる。なお、図２のカメラヘッドＣＨ１のカメラヘッド信号処理回路７出力はＲ、Ｇ、Ｂ、ＩＲを生成するのではなく、出力は黄色（Ｙｅ）、マゼンタ色（Ｍｇ）、シアン色（Ｃｙ）、緑色（Ｇ）、ＩＲ信号として図３のＣＣＵ１０側のＩＲカメラ信号処理部１３入力にＩＲ信号を入力、図３のＣＣＵ１０側のＲＧＢカメラ信号処理部１２入力は補色の黄色（Ｙｅ）、マゼンタ色光（Ｍｇ）、シアン色光（Ｃｙ）、緑色光（Ｇ）に入力に対応したカメラ信号処理としてＲ、Ｇ、Ｂを出力できるように構成しても良い。
　以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
　上述した本実施の形態では、付加色の例として赤色、緑色、青色を例示して説明したが、これら３色に限定されなくてもよい。例えば、付加色として、輝度信号（Ｙ）に対応する２つの色差信号（Ｃｂ，Ｃｒ）を用いてもよい。赤色光の信号（Ｒ）、緑色光の信号（Ｇ）、青色光の信号（Ｂ）と輝度信号（Ｙ）、色差信号（Ｃｂ）、色差信号（Ｃｒ）との間には例えば次の式により変換する。
　Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
　Ｃｂ＝０．５６４×（Ｂ－Ｙ）＝－０．１６９×Ｒ－０．３３１×Ｇ＋０．０５０×Ｂ
　Ｃｒ＝０．７１３×（Ｒ－Ｙ）＝０．５００×Ｒ－０．４１９×Ｇ－０．０８１×Ｂ
　つまり、ＩＲ映像信号Ｖ２に加色（着色）する緑色成分に輝度信号（Ｙ）、ＩＲ映像信号Ｖ２に加色（着色）する赤色成分に色差信号（Ｃｒ）、ＩＲ映像信号Ｖ２に加色（着色）する青色成分に色差信号（Ｃｂ）、をそれぞれ対応付けて使用すればよい。この場合、ＲＧＢカメラ信号処理部１２から、輝度信号（Ｙ）、２つの色差信号（Ｃｒ，Ｃｂ）を生成する。また、Ｒ用メモリＭＲ１，Ｇ用メモリＭＧ１，Ｂ用メモリＭＢ１の代わりに、輝度信号（Ｙ）用メモリ，色差信号（Ｃｒ）用メモリ，色差信号（Ｃｂ）用メモリが設けられることが必要となる。この場合、図３の可視ＩＲ重畳処理部１４および図４に示す可視ＩＲ重畳処理部１４、図７に示す可視ＩＲ重畳処理部１４Ａでは、ＩＲ映像信号Ｖ２の輝度レベルに応じた輝度信号（Ｙ）用メモリ，色差信号（Ｃｒ）用メモリ，色差信号（Ｃｂ）用メモリの各出力に相当するＹ／Ｃｒ／Ｃｂ形式データを、可視光（ＲＧＢ）映像信号Ｖ１に重畳する。ここで、ＩＲ映像信号Ｖ２の輝度レベルに応じた輝度信号（Ｙ）用メモリ，色差信号（Ｃｒ）用メモリ，色差信号（Ｃｂ）用メモリの各出力に相当する色データをＩＲｍｉｘＹ，ＩＲｍｉｘＣｒ，ＩＲｍｉｘＣｂとすると、次の式（６）から式（８）が成り立つ。式（６）、式（７）、式（８）において、Ｋは０≦Ｋ≦２５５である。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　なお、本出願は、２０２１年１２月１６日出願の日本特許出願（特願２０２１－２０４４４９）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示は、医療行為時に、蛍光試薬が投与された観察部位内の蛍光の分布状態をより鮮明に出力し、医師等が患部の蛍光の発光分布の状態把握をより簡易にする映像信号処理装置、映像信号処理方法および映像信号処理システムとして有用である。
１　レンズ
３　分光プリズム
５ａ　Ｒ用センサ
５ｂ　Ｇ用センサ
５ｃ　Ｂ用センサ
５ｄ　ＩＲ用センサ
７　カメラヘッド信号処理回路
１０　ＣＣＵ
１１　信号処理回路
１２　ＲＧＢカメラ信号処理部
１３　ＩＲカメラ信号処理部
１４　可視ＩＲ重畳処理部
１５　出力処理部
２１　減算器
２２　正クリップ処理部
２３　ｘ２処理部
２４　ｘ４処理部
２５　ｘ８処理部
２６　セレクタ
２７　加算器
２８　負クリップ処理部
３１、３２、３３、３４、Ｋ１、Ｋ２、Ｋ３、Ｋ４　特性
１００　映像信号処理システム
１４１、１４１Ａ、１４１Ｂ　重み付け係数生成部
１４３　マイクロプロセッサ
ＡＤＤ１　加算器
ＣＨ１　カメラヘッド
Ｅｘ１、Ｅｘ２、Ｅｘ３、Ｅｘ４　制御信号
Ｌ１、Ｌ２　光
ＬＬ１、ＬＬ２、ＬＬ３　線
ＭＮ１　第１モニタ
ＭＮ２　第２モニタ
ＭＢ１　Ｂ用メモリ
ＭＧ１　Ｇ用メモリ
ＭＲ１　Ｒ用メモリ
Ｐ１　ＩＲ重畳開始レベル設定値
ＰＬＹ１、ＰＬＹ２　乗算器
ＰＹ０、ＰＹ１、ＰＹ２　重み付け係数特性データ
ＰＹＢ１　Ｂ用付加色特性データ
ＰＹＧ１　Ｇ用付加色特性データ
ＰＹＲ１　Ｒ用付加色特性データ
Ｓｇ１　Ｒ信号
Ｓｇ２　Ｇ信号
Ｓｇ３　Ｂ信号
Ｓｇ４　ＩＲ信号
Ｖ１　ＲＧＢ映像信号
Ｖ２　ＩＲ映像信号
Ｖ３１　重畳映像信号
Ｖ３２　可視映像信号
Ｖ３３　ＩＲ映像信号

Claims (16)

  1. 　カメラ部により撮像された観察部位からの可視光の信号に基づいて、前記観察部位の可視映像信号を生成する可視映像生成部と、
    　前記カメラ部により撮像された前記観察部位からのＩＲ光の信号に基づいて、前記観察部位のＩＲ映像信号を生成するＩＲ映像生成部と、
    　前記ＩＲ光の輝度レベルに基づいて変更可能な付加色を前記ＩＲ映像信号に加色し、前記付加色が加色されたＩＲ映像信号を前記可視映像信号に重畳して重畳映像信号を生成する映像重畳部と、
    　前記重畳映像信号を出力する出力処理部と、を備える、
    　映像信号処理装置。
  2. 　前記映像重畳部は、前記ＩＲ光の輝度レベルに基づく付加色の加色割合の特性を示す付加色特性データを保存する付加色メモリを有し、前記ＩＲ光の輝度レベルに対応する前記付加色の加色割合に基づいて前記ＩＲ映像信号に前記付加色を加色する、
    　請求項１に記載の映像信号処理装置。
  3. 　前記付加色は、複数の色により構成され、
    　前記付加色メモリは、前記色ごとに、前記付加色特性データを有する、
    　請求項２に記載の映像信号処理装置。
  4. 　前記ＩＲ光の輝度レベルに基づいて、前記付加色が加色された前記ＩＲ映像信号を前記可視映像信号に重畳するための重み付け係数を決定する重み付け係数決定部、をさらに備え、
    　前記映像重畳部は、前記重み付け係数に基づいて、前記重畳映像信号を生成する、
    　請求項１に記載の映像信号処理装置。
  5. 　前記重み付け係数決定部は、前記ＩＲ光の輝度レベルに基づく前記重み付け係数の特性を示す重み付け係数特性データを保存する重み付け係数メモリを有し、前記ＩＲ光の輝度レベルに対応する前記重み付け係数特性データに基づいて前記重み付け係数を決定する、
    　請求項４に記載の映像信号処理装置。
  6. 　ユーザ操作に応じて前記付加色の加色割合の特性を変更するユーザインターフェース部、をさらに備え、
    　前記映像重畳部は、変更後の前記付加色の加色割合の特性に基づいて前記ＩＲ映像信号に前記付加色を加色する、
    　請求項３に記載の映像信号処理装置。
  7. 　ユーザ操作に応じて前記付加色の加色時の加色割合の濃淡特性を変更するユーザインターフェース部、をさらに備え、
    　前記映像重畳部は、変更後の前記付加色の加色割合の濃淡特性に基づいて前記ＩＲ映像信号に前記付加色を加色する、
    　請求項３に記載の映像信号処理装置。
  8. 　ユーザ操作に応じて前記重み付け係数の特性を変更するユーザインターフェース部、をさらに備え、
    　前記重み付け係数決定部は、変更後の前記重み付け係数の特性に基づいて前記重み付け係数を決定する、
    　請求項５に記載の映像信号処理装置。
  9. 　前記重み付け係数決定部は、前記ＩＲ光の輝度レベルに基づいて、前記重み付け係数の特性を生成し、前記ＩＲ光の輝度レベルと生成された前記重み付け係数の特性とに基づいて前記重み付け係数を決定する、
    　請求項４に記載の映像信号処理装置。
  10. 　カメラ部に接続された映像信号処理装置により実行される映像信号処理方法であって、
    　前記カメラ部により撮像された観察部位からの可視光の信号に基づいて、前記観察部位の可視映像信号を生成するステップと、
    　前記カメラ部により撮像された前記観察部位からのＩＲ光の信号に基づいて、前記観察部位のＩＲ映像信号を生成するステップと、
    　前記ＩＲ光の輝度レベルに基づいて変更可能な付加色を前記ＩＲ映像信号に加色し、前記付加色が加色されたＩＲ映像信号を前記可視映像信号に重畳して重畳映像信号を生成するステップと、
    　前記重畳映像信号を出力するステップと、を有する、
    　映像信号処理方法。
  11. 　観察部位からの可視光を撮像する可視イメージセンサと、前記観察部位からのＩＲ光を撮像するＩＲイメージセンサと、を少なくとも有するカメラ部と、
    　前記カメラ部により撮像された前記観察部位からの可視光の信号に基づいて、前記観察部位の可視映像信号を生成する可視映像生成部と、
    　前記カメラ部により撮像された前記観察部位からのＩＲ光の信号に基づいて、前記観察部位のＩＲ映像信号を生成するＩＲ映像生成部と、
    　前記ＩＲ光の輝度レベルに基づいて変更可能な付加色を前記ＩＲ映像信号に加色し、前記付加色が加色されたＩＲ映像信号を前記可視映像信号に重畳して重畳映像信号を生成する映像重畳部と、
    　前記重畳映像信号をモニタに出力する出力処理部と、を備える、
    　映像信号処理システム。
  12. 　前記可視イメージセンサおよび前記ＩＲイメージセンサは、
    　赤色光を撮像可能な第１のイメージセンサと、
    　青色光を撮像可能な第２のイメージセンサと、
    　緑色光を撮像可能な第３のイメージセンサと、
    　ＩＲ光を撮像可能な第４のイメージセンサと、を有して構成される、
    　請求項１１に記載の映像信号処理システム。
  13. 　前記可視イメージセンサは、
    　赤色、青色、緑色の１つのベイヤ配列のカラーフィルタが貼られた原色ベイヤイメージセンサにより構成する、
    　請求項１１に記載の映像信号処理システム。
  14. 　前記可視イメージセンサは、
    　黄色光、マゼンタ色光、シアン色光、緑色光のそれぞれを撮像可能な１つの補色フィルタが貼られた補色イメージセンサにより構成する、
    　請求項１１に記載の映像信号処理システム。
  15. 　前記可視イメージセンサおよび前記ＩＲイメージセンサは、
    　赤色、青色、緑色、ＩＲの色フィルタが貼られた、１つのイメージセンサにより構成される、
    　請求項１１に記載の映像信号処理システム。
  16. 　前記可視イメージセンサは、
    　補色の黄色、マゼンタ色、シアン色、緑色、ＩＲの色フィルタが貼られた、１つのイメージセンサにより構成される、
    　請求項１１に記載の映像信号処理システム。
PCT/JP2022/045848 2021-12-16 2022-12-13 映像信号処理装置、映像信号処理方法および映像信号処理システム WO2023112916A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-204449 2021-12-16
JP2021204449 2021-12-16

Publications (1)

Publication Number Publication Date
WO2023112916A1 true WO2023112916A1 (ja) 2023-06-22

Family

ID=86774779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045848 WO2023112916A1 (ja) 2021-12-16 2022-12-13 映像信号処理装置、映像信号処理方法および映像信号処理システム

Country Status (1)

Country Link
WO (1) WO2023112916A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156493A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 蛍光観察装置
WO2019230095A1 (ja) * 2018-05-31 2019-12-05 パナソニックＩｐマネジメント株式会社 カメラ装置、画像処理方法およびカメラシステム
US20210185288A1 (en) * 2019-12-11 2021-06-17 Karl Storz Imaging, Inc. System for optimizing blended video streams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156493A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 蛍光観察装置
WO2019230095A1 (ja) * 2018-05-31 2019-12-05 パナソニックＩｐマネジメント株式会社 カメラ装置、画像処理方法およびカメラシステム
US20210185288A1 (en) * 2019-12-11 2021-06-17 Karl Storz Imaging, Inc. System for optimizing blended video streams

Similar Documents

Publication Publication Date Title
EP2481342B1 (en) Electronic endoscope system
JP5550574B2 (ja) 電子内視鏡システム
US8301229B2 (en) Biological observation display apparatus for presenting color or spectral images
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
US10039439B2 (en) Endoscope system and method for operating the same
JP6234350B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6420230B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2006061620A (ja) 内視鏡用映像信号処理装置
JP6196598B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2017164393A (ja) 内視鏡システム及びその作動方法
WO2011135992A1 (ja) 画像処理装置および蛍光観察装置
US9595117B2 (en) Image processing device and method for operating endoscope system
WO2017110180A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6576895B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
CN111050629B (zh) 内窥镜系统
JPWO2018066347A1 (ja) 内視鏡システム及びその作動方法
JP2010200883A (ja) 内視鏡画像処理装置および方法ならびにプログラム
WO2023112916A1 (ja) 映像信号処理装置、映像信号処理方法および映像信号処理システム
JP3917733B2 (ja) 電子内視鏡装置
JP6081622B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP5695684B2 (ja) 電子内視鏡システム
JP6153913B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
CN108882835B (zh) 内窥镜图像信号处理装置及方法以及存储介质
JP6630702B2 (ja) 光源装置及び内視鏡システム
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22907440

Country of ref document: EP

Kind code of ref document: A1