WO2019003285A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2019003285A1
WO2019003285A1 PCT/JP2017/023458 JP2017023458W WO2019003285A1 WO 2019003285 A1 WO2019003285 A1 WO 2019003285A1 JP 2017023458 W JP2017023458 W JP 2017023458W WO 2019003285 A1 WO2019003285 A1 WO 2019003285A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
moving image
biological component
component
image processing
Prior art date
Application number
PCT/JP2017/023458
Other languages
English (en)
French (fr)
Inventor
福西　宗憲
津村　徳道
幸樹 栗田
Original Assignee
オリンパス株式会社
国立大学法人千葉大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社, 国立大学法人千葉大学 filed Critical オリンパス株式会社
Priority to PCT/JP2017/023458 priority Critical patent/WO2019003285A1/ja
Priority to JP2019526420A priority patent/JP7012291B2/ja
Publication of WO2019003285A1 publication Critical patent/WO2019003285A1/ja
Priority to US16/724,016 priority patent/US11304611B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program for displaying local and minute fluctuations due to a living body included in a moving image.
  • a doctor performs a procedure while grasping the position of a blood vessel.
  • the doctor can easily visually recognize the presence of the blood vessel when the blood vessel is near the surface of the living body such as the mucous membrane or organ surface to be operated, but when the blood vessel is in the lower layer of the living body surface It is difficult to do with difficulties.
  • the doctor may perform the procedure while checking the pulsation of the living body surface by hand, but the procedure is performed while estimating the placement of the blood vessel by anatomical knowledge.
  • it is practiced and it is the current situation that it relies on its own rules of thumb. For this reason, in surgery or endoscopic surgery, it is conceivable to reduce the burden on the doctor if the arrangement of blood vessels that are difficult to visually recognize from the surface of the living body can be output to the doctor by image analysis.
  • Non-Patent Document 1 a video magnification method has been proposed that emphasizes minute movements and color changes included in moving pictures.
  • a spatial low-pass filter is applied to each frame of the moving image to generate a blurred moving image
  • a temporal band pass filter is applied to the blurred moving image to extract a fluctuation component of a desired frequency, and then extraction is performed.
  • an output image in which a local fluctuation appears is obtained.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus, an image processing method, and a program capable of suppressing the influence of a shadow change and visually recognizing a fluctuation due to a living body.
  • an image processing apparatus includes an acquisition unit for acquiring moving image data, and image data of a predetermined frame among a plurality of frames constituting the moving image data.
  • the spatial distribution of a predetermined biological component in which the component spectrum varies temporally is estimated, and the living body is determined from the moving image data based on the spatial distribution of the biological component in the image data of the estimated predetermined frame.
  • a biological component distribution estimation unit that generates biological component moving image data from which components are extracted, and a filter that extracts a predetermined frequency component from the biological component moving image data to generate periodic fluctuation moving image data of the biological component
  • a generation unit is
  • a feature of the present invention is characterized in that an estimation step and a moving image generation step of generating periodic variation moving image data of the biological component by applying a filter for extracting a predetermined frequency component to the biological component moving image data are executed.
  • a program includes an image processing apparatus, an image processing apparatus, an acquisition step of acquiring moving image data, and a component spectrum of an image data of a predetermined frame among a plurality of frames constituting the moving image data.
  • a biological component in which the biological component is extracted from the moving image data based on the spatial distribution of the biological component in the image data of the predetermined frame estimated by estimating the spatial distribution of the predetermined biological component that fluctuates The biological component distribution estimation step of generating moving image data, and the moving image generation step of generating periodic fluctuation moving image data of the biological component by applying a filter for extracting a predetermined frequency component to the biological component moving image data It is characterized by
  • FIG. 1 is a block diagram showing a functional configuration of the imaging system according to the first embodiment.
  • FIG. 2 is a flowchart showing an outline of processing performed by the image processing apparatus according to the first embodiment.
  • FIG. 3 is a flowchart showing an outline of the periodic fluctuation moving image generation process of FIG.
  • FIG. 4 is a view schematically showing a cross section of a living body consisting of two layers.
  • FIG. 5 is a diagram showing the relationship of each vector of equation (6).
  • FIG. 6A is a diagram illustrating an example of an image of an input frame of moving image data input to the image processing apparatus.
  • FIG. 6B is a diagram showing an example of an image of a shadow component.
  • FIG. 6C is a diagram showing an example of an image of the first independent component.
  • FIG. 6A is a diagram illustrating an example of an image of an input frame of moving image data input to the image processing apparatus.
  • FIG. 6B is a diagram showing an example of an image of a shadow component.
  • FIG. 6D is a diagram showing an example of the image of the second independent component.
  • FIG. 7 is a block diagram showing a functional configuration of a moving image generation unit according to the second embodiment.
  • FIG. 8 is a flowchart executed by the image processing apparatus according to the second embodiment.
  • FIG. 9A is a view schematically showing an example of a moving image corresponding to original moving image data generated by the imaging device.
  • FIG. 9B is a view schematically showing an example of a moving image corresponding to the original moving image data generated by the imaging device.
  • FIG. 9C is a diagram schematically illustrating an example of a moving image corresponding to original moving image data generated by the imaging device.
  • FIG. 9D is a view schematically showing an example of a moving image corresponding to the original moving image data generated by the imaging device.
  • FIG. 10A is a view schematically showing an example of a moving image corresponding to moving image data according to the conventional Video Magnification method.
  • FIG. 10B is a view schematically showing an example of a moving image corresponding to moving image data according to the conventional Video Magnification method.
  • FIG. 10C is a view schematically showing an example of a moving image corresponding to moving image data according to the conventional Video Magnification method.
  • FIG. 10D is a view schematically showing an example of a moving image corresponding to moving image data according to the conventional Video Magnification method.
  • FIG. 11A is a diagram schematically showing an example of a highlighted moving image corresponding to the highlighted moving image data according to the second embodiment.
  • FIG. 11B is a diagram schematically showing an example of the enhanced moving image corresponding to the enhanced moving image data according to the second embodiment.
  • FIG. 11C is a diagram schematically showing an example of a highlighted moving image corresponding to the highlighted moving image data according to the second embodiment.
  • FIG. 11D is a diagram schematically showing an example of the enhanced moving image corresponding to the enhanced moving image data according to the second embodiment.
  • FIG. 12 is a block diagram showing a functional configuration of a moving image generation unit according to the third embodiment.
  • FIG. 13 is a flowchart executed by the image processing apparatus according to the third embodiment.
  • FIG. 14 is a view showing an example of an image of one frame of a periodic fluctuation moving image of a biological component which is to be subjected to frequency analysis by the frequency analysis processing unit according to the third embodiment.
  • FIG. 15A is a diagram showing temporal variation of biological component values of periodic fluctuation moving images of a biological component in a region R1 shown in FIG.
  • FIG. 15B is a diagram showing a frequency analysis result of temporal fluctuation of biological component values in the region R1 shown in FIG.
  • FIG. 16A is a diagram showing a frequency analysis result of temporal fluctuation of biological component value of periodic fluctuation moving image of biological component in region R2 shown in FIG. 14 and temporal fluctuation of biological component value.
  • FIG. 15A is a diagram showing temporal variation of biological component values of periodic fluctuation moving images of a biological component in a region R1 shown in FIG.
  • FIG. 15B is a diagram showing a frequency analysis result of temporal fluctuation of biological component values in the region R1 shown in FIG.
  • FIG. 16B is a diagram showing a frequency analysis result of temporal fluctuation of biological component values in the region R2 shown in FIG.
  • FIG. 17 is a diagram showing an example of spatial distribution of biological cycle fluctuation.
  • FIG. 18 is a block diagram showing a functional configuration of a moving picture generation unit according to the fourth embodiment.
  • FIG. 19 is a flowchart showing an outline of processing performed by the image processing apparatus according to the fourth embodiment.
  • an imaging system will be described as an example in which a subject such as a patient is continuously imaged to generate and display moving image data. Further, the present invention is not limited by the following embodiments. Furthermore, in the description of the drawings, the same parts will be described with the same reference numerals.
  • FIG. 1 is a block diagram showing a functional configuration of the imaging system according to the first embodiment.
  • the imaging system 1 shown in FIG. 1 is a system that emphasizes and displays local and minute fluctuations due to a living body contained in a moving image corresponding to moving image data generated by continuously imaging a subject such as a patient. .
  • the imaging system 1 continuously captures an object and generates moving image data composed of frames of temporally continuous image data, and various operations of the imaging system 1.
  • the imaging device 2 includes an optical system 21 and an imaging unit 22.
  • the optical system 21 is configured using one or more lenses, and has a zoom function to change the focal length and a focus function to change the focal position.
  • the optical system 21 condenses the subject image and forms the subject image on the light receiving surface of the imaging unit 22.
  • the imaging unit 22 continuously captures an object image formed by the optical system 21 along a predetermined frame rate (for example, 60 fps or 120 fps) under control of the image processing apparatus 5 described later to generate moving image data.
  • the moving image data is output to the image processing apparatus 5.
  • the imaging unit 22 includes at least an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) that receives an object image and performs photoelectric conversion to generate an image signal (electric signal);
  • CMOS complementary metal oxide semiconductor
  • a signal processing circuit that performs predetermined signal processing (for example, gain-up processing) on the generated image signal, and an analog image signal subjected to the signal processing by the signal processing circuit are converted into digital image signals to be moving image data or image data
  • an A / D conversion circuit for outputting.
  • the input unit 3 receives an input of various operation information of the imaging system 1. Specifically, the input unit 3 inputs an instruction signal instructing the imaging device 2 to take an image, inputs an instruction signal instructing change of the gain and color tone of the moving image data generated by the imaging device 2, and the image processing device 5 It receives input of an instruction signal that instructs to change the image processing.
  • the input unit 3 is configured using an input device such as a keyboard, a mouse, and a touch panel.
  • the input unit 3 is not necessarily wired, and may be wireless, for example.
  • the display unit 4 Under the control of the image processing device 5, the display unit 4 displays a moving image corresponding to the moving image data subjected to the image processing by the image processing device 5 and an image corresponding to the image data. In addition, the display unit 4 displays various information related to the imaging system 1.
  • the display unit 4 is configured using a display panel such as organic EL (Electro Luminescence) or liquid crystal.
  • the display unit 4 is not necessarily wired, and may be wireless, for example.
  • the image processing device 5 includes an acquisition unit 51 for acquiring moving image data generated by the imaging device 2, a recording unit 52 for recording various programs executed by the image processing device 5 and data being processed, and the image processing device 5. And an image processing unit 54 that performs image processing on the moving image data acquired by the acquisition unit 51 and outputs the processed data to the display unit 4.
  • the acquisition unit 51 is appropriately configured according to the aspect of the imaging system 1 including the imaging device 2. For example, when a portable recording medium is used for delivery of moving image data with the imaging device 2, the acquisition unit 51 detachably mounts the recording medium, and reads the recorded moving image data. Configured as In addition, when the acquisition unit 51 uses a server that records moving image data generated by the imaging device 2, the acquisition unit 51 includes a communication device that can communicate bi-directionally with the server, and performs moving image data by performing data communication with the server. To get Furthermore, the acquisition unit 51 may be configured by an interface device or the like to which moving image data is input from the imaging device 2 via a cable. Of course, the acquisition unit 51 may be configured by a wireless communication interface device or the like to which moving image data is input from the imaging device 2 by wireless communication.
  • the recording unit 52 is configured using a flash memory, a synchronous dynamic random access memory (SDRAM), or the like.
  • the recording unit 52 has a frame memory 521 for temporarily recording the moving image data acquired by the acquisition unit 51, and a program recording unit 522 for recording various programs executed by the image processing apparatus 5.
  • the control unit 53 generally controls the respective units of the imaging system 1.
  • the control unit 53 is configured using a general-purpose processor such as a central processing unit (CPU) or a dedicated processor such as various arithmetic circuits that execute a specific function such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA). Be done.
  • a general-purpose processor such as a central processing unit (CPU) or a dedicated processor such as various arithmetic circuits that execute a specific function such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the image processing unit 54 is configured using a general purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute a specific function such as an ASIC or an FPGA.
  • the image processing unit 54 acquires moving image data from the frame memory 521 of the recording unit 52 under the control of the control unit 53, and causes local and minute fluctuations due to a living body included in the moving image corresponding to the acquired moving image data.
  • Image processing for emphasizing and displaying is performed and output to the display unit 4.
  • the image processing unit 54 includes a living body component distribution estimation unit 541 and a moving image generation unit 542.
  • the biological component distribution estimation unit 541 estimates a spatial distribution of a predetermined biological component whose component spectrum temporally fluctuates with respect to image data of a predetermined frame among a plurality of frames constituting moving image data, and this estimation Based on the spatial distribution of the biological component in each of the frame image data, the biological component moving image data in which the biological component is extracted from the moving image data is generated. Specifically, the living body component distribution estimating unit 541 generates image data of each frame of a plurality of frames constituting moving image data or image data for each predetermined number of frames (for example, image data every other frame or every ten frames).
  • the spatial distribution of the predetermined biological component in which the component spectrum varies temporally with respect to the image data etc. is estimated from the moving image data
  • the biological component moving image data from which the biological component is extracted is generated.
  • the living body component distribution estimating unit 541 estimates the spatial distribution of two or more independent components contained in the living body component, and the living body component moving image in which the two or more independent components are extracted from the moving image data Generate data.
  • the at least one biological component is at least one or more of hemoglobin, oxygenated hemoglobin, reduced hemoglobin, bilirubin (hematidin), porphyrin and hemosiderin.
  • the at least one biological component may be a biological component excluding any one or more of melanin, cytochrome and myoglobin.
  • the two biological components are described as melanin (first independent component) and hemoglobin (second independent component).
  • the moving image generation unit 542 applies, to the biological component moving image data, a filter for extracting a predetermined frequency component to generate periodic fluctuation moving image data of the biological component.
  • the moving image generation unit 542 applies, to the biological component moving image data, a band pass filter for extracting a predetermined frequency component to generate periodic fluctuation moving image data of the biological component.
  • the frequency characteristic of the band pass filter is appropriately set according to the biological component.
  • the frequency characteristic of the band pass filter is set to transmit a periodic signal based on a physiological phenomenon that fluctuates at a predetermined cycle.
  • the frequency characteristics of the band pass filter are set to transmit a periodic signal based on at least one of the heartbeat, pulse wave, convulsions and respiration of a living being.
  • FIG. 2 is a flowchart showing an outline of the process performed by the image processing apparatus 5.
  • the acquisition unit 51 acquires moving image data from the imaging device 2 (step S101).
  • the acquisition unit 51 temporarily records the moving image data in the frame memory 521 of the recording unit 52.
  • the image processing unit 54 executes periodic fluctuation moving image generation processing for generating biological component moving image data in which periodic fluctuation of the biological component is extracted from the moving image data recorded in the frame memory 521 (step S102). After step S102, the image processing apparatus 5 ends the present process.
  • FIG. 3 is a flowchart showing an outline of periodic fluctuation moving image generation processing in step S102 of FIG.
  • the living body component distribution estimating unit 541 acquires moving image data recorded in the frame memory 521 (step S201).
  • the biological component distribution estimation unit 541 performs component separation processing on the image data of each frame constituting the moving image data (step S202). After step S202, the image processing apparatus 5 proceeds to step S203 described later.
  • the biological component distribution estimation unit 541 performs component separation processing of acquiring desired component image data by inputting each frame constituting moving image data, that is, each RGB image data.
  • RGB image data is color image data having pixel levels (pixel values) for wavelength components of R (red), G (green) and B (blue) in each pixel value.
  • the direct reflected light Q1 is not relevant to estimating a biological component. Therefore, in the following, the internally reflected light L will be described.
  • the direct reflection light Q1 is removed by providing a polarization filter or the like that transmits only light of a predetermined wavelength band on the front surface of the optical system 21.
  • the component of the reflected light Q1 may be removed directly by image processing or the like.
  • the component of the reflected light Q1 in order to demonstrate living body Z1 typically, it is set as the 2 layer model which consists of A layer and B layer. Furthermore, the substance a is present in the layer A, and the substance b is present in the layer B. Furthermore, in FIG. 4, the shadow W1 is represented by hatching.
  • the internally reflected light L (x, y, ⁇ ) of wavelength ⁇ at position (x, y) is expressed by the following equation (1) using the Modified Lambert-Beer Law Given by).
  • E (x, y, ⁇ ) indicates the irradiation intensity
  • ⁇ a (x, y) indicates the concentration of substance a
  • ⁇ b (x, y) indicates the concentration of substance b
  • ⁇ a (x, y) y) represents the area involved in absorption
  • ⁇ b (x, y) represents the area involved in absorption
  • l A ( ⁇ ) represents the average optical path length of layer A
  • l B ( ⁇ ) represents the average path length of layer B Indicates the optical path length.
  • FIG. 5 is a diagram showing the relationship of each vector of equation (6).
  • the RGB signal log log after logarithmic conversion can be expressed by combining four vectors of ⁇ a , ⁇ b , and 1 e log (x, y).
  • the living body component distribution estimating unit 541 projects the logarithmic vector log log of the RGB values of the observation signal along the vector 1, and the vectors ⁇ a and ⁇ b
  • the component amounts (spatial distribution) of each of the substance a (first independent component) and the substance b (second independent component) can be estimated by determining the value of the coefficient of direction.
  • FIG. 6A to 6D are diagrams showing an example of an image in which each component is separated.
  • FIG. 6A is a diagram showing an example of an image of an input frame of moving image data input to the image processing apparatus 5
  • FIG. 6B is a diagram showing an example of a shadow component image
  • FIG. 6C is an image of a first independent component
  • FIG. 6D is a diagram showing an example of the image of the second independent component.
  • the biological component distribution estimation unit 541 performs the above-described processing to remove the shadow component from the image of the input frame. This makes it possible to eliminate the influence of the fluctuation of the shadow component caused by the minute movement of the subject.
  • the biocomponent distribution estimation unit 541 can extract the hemoglobin component (second independent component).
  • the biological component extracted by the biological component distribution estimation unit 541 depends on the biological color plane generated in advance, and the same effect can be obtained by extracting any one of hemoglobin, oxygenated hemoglobin, reduced hemoglobin and bilirubin. be able to.
  • the component extracted by the biological component distribution estimation unit 541 can also be defined as an axis representing a plurality of components in which any two or more of hemoglobin, oxygenated hemoglobin, reduced hemoglobin and bilirubin are combined.
  • the biocomponent distribution estimation unit 541 may separate the biocomponent (first independent component) such as melanin, cytochrome, and myoglobin that does not undergo periodic fluctuation and the other biocomponents.
  • the component separation processing performed by the biological component distribution estimation unit 541 is a known technique (for example, Japanese Patent No. 4756398 or Wang, W., den Brinker, A., Stuijk, S. and de Haan, G., “Algorithmic principles of remote-PPG,” IEEE Trans Biomed Eng 2016 Sep 13. See Epub 2016 Sep 13. et al.).
  • step S203 when the process on the image data of all the frames constituting the moving image data is completed (step S203: Yes), the image processing apparatus 5 proceeds to step S204 described later.
  • step S203: No when the process on the image data of all the frames constituting the moving image data is not completed (step S203: No), the image processing apparatus 5 returns to step S202 described above, and all the frames constituting the moving image data The process is repeated until the component separation processing for the image data of is completed.
  • step S204 the moving image generation unit 542 performs temporal band pass filter processing on the living body component moving image data subjected to the component separation process in step S202, and changes the periodic fluctuation moving image data of the living body component changing at a desired period. It generates (step S204).
  • the heart rate changes with age, but is usually 60 bpm (beat per minute).
  • the moving image generation unit 542 performs band pass using a band pass filter that extracts 0.5 to 3 Hz (30 to 180 bpm) components including frequency components of 60 bpm representing heart rate from the living body component moving image data.
  • periodic fluctuation moving image data in which a heartbeat fluctuation component as a biological component is extracted is generated.
  • the relationship between the biological component and the frequency characteristic of the band pass filter does not have to be one to one, and a plurality may be provided according to the biological component.
  • the moving image generation unit 542 outputs the periodic fluctuation moving image data of the biological component generated in step S204 to the recording unit 52 (step S205).
  • the periodic variation moving image data output to the recording unit 52 can be displayed as it is on an external display device or can be transferred to another device for use.
  • the image processing apparatus 5 returns to step S102 of FIG. 2 described above.
  • the biological component distribution estimation unit 541 temporally fluctuates the component spectrum with respect to image data of a predetermined frame, for example, each frame among a plurality of frames constituting moving image data.
  • the biological component moving image data in which the biological component is extracted from the moving image data is generated based on the spatial distribution of the biological component in the image data of each frame thus estimated
  • the moving image generating unit 542 applies a band pass filter for extracting a predetermined frequency component to the living body component moving image data of the living body component which is not related to the shadow change generated by the living body component distribution estimating unit 541 Since the data is generated, only minute variations attributable to the living body are eliminated while eliminating artifacts caused by variations in the shadow component. It can be viewed.
  • the image processing unit according to the second embodiment is different in configuration from the image processing unit 54 according to the first embodiment described above, and is different from the processing executed by the image processing apparatus.
  • processing performed by the image processing apparatus according to the second embodiment will be described.
  • the same components as those of the imaging system 1 according to the first embodiment described above are assigned the same reference numerals and descriptions thereof will be omitted.
  • FIG. 7 is a block diagram showing a functional configuration of a moving image generation unit according to the second embodiment.
  • the image processing unit 54 includes a moving image generation unit 542 a in place of the moving image generation unit 542 according to the first embodiment described above.
  • the moving image generation unit 542a applies, to the biological component moving image data, a filter for extracting a predetermined frequency component to generate periodic fluctuation moving image data of the biological component.
  • the moving image generation unit 542 a includes a frame synthesis processing unit 5421.
  • the frame synthesis processing unit 5421 generates weighted moving image data in which a minute fluctuation of the biological component is emphasized by weighting and combining the periodic fluctuation moving image data and the moving image data. Specifically, the frame synthesis processing unit 5421 generates enhanced moving image data in which a minute variation of the biological component is emphasized by combining the periodic variation moving image data and the moving image data so that the ratio of combining is 1. . For example, the frame composition processing unit 5421 sets a weighting coefficient to be multiplied by the periodic variation moving image data to be 0.5, and combines a weighting coefficient to be multiplied to the moving image data to be 0.5, thereby emphasizing the minute component of the biological component Generate data.
  • FIG. 8 is a flowchart executed by the image processing apparatus 5. As shown in FIG. 8, the image processing apparatus 5 according to the second embodiment further executes the processes of step S103 and step S104 in addition to the processes of step S101 and step S102 of the above-described first embodiment. Therefore, step S103 and step S104 will be described below.
  • step S103 the frame synthesis processing unit 5421 weights and synthesizes the periodic fluctuation moving image data generated by the biological component distribution estimation unit 541 and the moving image data to generate enhanced moving image data emphasizing biological minute changes, thereby generating enhanced moving image data. Execute emphasis video generation processing.
  • step S104 the frame synthesis processing unit 5421 outputs the enhanced moving image data of minute biological fluctuations generated in step S103 to the display unit 4 (step S104).
  • step S104 is not an essential process, and it is possible to select whether or not to execute the image processing apparatus 5 according to the operation of the input unit 3, and display on the external display unit 4 as it is Or transferred to another device for use.
  • step S104 the image processing apparatus 5 ends the present process.
  • FIGS. 9A to 9D are diagrams schematically showing an example of a moving image corresponding to the original moving image data generated by the imaging device 2.
  • 10A to 10D are diagrams schematically showing an example of a moving image corresponding to moving image data according to the conventional Video Magnification method.
  • FIGS. 11A to 11D are diagrams schematically showing an example of the enhanced moving image corresponding to the enhanced moving image data according to the second embodiment, and schematically showing an example of the enhanced moving image in which the first independent component is enhanced as the biological component. It is shown in.
  • shaded portions are represented by hatching.
  • FIGS. 11A to 11D the portions to be emphasized are represented by hatching.
  • 9A to 9D, 10A to 10D and 11A to 11D schematically show veins (sublingual cordage) on the back surface of the tongue in the oral cavity.
  • the frame combining processing unit 5421 performs weighted combining of the periodic variation moving image data and the moving image data to generate and display enhanced moving image data in which a minute variation of the biological component is emphasized. Since the image is output to the unit 4, the shadow change (for example, the change of the unevenness and the change of the surface shape) due to the movement of the subject and the illumination fluctuation (intensity and irradiation direction) is removed, and only the local fluctuation due to the living body is emphasized and displayed. As a result, the presence or absence of a superficial blood vessel of a living body can be easily visually recognized.
  • enhanced moving image data emphasizing temporal changes in hemoglobin by performing weighting and combining so that the ratio at which the frame combining processing unit 5421 combines periodic fluctuation moving image data and moving image data becomes equal.
  • the frame combining processing unit 5421 is configured to combine the periodic fluctuation moving image data and the moving image data by the weighting coefficient according to the instruction signal input from the input unit 3. It may be changed and weighted and combined.
  • the frame synthesis processing unit 5421 combines only the periodic fluctuation moving image data and the moving image data so that the weighting coefficient of the periodic fluctuation moving image data becomes 1, so that only the temporal change of the hemoglobin component (second independent component) You may generate the emphasis animation data which emphasized.
  • the frame synthesis processing unit 5421 synthesizes the periodic fluctuation moving image data and the moving image data, but instead of the moving image data, the periodic fluctuation moving image data in which a biological component different from the hemoglobin component is extracted It is also possible to generate and output to the display unit 4 enhanced moving image data in which local and minute changes are emphasized in the two biological components by weighting and combining the cyclic fluctuation moving image data from which the hemoglobin component is extracted.
  • the image processing unit according to the third embodiment is different in configuration from the image processing unit 54 according to the first embodiment described above, and is different in the processing executed by the image processing apparatus.
  • processing performed by the image processing apparatus according to the third embodiment will be described.
  • the same components as those of the imaging system 1 according to the first embodiment described above are assigned the same reference numerals and descriptions thereof will be omitted.
  • FIG. 12 is a block diagram showing a functional configuration of a moving image generation unit according to the third embodiment.
  • the image processing unit 54 includes a moving image generation unit 542 b instead of the moving image generation unit 542 according to the above-described first embodiment.
  • the moving image generation unit 542 b applies a filter for extracting a predetermined frequency component to the biological component moving image data to generate periodic fluctuation moving image data of the biological component.
  • the moving image generation unit 542 b includes a frequency analysis processing unit 5422.
  • the frequency analysis processing unit 5422 frequency analyzes temporal fluctuation of a predetermined position (image position) in the image data of each frame with respect to the periodic fluctuation moving image data, and the amplitude of the predetermined frequency component and the magnitude of the power spectrum Display image data in which at least one of the luminance value and the color is set is generated on the basis of at least one of the luminances and is output to the display unit 4.
  • FIG. 13 is a flowchart showing an outline of the process performed by the image processing apparatus 5.
  • steps S301 and S302 correspond to steps S101 and S102 in FIG. 2 described above.
  • step S303 the frequency analysis processing unit 5422 executes frequency analysis processing for inputting periodic fluctuation moving image data of a biological component and outputting a spatial distribution of biological periodic fluctuation.
  • step S303 the image processing apparatus 5 proceeds to step S304 described later.
  • FIG. 14 is a view showing an example of an image of one frame of a periodic fluctuation moving image of a biological component which the frequency analysis processing unit 5422 performs frequency analysis.
  • frequency analysis processing unit 5422 performs frequency analysis on each of region R1 and region R2 shown in FIG.
  • the region R1 includes veins in the back of the tongue in the oral cavity (sublingual choroid).
  • FIG. 15A and 15B are diagrams showing frequency analysis results of temporal variation of biological component values of periodic fluctuation moving images of a biological component in the region R1 shown in FIG. 14 and temporal variation of biological component values.
  • 16A and 16B are diagrams showing frequency analysis results of temporal fluctuation of biological component values of periodic fluctuation moving images of biological components in the region R2 shown in FIG. 14 and temporal fluctuation of biological component values.
  • FIG. 17 is a diagram showing an example of spatial distribution of biological cycle fluctuation.
  • the horizontal axis shows time (sec)
  • the vertical axis shows the component amount
  • the curve L1 shows the time variation of the biological component value in the region R1
  • the time variation of the biological component value in the region R2 is shown
  • the curve L2 shows the frequency analysis result of the time variation of the biological component value in the region R1
  • the curve L11 shows the frequency analysis result of the time variation of the biological component value in the region R2.
  • FIG. 15A in the region R1, periodic fluctuation of component values due to the heartbeat is observed.
  • FIG. 16A in the region R2, no periodic fluctuation of the component value caused by the heartbeat is recognized.
  • the power spectrum of the region R1 shows a large value at around 1 Hz indicating the frequency component of the heartbeat.
  • the power spectrum of the region R2 shows a small value around 1 Hz indicating the frequency component of the heartbeat.
  • the frequency analysis processing unit 5422 calculates an integral value of the power spectrum of the frequency domain of the heartbeat which is the desired frequency component described above, and performs a heat map in which coloring is performed according to the integral value of the power spectrum. (Display image data) is generated. Specifically, the frequency analysis processing unit 5422 generates a heat map such that a value with a large integral value of the power spectrum is red and a value with a small integral is blue (red> yellow> blue). This makes it possible to visualize the spatial distribution of local and minute fluctuations due to the heartbeat.
  • step S304 the frequency analysis processing unit 5422 outputs, to the display unit 4, the spatial distribution of biological cycle fluctuation generated by performing frequency analysis processing on the cyclic fluctuation moving image of the biological component.
  • the process of step S304 is not an essential process, and whether or not to execute the image processing apparatus 5 can be selected according to the operation of the input unit 3. It can be displayed on the external display unit 4 or transferred to another device for use.
  • the image processing apparatus 5 ends the present process.
  • the frequency analysis processing unit 5422 frequency analyzes temporal fluctuation of a predetermined position in the image data of each frame with respect to the periodic fluctuation moving image data, and the predetermined frequency
  • the predetermined frequency By generating a heat map in which the color is set based on at least one of the amplitude of the component and the size of the power spectrum and outputting it to the display unit 4, the amplitude of the desired frequency component and / or the spatial of at least one of the power spectrum Distribution, so it is possible to visualize the spatial distribution of minute fluctuations due to the heart rate that is difficult to see in the original animation, and to estimate the presence or absence of blood vessels in the lower layer of the living body surface Can provide supplementary information to
  • frequency analysis processing unit 5422 frequency analyzes temporal fluctuation of a predetermined position in image data of each frame with respect to periodically fluctuating moving image data, and determines the amplitude of a predetermined frequency component and A histogram based on at least one of the power spectrum sizes may be generated and output to the display unit 4.
  • the frequency analysis processing unit 5422 may generate display image data in which the luminance value is enhanced based on at least one of the amplitude of the predetermined frequency component and the size of the power spectrum, and may output the generated display image data to the display unit 4.
  • Embodiment 4 Next, the fourth embodiment will be described.
  • the image processing unit according to the fourth embodiment is different in configuration from the image processing unit 54 according to the above-described first embodiment, and is different in processing executed by the image processing apparatus.
  • processing performed by the image processing apparatus according to the fourth embodiment will be described.
  • the same components as those of the imaging system 1 according to the first embodiment described above are assigned the same reference numerals and descriptions thereof will be omitted.
  • FIG. 18 is a block diagram showing a functional configuration of a moving image generation unit according to the third embodiment.
  • the image processing unit 54 includes a moving image generation unit 542 c instead of the moving image generation unit 542 according to the first embodiment described above.
  • the moving image generation unit 542 c applies a filter for extracting a predetermined frequency component to the biological component moving image data to generate periodic fluctuation moving image data of the biological component. Also, the moving image generation unit 542 c includes the above-described frame synthesis processing unit 5421 and a frequency analysis processing unit 5422.
  • FIG. 19 is a flowchart showing an outline of the process performed by the image processing apparatus 5.
  • steps S401 to S402 correspond to steps S101 and S102 in FIG. 2 described above.
  • step S403 when an instruction signal for displaying a highlighted moving image is input from the input unit 3 (step S403: Yes), the image processing apparatus proceeds to step S404 described later. On the other hand, when the instruction signal for displaying the emphasized moving image is not input from the input unit 3 (step S403: No), the image processing apparatus proceeds to step S406 described later.
  • Steps S404 and S405 correspond to steps S103 and S104 in FIG. 8 described above. Note that the process of step S405 is not an essential process, and whether or not to execute the image processing apparatus 5 can be selected according to the operation of the input unit 3, and displayed on the external display unit 4 as it is Or transferred to another device for use. After step S405, the image processing apparatus 5 ends the present process.
  • Steps S406 and S407 correspond to steps S303 and S304 in FIG. 13 described above, respectively.
  • the process of step S407 is not an essential process, and whether or not to execute the image processing device 5 can be selected according to the operation of the input unit 3. It can be displayed on the display unit 4 or transferred to another device for use. After step S407, the image processing apparatus 5 ends the present process.
  • a display image showing at least one spatial distribution of the enhanced moving image data or the amplitude of the desired frequency component and the size of the power spectrum. Data can be displayed on the display unit 4.
  • one of the enhanced moving image data and the display image data showing at least one spatial distribution of the amplitude of the desired frequency component and the size of the power spectrum is displayed according to the operation of the input unit 3
  • output to the unit 4 is not limited to this, each of the enhanced moving image data and the display image data may be output to the display unit 4.
  • each of the imaging device, the input unit, the display unit, the recording unit, and the control unit is provided in the imaging system, but these constituent elements do not deviate from the scope of the invention. You may delete
  • various inventions can be formed by appropriately combining the plurality of components disclosed in the above-described first to fourth embodiments. For example, some components may be deleted from all the components described in the first to fourth embodiments described above. Furthermore, the components described in the first to fourth embodiments may be combined as appropriate.
  • each of the imaging device, the input unit, and the display unit is separate from the image processing apparatus, but may be integrally formed.
  • control unit can be read as control means or a control circuit.
  • moving image data is transmitted from the imaging device to the image processing device via the transmission cable, but it is not necessary to be wired, for example, and may be wireless.
  • moving image data and the like may be transmitted from the imaging device to the image processing device in accordance with a predetermined wireless communication standard (for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)).
  • a predetermined wireless communication standard for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark)
  • wireless communication may be performed in accordance with other wireless communication standards.
  • the imaging system is used.
  • a flexible or rigid endoscope inserted into a subject a capsule endoscope, a video microscope for imaging a subject, an imaging function
  • the present invention can also be applied to a mobile phone having an H.264 and a tablet type terminal having an imaging function.
  • Imaging unit 1 1, 1a, 1b Imaging system 2 Imaging device 3 Input unit 4 Display unit 5, 5a, 5b Image processing device 21 Optical system 22 Imaging unit 51 Acquisition unit 52 Recording unit 53 Control unit 54, 54a, 54b Image processing unit 521 Frame memory 522 Program storage unit 541 biological component distribution estimation units 542, 542a, 542b, 542c video generation unit 5421 frame synthesis processing unit 5422 frequency analysis processing unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

生体起因の変動を視認することができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置５は、動画データを取得する取得部５１と、動画データを構成する複数のフレームのうち所定のフレームの画像データにおいて成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、動画データから生体成分を抽出した生体成分動画データを生成する生体成分分布推定部５４１と、生体成分動画データに対して、所定の周波数成分を抽出して生体成分の周期変動動画データを生成する動画生成部５４２と、を備える。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は、動画中に含まれる生体起因の局所的かつ微小変動を表示する画像処理装置、画像処理方法およびプログラムに関する。
　従来、外科手術または内視鏡手術においては、医師が血管の位置を把握しながら手技を行う。医師は、血管が手術対象となる粘膜または臓器表面等の生体表面近くにある場合、血管の存在を容易に視認することができるが、血管が生体表面の下層にある場合、表面から血管を視認することが難しく困難が伴う。このように血管が生体表面の下層にある場合、医師は、生体表面の拍動を手で確認しながら手技を行うことがあるが、解剖学的な知見によって血管の配置を推測しつつ手技を実施することもあり、自身の経験則に頼っているのが現状である。このため、外科手術または内視鏡手術においては、映像解析によって生体表面から視認困難な血管の配置等を医師へ出力することができれば、医師の負担を軽減することが考えられる。
　近年、映像処理技術の進展に伴い、動画中に含まれる微小な動きや色変化を強調するｖｉｄｅｏ　Ｍａｇｎｉｆｉｃａｔｉｏｎ法が提案されている（非特許文献１参照）。この方法では、動画の各フレームについて空間的なローパスフィルタを施してボケ動画を生成し、このボケ動画に対して時間的なバンドパスフィルタを施して所望の周波数の変動成分を抽出した後、抽出した変動成分にゲインを乗算しながら、入力動画と合成することで、局所変動が現れた出力画像を得る。この方法により、人間が視認困難な微小変動を可視化することができ、生体表面から下層の血管の存在の有無を知らせるための手がかりを提供することが考えられる。
G.Balakrishnan,　F.Durand,　and　J.Guttag,　"Detecting　pulse　from　head　motions　in　video,"　in　Computer　Vision　and　Pattern　Recognition　(CVPR),　2013　IEEE　Conference　on.　IEEE,　2013,　pp.　3430－3437
　しかしながら、上述したｖｉｄｅｏ　Ｍａｇｎｉｆｉｃａｔｉｏｎ法（以下、「従来方法」という）では、動画に含まれる時間的に変動するＲＧＢ信号成分を強調しているため、生体に起因した微小変動だけでなく、生体の陰影変化も強調されてしまうことで、所望の生体起因の局所的かつ微小変動が陰影変化に埋もれてしまい、生体起因の変動のみを視認することが困難であった。
　本発明は、上記に鑑みてなされたものであって、陰影変化による影響を抑え、生体起因の変動を視認することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、動画データを取得する取得部と、前記動画データを構成する複数のフレームのうち所定のフレームの画像データに対して成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定部と、前記生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して前記生体成分の周期変動動画データを生成する動画生成部と、を備えることを特徴とする。
　また、本発明に係る画像処理方法は、動画データを取得する取得ステップと、前記動画データを構成する複数のフレームのうち所定のフレームの画像データにおいて成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定ステップと、前記生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して前記生体成分の周期変動動画データを生成する動画生成ステップと、を実行させることを特徴とする。
　また、本発明に係るプログラムは、画像処理装置に、画像処理装置に、動画データを取得する取得ステップと、前記動画データを構成する複数のフレームのうち所定のフレームの画像データにおいて成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定ステップと、前記生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して前記生体成分の周期変動動画データを生成する動画生成ステップと、を実行させることを特徴とする。
　本発明によれば、陰影変化による影響を抑え、生体起因の変動を視認することができるという効果を奏する。
図１は、本実施の形態１に係る撮像システムの機能構成を示すブロック図である。 図２は、本実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図３は、図２の周期変動動画生成処理の概要を示すフローチャートである。 図４は、２層からなる生体の断面を模式的に示す図である。 図５は、式（６）の各ベクトルの関係を示す図である。 図６Ａは、画像処理装置に入力された動画データの入力フレームの画像の一例を示す図である。 図６Ｂは、陰影成分の画像の一例を示す図である。 図６Ｃは、第１独立成分の画像の一例を示す図である。 図６Ｄは、第２独立成分の画像の一例を示す図である。 図７は、本実施の形態２に係る動画生成部の機能構成を示すブロック図である。 図８は、本実施の形態２に係る画像処理装置が実行するフローチャートである。 図９Ａは、撮像装置が生成した元の動画データに対応する動画の一例を模式的に示す図である。 図９Ｂは、撮像装置が生成した元の動画データに対応する動画の一例を模式的に示す図である。 図９Ｃは、撮像装置が生成した元の動画データに対応する動画の一例を模式的に示す図である。 図９Ｄは、撮像装置が生成した元の動画データに対応する動画の一例を模式的に示す図である。 図１０Ａは、従来のＶｉｄｅｏ　Ｍａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。 図１０Ｂは、従来のＶｉｄｅｏ　Ｍａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。 図１０Ｃは、従来のＶｉｄｅｏ　Ｍａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。 図１０Ｄは、従来のＶｉｄｅｏ　Ｍａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。 図１１Ａは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図である。 図１１Ｂは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図である。 図１１Ｃは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図である。 図１１Ｄは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図である。 図１２は、本実施の形態３に係る動画生成部の機能構成を示すブロック図である。 図１３は、本実施の形態３に係る画像処理装置が実行するフローチャートである。 図１４は、本実施の形態３に係る周波数解析処理部が周波数解析を行う生体成分の周期変動動画の１フレームの画像の一例を示す図である。 図１５Ａは、図１４に示す領域Ｒ１における生体成分の周期変動動画の生体成分値の時間変動を示す図である。 図１５Ｂは、図１４に示す領域Ｒ１における生体成分値の時間変動の周波数解析結果を示す図である。 図１６Ａは、図１４に示す領域Ｒ２における生体成分の周期変動動画の生体成分値の時間変動と生体成分値の時間変動の周波数解析結果を示す図である。 図１６Ｂは、図１４に示す領域Ｒ２における生体成分値の時間変動の周波数解析結果を示す図である。 図１７は、生体周期変動の空間分布の一例を示す図である。 図１８は、本実施の形態４に係る動画生成部の機能構成を示すブロック図である。 図１９は、本実施の形態４に係る画像処理装置が実行する処理の概要を示すフローチャートである。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。本実施の形態では、患者等の被写体を連続的に撮像して動画データを生成して表示する撮像システムを例に説明する。また、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
　〔撮像システムの構成〕
　図１は、本実施の形態１に係る撮像システムの機能構成を示すブロック図である。図１に示す撮像システム１は、患者等の被写体を連続的に撮像して生成された動画データに対応する動画中に含まれる生体起因の局所的かつ微小変動を強調して表示するシステムである。図１に示すように、撮像システム１は、被写体を連続的に撮像して時間的に連続する画像データのフレームで構成された動画データを生成する撮像装置２と、撮像システム１の各種の操作情報の入力を受け付ける入力部３と、撮像システム１に関する各種情報や動画データに対応する動画を表示する表示部４と、撮像装置２が生成した動画データを取得して所定の画像処理を行って表示部４へ出力する画像処理装置５と、を備える。
　まず、撮像装置２について説明する。
　図１に示すように、撮像装置２は、光学系２１と、撮像部２２と、を備える。
　光学系２１は、１または複数のレンズを用いて構成され、焦点距離を変更するズーム機能と、焦点位置を変更するフォーカス機能と、を有する。光学系２１は、被写体像を集光し、撮像部２２の受光面に被写体像を結像する。
　撮像部２２は、後述する画像処理装置５の制御のもと、光学系２１が結像した被写体像を所定のフレームレート（例えば６０ｆｐｓや１２０ｆｐｓ）に沿って連続的に撮像して動画データを生成し、この動画データを画像処理装置５へ出力する。撮像部２２は、少なくとも、被写体像を受光して光電変換を行って画像信号（電気信号）を生成するＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の撮像素子と、撮像素子が生成した画像信号に所定の信号処理（例えばゲインアップ処理）を行う信号処理回路と、信号処理回路が信号処理を行ったアナログの画像信号をデジタルの画像信号に変換して動画データまたは画像データとして出力するＡ／Ｄ変換回路と、を用いて構成される。
　次に、入力部３について説明する。
　入力部３は、撮像システム１の各種の操作情報の入力を受け付ける。具体的には、入力部３は、撮像装置２に撮影を指示する指示信号の入力、撮像装置２が生成した動画データのゲインや色調の変更を指示する指示信号の入力、画像処理装置５による画像処理の変更を指示する指示信号の入力等を受け付ける。入力部３は、キーボード、マウスおよびタッチパネル等の入力デバイスを用いて構成される。なお、入力部３は、必ずしも有線である必要はなく、例えば無線であってもよい。
　次に、表示部４について説明する。
　表示部４は、画像処理装置５の制御のもと、画像処理装置５によって画像処理が施された動画データに対応する動画や画像データに対応する画像を表示する。また、表示部４は、撮像システム１に関する各種情報を表示する。表示部４は、有機ＥＬ（Electro　Luminescence）や液晶等の表示パネル等を用いて構成される。なお、表示部４は、必ずしも有線である必要はなく、例えば無線であってもよい。
　次に、画像処理装置５について説明する。
　画像処理装置５は、撮像装置２によって生成された動画データを取得する取得部５１と、画像処理装置５が実行する各種のプログラムや処理中のデータを記録する記録部５２と、画像処理装置５を含む撮像システム１の各部を制御する制御部５３と、取得部５１が取得した動画データに対して画像処理を施して表示部４へ出力する画像処理部５４と、を備える。
　取得部５１は、撮像装置２を含む撮像システム１の態様に応じて適宜構成される。例えば、取得部５１は、撮像装置２との間で、動画データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された動画データを読み出すリーダ装置として構成される。また、取得部５１は、撮像装置２によって生成された動画データを記録するサーバを用いる場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって動画データを取得する。さらに、取得部５１は、撮像装置２からケーブルを介して動画データが入力されるインターフェース装置等で構成してもよい。もちろん、取得部５１は、撮像装置２から無線通信によって動画データが入力される無線通信インターフェース装置等で構成してもよい。
　記録部５２は、ＦｌａｓｈメモリやＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）等を用いて構成される。記録部５２は、取得部５１が取得した動画データを一時的に記録するフレームメモリ５２１と、画像処理装置５が実行する各種プログラムを記録するプログラム記録部５２２と、を有する。
　制御部５３は、撮像システム１の各部を統括的に制御する。制御部５３は、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサまたはＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部５３が汎用プロセッサである場合、記録部５２が記憶する各種プログラムを読み込むことによって画像処理装置５を構成する各部への指示やデータの転送等を行い、画像処理装置５全体の動作を統括して制御する。また、制御部５３が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部５２が記憶する各種データ等を用いることで、プロセッサと記録部５２が協働または結合して種々の処理を実行してもよい。
　画像処理部５４は、ＣＰＵ等の汎用プロセッサまたはＡＳＩＣやＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。画像処理部５４は、制御部５３の制御のもと、記録部５２のフレームメモリ５２１から動画データを取得し、取得した動画データに対応する動画中に含まれる生体起因の局所的かつ微小変動を強調して表示するための画像処理を行って表示部４へ出力する。画像処理部５４は、生体成分分布推定部５４１と、動画生成部５４２と、を有する。
　生体成分分布推定部５４１は、動画データを構成する複数のフレームのうち所定のフレームの画像データに対して成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、この推定した各フレーム画像データにおける生体成分の空間的な分布に基づいて、動画データから生体成分を抽出した生体成分動画データを生成する。具体的には、生体成分分布推定部５４１は、動画データを構成する複数のフレームの各フレームの画像データまたは所定のフレーム数毎の画像データ（例えば１フレームおきの画像データ、または１０フレームおきの画像データ等）に対して成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、この推定したフレームの画像データにおける生体成分の空間的な分布に基づいて、動画データから生体成分を抽出した生体成分動画データを生成する。より具体的には、生体成分分布推定部５４１は、生体成分に含まれる２つ以上の独立成分の空間的な分布を推定し、この２つ以上の独立成分を動画データから抽出した生体成分動画データを生成する。ここで、少なくとも１つの生体成分は、少なくともヘモグロビン、酸化ヘモグロビン、還元ヘモグロビン、ビリルビン（ヘマトイジン）、ポルフィリンおよびヘモジデリンの１つ以上である。なお、少なくとも１つの生体成分は、メラニン、チトクロムおよびミオグロビンのいずれか１つ以上を除く生体成分であってもよい。以下においては、２つの生体成分をメラニン（第１独立成分）およびヘモグロビン（第２独立成分）として説明する。
　動画生成部５４２は、生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して生体成分の周期変動動画データを生成する。具体的には、動画生成部５４２は、生体成分動画データに対して、所定の周波数成分を抽出するバンドパスフィルタを施して生体成分の周期変動動画データを生成する。ここで、バンドパスフィルタの周波数特性は、生体成分に応じて適宜設定される。具体的には、バンドパスフィルタの周波数特性は、所定の周期で変動する生理現象に基づく周期信号を透過させるように設定される。例えば、バンドパスフィルタの周波数特性は、少なくとも生体の心拍、脈波、痙攣および呼吸の１つ以上に基づく周期信号を透過させるように設定される。
　〔画像処理装置の処理〕
　次に、画像処理装置５が実行する処理について説明する。図２は、画像処理装置５が実行する処理の概要を示すフローチャートである。
　図２に示すように、まず、取得部５１は、撮像装置２から動画データを取得する（ステップＳ１０１）。この場合、取得部５１は、記録部５２のフレームメモリ５２１に動画データを一時的に記録する。
　続いて、画像処理部５４は、フレームメモリ５２１に記録された動画データから生体成分の周期変動を抽出した生体成分動画データを生成する周期変動動画生成処理を実行する（ステップＳ１０２）。ステップＳ１０２の後、画像処理装置５は、本処理を終了する。
　〔周期変動動画生成処理〕
　図３は、図２のステップＳ１０２における周期変動動画生成処理の概要を示すフローチャートである。
　図３に示すように、まず、生体成分分布推定部５４１は、フレームメモリ５２１に記録された動画データを取得する（ステップＳ２０１）。
　続いて、生体成分分布推定部５４１は、動画データを構成する各フレームの画像データに対して成分分離処理を行う（ステップＳ２０２）。ステップＳ２０２の後、画像処理装置５は、後述するステップＳ２０３へ移行する。
　ここで、上述したステップＳ２０２において生体成分分布推定部５４１が行う成分分離処理の詳細について説明する。
　生体成分分布推定部５４１は、動画データを構成する各フレーム、即ち、各ＲＧＢ画像データを入力して、所望の成分画像データを取得する成分分離処理を行う。ここで、ＲＧＢ画像データとは、各画素値において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像データである。
　また、撮像装置２が受光する反射光は、図４に示すように、図示しない光源によって生体Ｚ１表面に光が照射された場合、生体Ｚ１表面で反射する直接反射光Ｑ１（表面反射光）と、生体Ｚ１内部に入ってから反射される内部反射光Ｌと、に分類することができる。本実施の形態１では、生体成分を推定するのに直接反射光Ｑ１が関係ない。このため、以下においては、内部反射光Ｌについて説明する。なお、直接反射光Ｑ１は、光学系２１の前面に、所定の波長帯域の光のみを透過させる偏光フィルタ等を設けることによって除去する。もちろん、画像処理等によって直接反射光Ｑ１の成分を除去してもよい。また、図４においては、生体Ｚ１を模式的に説明するため、Ａ層とＢ層とからなる２層モデルとする。さらに、Ａ層には、物質ａが存在し、Ｂ層には、物質ｂが存在する。さらにまた、図４においては、陰影Ｗ１をハッチングで表現する。
　図４において、位置（ｘ，ｙ）の波長λの内部反射光Ｌ（ｘ，ｙ，λ）は、モデファイド・ランベルト・ベールの法則則（Modified　Lambert-Beer　Law）を用いて次式（１）で与えられる。
Figure JPOXMLDOC01-appb-M000001
 Ｅ（ｘ，ｙ，λ）は、照射照度を示し、ρａ（ｘ，ｙ）が物質ａの濃度を示し、ρｂ（ｘ，ｙ）が物質ｂの濃度を示し、σａ（ｘ，ｙ）が吸収に関わる面積を示し、σｂ（ｘ，ｙ）が吸収に関わる面積を示し、ｌＡ（λ）がＡ層の平均光路長を示し、ｌＢ（λ）がＢ層の平均光路長を示す。
　ここで、撮像信号を、νｉ（ｘ，ｙ），ｉ＝Ｒ，Ｇ，Ｂとすると、以下の式（２）が成り立つ。
Figure JPOXMLDOC01-appb-M000002
 ｓｉ（λ）が撮像装置２の感度（ＩＳＯ感度）を示し、ｋが係数（ゲイン）を示す。
　簡易にするため、ｓｉ（λ）＝δ（λ-λｉ）とし、
Figure JPOXMLDOC01-appb-M000003
 ρ（ｘ，ｙ）が陰影係数を示す。
　上述した式（２）および（３）より、撮像信号νｉ（ｘ，ｙ）は、
Figure JPOXMLDOC01-appb-M000004
 以上より、次式（５）を得る。
Figure JPOXMLDOC01-appb-M000005
 ただし、
Figure JPOXMLDOC01-appb-M000006
　図５は、式（６）の各ベクトルの関係を示す図である。図５に示すように、対数変換後のＲＧＢ信号νｌｏｇは、σａ，σｂ，１，ｅｌｏｇ（ｘ，ｙ）の４ベクトルの合成で表現することができる。また、予め生体色平面を実験的に定義しておけば、生体成分分布推定部５４１は、観察信号のＲＧＢ値の対数ベクトルνｌｏｇをベクトル１に沿って射影し、そのベクトルσａ，σｂ方向の係数の値を求めることで、物質ａ（第１独立成分）および物質ｂ（第２独立成分）それぞれの成分量（空間的な分布）を推定することができる。
　図６Ａ～図６Ｄは、各成分を分離した画像の一例を示す図である。図６Ａが画像処理装置５に入力された動画データの入力フレームの画像の一例を示す図であり、図６Ｂが陰影成分の画像の一例を示す図であり、図６Ｃが第１独立成分の画像の一例を示す図であり、図６Ｄが第２独立成分の画像の一例を示す図である。
　図６Ａ～図６Ｄに示すように、生体成分分布推定部５４１は、上述した処理を行い、入力フレームの画像から陰影成分を除去する。これにより、被写体の微小な動きに起因した陰影成分の変動による影響を排除することができる。
　ここで、上述するモデルにおいて、例えば物質ａをメラニン、物質ｂをヘモグロビンとした場合において、生体成分分布推定部５４１は、ヘモグロビン成分（第２独立成分）を抽出することができる。このとき、生体成分分布推定部５４１が抽出する生体成分は、予め生成する生体色平面に依存し、ヘモグロビン、酸化ヘモグロビン、還元ヘモグロビンおよびビリルビンのいずれか１つを抽出しても同様の効果を得ることができる。
　また、生体成分分布推定部５４１が抽出する成分は、ヘモグロビン、酸化ヘモグロビン、還元ヘモグロビンおよびビリルビンのいずれか２つ以上を組み合わせた複数成分を代表する軸として定義することもできる。もちろん、生体成分分布推定部５４１は、メラニン、チトクロムおよびミオグロビン等の周期変動しない生体成分（第１独立成分）と、それ以外の生体成分に分離してもよい。なお、生体成分分布推定部５４１が実行する成分分離処理は、周知の技術（例えば特許第４７５６３９８号公報、または　Wang,　W.,den　Brinker,　A.,Stuijk,　S.　and　de　Haan,　G.,　“Algorithmic　principles　of　remote-PPG,”　IEEE　Trans　Biomed　Eng　2016　Sep　13.　Epub　2016　Sep　13.等を参照）を用いてもよい。
　図３に戻り、ステップＳ２０３以降の説明を続ける。
　ステップＳ２０３において、動画データを構成する全フレームの画像データに対する処理が終了した場合（ステップＳ２０３：Ｙｅｓ）、画像処理装置５は、後述するステップＳ２０４へ移行する。これに対して、動画データを構成する全フレームの画像データに対する処理が終了していない場合（ステップＳ２０３：Ｎｏ）、画像処理装置５は、上述したステップＳ２０２へ戻り、動画データを構成する全フレームの画像データに対する成分分離処理が終了するまで、繰り返し行う。
　ステップＳ２０４において、動画生成部５４２は、ステップＳ２０２で成分分離処理を行った生体成分動画データに対して時間的なバンドパスフィルタ処理を行い、所望の周期で変動する生体成分の周期変動動画データを生成する（ステップＳ２０４）。通常、心拍数は、年齢とともに変化するが、通常、６０ｂｐｍ（beat　per　minute）である。このため、動画生成部５４２は、生体成分動画データに対して、心拍数を表す６０ｂｐｍの周波数成分を包含する０．５～３Ｈｚ（３０～１８０ｂｐｍ）成分を抽出するバンドパスフィルタを用いてバンドパスフィルタ処理を行うことによって、生体成分である心拍変動成分を抽出した周期変動動画データを生成する。なお、生体成分とバンドパスフィルタの周波数特性との関係は、１対１である必要はなく、生体成分に応じて複数設けてもよい。
　続いて、動画生成部５４２は、ステップＳ２０４で生成した生体成分の周期変動動画データを記録部５２に出力する（ステップＳ２０５）。なお、記録部５２に出力した周期変動動画データは、そのまま外部の表示装置に表示したり、他の装置に転送して使用したりすることができる。ステップＳ２０５の後、画像処理装置５は、上述した図２のステップＳ１０２へ戻る。
　以上説明した本実施の形態１によれば、生体成分分布推定部５４１が動画データを構成する複数のフレームのうち所定のフレーム、例えば各フレームの画像データに対して成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、この推定した各フレームの画像データにおける生体成分の空間的な分布に基づいて、動画データから生体成分を抽出した生体成分動画データを生成した後、動画生成部５４２が生体成分分布推定部５４１によって生成された陰影変化に関係しない生体成分の生体成分動画データに対して、所定の周波数成分を抽出するバンドパスフィルタを施して生体成分の周期変動動画データを生成するので、陰影成分の変動に起因したアーチファクト（Artifact）を排除しつつ、生体起因の微小な変動のみを視認することができる。
（実施の形態２）
　次に、本実施の形態２について説明する。本実施の形態２に係る画像処理部は、上述した実施の形態１に係る画像処理部５４と構成が異なるうえ、画像処理装置が実行する処理が異なる。以下においては、本実施の形態２に係る画像処理部の構成を説明後、本実施の形態２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
　図７は、本実施の形態２に係る動画生成部の機能構成を示すブロック図である。図７に示すように、画像処理部５４は、上述した実施の形態１に係る動画生成部５４２に換えて、動画生成部５４２ａを備える。
　動画生成部５４２ａは、生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して生体成分の周期変動動画データを生成する。また、動画生成部５４２ａは、フレーム合成処理部５４２１を有する。
　フレーム合成処理部５４２１は、周期変動動画データと動画データとを重み付け合成することによって、生体成分の微小変動が強調された強調動画データを生成する。具体的には、フレーム合成処理部５４２１は、周期変動動画データと動画データとを合成する比率が１となるように合成することによって、生体成分の微小変動が強調された強調動画データを生成する。例えば、フレーム合成処理部５４２１は、周期変動動画データに乗じる重み付け係数を０．５とし、動画データに乗じる重み付け係数を０．５として合成することによって、生体成分の微小変動が強調された強調動画データを生成する。
　〔画像処理装置の処理〕
　次に、画像処理装置５が実行する処理について説明する。図８は、画像処理装置５が実行するフローチャートである。図８に示すように、本実施の形態２に係る画像処理装置５は、上述した実施の形態１のステップＳ１０１およびステップＳ１０２の処理に加えて、ステップＳ１０３およびステップＳ１０４の処理をさらに実行する。このため、以下においては、ステップＳ１０３およびステップＳ１０４について説明する。
　ステップＳ１０３において、フレーム合成処理部５４２１は、生体成分分布推定部５４１が生成した周期変動動画データと動画データとを重み付け合成することによって生体微小変動を強調した強調動画データを生成する生体微小変動の強調動画生成処理を実行する。
　続いて、フレーム合成処理部５４２１は、ステップＳ１０３で生成した生体微小変動の強調動画データを表示部４へ出力する（ステップＳ１０４）。なお、ステップＳ１０４の処理は、必須の処理ではなく、入力部３の操作に応じて画像処理装置５が実行するか否かを選択することができるものであり、そのまま外部の表示部４に表示したり、他の装置に転送して使用したりすることができる。ステップＳ１０４の後、画像処理装置５は、本処理を終了する。
　ここで、表示部４が表示する強調動画データに対応する強調動画について説明する。図９Ａ～図９Ｄは、撮像装置２が生成した元の動画データに対応する動画の一例を模式的に示す図である。図１０Ａ～図１０Ｄは、従来のＶｉｄｅｏ　Ｍａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。図１１Ａ～図１１Ｄは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図であり、生体成分として第１独立成分を強調した強調動画の一例を模式的に示すである。なお、図１０Ａ～図１０Ｄでは、陰影部分をハッチングで表現する。また、図１１Ａ～図１１Ｄでは、強調される部分をハッチングで表現する。なお、図９Ａ～図９Ｄ、図１０Ａ～図１０Ｄおよび図１１Ａ～図１１Ｄでは、口腔内における舌の裏面における静脈（舌下脈絡）を模式的に示す。
　図９Ａ～図９Ｄの画像Ｐ１～画像Ｐ４に示すように、元の動画では、心拍に起因した変動（舌下脈絡の変動）を視認することが困難である（図９Ａ→図９Ｂ→図９Ｃ→図９Ｄ）。また、図１０Ａ～図１０Ｄの画像Ｐ１０～画像Ｐ１３に示すように、従来方法では、フレームによっては全体的に暗くなる（図１０Ａ→図１０Ｂ→図１０Ｃ→図１０Ｄ）。従来方法は、画像データに含まれるＲＧＢ信号を強調しているため、陰影成分の変動が強調されてしまう（例えば図１０Ａの画像Ｐ１０や図１０Ｃの画像Ｐ１２）。このため、心拍に起因した変動（舌下脈絡の変動）を視認することが困難である
　これに対して、本実施の形態２では、図１１Ａ～図１１Ｄの画像Ｐ２１～Ｐ２４に示すように、陰影成分の変動に起因したアーチファクトを排除しつつ、血管位置のみ周期変動（舌下脈絡の変動をハッチングで表現）を強調することができる（図１１Ａ→図１１Ｂ→図１１Ｃ→図１１Ｄ）。この理由は、生体成分の成分分離によって陰影成分を除去しつつ、所望の生体成分（第２独立成分）だけを強調することができるからである。
　以上説明した本実施の形態２によれば、フレーム合成処理部５４２１が周期変動動画データと動画データとを重み付け合成することによって、生体成分の微小変動が強調された強調動画データを生成して表示部４へ出力するので、被写体の動きや照明変動（強度や照射方向）に起因した陰影変化（例えば凹凸の変化や表面形状の変化）を取り除き、生体起因の局所変動だけを強調して表示することが可能となり、生体の表層血管の有無等を容易に視認することができる。
　なお、本実施の形態２では、フレーム合成処理部５４２１が周期変動動画データと動画データとを合成する比率が均等になるように重み付け合成することによって、ヘモグロビンの時間的変化を強調した強調動画データを生成していたが、これに限定されることなく、フレーム合成処理部５４２１は、入力部３から入力される指示信号に応じた重み付け係数によって周期変動動画データと動画データとを合成する比率が変更して重み付け合成してもよい。例えば、フレーム合成処理部５４２１は、周期変動動画データの重み付け係数が１となるように、周期変動動画データと動画データとを合成することによって、ヘモグロビン成分（第２独立成分）の時間的変化のみを強調した強調動画データを生成してもよい。
　また、本実施の形態２では、フレーム合成処理部５４２１が周期変動動画データと動画データとを合成していたが、動画データに換えて、ヘモグロビン成分と異なる生体成分を抽出した周期変動動画データとヘモグロビン成分を抽出した周期変動動画データとを重み付け合成することによって、２つの生体成分の局所的かつ微小変動が強調された強調動画データを生成して表示部４へ出力してもよい。
（実施の形態３）
　次に、本実施の形態３について説明する。本実施の形態３に係る画像処理部は、上述した実施の形態１に係る画像処理部５４と構成が異なるうえ、画像処理装置が実行する処理が異なる。以下においては、本実施の形態３に係る画像処理部の構成を説明後、本実施の形態３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
　図１２は、本実施の形態３に係る動画生成部の機能構成を示すブロック図である。図１２に示すように、画像処理部５４は、上述した実施の形態１に係る動画生成部５４２に換えて、動画生成部５４２ｂを備える。
　動画生成部５４２ｂは、生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して生体成分の周期変動動画データを生成する。また、動画生成部５４２ｂは、周波数解析処理部５４２２を有する。
　周波数解析処理部５４２２は、周期変動動画データに対して、各フレームの画像データにおける所定位置（映像位置）の時間的な変動を周波数解析し、かつ、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいて、輝度値および色の少なくとも一方を設定した表示画像データを生成して表示部４へ出力する。
　〔画像処理装置の処理〕
　図１３は、画像処理装置５が実行する処理の概要を示すフローチャートである。図１１において、ステップＳ３０１およびステップＳ３０２は、上述した図２のステップＳ１０１およびステップＳ１０２それぞれに対応する。
　ステップＳ３０３において、周波数解析処理部５４２２は、生体成分の周期変動動画データを入力して生体周期変動の空間分布を出力するための周波数解析処理を実行する。ステップＳ３０３の後、画像処理装置５は、後述するステップＳ３０４へ移行する。
　図１４は、周波数解析処理部５４２２が周波数解析を行う生体成分の周期変動動画の１フレームの画像の一例を示す図である。本実施の形態３では、周波数解析処理部５４２２が図１２に示す領域Ｒ１および領域Ｒ２それぞれに対して周波数解析を行う。なお、領域Ｒ１には、口腔内における舌の裏面における静脈（舌下脈絡）が含まれる。
　また、図１５Ａおよび図１５Ｂは、図１４に示す領域Ｒ１における生体成分の周期変動動画の生体成分値の時間変動と生体成分値の時間変動の周波数解析結果を示す図である。図１６Ａおよび図１６Ｂは、図１４に示す領域Ｒ２における生体成分の周期変動動画の生体成分値の時間変動と生体成分値の時間変動の周波数解析結果を示す図である。図１７は、生体周期変動の空間分布の一例を示す図である。図１５Ａおよび図１６Ａにおいて、横軸が時刻（ｓｅｃ）を示し、縦軸が成分量を示し、曲線Ｌ１が領域Ｒ１における生体成分値の時間変動を示し、図１５Ｂおよび図１６Ｂにおいて、曲線Ｌ１０が領域Ｒ２における生体成分値の時間変動を示し、曲線Ｌ２が領域Ｒ１における生体成分値の時間変動の周波数解析結果を示し、曲線Ｌ１１が領域Ｒ２における生体成分値の時間変動の周波数解析結果を示す。
　図１５Ａに示すように、領域Ｒ１では、心拍に起因した成分値の周期的な変動が認められる。これに対して、図１６Ａに示すように、領域Ｒ２では、心拍に起因した成分値の周期的な変動が認められない。具体的には、図１５Ｂに示すように、領域Ｒ１では、心拍の周波数成分を示す１Ｈｚ前後において、領域Ｒ１のパワースペクトルが大きい値を示す。これに対して、図１６Ｂに示すように、領域Ｒ２では、心拍の周波数成分を示す１Ｈｚ前後において、領域Ｒ２のパワースペクトルが小さい値を示す。周波数解析処理部５４２２は、図１７に示すように、上述した所望の周波数成分である心拍の周波数領域のパワースペクトルの積分値を計算し、パワースペクトルの積分値に応じて色付けを行ったヒートマップ（表示画像データ）を生成する。具体的には、周波数解析処理部５４２２は、パワースペクトルの積分値が大きい値を赤色とし、小さい値を青色となるようにヒートマップを生成する（赤色＞黄色＞青色）。これにより、心拍に起因した局所的かつ微小変動の空間的な分布を可視化することができる。
　図１３に戻り、ステップＳ３０４以降の説明を続ける。
　ステップＳ３０４において、周波数解析処理部５４２２は、生体成分の周期変動動画に対して周波数解析処理を行って生成した生体周期変動の空間分布を表示部４へ出力する。なお、ステップＳ３０４の処理は、必須の処理ではなく、入力部３の操作に応じて画像処理装置５が実行するか否かを選択することができるものであり、生体周期変動の空間分布をそのまま外部の表示部４に表示したり、他の装置に転送して使用したりすることができる。ステップＳ３０４の後、画像処理装置５は、本処理を終了する。
　以上説明した本実施の形態３によれば、周波数解析処理部５４２２が周期変動動画データに対して、前記各フレームの画像データにおける所定位置の時間的な変動を周波数解析し、かつ、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいて、色を設定したヒートマップを生成して表示部４へ出力することによって、所望の周波数成分の振幅およびパワースペクトルの少なくとも一方の空間的な分布を出力することができるので、元の動画で視認することが困難な心拍に起因した微小変動の空間的な分布を可視化することができ、生体表面の下層に存在する血管の有無を推定するための補助的な情報を提供することができる。
　なお、本実施の形態３では、周波数解析処理部５４２２が周期変動動画データに対して、各フレームの画像データにおける所定位置の時間的な変動を周波数解析し、かつ、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいたヒストグラムを生成して表示部４へ出力してもよい。もちろん、周波数解析処理部５４２２は、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいて、輝度値を強調した表示画像データを生成して表示部４へ出力してもよい。
（実施の形態４）
　次に、本実施の形態４について説明する。本実施の形態４に係る画像処理部は、上述した実施の形態１に係る画像処理部５４と構成が異なるうえ、画像処理装置が実行する処理が異なる。以下においては、本実施の形態４に係る画像処理部の構成を説明後、本実施の形態４に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。
　図１８は、本実施の形態３に係る動画生成部の機能構成を示すブロック図である。図１８に示すように、画像処理部５４は、上述した実施の形態１に係る動画生成部５４２に換えて、動画生成部５４２ｃを備える。
　動画生成部５４２ｃは、生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して生体成分の周期変動動画データを生成する。また、動画生成部５４２ｃは上述したフレーム合成処理部５４２１と、周波数解析処理部５４２２と、を有する。
　図１９は、画像処理装置５が実行する処理の概要を示すフローチャートである。図１９において、ステップＳ４０１～ステップＳ４０２は、上述した図２のステップＳ１０１およびステップＳ１０２それぞれに対応する。
　ステップＳ４０３において、入力部３から強調動画を表示する指示信号が入力された場合（ステップＳ４０３：Ｙｅｓ）、画像処理装置は、後述するステップＳ４０４へ移行する。これに対して、入力部３から強調動画を表示する指示信号が入力されていない場合（ステップＳ４０３：Ｎｏ）、画像処理装置は、後述するステップＳ４０６へ移行する。
　ステップＳ４０４およびステップＳ４０５は、上述した図８のステップＳ１０３およびステップＳ１０４それぞれに対応する。なお、ステップＳ４０５の処理は、必須の処理ではなく、入力部３の操作に応じて画像処理装置５が実行するか否かを選択することができるものであり、そのまま外部の表示部４に表示したり、他の装置に転送して使用したりすることができる。ステップＳ４０５の後、画像処理装置５は、本処理を終了する。
　ステップＳ４０６およびステップＳ４０７は、上述した図１３のステップＳ３０３およびステップＳ３０４それぞれに対応する。ステップＳ４０７の処理は、必須の処理ではなく、入力部３の操作に応じて画像処理装置５が実行するか否かを選択することができるものであり、生体周期変動の空間分布をそのまま外部の表示部４に表示したり、他の装置に転送して使用したりすることができる。ステップＳ４０７の後、画像処理装置５は、本処理を終了する。
　以上説明した本発明の実施の形態４によれば、入力部３の操作に応じて強調動画データまたは所望の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方の空間的な分布を示す表示画像データを表示部４に表示させることができる。
　なお、本実施の形態４では、入力部３の操作に応じて強調動画データおよび所望の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方の空間的な分布を示す表示画像データの一方を表示部４に出力していたが、これに限定されることなく、強調動画データおよび表示画像データそれぞれを表示部４に出力してもよい。
（その他の実施の形態）
　また、本実施の形態１～４では、撮像システムに、撮像装置、入力部、表示部、記録部および制御部の各々を設けていたが、これらの構成要素は発明の要旨を逸脱しない範囲内で削除してもよい。また、上述した実施の形態１～４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１～４に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１～４で説明した構成要素を適宜組み合わせてもよい。
　また、本実施の形態１～４では、撮像装置、入力部および表示部の各々が画像処理装置と別体であったが、一体的に形成してもよい。
　また、本実施の形態では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　また、本実施の形態では、伝送ケーブルを介して撮像装置から動画データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、撮像装置から動画データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
　また、本実施の形態では、撮像システムであったが、例えば被検体に挿入される軟性型や硬性型の内視鏡、カプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
１，１ａ，１ｂ　撮像システム
２　撮像装置
３　入力部
４　表示部
５，５ａ，５ｂ　画像処理装置
２１　光学系
２２　撮像部
５１　取得部
５２　記録部
５３　制御部
５４，５４ａ，５４ｂ　画像処理部
５２１　フレームメモリ
５２２　プログラム記録部
５４１　生体成分分布推定部
５４２，５４２ａ，５４２ｂ，５４２ｃ　動画生成部
５４２１　フレーム合成処理部
５４２２　周波数解析処理部

Claims (7)

  1. 　動画データを取得する取得部と、
    　前記動画データを構成する複数のフレームのうち所定のフレームの画像データに対して成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定部と、
    　前記生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して前記生体成分の周期変動動画データを生成する動画生成部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記動画生成部は、前記周期変動動画データと前記動画データとを重み付け合成することによって、前記生体成分の微小変動が強調された強調動画データを生成するフレーム合成処理部を有することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記動画生成部は、前記周期変動動画データに対して、前記所定のフレームの画像データにおける所定位置の時間的な変動を周波数解析し、かつ、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいて、輝度値および色の少なくとも一方を設定した表示画像データを生成して出力する周波数解析処理部を有することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記生体成分は、
    　少なくともヘモグロビン、酸化ヘモグロビン、還元ヘモグロビンおよびビリルビンの１つ以上であることを特徴とする請求項１に記載の画像処理装置。
  5. 　前記生体成分は、
    　メラニン、チトクロムおよびミオグロビンを除く生体成分であることを特徴とする請求項１に記載の画像処理装置。
  6. 　動画データを取得する取得ステップと、
    　前記動画データを構成する複数のフレームのうち所定のフレームの画像データにおいて成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定ステップと、
    　前記生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して前記生体成分の周期変動動画データを生成する動画生成ステップと、
    　を含むことを特徴とする画像処理方法。
  7. 　画像処理装置に、
    　動画データを取得する取得ステップと、
    　前記動画データを構成する複数のフレームのうち所定のフレームの画像データにおいて成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定ステップと、
    　前記生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して前記生体成分の周期変動動画データを生成する動画生成ステップと、
    　を実行させることを特徴とするプログラム。
PCT/JP2017/023458 2017-06-26 2017-06-26 画像処理装置、画像処理方法およびプログラム WO2019003285A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/023458 WO2019003285A1 (ja) 2017-06-26 2017-06-26 画像処理装置、画像処理方法およびプログラム
JP2019526420A JP7012291B2 (ja) 2017-06-26 2017-06-26 画像処理装置、画像処理装置の作動方法およびプログラム
US16/724,016 US11304611B2 (en) 2017-06-26 2019-12-20 Image processing apparatus, image processing method, and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023458 WO2019003285A1 (ja) 2017-06-26 2017-06-26 画像処理装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/724,016 Continuation US11304611B2 (en) 2017-06-26 2019-12-20 Image processing apparatus, image processing method, and computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2019003285A1 true WO2019003285A1 (ja) 2019-01-03

Family

ID=64741283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023458 WO2019003285A1 (ja) 2017-06-26 2017-06-26 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11304611B2 (ja)
JP (1) JP7012291B2 (ja)
WO (1) WO2019003285A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020213085A1 (ja) * 2019-04-17 2020-10-22

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268979A (ja) * 2009-05-22 2010-12-02 Konica Minolta Medical & Graphic Inc 動画像処理装置及びプログラム
JP2012205855A (ja) * 2011-03-30 2012-10-25 Kao Corp 体表評価方法および体表評価装置
JP2013248386A (ja) * 2012-05-30 2013-12-12 Xerox Corp 血管パターン検出および心臓機能分析のためにビデオを処理すること

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4756398B2 (ja) 2009-12-07 2011-08-24 花王株式会社 肌のシミュレーション画像形成方法
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
JP5570373B2 (ja) * 2010-09-29 2014-08-13 富士フイルム株式会社 内視鏡システム
WO2015162215A1 (en) * 2014-04-25 2015-10-29 Helmholtz Zentrum München Deutsches Forschungszentrum Für Gesundheit Und Umwelt (Gmbh) Device and method for frequency-domain thermoacoustic sensing
JP6468287B2 (ja) * 2014-06-05 2019-02-13 株式会社ニコン 走査型投影装置、投影方法、走査装置、及び手術支援システム
US10398294B2 (en) * 2014-07-24 2019-09-03 Z Square Ltd. Illumination sources for multicore fiber endoscopes
EP3328284A1 (en) * 2015-07-27 2018-06-06 Eidgenössische Technische Hochschule Zürich Ethz Method and apparatus for generating an ultrasound scatterer representation
US20170035268A1 (en) * 2015-08-07 2017-02-09 Ming Shi CO., LTD. Stereo display system and method for endoscope using shape-from-shading algorithm
US10204449B2 (en) * 2015-09-01 2019-02-12 Siemens Healthcare Gmbh Video-based interactive viewing along a path in medical imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010268979A (ja) * 2009-05-22 2010-12-02 Konica Minolta Medical & Graphic Inc 動画像処理装置及びプログラム
JP2012205855A (ja) * 2011-03-30 2012-10-25 Kao Corp 体表評価方法および体表評価装置
JP2013248386A (ja) * 2012-05-30 2013-12-12 Xerox Corp 血管パターン検出および心臓機能分析のためにビデオを処理すること

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAZUMASA KIOI ET AL.: "Feasibility Study on Visualization of Hemoglobin Concentration Using the Near-infrared Spectral Reflectance Motion- Image", TRANSACTIONS OF THE VISUALIZATION SOCIETY OF JAPAN, vol. 31, no. 10, October 2011 (2011-10-01), pages 57 - 61, XP055558818 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020213085A1 (ja) * 2019-04-17 2020-10-22
WO2020213085A1 (ja) * 2019-04-17 2020-10-22 株式会社ニコン 動画処理装置、動画処理方法、および動画処理プログラム
JP7322948B2 (ja) 2019-04-17 2023-08-08 株式会社ニコン 動画処理装置、動画処理方法、および動画処理プログラム

Also Published As

Publication number Publication date
US11304611B2 (en) 2022-04-19
JP7012291B2 (ja) 2022-01-28
JPWO2019003285A1 (ja) 2020-04-23
US20200121192A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
JP6439816B2 (ja) 医療用皮膚検査装置、画像処理方法、プログラム
JP5591570B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5603676B2 (ja) 画像処理装置及びプログラム
JP6471173B2 (ja) 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置
JPWO2017085793A1 (ja) 内視鏡システム、画像処理装置、画像処理方法およびプログラム
Suman et al. Image enhancement using geometric mean filter and gamma correction for WCE images
JP2017213097A (ja) 画像処理装置、画像処理方法およびプログラム
CN110168604B (zh) 图像处理装置、图像处理方法和存储介质
US11304611B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JPWO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
JP5940604B2 (ja) 画像処理装置、画像処理装置の作動方法及びプログラム
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
JP6585623B2 (ja) 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
KR102212964B1 (ko) 디블러링 영상 처리 방법 및 장치
JP2008023041A (ja) 画像処理方法、および装置、並びに電子内視鏡システム
JP2014094175A (ja) 電子内視鏡用画像処理システム
JP7234320B2 (ja) 画像処理装置および画像処理装置の作動方法
US20150003700A1 (en) Image processing device, endoscope apparatus, and image processing method
JP2021132812A (ja) 医療用画像処理装置及び医療用観察システム
JPH04314181A (ja) 内視鏡画像の処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17915805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526420

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17915805

Country of ref document: EP

Kind code of ref document: A1