WO2020213085A1 - 動画処理装置、動画処理方法、および動画処理プログラム - Google Patents

動画処理装置、動画処理方法、および動画処理プログラム Download PDF

Info

Publication number
WO2020213085A1
WO2020213085A1 PCT/JP2019/016439 JP2019016439W WO2020213085A1 WO 2020213085 A1 WO2020213085 A1 WO 2020213085A1 JP 2019016439 W JP2019016439 W JP 2019016439W WO 2020213085 A1 WO2020213085 A1 WO 2020213085A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
eye
image data
inspected
unit
Prior art date
Application number
PCT/JP2019/016439
Other languages
English (en)
French (fr)
Inventor
真梨子 廣川
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to US17/603,370 priority Critical patent/US20220215514A1/en
Priority to PCT/JP2019/016439 priority patent/WO2020213085A1/ja
Priority to JP2021514711A priority patent/JP7322948B2/ja
Publication of WO2020213085A1 publication Critical patent/WO2020213085A1/ja
Priority to JP2023117738A priority patent/JP2023134744A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to a moving image processing device, a moving image processing method, and a moving image processing program.
  • Patent Document 1 discloses an image processing device, an image processing method, and a program for visually recognizing fluctuations caused by a living body. Patent Document 1 does not consider fixation tremor.
  • the moving image processing device of the disclosed technology removes the misalignment due to fixation tremor from the eye-tested moving image data based on the acquisition unit that acquires the eye-testing moving image data and the eye-testing moving image data acquired by the acquiring unit. It has a removing unit, an emphasizing unit for emphasizing the eye-tested moving image data after removal by the removing unit, and an output unit for outputting the eye-tested moving image data after being emphasized by the emphasizing part.
  • the moving image processing method of the disclosed technology is a position caused by fixation tremor from the eye-tested moving image data based on the acquisition process in which the processor acquires the eye-testing moving image data and the eye-testing moving image data acquired by the acquisition process.
  • a removal process for removing the deviation, an emphasis process for emphasizing the eye-tested moving image data after removal by the removal process, and an output process for outputting the eye-tested moving image data after emphasis by the emphasis processing are executed.
  • the moving image processing program of the disclosed technology has an acquisition process for acquiring the eye test moving image data on the processor, and a position caused by fixation tremor from the eye test moving image data based on the eye test moving image data acquired by the acquisition process.
  • a removal process for removing the companion, an emphasis process for emphasizing the eye-tested moving image data after removal by the removal process, and an output process for outputting the eye-tested moving image data after emphasis by the emphasis processing are executed.
  • FIG. 1 is an explanatory diagram showing an example of fixation tremor removal and Video Magicaton (hereinafter referred to as video enhancement) in fundus moving images.
  • FIG. 2 is a system configuration diagram showing an example of an ophthalmic system.
  • FIG. 3 is a block diagram showing a hardware configuration example of the moving image processing device.
  • FIG. 4 is a block diagram showing a functional configuration example of the moving image processing device.
  • FIG. 5 is a flowchart showing an example of an image processing procedure by a moving image processing device.
  • FIG. 6A is a block diagram showing a detailed functional configuration example of the removal portion.
  • FIG. 6B is a block diagram showing a detailed functional configuration example of the emphasized portion.
  • FIG. 6A is a block diagram showing a detailed functional configuration example of the removal portion.
  • FIG. 6B is a block diagram showing a detailed functional configuration example of the emphasized portion.
  • FIG. 7 is an explanatory diagram showing fundus moving image data after the moving image is emphasized by the emphasized portion.
  • FIG. 8 is an explanatory diagram showing a display example 1 of fundus moving image data.
  • FIG. 9 is an explanatory diagram showing a display example 2 of fundus moving image data.
  • FIG. 10 is an explanatory diagram showing a display example 3 of fundus moving image data.
  • FIG. 1 is an explanatory diagram showing an example of fixation tremor removal and Video Magnificato (video enhancement) in fundus moving images.
  • T indicates the time axis.
  • the arrow on the time axis T indicates the time axis direction, that is, the traveling direction of time.
  • (A) shows fundus moving image data 100.
  • the fundus moving image data 100 is moving image data obtained by imaging a region including the macula 101, the optic nerve head 102, and the blood vessel 103 of the subject's fundus.
  • the fundus moving image data 100 includes, for example, time-series fundus image frames F1 to F4. The smaller the number at the end, the more past the frame.
  • fundus image frames F1 to F4 are referred to as fundus image frames F.
  • fundus image frames F For convenience of explanation, up to the fundus image frame F4 is used, but a fundus image frame F following the fundus image frame F4 may also exist.
  • the fundus image frames F1 to F4 include the macula 101, the optic nerve head 102, and the blood vessel 103 as image data.
  • the illustration of tissues other than the macula 101, the optic disc 102, and the blood vessel 103 is omitted.
  • the fundus image frame F1 is used as a reference frame for alignment with the fundus image frames F2 to F4.
  • the macula 101, the optic nerve head 102, and the blood vessel 103 of the fundus image frame F1 are shown by dotted lines.
  • the macula 101, the optic nerve head 102, and the blood vessel 103 of the fundus image frames F2 to F4 are caused by the macula 101 of the fundus image frame F1 and the optic nerve due to the fixation tremor of the eyeball. It deviates from the positions of the papilla 102 and the blood vessel 103.
  • Saccade microsaccade is an eye movement called saccade that repeats eye movements at high speed (about 100 to 500 degrees / second) in a short time (about 20 to 80 [ms]).
  • fixation tremors are classified into microsaccades with relatively large and fast eye movements, large and slow drifts, and small and high frequency tremors.
  • the amount of blood flowing through the blood vessel 103 increases or decreases depending on the heartbeat.
  • the fundus image frames F2 and F4 have a larger amount of blood flowing through the blood vessel 103 than the fundus image frames F1 and F3. Therefore, the blood vessels 103 of the fundus image frames F2 and F4 are thicker and darker than the blood vessels 103 of the fundus image frames F1 and F3.
  • the color of the blood vessel 103 of the fundus image frame F1 is the lightest, and the color of the blood vessel 103 of the fundus image frames F2 and F4 is the darkest. Further, the color of the blood vessel 103 of the fundus image frame F3 is darker than the color of the blood vessel 103 of the fundus image frame F1 and lighter than the color of the blood vessel 103 of the fundus image frames F2 and F4.
  • the moving image data V is the fundus moving image data 100 obtained by reproducing the fundus image frames F1 to F4 in the time direction.
  • the moving image data V is the fundus moving image data 100 at the display timing of the fundus image frame F4, but the macula 101, the optic nerve head 102, and the blood vessel 103 of the past fundus image frames F1 to F3 are visually recognized as afterimages. Therefore, it is difficult for the user doctor to grasp whether the width and color of the blood vessel 103 are changed by the heartbeat or by the fixation tremor. That is, it is difficult to actually distinguish the change in the width and color of the blood vessel 103 from the positional shift and color change between the frames of the blood vessel due to fixation tremor.
  • FIG. B shows the fundus moving image data 110 obtained by removing the fixation tremor from the fundus moving image data 100 of (A).
  • the fundus moving image data 110 includes time-series fundus image frames G1 to G4.
  • the fundus image frames G1 to G4 are frames in which fixation fine movement is removed from the fundus image frames F1 to F4 by image processing, respectively.
  • the fundus image frames G1 to G4 are not distinguished, they are referred to as fundus image frames G.
  • the macula 101, the optic nerve head 102, and the blood vessel 103 of the fundus image frames G2 to G4 are each the fundus image frame. It is displayed at the same position as the macula 101, the optic nerve head 102, and the blood vessel 103 of the fundus image frame F1 shown by the dotted lines of F2 to F4. On the other hand, the movement and color change of the blood vessel 103 due to the heartbeat are not removed.
  • the superposition of the fixation tremor and the pulsation or color change of a specific tissue such as a blood vessel 103 is suppressed, and a user such as a doctor can perform the pulsation or color change of a specific tissue without being affected by the fixation tremor. Can be observed.
  • the fundus moving image data 120 includes time-series fundus image frames H1 to H4.
  • the fundus image frames H1 to H4 are frames whose moving images are emphasized from the fundus image frames G1 to G4 by image processing, respectively.
  • the fundus image frames H1 to H4 are not distinguished, they are referred to as fundus image frames H.
  • Video enhancement is a technique for emphasizing and displaying minute changes in movement of one pixel or less in an image or slight changes in color or movement.
  • FIG. 2 is a system configuration diagram showing an example of an ophthalmic system.
  • the ophthalmology system 200 includes a slit lamp (slit lamp microscope) 202 as an ophthalmology device 201, a surgical microscope 203, a management server 204, and a terminal 205, and a LAN (Local Area Network), a WAN (Wide Area Network), and the like. It is communicably connected by a network 206 such as the Internet.
  • the slit lamp 202 is a microscope that illuminates the eye to be inspected with slit light and photographs and observes the illuminated cross section of the eye to be inspected from the side.
  • the surgical microscope 203 is a microscope specialized for surgery.
  • fundus moving image data 100, 110, 120 can be generated, transmitted, stored, and displayed as eye fundus moving image data.
  • An ophthalmologic device 201 such as a fundus camera, a scanning laser optical probe (SLO), or an optical coherence tomography (OCT) may be used as long as the patient's eye to be inspected can be photographed.
  • SLO scanning laser optical probe
  • OCT optical coherence tomography
  • the management server 204 acquires and stores fundus moving image data from the ophthalmic device 201, and transmits the fundus moving image data to the ophthalmic device 201 and the terminal 205.
  • the terminal 205 receives and reproduces the fundus moving image data from the ophthalmic apparatus 201 and the management server 204, and transmits the fundus moving image data 100, 110, 120 to the ophthalmic apparatus 201 and the management server 204.
  • At least one of the ophthalmic apparatus 201, the management server 204 and the terminal 205 is capable of performing the fixation tremor removal described in FIG. 1, and at least one of the ophthalmic apparatus 201, the management server 204 and the terminal 205 is capable of performing the fixation tremor removal.
  • the moving image enhancement described in FIG. 1 can be performed. That is, fixation tremor removal and video enhancement may be performed on the same device or on different devices.
  • the computer is a general term for the ophthalmic apparatus 201, the management server 204, and the terminal 205 shown in FIG.
  • the computer is an ophthalmic apparatus 201, it includes a light source, an optical system, and a sensor (not shown).
  • FIG. 3 is a block diagram showing an example of a computer hardware configuration.
  • the computer 300 has a processor 301, a storage device 302, an input device 303, an output device 304, and a communication interface (communication IF) 305.
  • the processor 301, the storage device 302, the input device 303, the output device 304, and the communication IF 305 are connected by the bus 306.
  • the processor 301 controls the computer 300.
  • the storage device 302 serves as a work area for the processor 301.
  • the storage device 302 is a non-temporary or temporary recording medium that stores various programs and data. Examples of the storage device 302 include a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), and a flash memory.
  • the input device 303 inputs data.
  • the input device 303 includes, for example, a keyboard, a mouse, a touch panel, a numeric keypad, and a scanner.
  • the output device 304 outputs data. Examples of the output device 304 include a display and a printer.
  • the communication IF 305 connects to the network 206 to send and receive data.
  • FIG. 4 is a block diagram showing a functional configuration example of the moving image processing device
  • FIG. 5 is a flowchart showing an example of an image processing procedure by the moving image processing device.
  • the moving image processing device 400 has an acquisition unit 401, a removal unit 402, an emphasis unit 403, and an output unit.
  • the moving image processing device 400 has at least one of the removing section 402 and the highlighting section 403 in the computer 300.
  • the moving image processing device 400 is composed of one computer 300 or a plurality of cooperating computers 300.
  • the acquisition unit 401, the removal unit 402, the emphasis unit 403, and the output unit are realized by causing the processor 301 to execute a program stored in the storage device 302 shown in FIG. 3, for example.
  • the acquisition unit 401 acquires the fundus moving image data 100 from the storage device 302 inside the moving image processing device 400 or another computer 300 outside the moving image processing device 400 (step S501).
  • the removing unit 402 removes the fixation tremor from the fundus moving image data 100 based on the fundus moving image data 100 acquired by the acquisition unit 401, that is, corrects the displacement of the position of the fundus region between the frames due to the fixation tremor. , The effect of fundus tremor is removed from the moving image data (step S502).
  • the emphasis unit 403 executes the enhancement process by VM on the fundus moving image data 110 from which the influence of fixation tremor has been removed by the removal unit 402 (step S503). Specifically, for example, the emphasis section 403 emphasizes a specific frequency component in the time direction.
  • the emphasis section 403 may emphasize the entire fundus image frame F for each of the fundus image frames F of the fundus moving image data 100, and emphasizes the region including a specific tissue such as the macula 101, the optic disc 102, and the blood vessel 103. May be good.
  • the output unit 404 outputs the fundus moving image data 120 in which the specific tissue is emphasized by the emphasis unit 403 (step S504). Specifically, for example, the output unit 404 displays the fundus moving image data 120 on the display device included in the moving image processing device 400, or transmits the fundus moving image data 120 from the moving image processing device 400 to another computer 300.
  • FIG. 6A is a block diagram showing a detailed functional configuration example of the removal unit 402.
  • the removing unit 402 has a first removing unit 601, a second removing unit 602, and a third removing unit 603. First, the first removing unit 601 will be described.
  • the first removal unit 601 removes fixation tremors in the emphasis unit 403 in order to emphasize the movement and color change of a specific tissue such as a blood vessel 103.
  • the first removing unit 601 is also a fixed vision fine movement removing unit.
  • the first removing unit 601 performs alignment using the fundus image frame F1 as a reference frame and the other fundus image frames F2 to F4 as comparison target frames.
  • the reference frame is the oldest fundus image frame F1 among the fundus image frames F1, but any of the fundus image frames F2 to F4 may be used. In order to improve the real-time property, the oldest fundus image frame F1 may be used.
  • the emphasis section 403 which will be described later, emphasizes the change in the thickness and the color of the blood vessel 103 due to the pulsation.
  • the alignment of the reference frame and the frame to be compared is performed by, for example, non-rigid alignment using an affine transformation matrix including translation, rotation, and deformation due to expansion and contraction.
  • the removal unit 402 may apply an algorithm such as scale-invariant feature transformation (SIFT) or Speeded Up Robot Features (SURF) which speeds up SIFT.
  • SIFT scale-invariant feature transformation
  • SURF Speeded Up Robot Features
  • the first removing unit 601 determines the alignment of the reference frame and the frame to be compared by the difference square sum (SSD) of the same position pixel values, the difference absolute value sum (SAD) of the same position pixel values, the mutual information amount, and the like.
  • Cross-correlation may be used as the evaluation function. For example, when mutual information or cross-correlation is applied, the larger the correlation value is, the more similar the reference frame and the comparison target frame are, and the smaller the correlation value is, the less similar the reference frame and the comparison target frame are.
  • the positions of the macula 101, the optic nerve head 102, and the blood vessel 103 of the fundus image frames F2 to F4 which are the comparison target frames shown in FIG.
  • the positions of the macula 101, the optic nerve head 102, and the blood vessel 103 of the reference frame (fundus image frame F1) shown by the dotted line are aligned with each other. Therefore, since the positions of the macula 101, the optic nerve head 102, and the blood vessel 103 in the fundus image frames F1 to F4 match, the fixation tremor is removed from the fundus moving image data 100.
  • the first removing unit 601 may remove the comparison target frame whose correlation value is equal to or less than the threshold value from the fundus moving image data 100.
  • the frame to be compared, whose correlation value is below the threshold value has low similarity to the reference frame, and therefore is a frame showing microsaccade with relatively large and fast eye movement, which is one of the dynamic characteristics of fixation tremor. It can be said that. Therefore, by removing the comparison target frame whose correlation value is equal to or less than the threshold value from the fundus moving image data 100, the first removing unit 601 can generate the fundus moving image data 110 in which the microsaccade is not displayed.
  • the second removing unit 602 executes a removing process for emphasizing only the color change among the movements and color changes of a specific tissue such as the blood vessel 103 in the emphasis unit 403.
  • the second removing unit 602 includes a decomposition unit 621, a time filtering unit 622, a phase noise removing unit 623, an attenuation unit 624, and a reconstruction unit 625.
  • the decomposition unit 621 uses a known filtering process such as a complex steerable pyramids, and uses a fundus image frame each time the fundus image frame G after removal of fixation tremor by the first removal unit 601 is input.
  • G is decomposed into a high frequency component hpr, a low frequency component lpr, and a plurality of orthogonal components.
  • the decomposition unit 621 separates the local wave amplitude (high frequency component hpr and low frequency component lpr) from the phase of the wave (plurality of orthogonal components).
  • the decomposition unit 621 outputs the high frequency component hpr and the low frequency component lpr to the reconstruction unit 625, and outputs a plurality of orthogonal components to the time filtering unit 622.
  • the time filtering unit 622 filters the phase (plurality of orthogonal components) of the fundus image frame F independently in terms of each position, direction, and scale.
  • the phase denoising unit 623 applies amplitude-weighted spatial smoothing to increase the phase SN ratio.
  • the damping unit 624 attenuates the phase bandpassed in time by the time filtering unit 622.
  • the reconstruction unit 625 reconstructs the fundus image frame G by using the output from the attenuation unit 624 and the high frequency component hpr and the low frequency component lpr. In this way, the reconstructed fundus image frame G becomes an image frame in which the movement of a specific tissue is suppressed.
  • the third removal unit 603 In the emphasis section 403, a removal process for emphasizing only the movement and color change of a specific tissue such as a blood vessel 103 is executed. Specifically, for example, the third removal unit 603 accumulates the fundus image frame G after the fixation tremor removal by the first removal unit 601 and a specific tissue (for example, for example) between two consecutive fundus image frames G. It is determined whether or not the difference in color density of the blood vessel 103) is equal to or greater than the threshold value. When the difference is equal to or greater than the threshold value, the fundus image frame G having the lighter color density of a specific tissue (for example, blood vessel 103) out of two consecutive fundus image frames G is removed.
  • a specific tissue for example, blood vessel 103
  • the third removing unit 603 removes the fundus image frame G1 having the lighter color density of the blood vessel 103. It is assumed that the difference in color density of the blood vessel 103 between the fundus image frames G2 and G3 and between the fundus image frames G3 and G4 is not equal to or greater than the threshold value. Therefore, the fundus image frames G2 and G3 are not removed.
  • FIG. 6B is a block diagram showing a detailed functional configuration example of the emphasis section 403.
  • the emphasis section 403 includes a spatial decomposition section 701, a time filtering section 702, an amplification section 703-1,703-2, ..., 703-n (n is an integer of 2 or more), an addition section 704-1,704-2, ... , 704-n, and a reconstruction unit 705.
  • the amplification units 703-1, 703-2, ..., 703-n are not distinguished, they are simply referred to as the amplification unit 703.
  • the addition units 704-1, 704-2, ..., 704-n are not distinguished, it is simply referred to as the addition unit 704.
  • the space decomposition unit 701 will be described.
  • the spatial decomposition unit 701 sets the fundus image frame G into a plurality of different spatial frequency bands (band 1, band 2, ..., Band n) each time the fundus image frame G after the fixation tremor removal by the removal unit 402 is input. Disassemble into. Known filtering methods such as bandpass filters and complex steerable pyramids can be used. The spatial frequency increases in the order of band 1, band 2, ..., Band n.
  • the spatial decomposition unit 701 outputs the image data g1 decomposed into the band 1, the image data g2, ... Decomposed into the band 2, and the image data gn decomposed into the band n to the time filtering unit 702.
  • the time filtering unit 702 uses a known filtering process such as a second-order IIR (Infinite Impulse Response) filter from each of the image data g1, g2, ..., Gn at the frequency of human beating. A certain frequency component of 60 to 80 [kHz] is extracted.
  • IIR Infinite Impulse Response
  • the image data g1 that has passed through the time filtering unit 702 is amplified based on the emphasis coefficient set by the amplification unit 703-1.
  • the emphasis coefficient is set to, for example, 10 times, and the amplitude of the image data g1 is amplified 10 times.
  • the image data g1 that has passed through the amplification unit 703-1 is added to the image data 1g output from the spatial decomposition unit 701 by the addition unit 704-1 and output to the reconstruction unit 705.
  • the image data g2 is also output to the reconstruction unit 705 via the amplification unit 703-2 and the addition unit 704-2.
  • the image data gn is also output to the reconstruction unit 705 via the amplification unit 703-n and the addition unit 704-n.
  • the enhancement coefficient in the amplification unit 703 is the same for the entire fundus image frame G after the fixation fine movement is removed by the removal unit 402, but the enhancement coefficient may be set spatially (for each pixel).
  • the emphasis regions such as the optic nerve head 102 and the blood vessel 103 are extracted by image processing such as artificial intelligence or specified by the user, and the enhancement coefficient of the pixels of the extracted emphasis region is set in the fundus image frame G. Try to set the emphasis coefficient different from the area of. As a result, only the emphasized region in the fundus image frame G is video-enhanced.
  • the reconstruction unit 705 reconstructs the fundus image frame G using the image data h1, h2, ..., Hn output from the addition units 704-1,704-2, ..., 704-n.
  • the reconstructed fundus image frames G are image frames H1 to H4 in which the periodic fluctuations caused by the heartbeat are emphasized for a specific tissue.
  • the user can select a plurality of video enhancement modes via the input device 303.
  • the video enhancement mode has at least a normal mode that emphasizes both movement and color change, a color enhancement mode that emphasizes only color change, and a motion enhancement mode that emphasizes only movement.
  • the normal mode is selected, the fundus moving image data 100 is corrected by the first removing section 601 of the removing section 402 for the positional deviation between the frames due to the fixation tremor, and the moving image is emphasized by the enhancing section 403.
  • the fundus moving image data 100 is corrected by the first removing unit 601 of the removing unit 402 for the positional deviation between the frames due to the fixation tremor, and subsequently specified by the second removing unit 602. Tissue movement is eliminated. Then, the moving image is emphasized by the emphasis section 403.
  • the fundus moving image data 100 is corrected by the first removing unit 601 of the removing unit 402 for the misalignment between the frames due to the fixation fine movement, and subsequently, the color is corrected by the third removing unit 603. The change is removed. Then, the moving image is emphasized by the emphasis section 403.
  • FIG. 7 is an explanatory diagram showing fundus moving image data 120 after the moving image is emphasized by the emphasizing unit 403.
  • the periodic fluctuations caused by the heartbeat are emphasized for a particular tissue such as blood vessel 103.
  • the color change of the blood vessel 103 is observed, for example, when the blood vessel 103 is deeply observed when pumping blood, and then the color of the blood vessel 103 is dimmed.
  • the movement of the blood vessel 103 expands (the width of the blood vessel 103 becomes wider) when blood is pumped, and then returns to the original state. Veins tend to move and change color more than arteries.
  • (A) shows the fundus moving image data 120 in which the fundus moving image data 110 after the fixation tremor removal by the first removing unit 601 is video-emphasized. It is the fundus moving image data 120 in which both the movement of the blood vessel 103 and the change in color are emphasized.
  • (B) shows the fundus moving image data 120 in which the fundus moving image data 110 after the fixation tremor removal by the first removing unit 601 and the movement removal of a specific tissue by the second removing unit 602 is animated.
  • the specific tissue is the blood vessel 103, and the fundus moving image data 120 in which only the color change of the blood vessel 103 is emphasized.
  • FIG. (C) shows the fundus moving image data 120 in which the fundus moving image data 110 after the fixation fine movement removal by the first removing unit 601 and the color change by the third removing unit 603 are removed is video-emphasized.
  • This is fundus moving image data 120 in which the change in color is removed (the fundus image frame G1 having the lighter color density is removed) and only the movement of the blood vessel 103 (change in the thickness of the blood vessel) is emphasized.
  • the computer 300 may display the fundus moving image data 110, 120 in real time, for example, at the time of examination, treatment, or surgery, and displays the fundus moving image data 110, 120 stored in the storage device 302 by reading and reproducing the fundus moving image data 110, 120. May be good.
  • the fundus moving image data 100 in which the fixation tremor is not removed may be two-dimensional moving image data or three-dimensional moving image data.
  • FIG. 8 is an explanatory diagram showing a display example 1 of fundus moving image data.
  • the display screen 800 has, for example, a moving image data display area 801, a patient information display area 802, and a parameter information display area 803.
  • the fundus moving image data 100 and 120 are displayed in the moving image data display area 801. Therefore, the user can visually recognize the fundus moving image data 100, which is a live image, while comparing the fundus moving image data 120 after the fixation fine movement removal and the moving image enhancement.
  • Patient information is displayed in the patient information display area 802.
  • Patient information is information that identifies a patient, such as name and address.
  • the patient is a person who has an eye to be examined as the fundus moving image data 100.
  • Parameter information is displayed in the parameter information display area 803.
  • Parameter information includes, for example, emphasis parameters and biometric monitoring information.
  • the emphasis parameter is a parameter indicating the frequency domain to be emphasized and the degree of emphasis used in the moving image enhancement by the emphasis unit 403.
  • the biological monitoring information is information that monitors the patient's biological body such as the patient's pulse.
  • FIG. 9 is an explanatory diagram showing a display example 2 of fundus moving image data.
  • the display screen 900 has, for example, a first moving image data display area 901, a second moving image data display area 902, a patient information display area 802, and a parameter information display area 803.
  • the fundus moving image data 100 before the fixation fine movement is removed is displayed.
  • the first moving image data display area 901 is the main screen and is larger than the second moving image data display area 902.
  • the fundus moving image data 120 after fixation fine movement removal and moving image enhancement is displayed.
  • the second moving image data display area 902 sub-screen, which is smaller than the first moving image data display area 901.
  • FIG. 10 is an explanatory diagram showing a display example 3 of fundus moving image data.
  • the display screen 1000 is, for example, a first moving image data display area 901 for displaying the fundus moving image data 100 before the fixation fine movement removal and a second moving image data display for displaying the fundus moving image data 120 after the fixation fine movement removal and the moving image enhancement. It has a region 902 and.
  • the second moving image data display area 902 is superimposed and displayed on the upper right of the first moving image data display area 901. As a result, the user can visually recognize the second moving image data display area 902 as needed while gazing at the first moving image data display area 901.
  • the display contents of the moving image data display area 801 and the second moving image data display area 902 are changed to the fundus moving image data 120 by turning the changeover switch ON / OFF.
  • a changeover switch such as a foot switch
  • the changeover switch ON / OFF To the fundus moving image data 110, or from the fundus moving image data 110 to the fundus moving image data 120 may be switched. This makes it possible to visually recognize the difference before and after the moving image is emphasized.
  • the fundus moving image data 120 is displayed in the first moving image data display area 901, and the fundus moving image data 100 is displayed in the second moving image data display area 902. You may switch. As a result, the user can visually recognize the fundus moving image data 120 on a larger main screen.
  • the fundus moving image data 110 and 120 may be observed only from the lens of either one of the eyes.
  • the fundus moving image data 100 is observed from the right eye, and the fundus moving image data 100 and 120 are observed from the left eye.
  • a mode switching button for switching the moving image emphasizing mode is displayed, and the user sets the moving image emphasizing mode to the normal mode, which emphasizes both movement and color change.
  • a color enhancement mode that emphasizes only changes and a movement enhancement mode that emphasizes only movements may be selected.
  • the fundus moving image data 120 in the selected moving image enhancement mode is displayed in the moving image data display area 801 or the second moving image data display area 902.
  • the live moving image (fundus moving image data 100 before the fixation tremor removal) is displayed, but the fundus moving image data 120 after the fixation tremor removal is displayed. It may be displayed.
  • the present invention is not limited to the above contents, and may be any combination of these.
  • other aspects considered within the scope of the technical idea of the present invention are also included in the scope of the present invention.
  • 100, 110, 120 fundus video data 101 macula, 102 optic nerve papilla, 103 blood vessels, 200 ophthalmic system, 201 ophthalmic equipment, 204 management server, 205 terminals, 400 video processing equipment, 401 acquisition unit, 402 removal unit, 403 emphasis unit , 404 output unit, 601 first removal unit, 602 second removal unit, 603 third removal unit, 621 decomposition unit, 622 time filtering unit, 623 phase noise removal unit, 624 damping unit, 625 reconstruction unit, F, G , H Fundus image frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

動画処理装置は、固視微動と組織の挙動との重畳を抑制するため、被検眼動画データを取得する取得部と、前記取得部によって取得された被検眼動画データに基づいて、前記被検眼動画データから固視微動に起因する位置ずれを除去する除去部と、前記除去部による除去後の被検眼動画データを強調する強調部と、前記強調部による強調後の被検眼動画データを出力する出力部と、を有する。

Description

動画処理装置、動画処理方法、および動画処理プログラム
　本発明は、動画処理装置、動画処理方法、および動画処理プログラムに関する。
　特許文献１は、生体起因の変動を視認する画像処理装置、画像処理方法およびプログラムを開示する。特許文献１では、固視微動については考慮されていない。
国際公開第２０１９／００３２８５号公報
　開示技術の動画処理装置は、被検眼動画データを取得する取得部と、前記取得部によって取得された被検眼動画データに基づいて、前記被検眼動画データから固視微動に起因する位置ずれを除去する除去部と、前記除去部による除去後の被検眼動画データを強調する強調部と、前記強調部による強調後の被検眼動画データを出力する出力部と、を有する。
　開示技術の動画処理方法は、プロセッサが、被検眼動画データを取得する取得処理と、前記取得処理によって取得された被検眼動画データに基づいて、前記被検眼動画データから固視微動に起因する位置ずれを除去する除去処理と、前記除去処理による除去後の被検眼動画データを強調する強調処理と、前記強調処理による強調後の被検眼動画データを出力する出力処理と、を実行する。
　開示技術の動画処理プログラムは、プロセッサに、被検眼動画データを取得する取得処理と、前記取得処理によって取得された被検眼動画データに基づいて、前記被検眼動画データから固視微動に起因する位置連れを除去する除去処理と、前記除去処理による除去後の被検眼動画データを強調する強調処理と、前記強調処理による強調後の被検眼動画データを出力する出力処理と、を実行させる。
図１は、眼底動画における固視微動除去およびＶｉｄｅｏ　Ｍａｇｎｉｆｉｃａｔｏｎ（以下、動画強調と称する）例を示す説明図である。 図２は、眼科システムの一例を示すシステム構成図である。 図３は、動画処理装置のハードウェア構成例を示すブロック図である。 図４は、動画処理装置の機能的構成例を示すブロック図である。 図５は、動画処理装置による画像処理手順例を示すフローチャートである。 図６Ａは、除去部の詳細な機能的構成例を示すブロック図である。 図６Ｂは、強調部の詳細な機能的構成例を示すブロック図である。 図７は、強調部による動画強調後の眼底動画データを示す説明図である。 図８は、眼底動画データの表示例１を示す説明図である。 図９は、眼底動画データの表示例２を示す説明図である。 図１０は、眼底動画データの表示例３を示す説明図である。
　＜固視微動除去および動画強調例＞
　図１は、眼底動画における固視微動除去およびＶｉｄｅｏ　Ｍａｇｎｉｆｉｃａｔｏｎ（動画強調）例を示す説明図である。Ｔは時間軸を示す。時間軸Ｔの矢印が時間軸方向、すなわち、時間の進行方向を示す。（Ａ）は、眼底動画データ１００を示す。眼底動画データ１００は、被験者の眼底の黄斑１０１、視神経乳頭１０２、および血管１０３を含む領域を撮像した動画データである。眼底動画データ１００は、例として、時系列な眼底画像フレームＦ１～Ｆ４を含む。末尾の番号が小さいほど過去のフレームであることを示す。眼底画像フレームＦ１～Ｆ４を区別しない場合は、眼底画像フレームＦと表記する。説明の便宜上、眼底画像フレームＦ４までとしたが、眼底画像フレームＦ４に後続する眼底画像フレームＦも存在してもよい。
　眼底画像フレームＦ１～Ｆ４は、画像データとして黄斑１０１、視神経乳頭１０２、および血管１０３を含む。黄斑１０１、視神経乳頭１０２、および血管１０３以外の他の組織については図示を省略する。眼底画像フレームＦ１を眼底画像フレームＦ２～Ｆ４との位置合わせのための基準フレームとする。眼底画像フレームＦ２～Ｆ４では、眼底画像フレームＦ１の黄斑１０１、視神経乳頭１０２、および血管１０３を点線で示す。
　撮像装置が固定された状態で眼底が撮影されるので、眼球の固視微動により、眼底画像フレームＦ２～Ｆ４の黄斑１０１、視神経乳頭１０２、および血管１０３は、眼底画像フレームＦ１の黄斑１０１、視神経乳頭１０２、および血管１０３の位置からずれる。
　固視微動とは、サッカードと呼ばれる短時間（２０～８０［ｍｓ］程度）で高速（１００～５００度／秒程度）の視線移動を繰り返す眼球運動である。固視微動の動特性により、固視微動は、眼球運動が比較的大きく速いマイクロサッカードと、大きくてゆっくりとしたドリフトと、小さくて高周波数のトレモアと、に分類される。
　また、心拍により血管１０３を流れる血液の量が増減する。たとえば、眼底画像フレームＦ２，Ｆ４は、眼底画像フレームＦ１，Ｆ３よりも血管１０３を流れる血液の量が増加する。したがって、眼底画像フレームＦ２，Ｆ４の血管１０３は、眼底画像フレームＦ１，Ｆ３の血管１０３よりも太くなり、かつ、色が濃くなる。
　（Ａ）では、眼底画像フレームＦ１の血管１０３の色が最も薄く、眼底画像フレームＦ２，Ｆ４の血管１０３の色が最も濃いものとする。また、眼底画像フレームＦ３の血管１０３の色は、眼底画像フレームＦ１の血管１０３の色よりも濃く、眼底画像フレームＦ２，Ｆ４の血管１０３の色よりも薄いものとする。
　動画像データＶは、眼底画像フレームＦ１～Ｆ４を時間方向で再生した眼底動画データ１００である。動画像データＶは、眼底画像フレームＦ４の表示タイミングでの眼底動画データ１００であるが、過去の眼底画像フレームＦ１～Ｆ３の黄斑１０１、視神経乳頭１０２、および血管１０３が残像として視認される。このため、ユーザである医者は、血管１０３の幅や色が心拍によって変化しているのか、固視微動にともなって変化しているのか、把握しにくい。つまり、実際に血管１０３の幅や色の変化と、固視微動に起因する血管のフレーム間の位置ずれや色変化を区別すことが難しい。
　（Ｂ）は、（Ａ）の眼底動画データ１００から固視微動を除去した眼底動画データ１１０を示す。眼底動画データ１１０は、時系列な眼底画像フレームＧ１～Ｇ４を含む。眼底画像フレームＧ１～Ｇ４はそれぞれ、画像処理により、眼底画像フレームＦ１～Ｆ４から固視微動が除去されたフレームである。眼底画像フレームＧ１～Ｇ４を区別しない場合は、眼底画像フレームＧと表記する。
　固視微動に起因するフレーム間の位置ずれを補正することにより、固視微動が除去されているため、眼底画像フレームＧ２～Ｇ４の黄斑１０１、視神経乳頭１０２、および血管１０３はそれぞれ、眼底画像フレームＦ２～Ｆ４の点線で示した眼底画像フレームＦ１の黄斑１０１、視神経乳頭１０２、および血管１０３と同じ位置に表示される。一方、心拍による血管１０３の動きや色変化は除去されない。したがって、固視微動と血管１０３などの特定の組織の脈動や色変化との重畳が抑制され、医者などのユーザは、特定の組織の脈動や色変化を、固視微動の影響を受けずに観察することができる。
　（Ｃ）は、（Ｂ）眼底動画データ１１０のうち特定の組織として血管１０３を動画強調の対象として処理を行い、血管１０３の太さの変化や色の変化を強調表示した眼底動画データ１２０を示す。眼底動画データ１２０は、時系列な眼底画像フレームＨ１～Ｈ４を含む。眼底画像フレームＨ１～Ｈ４はそれぞれ、画像処理により、眼底画像フレームＧ１～Ｇ４から動画強調されたフレームである。眼底画像フレームＨ１～Ｈ４を区別しない場合は、眼底画像フレームＨと表記する。動画強調は、映像中の１ピクセル以下の微小な動きの変化やわずかな色や動きの変化を強調して表示する技術である。眼底動画に動画強調を行うことにより、心拍に起因する血管の太さ（動き）の変化や色の変化などを強調表示することができる。これにより、医者などのユーザは、心拍による血管１０３の色変化を容易に確認することができる。以下、固視微動を除去する仕組みについて説明する。
　＜眼科システム＞
　図２は、眼科システムの一例を示すシステム構成図である。眼科システム２００は、眼科装置２０１としてのスリットランプ（細隙灯顕微鏡）２０２および手術用顕微鏡２０３と、管理サーバ２０４と、端末２０５と、がＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２０６により通信可能に接続される。
　スリットランプ２０２は、スリット光で被検眼を照明し、照明された被検眼断面を側方から撮影および観察する顕微鏡である。手術用顕微鏡２０３は、手術用に特化された顕微鏡である。いずれも被検眼動画データとして、眼底動画データ１００，１１０，１２０を生成、送信、記憶、表示することができる。なお、患者の被検眼を撮影可能であれば、眼底カメラ、走査型レーザ検眼鏡（ＳＬＯ：Ｓｃｃａｎｉｎｇ　Ｌａｓｅｒ　Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）や光干渉断層計（ＯＣＴ：Ｏｐｔｉｃａｌ　Ｃｏｈｅｒｅｎｃｅ　Ｔｏｍｏｇｒａｐｈｙ）のような眼科装置２０１でもよい。
　管理サーバ２０４は、眼科装置２０１から眼底動画データを取得して格納したり、眼底動画データを、眼科装置２０１や端末２０５に送信する。端末２０５は、眼科装置２０１や管理サーバ２０４から眼底動画データを受信して再生したり、眼底動画データ１００，１１０，１２０を眼科装置２０１や管理サーバ２０４に送信したりする。
　眼科装置２０１、管理サーバ２０４および端末２０５のうち少なくとも１つは、図１で説明した固視微動除去を実行可能であり、また、眼科装置２０１、管理サーバ２０４および端末２０５のうち少なくとも１つは、図１で説明した動画強調を実行可能である。すなわち、固視微動除去および動画強調は同一の装置で実行されてもよく、異なる装置で実行されてもよい。
　＜コンピュータのハードウェア構成例＞
　つぎに、コンピュータのハードウェア構成例を示す。コンピュータは、図２に示した眼科装置２０１、管理サーバ２０４および端末２０５の総称である。なお、コンピュータが眼科装置２０１である場合、図示しない光源や光学系、センサを含む。
　図３は、コンピュータのハードウェア構成例を示すブロック図である。コンピュータ３００は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、コンピュータ３００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ３０５は、ネットワーク２０６と接続し、データを送受信する。
　＜動画処理装置の機能的構成例＞
　図４は、動画処理装置の機能的構成例を示すブロック図であり、図５は、動画処理装置による画像処理手順例を示すフローチャートである。図４において、動画処理装置４００は、取得部４０１と、除去部４０２と、強調部４０３と、出力部と、を有する。動画処理装置４００は、コンピュータ３００において除去部４０２および強調部４０３の少なくとも一方を有する。動画処理装置４００は、１台のコンピュータ３００または連携しあう複数のコンピュータ３００により構成される。
　取得部４０１、除去部４０２、強調部４０３、および出力部は、具体的には、たとえば、図３に示した記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより実現される。
　取得部４０１は、動画処理装置４００内部の記憶デバイス３０２または動画処理装置４００外の他のコンピュータ３００から、眼底動画データ１００を取得する（ステップＳ５０１）。除去部４０２は、取得部４０１によって取得された眼底動画データ１００に基づいて、眼底動画データ１００から固視微動を除去する、つまり、固視微動によるフレーム間の眼底領域の位置のずれを補正し、固視微動の影響を動画データから除去する（ステップＳ５０２）。
　強調部４０３は、除去部４０２によって固視微動の影響が除去された眼底動画データ１１０についてＶＭによる強調処理を実行する（ステップＳ５０３）。具体的には、たとえば、強調部４０３は、時間方向の特定の周波数成分を強調する。強調部４０３は、眼底動画データ１００の眼底画像フレームＦの各々について、眼底画像フレームＦ全体を強調してもよく、黄斑１０１、視神経乳頭１０２、血管１０３など特定の組織を含む領域を強調してもよい。
　出力部４０４は、強調部４０３によって特定の組織が強調された眼底動画データ１２０を出力する（ステップＳ５０４）。具体的には、たとえば、出力部４０４は、動画処理装置４００が有する表示装置に眼底動画データ１２０を表示したり、動画処理装置４００から他のコンピュータ３００に眼底動画データ１２０を送信したりする。
　図６Ａは、除去部４０２の詳細な機能的構成例を示すブロック図である。除去部４０２は、第１除去部６０１、第２除去部６０２および第３除去部６０３を有する。まず、第１除去部６０１について説明する。
　第１除去部６０１は、強調部４０３において血管１０３などの特定の組織の動きおよび色変化を強調するために、固視微動を除去する。具体的には、たとえば、第１除去部６０１は固視微動除去部でもある。第１除去部６０１は、図１で説明したように、眼底画像フレームＦ１を基準フレームとし、他の眼底画像フレームＦ２～Ｆ４を比較対象フレームとして位置合わせを実行する。なお、ここでは、基準フレームを眼底画像フレームＦ１のうち最古の眼底画像フレームＦ１としたが、眼底画像フレームＦ２～Ｆ４のいずれかでもよい。リアルタイム性の向上を図る場合には、最古の眼底画像フレームＦ１とすればよい。
このフレーム間での位置合わせにより固視微動による眼底の位置ずれが補正されるため、補正後の動画データでは固視微動の影響が除去され、血管１０３、視神経乳頭１０２、黄斑１０１の位置はフレーム間で同じ位置になる。そのため、後述する強調部４０３で、拍動に起因する血管１０３の太さの変化や色の変化が強調されることになる。
　基準フレームと比較対象フレームとの位置合わせは、たとえば、平行移動、回転、および拡縮による変形を含むアフィン変換行列を用いた非剛体位置合わせにより実行される。また、除去部４０２は、スケール不変特徴変換（Ｓｃａｌｅ　Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）やＳＩＦＴを高速化したＳｐｅｅｄｅｄ　Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）といったアルゴリズムを適用してもよい。
　また、第１除去部６０１は、基準フレームと比較対象フレームとの位置合わせについて、同一位置画素値の差分二乗和（ＳＳＤ）、同一位置画素値の差分絶対値和（ＳＡＤ）、相互情報量、相互相関を評価関数として用いてもよい。たとえば、相互情報量や相互相関を適用した場合、相関値が０よりも大きいほど基準フレームと比較対象フレームとは類似し、相関値が小さいほど基準フレームと比較対象フレームとは類似しない。
　このように、基準フレームと比較対象フレームとの位置合わせを実行することにより、図１に示した比較対象フレームである眼底画像フレームＦ２～Ｆ４の黄斑１０１、視神経乳頭１０２、および血管１０３の位置が、点線で示した基準フレーム（眼底画像フレームＦ１）の黄斑１０１、視神経乳頭１０２、および血管１０３の位置に一致するようになる。したがって、眼底画像フレームＦ１～Ｆ４における黄斑１０１、視神経乳頭１０２、および血管１０３の位置が一致するため、眼底動画データ１００から固視微動が除去される。
　また、第１除去部６０１は、上述した相関値がしきい値以下となった比較対象フレームを眼底動画データ１００から除去してもよい。相関値がしきい値以下となった比較対象フレームは、基準フレームとの類似性が低いため、固視微動の動特性の１つである、眼球運動が比較的大きく速いマイクロサッカードを示すフレームと言える。したがって、相関値がしきい値以下となった比較対象フレームを眼底動画データ１００から除去することにより、第１除去部６０１は、マイクロサッカードが表示されない眼底動画データ１１０を生成することができる。
　つぎに、第２除去部６０２について説明する。第２除去部６０２は、強調部４０３において血管１０３などの特定の組織の動きおよび色変化のうち色変化のみを強調するための除去処理を実行する。具体的には、たとえば、第２除去部６０２は、分解部６２１と、時間フィルタリング部６２２と、位相ノイズ除去部６２３と、減衰部６２４と、再構築部６２５と、を有する。
　分解部６２１は、コンプレックスステアラブルピラミッド（ｃｏｍｐｌｅｘ　ｓｔｅｅｒａｂｌｅ　ｐｙｒａｍｉｄｓ）のような既知のフィルタ処理を用いて、第１除去部６０１による固視微動除去後の眼底画像フレームＧが入力される都度、眼底画像フレームＧを、高周波成分ｈｐｒと、低周波成分ｌｐｒと、複数の直交成分と、に分解する。
　すなわち、分解部６２１は、局所的な波の振幅（高周波成分ｈｐｒと、低周波成分ｌｐｒ）を当該波の位相（複数の直交成分）から分離する。分解部６２１は、高周波成分ｈｐｒおよび低周波成分ｌｐｒを再構築部６２５に出力し、複数の直交成分を時間フィルタリング部６２２に出力する。
　時間フィルタリング部６２２は、眼底画像フレームＦの位相（複数の直交成分）を、各位置、方向、スケールで独立して時間的にフィルタリングする。位相ノイズ除去部６２３は、振幅で重み付けされた空間平滑化を適用して位相のＳＮ比を増加させる。
　減衰部６２４は、時間フィルタリング部６２２で時間的にバンドパスされた位相を減衰させる。これにより、第１除去部６０１による位置合わせによって生じた誤差（心拍に相当）による特定の組織（たとえば、血管１０３）の動きを抑制する。再構築部６２５は、減衰部６２４からの出力と、高周波成分ｈｐｒおよび低周波成分ｌｐｒと、を用いて、眼底画像フレームＧを再構築する。このように、再構築された眼底画像フレームＧは、特定の組織の動きが抑制された画像フレームとなる。
　つぎに、第３除去部６０３について説明する。強調部４０３において血管１０３などの特定の組織の動きおよび色変化のうち動きのみを強調するための除去処理を実行する。具体的には、たとえば、第３除去部６０３は、第１除去部６０１による固視微動除去後の眼底画像フレームＧを蓄積し、連続する２つの眼底画像フレームＧ間で特定の組織（たとえば、血管１０３）の色濃度の差分がしきい値以上であるか否かを判断する。差分がしきい値以上である場合、連続する２つの眼底画像フレームＧのうち特定の組織（たとえば、血管１０３）の色濃度が薄い方の眼底画像フレームＧを除去する。
　たとえば、図１の（Ｂ）で示した眼底画像フレームＧ１～Ｇ４の場合、眼底画像フレームＧ１，Ｇ２間で血管１０３の色濃度の差分がしきい値以上であるとする。この場合、第３除去部６０３は、血管１０３の色濃度が薄い方の眼底画像フレームＧ１を除去する。眼底画像フレームＧ２，Ｇ３間、および、眼底画像フレームＧ３，Ｇ４間では、血管１０３の色濃度の差分がしきい値以上でないものとする。したがって、眼底画像フレームＧ２，Ｇ３は除去されない。
　図６Ｂは、強調部４０３の詳細な機能的構成例を示すブロック図である。強調部４０３は、空間分解部７０１、時間フィルタリング部７０２、増幅部７０３－１，７０３－２，…，７０３－ｎ（ｎは２以上の整数）、加算部７０４－１，７０４－２，…，７０４－ｎ、および、再構築部７０５を有する。増幅部７０３－１，７０３－２，…，７０３－ｎを区別しない場合には、単に増幅部７０３と表記する。加算部７０４－１，７０４－２，…，７０４－ｎを区別しない場合には、単に加算部７０４と表記する。まず、空間分解部７０１について説明する。
　空間分解部７０１は、除去部４０２による固視微動除去後の眼底画像フレームＧが入力される都度、眼底画像フレームＧを、異なる複数の空間周波数帯域（帯域１、帯域２、…、帯域ｎ）に分解する。バンドパスフィルタ（ｂａｎｄｐａｓｓｓ）やコンプレックスステアラブルピラミッド（ｃｏｍｐｌｅｘ　ｓｔｅｅｒａｂｌｅ　ｐｙｒａｍｉｄｓ）のような既知のフィルタ処理を用いることができる。帯域１、帯域２、…、帯域ｎの順で空間周波数が高くなっている。空間分解部７０１で帯域１に分解された画像データｇ１、帯域２に分解された画像データｇ２，…，帯域ｎに分解された画像データｇｎを時間フィルタリング部７０２に出力する。
　つぎに、時間フィルタリング部７０２は、２次のＩＩＲ（Ｉｎｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタのような既知のフィルタ処理を用いて、画像データｇ１，ｇ２，…，ｇｎの各々から、人間の拍動の周波数である６０～８０［ｋＨｚ］の周波数成分を抽出する。
　時間フィルタリング部７０２を通過した画像データｇ１は、増幅部７０３－１で設定された強調係数に基づいて増幅される。強調係数は、たとえば、１０倍に設定されており、画像データｇ１が１０倍に振幅が増幅される。そして、増幅部７０３－１を通過した画像データｇ１は、加算部７０４－１で空間分解部７０１から出力された画像データ１ｇと加算され、再構築部７０５に出力される。同様にして、画像データｇ２についても増幅部７０３－２、加算部７０４－２を介して再構築部７０５に出力される。画像データｇｎについても増幅部７０３－ｎ、加算部７０４－ｎを介して再構築部７０５に出力される。
　増幅部７０３における強調係数は、除去部４０２による固視微動除去後の眼底画像フレームＧ全体で同じであるが、空間的に（画素ごとに）強調係数を設定するようにしてもよい。具体的には、人工知能などの画像処理またはユーザの指定により、視神経乳頭１０２や血管１０３などの強調領域を抽出し、抽出された強調領域の画素の強調係数を、眼底画像フレームＧ中のほかの領域とは異なる強調係数に設定するようにする。これにより眼底画像フレームＧ中の強調領域のみが動画強調される。
　再構築部７０５では、加算部７０４－１，７０４－２，…，７０４－ｎから出力された画像データｈ１，ｈ２，…，ｈｎを用いて、眼底画像フレームＧを再構築する。このように、再構築された眼底画像フレームＧは、特定の組織について心拍に起因した周期的な変動が強調された画像フレームＨ１～Ｈ４となる。
　ユーザ（眼科医など）は、入力デバイス３０３を介して、複数の動画強調モードを選択できる。動画強調モードは、動きと色変化の双方を強調する通常モード、色変化のみを強調する色強調モード、動きのみを強調する動き強調モードを少なくとも用意されている。通常モードが選択された場合、眼底動画データ１００は、除去部４０２の第１除去部６０１で固視微動に起因するフレーム間の位置ずれが補正されて、強調部４０３で動画強調がなされる。
　色強調モードが選択された場合、眼底動画データ１００は、除去部４０２の第１除去部６０１で固視微動に起因するフレーム間の位置ずれが補正され、つづいて、第２除去部６０２により特定の組織の動きが除去される。そして、強調部４０３で動画強調がなされる。
　動き強調モードが選択された場合、眼底動画データ１００は、除去部４０２の第１除去部６０１で固視微動に起因するフレーム間の位置ずれが補正され、つづいて、第３除去部６０３により色変化が除去される。そして、強調部４０３で動画強調がなされる。
　＜動画強調後の眼底動画データ１２０＞
　図７は、強調部４０３による動画強調後の眼底動画データ１２０を示す説明図である。図７では、血管１０３のような特定の組織について心拍に起因した周期的な変動が強調される。血管１０３の色変化は、たとえば血液を送り出すときに血管１０３が濃く観察され、その後、血管１０３の色が薄まって観察される。血管１０３の動きは、たとえば、血液を送り出す時に膨張し（血管１０３の幅が太くなり）、その後、元に戻る。動脈より静脈のほうが動き及び色の変化が大きい傾向がある。
　（Ａ）は、第１除去部６０１による固視微動除去後の眼底動画データ１１０について動画強調した眼底動画データ１２０を示す。血管１０３の動きと色の変化の双方が強調された眼底動画データ１２０である。
（Ｂ）は、第１除去部６０１による固視微動除去および第２除去部６０２による特定の組織の動き除去後の眼底動画データ１１０について動画強調した眼底動画データ１２０を示す。特定の組織は血管１０３であり、血管１０３の色の変化のみが強調された眼底動画データ１２０である。
（Ｃ）は、第１除去部６０１による固視微動除去および第３除去部６０３による色変化を除去後の眼底動画データ１１０について動画強調した眼底動画データ１２０を示す。色の変化が除去（色濃度が薄い方の眼底画像フレームＧ１が除去）され、血管１０３の動きのみ（血管の太さの変化）が強調された眼底動画データ１２０である。
　＜眼底動画データの表示例＞
　つぎに、眼底動画データ１００，１１０，１２０の表示例について図８～図１０を用いて説明する。コンピュータ３００は、たとえば、検査、治療、手術時にリアルタイムで眼底動画データ１１０，１２０を表示してもよく、記憶デバイス３０２に記憶された眼底動画データ１１０，１２０を読み出して再生することにより表示してもよい。なお、固視微動が除去されていない眼底動画データ１００は、２次元の動画データでもよく３次元の動画データでもよい。
　図８は、眼底動画データの表示例１を示す説明図である。表示画面８００は、たとえば、動画データ表示領域８０１と、患者情報表示領域８０２と、パラメータ情報表示領域８０３と、を有する。動画データ表示領域８０１には、眼底動画データ１００，１２０が表示される。したがって、ユーザは、ライブ映像である眼底動画データ１００と、固視微動除去および動画強調後の眼底動画データ１２０とを比較しながら、視認することができる。
　患者情報表示領域８０２には、患者情報が表示される。患者情報とは、氏名、住所など、患者を特定する情報である。患者とは、眼底動画データ１００として撮影された被検眼を有する者である。
　パラメータ情報表示領域８０３には、パラメータ情報が表示される。パラメータ情報は、たとえば、強調パラメータと、生体モニタリング情報と、を含む。強調パラメータは、強調部４０３による動画強調で用いられる強調する周波数領域や強調の程度を示すパラメータである。生体モニタリング情報は、患者の脈拍などの患者の生体をモニタリングした情報である。　
　図９は、眼底動画データの表示例２を示す説明図である。表示画面９００は、たとえば、第１動画データ表示領域９０１と、第２動画データ表示領域９０２と、患者情報表示領域８０２と、パラメータ情報表示領域８０３と、を有する。
　第１動画データ表示領域９０１には、固視微動除去前の眼底動画データ１００が表示される。第１動画データ表示領域９０１はメイン画面であり、第２動画データ表示領域９０２よりも大きい。第２動画データ表示領域９０２には、固視微動除去および動画強調後の眼底動画データ１２０が表示される。第２動画データ表示領域９０２サブ画面であり、第１動画データ表示領域９０１よりも小さい。これにより、ユーザは、第１動画データ表示領域９０１を注視しつつ、必要に応じて第２動画データ表示領域９０２を視認することができる。
　図１０は、眼底動画データの表示例３を示す説明図である。表示画面１０００は、たとえば、固視微動除去前の眼底動画データ１００を表示する第１動画データ表示領域９０１と、固視微動除去および動画強調後の眼底動画データ１２０を表示する第２動画データ表示領域９０２と、を有する。第２動画データ表示領域９０２は、第１動画データ表示領域９０１の右上に重畳表示される。これにより、ユーザは、第１動画データ表示領域９０１を注視しつつ、必要に応じて第２動画データ表示領域９０２を視認することができる。
　なお、眼科装置２０１にフットスイッチのような切替スイッチが設けられている場合、切替スイッチのＯＮ／ＯＦＦにより、動画データ表示領域８０１および第２動画データ表示領域９０２の表示内容が、眼底動画データ１２０から眼底動画データ１１０に、または、眼底動画データ１１０から眼底動画データ１２０に、切り替えられてもよい。これにより、動画強調前後の違いを視認することができる。
　また、図９および図１０において、切替スイッチのＯＮ／ＯＦＦにより、第１動画データ表示領域９０１に眼底動画データ１２０を表示させ、第２動画データ表示領域９０２に眼底動画データ１００を表示させるように切り替えてもよい。これにより、ユーザは、眼底動画データ１２０をより大きなメイン画面で視認することができる。
　また、眼科装置２０１の接眼レンズから眼底動画データを観察する場合、眼底動画データ１１０，１２０については、いずれか一方の眼のレンズからのみ観察可能としてもよい。たとえば、図１０の場合、たとえば、右眼からは眼底動画データ１００が観察され、左眼からは眼底動画データ１００，１２０が観察される。
　また、図８～図１０の表示画面８００，９００，１０００に、動画強調モードの切替を行うモード切替ボタンを表示し、ユーザが動画強調モードを動きと色変化の双方を強調する通常モード、色変化のみを強調する色強調モード、動きのみを強調する動き強調モードを選択できるようにしてもよい。選択された動画強調モードの眼底動画データ１２０が、動画データ表示領域８０１や第２動画データ表示領域９０２に表示される。
　また、図８～図１０の表示画面８００，９００，１０００では、ライブ動画（固視微動除去前の眼底動画データ１００）を表示するようにしたが、固視微動除去後の眼底動画データ１２０を表示しるようにしてもよい。
　このように、固視微動除去後の動画強調前後の動画データについてユーザの観察自由度の向上を図ることができる。
　なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
１００，１１０，１２０　眼底動画データ、１０１　黄斑、１０２　視神経乳頭、１０３　血管、２００　眼科システム、２０１　眼科装置、２０４　管理サーバ、２０５　端末、４００　動画処理装置、４０１　取得部、４０２　除去部、４０３　強調部、４０４　出力部、６０１　第１除去部、６０２　第２除去部、６０３　第３除去部、６２１　分解部、６２２　時間フィルタリング部、６２３　位相ノイズ除去部、６２４　減衰部、６２５　再構築部、Ｆ，Ｇ，Ｈ　眼底画像フレーム

Claims (12)

  1. 　被検眼動画データを取得する取得部と、
    　前記取得部によって取得された被検眼動画データに基づいて、前記被検眼動画データから固視微動に起因する位置ずれを除去する除去部と、
    　前記除去部による除去後の被検眼動画データを強調する強調部と、
    　前記強調部による強調後の被検眼動画データを出力する出力部と、
    　を有する動画処理装置。
  2. 　請求項１に記載の動画処理装置であって、
    　前記除去部は、前記被検眼動画データを構成する時間方向の被検眼フレーム群のうち、第１被検眼フレームと、前記第１被検眼フレームとは異なる第２被検眼フレームと、の位置合わせにより、前記被検眼動画データから前記位置ずれを除去する、動画処理装置。
  3. 　請求項２に記載の動画処理装置であって、
    　前記除去部は、前記第１被検眼フレームと前記第２被検眼フレームとの相互の相関に基づく位置合わせにより、前記被検眼動画データから位置ずれを除去する、動画処理装置。
  4. 　請求項３に記載の動画処理装置であって、
    　前記除去部は、前記第１被検眼フレームとの相関値が所定値以下である特定の第２被検眼フレームを前記被検眼動画データから除去する、動画処理装置。
  5. 　請求項２に記載の動画処理装置であって、
    　前記除去部は、前記第１被検眼フレームおよび前記第２被検眼フレームの特徴量に基づく位置合わせにより、前記被検眼動画データから位置ずれを除去する、動画処理装置。
  6. 　請求項１から５のいずれか一つに記載の動画処理装置であって、
    　前記除去部は、さらに、前記被検眼動画データから、被検眼内の特定の組織の動きを除去し、
    　前記強調部は、前記被検眼内の前記特定の組織の色変化を強調する、動画処理装置。
  7. 　請求項１から５のいずれか一つに記載の動画処理装置であって、
    　前記除去部は、さらに、前記被検眼動画データから、被検眼内の特定の組織の色変化を除去し、
    　前記強調部は、前記被検眼内の前記特定の組織の動きを強調する、動画処理装置。
  8. 　請求項１から７のいずれか一つに記載の動画処理装置であって、
    　前記出力部は、前記強調部による強調後の被検眼動画データを表示装置に出力する、動画処理装置。
  9. 　請求項８に記載の動画処理装置であって、
    　前記出力部は、前記強調後の被検眼動画データと、前記強調部による強調前の被検眼動画データと、を前記表示装置に出力する、動画処理装置。
  10. 　請求項９に記載の動画処理装置であって、
    　前記強調前の被検眼動画データは、前記除去部による除去後の被検眼動画データである、動画処理装置。
  11. 　プロセッサが、
    　被検眼動画データを取得する取得処理と、
    　前記取得処理によって取得された被検眼動画データに基づいて、前記被検眼動画データから固視微動に起因する位置ずれを除去する除去処理と、
    　前記除去処理による除去後の被検眼動画データを強調する強調処理と、
    　前記強調処理による強調後の被検眼動画データを出力する出力処理と、
    　を実行する動画処理方法。
  12. 　プロセッサに、
    　被検眼動画データを取得する取得処理と、
    　前記取得処理によって取得された被検眼動画データに基づいて、前記被検眼動画データから固視微動に起因する位置ずれを除去する除去処理と、
    　前記除去処理による除去後の被検眼動画データを強調する強調処理と、
    　前記強調処理による強調後の被検眼動画データを出力する出力処理と、
    　を実行させる動画処理プログラム。
PCT/JP2019/016439 2019-04-17 2019-04-17 動画処理装置、動画処理方法、および動画処理プログラム WO2020213085A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/603,370 US20220215514A1 (en) 2019-04-17 2019-04-17 Video processing apparatus, video processing method, and recording medium
PCT/JP2019/016439 WO2020213085A1 (ja) 2019-04-17 2019-04-17 動画処理装置、動画処理方法、および動画処理プログラム
JP2021514711A JP7322948B2 (ja) 2019-04-17 2019-04-17 動画処理装置、動画処理方法、および動画処理プログラム
JP2023117738A JP2023134744A (ja) 2019-04-17 2023-07-19 動画処理装置、動画処理方法、および動画処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/016439 WO2020213085A1 (ja) 2019-04-17 2019-04-17 動画処理装置、動画処理方法、および動画処理プログラム

Publications (1)

Publication Number Publication Date
WO2020213085A1 true WO2020213085A1 (ja) 2020-10-22

Family

ID=72838120

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016439 WO2020213085A1 (ja) 2019-04-17 2019-04-17 動画処理装置、動画処理方法、および動画処理プログラム

Country Status (3)

Country Link
US (1) US20220215514A1 (ja)
JP (2) JP7322948B2 (ja)
WO (1) WO2020213085A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024084753A1 (ja) * 2022-10-19 2024-04-25 株式会社ナノルクス 眼観察装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010502394A (ja) * 2006-09-06 2010-01-28 アイ・マーカー・システムズ，インコーポレイテッド 生理学的データを測定および分析する非侵襲性の眼モニタおよび方法
JP2013506523A (ja) * 2009-10-06 2013-02-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 第１の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第１の信号を得るための方法及びシステム
JP2013198719A (ja) * 2012-02-20 2013-10-03 Canon Inc 画像処理装置及び画像処理方法
JP2015527136A (ja) * 2012-08-03 2015-09-17 ヴォルカノ コーポレイションＶｏｌｃａｎｏ Ｃｏｒｐｏｒａｔｉｏｎ 脈管を評価するための装置、システム、及び方法
JP2016120262A (ja) * 2014-12-25 2016-07-07 カシオ計算機株式会社 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム
JP2016202880A (ja) * 2015-04-23 2016-12-08 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2017046976A (ja) * 2015-09-02 2017-03-09 株式会社ニデック 眼科撮影装置及び眼科撮影プログラム
US20180096119A1 (en) * 2015-03-27 2018-04-05 Samsung Electronics Co., Ltd. Biometric information acquisition method and device for same
WO2019003285A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP2019042263A (ja) * 2017-09-05 2019-03-22 株式会社トプコン 眼科システム、眼科撮影装置及び眼科情報処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100201800A1 (en) * 2009-02-09 2010-08-12 Olympus Corporation Microscopy system
US20130010259A1 (en) * 2011-07-05 2013-01-10 Escalon Digital Vision, Inc. Region based vision tracking system for imaging of the eye for use in optical coherence tomography
JP6893877B2 (ja) 2014-10-29 2021-06-23 スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. 組織を分類するための反射モードマルチスペクトル時間分解型光学イメージングの方法および装置
WO2016194718A1 (ja) * 2015-06-05 2016-12-08 ソニー株式会社 画像処理装置、画像処理方法、および手術システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010502394A (ja) * 2006-09-06 2010-01-28 アイ・マーカー・システムズ，インコーポレイテッド 生理学的データを測定および分析する非侵襲性の眼モニタおよび方法
JP2013506523A (ja) * 2009-10-06 2013-02-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 第１の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第１の信号を得るための方法及びシステム
JP2013198719A (ja) * 2012-02-20 2013-10-03 Canon Inc 画像処理装置及び画像処理方法
JP2015527136A (ja) * 2012-08-03 2015-09-17 ヴォルカノ コーポレイションＶｏｌｃａｎｏ Ｃｏｒｐｏｒａｔｉｏｎ 脈管を評価するための装置、システム、及び方法
JP2016120262A (ja) * 2014-12-25 2016-07-07 カシオ計算機株式会社 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム
US20180096119A1 (en) * 2015-03-27 2018-04-05 Samsung Electronics Co., Ltd. Biometric information acquisition method and device for same
JP2016202880A (ja) * 2015-04-23 2016-12-08 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2017046976A (ja) * 2015-09-02 2017-03-09 株式会社ニデック 眼科撮影装置及び眼科撮影プログラム
WO2019003285A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP2019042263A (ja) * 2017-09-05 2019-03-22 株式会社トプコン 眼科システム、眼科撮影装置及び眼科情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024084753A1 (ja) * 2022-10-19 2024-04-25 株式会社ナノルクス 眼観察装置

Also Published As

Publication number Publication date
JPWO2020213085A1 (ja) 2020-10-22
US20220215514A1 (en) 2022-07-07
JP7322948B2 (ja) 2023-08-08
JP2023134744A (ja) 2023-09-27

Similar Documents

Publication Publication Date Title
CN104125798B (zh) 图像显示设备、图像显示方法和摄像系统
WO2012026597A1 (ja) 画像処理装置および方法
JP7441783B2 (ja) 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法
JP2020514882A (ja) 血管の検出
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP2023134744A (ja) 動画処理装置、動画処理方法、および動画処理プログラム
Kamienkowski et al. Parsing a mental program: Fixation-related brain signatures of unitary operations and routines in natural visual search
EP3415076A1 (en) Medical image processing device, system, method, and program
CN108289606A (zh) 玻璃体视网膜手术期间oct图像的分辨率增强
AU2016263038B2 (en) OCT image modification
JP7332463B2 (ja) 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム
CN111526779B (zh) 图像处理方法、图像处理程序、图像处理装置、图像显示装置、以及图像显示方法
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7102208B2 (ja) 画像処理装置およびその制御方法
Janatka et al. Surgical video motion magnification with suppression of instrument artefacts
Haruna et al. In vivo dynamic imaging of arterioles of human fingers using optical coherence tomography at 1.3 µm
EP3424403A1 (en) Medical image processing device, system, method, and program
WO2021075026A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2022132898A (ja) 眼科データ処理方法、眼科データ処理装置、その制御方法、眼科検査装置、その制御方法、プログラム、及び記録媒体
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
Mengko et al. Image Processing in Retinal Angiography: Extracting Angiographical Features without the Requirement of Contrast Agents.
KR102405351B1 (ko) 안구 움직임에 기반한 이석증의 질병정보 제공방법 및 이를 위한 질병정보 제공장치
WO2022196583A1 (ja) グレード評価装置、眼科撮影装置、プログラム、記録媒体、およびグレード評価方法
Richer et al. Noise-free one-cardiac-cycle OCT videos for local assessment of retinal tissue deformation
JP6501649B2 (ja) 眼科装置、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925305

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021514711

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19925305

Country of ref document: EP

Kind code of ref document: A1