WO2024258001A1 - 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법 및 영상 처리 장치 - Google Patents

참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법 및 영상 처리 장치 Download PDF

Info

Publication number
WO2024258001A1
WO2024258001A1 PCT/KR2024/003337 KR2024003337W WO2024258001A1 WO 2024258001 A1 WO2024258001 A1 WO 2024258001A1 KR 2024003337 W KR2024003337 W KR 2024003337W WO 2024258001 A1 WO2024258001 A1 WO 2024258001A1
Authority
WO
WIPO (PCT)
Prior art keywords
fundus
hyperspectral
region
image
hyperspectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2024/003337
Other languages
English (en)
French (fr)
Inventor
강세웅
김윤택
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Life Public Welfare Foundation
Original Assignee
Samsung Life Public Welfare Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Life Public Welfare Foundation filed Critical Samsung Life Public Welfare Foundation
Publication of WO2024258001A1 publication Critical patent/WO2024258001A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the technique described below relates to a technique for standardizing hyperspectral images of the fundus.
  • hyper-spectral imaging is a technology that collects information from the electromagnetic spectrum of a sample (measuring reflection, emission, and absorption of electromagnetic radiation) to create an image.
  • Hyper-spectral images are used to derive the condition, composition, characteristics, and mutations of a subject by configuring two-dimensional image information according to the spectrum band of electromagnetic waves in the form of a hyper-spectral cube.
  • Hyperspectral imaging is being used to diagnose eye diseases, etc.
  • hyperspectral imaging of the fundus can be used to diagnose eye diseases based on absorption spectra or oxygen saturation in the retinal blood vessels.
  • hyperspectral images of the fundus are useful for diagnosing Alzheimer's disease.
  • Hyperspectral imaging of the fundus collects information generated when externally irradiated light passes through the cornea and lens and is reflected from the fundus. At this time, the cornea and lens act as optical filters and have structurally different characteristics for each subject. Therefore, hyperspectral images of the fundus may show different characteristics for each subject, making analysis difficult.
  • the technique described below is intended to provide a technique for normalizing or standardizing hyperspectral images of the fundus.
  • a method for correcting a fundus hyperspectral image based on a reference region includes a step of an image processing device receiving a fundus hyperspectral image of a specific subject, a step of the image processing device determining a reference region in the fundus hyperspectral image, and a step of the image processing device correcting a color value of the fundus hyperspectral image based on the reference region.
  • An image processing device for standardizing a fundus hyperspectral image includes an input device for receiving a fundus hyperspectral image of a specific subject, a storage device for storing a program for correcting the color of the fundus hyperspectral image, and a calculation device for determining a reference area in the fundus hyperspectral image using the program, comparing the color value of the reference area with a previously established reference value, and correcting the fundus hyperspectral image.
  • the technique described below uniformly corrects hyperspectral images relative to arterial and/or venous regions in fundus hyperspectral images, thereby improving diagnostic accuracy for subjects.
  • Figure 1 is an example of a system for standardizing fundus hyperspectral images.
  • Figure 2 is an example of the process of standardizing fundus hyperspectral images.
  • Figure 3 is another example of the process of standardizing fundus hyperspectral images.
  • Figure 4 is an example of an application using standardized fundus hyperspectral images.
  • Figure 5 is an example of an image processing device that standardizes fundus hyperspectral images.
  • first, second, A, B, etc. may be used to describe various components, these components are not limited by these terms, and are only used to distinguish one component from another.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • the term and/or includes any combination of a plurality of related described items or any item among a plurality of related described items.
  • each process constituting the method may occur in a different order from the stated order unless the context clearly states a specific order. That is, each process may occur in the same order as the stated order, may be performed substantially simultaneously, or may be performed in the opposite order.
  • Hyperspectral images refer to hyperspectral images of the fundus acquired by a hyperspectral camera.
  • hyperspectral images of the fundus region are referred to as fundus hyperspectral images.
  • the image processing device can be implemented as various devices capable of processing certain data.
  • the image processing device can be implemented as a PC, a server on a network, a smart device, a chipset with a dedicated program embedded, etc.
  • Fig. 1 is an example of a system (100) for standardizing fundus hyperspectral images.
  • an example of an image processing device being a computer terminal (130) and a server (140) is illustrated.
  • the fundus hyperspectral camera (110) generates a fundus hyperspectral image of a specific subject.
  • the fundus hyperspectral camera (110) irradiates light from the outside and collects spectral information reflected from the fundus to generate a hyperspectral image.
  • the fundus hyperspectral image is composed of a set of images acquired in various frequency bands.
  • the fundus hyperspectral image generated by the fundus hyperspectral camera (110) can be stored in an EMR (Electronic Medical Record, 120) or a separate database (DB).
  • the computer terminal (130) can be used to uniformly standardize the fundus hyperspectral image.
  • the computer terminal (130) can receive the fundus hyperspectral image from the fundus hyperspectral camera (110) or EMR (120) through a wired or wireless network.
  • the computer terminal (130) may be a device physically connected to the fundus camera (110).
  • the computer terminal (130) can color-correct the fundus hyperspectral image based on a reference region.
  • the reference region may be at least one of an arterial region and a venous region. The process of standardizing the fundus hyperspectral image will be described later.
  • User A can check the standardized fundus hyperspectral image on the computer terminal (130). Furthermore, user A can further analyze the standardized fundus hyperspectral image or utilize it as diagnostic data by using the computer terminal (130).
  • the server (140) can receive a fundus hyperspectral image from a fundus hyperspectral camera (110) or an EMR (120).
  • the server (140) can color-correct the fundus hyperspectral image based on a reference region.
  • the reference region can be at least one of an arterial region and a venous region.
  • the fundus hyperspectral image standardization process will be described later.
  • the server (140) can transmit the standardized fundus hyperspectral image to a terminal of user A.
  • User A can check the standardized fundus hyperspectral image.
  • User A can use the user's terminal to further analyze the standardized fundus hyperspectral image or use it as diagnostic data.
  • the computer terminal (130) and/or server (140) may store standardized fundus hyperspectral images in EMR (120) or a separate DB.
  • Figure 2 is an example of a process (200) for standardizing a fundus hyperspectral image.
  • the image processing device receives an initial fundus hyperspectral image (210).
  • the initial fundus hyperspectral image is an image collected from a specific subject who is the subject of analysis.
  • the image processing device can uniformly preprocess the initial fundus hyperspectral image (215).
  • the preprocessing may include adjusting the resolution or size of the initial image, extracting the eye region from the initial fundus hyperspectral image, etc.
  • the image processing device determines a reference area for standardizing the color of the fundus hyperspectral image (220).
  • the reference area means a reference area used to correct the color or color temperature of the entire fundus hyperspectral image.
  • the optic nerve head, retina, etc. are structures that are affected by race and age.
  • blood vessels have optical characteristics in arterial blood and venous blood, respectively, and are independent of age and race. Therefore, the reference region can use the arterial region and/or venous region identified in the fundus hyperspectral image.
  • the image processing device can use the arterial region and venous region of some areas of the fundus hyperspectral image.
  • the image processing device can correct the entire fundus hyperspectral image based on the selected reference region (230).
  • the reference region may include only the arterial region. Arteries are less affected by disease than veins. Therefore, the image processing device may correct the fundus hyperspectral image based only on the arterial region.
  • the reference region may include an arterial region and a venous region.
  • the image processing device may correct the fundus hyperspectral image based on the venous region as an auxiliary reference region together with the arterial region.
  • the image processing device can correct the fundus hyperspectral image by using only the arterial region of the optic disk region as the reference region. In addition, (ii) the image processing device can correct the fundus hyperspectral image by using the arterial region and the venous region of the optic disk region as the reference regions.
  • the image processing device can use the artery region and vein region set (selected) by the user through the interface device as the reference region.
  • the image processing device can also determine the reference region through a general image processing process.
  • the image processing device can determine the reference region by using the shape and color characteristics of the artery region and the vein region. The characteristics of the artery region and the vein region that become the reference region will be described later.
  • the image processing device can detect the reference region by using a segmentation model.
  • the segmentation model can be a semantic segmentation model such as U-net, FCN (fully convolutional network), etc.
  • the image processing device can input the initial fundus hyperspectral image into the learned segmentation model to distinguish the reference region.
  • Image processing devices can correct fundus hyperspectral images in a variety of ways.
  • the image processing device compares the universal reference value of the reference region collected in advance with the color value of the reference region extracted from the current fundus hyperspectral image.
  • the universal reference value may be a color value or an average value of the color values of the reference region collected from a specific population.
  • the universal reference value may also be a value for at least one of the arterial region, the venous region, the arterial region of the optic nerve head region, and the venous region of the optic nerve head region.
  • the population may be composed of healthy normal people or patients with a specific disease. Meanwhile, the population may also be composed of a specific race.
  • the image processing device may correct the fundus hyperspectral image of the specific subject based on the difference between the universal reference value and the color value of the reference region of the specific subject.
  • Color differences can be computed in a variety of ways.
  • the image processing device can determine color differences based on the entire RGB channel, or can determine color differences based on a specific color channel. Alternatively, the image processing device can convert the RGB image to YCbCr and determine color differences in the CbCr space.
  • the image processing device can also correct the entire fundus hyperspectral image based on the difference in color between the arterial region and the venous region among the reference regions.
  • the colors of the arterial region and the venous region originally have a certain degree of difference. Therefore, the arterial region and the venous region also have a certain degree of difference in the fundus hyperspectral image.
  • the image processing device can correct the color of the entire fundus hyperspectral image so that the color difference between the arterial region and the venous region in the initial fundus hyperspectral image of the current subject has a certain value (reference value).
  • the reference value may be a specific value or a specific range.
  • the image processing device can correct the color difference between the arterial region and the venous region to a certain value or a certain range.
  • the image processing device can adjust the color difference between the arterial region and the venous region to a certain value by changing the value of specific color channel(s).
  • the image processing device can correct the color by using a correction table prepared in advance for each color channel or by using a correction function.
  • the color difference between arteries and veins is due to the difference in the ratio of oxygenated hemoglobin (HbO 2 ) to deoxygenated hemoglobin (Hb).
  • HbO 2 oxygenated hemoglobin
  • Hb deoxygenated hemoglobin
  • the ratio of oxygenated hemoglobin is higher in arteries than in veins.
  • arteries have thick muscles in their walls, while veins have thin muscles, veins appear thicker and have a darker red color than arteries.
  • the arterial oxygen saturation was 92.3 ⁇ 4.2% and the venous oxygen saturation was 57.2 ⁇ 6.0%, with a difference of 35.2%
  • the arterial oxygen saturation was 96.3 ⁇ 8.6% and the venous oxygen saturation was 58.7 ⁇ 7.5%, with a difference of 37.6%
  • the arterial oxygen saturation was 97.7 ⁇ 5.8% and the venous oxygen saturation was 61.1% ⁇ 7.6%, with a difference of 36.6%
  • the arterial oxygen saturation was 102 ⁇ 10.2% and the venous oxygen saturation was 66.8 ⁇ 8.4%, with a difference
  • the difference in oxygen saturation between arterial and venous blood in the retina is relatively constant.
  • the oxygen saturation of arterial blood is in the range of 92-103.6%
  • the oxygen saturation of venous blood is in the range of 57.2-66.8%.
  • the image processing device can correct the fundus hyperspectral image based on the color difference between the arterial region and the venous region in the fundus hyperspectral image.
  • Figure 3 is another example of the process of standardizing fundus hyperspectral images.
  • the image processing device receives an initial hyperspectral image (310).
  • the initial hyperspectral image is an image collected from a specific subject to be analyzed. One image has a size of x ⁇ y and has a wavelength of ⁇ .
  • the hyperspectral image is composed of multiple images generated from different spectra. Therefore, the initial hyperspectral image corresponds to a set of hyperspectral images.
  • the image processing device can uniformly preprocess the initial fundus hyperspectral image (315).
  • the preprocessing may include adjusting the resolution or size of the initial image, extracting the eye region from the initial fundus hyperspectral image, etc.
  • the image processing device selects reference images from among a plurality of fundus hyperspectral images generated in different spectral bands (320).
  • the reference images are composed of fundus hyperspectral images generated in different spectral bands (e.g., 900 nm, 600 nm).
  • the reference images may be composed of images generated in at least two spectral bands.
  • the image processing device can determine a reference area from each of the selected reference images (330).
  • the reference area is as described above in Fig. 2.
  • the image processing device can correct the entire fundus hyperspectral image based on the selected reference region (340).
  • an image processing device selects reference images of two spectral bands (600 nm and 900 nm) as reference images.
  • the image processing device determines a reference region in the 600 nm reference image.
  • the image processing device compares a universal reference value for the 600 nm reference region with a color value of the 600 nm reference region of a specific subject, and can correct the 600 nm fundus hyperspectral image of the specific subject so that the fundus hyperspectral image of the specific subject becomes identical to the reference value (or a value close to the reference range).
  • the image processing device can correct the fundus hyperspectral image of the other spectral band by the amount by which the 600 nm fundus hyperspectral image is corrected.
  • the image processing device determines a reference region in the 900 nm reference image.
  • the image processing device can compare the universal reference value for the 900 nm reference region with the color value of the 600 nm reference region of the specific subject, and correct the 900 nm fundus hyperspectral image of the specific subject so that the fundus hyperspectral image of the specific subject becomes the same as the reference value (or a value close to the reference range). Furthermore, the image processing device can correct the fundus hyperspectral image of another spectral band by the amount of the corrected value of the 900 nm fundus hyperspectral image.
  • the image processing device can compare the reference region and the universal reference value of the corresponding spectral band for each of the selected reference images.
  • the image processing device can calculate the difference by averaging the difference between the color value of the reference region of the specific subject and the universal reference value in each of a plurality of reference images.
  • the image processing device can correct all fundus hyperspectral images of the specific subject based on the difference.
  • the image processing device can calculate the color value difference of the arterial region and the venous region, which are reference regions, for each of the selected reference images.
  • the image processing device can calculate the average value of the difference values between the arterial region and the venous region in each of a plurality of reference images.
  • the image processing device can correct the entire fundus hyperspectral images so that the difference becomes a constant value based on the average value of the difference values.
  • Fig. 4 is an example of an application using a standardized fundus hyperspectral image.
  • Fig. 4 is an example of building a learning model or an AI (artificial intelligence) model that analyzes a standardized fundus hyperspectral image.
  • the AI model may be a model that analyzes a patient's fundus hyperspectral image to predict or diagnose ocular lesions.
  • Fig. 4(A) is an example of a process for learning an AI model.
  • An image processing device receives initial fundus hyperspectral images generated by a fundus examination device.
  • the image processing device may be a separate learning device.
  • the image processing device may receive initial fundus hyperspectral images from a separate DB.
  • the image processing device standardizes the fundus hyperspectral images of a population through the aforementioned process.
  • the image processing device may store the standardized fundus hyperspectral images in a learning DB.
  • the image processing device learns an AI model using the standardized fundus hyperspectral images.
  • the image processing device inputs the standardized fundus hyperspectral images into the AI model, and repeats the process of updating the parameters of the AI model while comparing the values output by the AI model with label values known in advance. Through this, the image processing device establishes an AI model for predicting ocular lesions.
  • Fig. 4(B) is an example of a process for predicting ocular lesions using a learned AI model.
  • the image processing device receives an initial fundus hyperspectral image captured by a fundus hyperspectral camera.
  • the image processing device standardizes the initial fundus hyperspectral image.
  • the image processing device inputs the standardized fundus hyperspectral image into the learned AI model through Fig. 4(A).
  • the image processing device performs inference on ocular lesions using the AI model.
  • the image processing device can derive analysis results on whether or not there is an ocular lesion based on the value (probability value) output to the AI model.
  • Fig. 5 is an example of an image processing device (400) for standardizing a fundus hyperspectral image.
  • the image processing device (400) corresponds to the image processing device (130 and 140 of Fig. 1) described above.
  • the image processing device (400) may be implemented in various physical forms.
  • the image processing device (400) may take the form of a computer device such as a PC, a server of a network, a chipset dedicated to data processing, etc.
  • the image processing device (400) may include a storage device (410), a memory (420), a computational device (430), an interface device (440), a communication device (450), and an output device (460).
  • the storage device (410) can store the initial fundus hyperspectral image generated by the fundus hyperspectral camera.
  • the storage device (410) can store a code or program that standardizes the initial fundus hyperspectral image.
  • the storage device (410) can store reference information for image correction (reference values of reference areas by spectrum band, reference values for color differences between arteries and veins by spectrum band, etc.).
  • the storage device (410) can store a program or learning model (segmentation model) that distinguishes a reference area for standardizing a fundus hyperspectral image.
  • the storage device (410) can store standardized fundus hyperspectral images.
  • the memory (420) can store data and information generated during the process of standardizing (correcting) the fundus hyperspectral image by the image processing device (400).
  • the interface device (440) is a device that receives certain commands and data from the outside.
  • the interface device (440) can receive an initial fundus hyperspectral image of a specific subject from a physically connected input device or an external storage device.
  • the interface device (440) can receive setting information for a reference area from the initial fundus hyperspectral image.
  • the interface device (440) can also transmit a standardized fundus hyperspectral image to an external object.
  • the communication device (450) refers to a configuration that receives and transmits certain information through a wired or wireless network.
  • the communication device (450) can receive an initial fundus hyperspectral image of a specific subject from an external object.
  • the communication device (450) can receive setting information for a reference area from the initial fundus hyperspectral image.
  • the communication device (450) can also transmit a standardized fundus hyperspectral image to an external object such as a user terminal.
  • the interface device (440) may be a device that transmits data transmitted from a communication device (450) into the image processing device (400).
  • the output device (460) is a device that outputs certain information.
  • the output device (460) can output interfaces required for the data processing process, initial fundus hyperspectral images, standardized fundus hyperspectral images, diagnosis results, etc.
  • the computational device (430) can perform the process described below using code, program, or learning model stored in the storage device (410).
  • the computational unit (430) can preprocess the initial fundus hyperspectral image in a predetermined manner.
  • the preprocessing can be any one of the following operations: changing the resolution or size, cropping a predetermined area, removing noise, etc.
  • the computational device (430) can determine a reference region that serves as a reference for initial fundus hyperspectral image correction.
  • the computational device (430) can determine the reference region based on information input by the user.
  • the computational device (430) can automatically determine the reference region based on an image processing program.
  • the computational device (430) can also distinguish the reference region using a learned segmentation model.
  • the reference region is as described in FIG. 2.
  • the calculation device (430) can correct the fundus hyperspectral image of a specific subject by comparing the color value of the reference area with a reference value (reference value) collected in advance from the population data. This process is as described in FIG. 2. For example, the calculation device (430) can correct the fundus hyperspectral image of a specific subject based on the difference between the color value of the reference area of the specific subject and the color value (reference value) of the reference area of the fundus hyperspectral image of the population constructed in advance.
  • the calculation device (430) can collect reference images in different spectral bands, and compare the reference region of each reference image with a previously collected reference value (reference value) to correct the hyperspectral image of a specific subject. This process is as described in FIG. 3.
  • the calculation device selects a plurality of hyperspectral images in different spectral bands from a hyperspectral image set, calculates the difference between the color value of the reference region and the color value of the reference region of the hyperspectral image of a pre-constructed population for each of the plurality of hyperspectral images, and corrects the hyperspectral image set of the fundus.
  • the computational device (430) may input a standardized fundus hyperspectral image into a pre-learned AI model to perform inference regarding ocular lesions.
  • the computational device (430) may be a device such as a processor, AP, or chip embedded with a program that processes data and performs certain operations.
  • the fundus hyperspectral image processing method or the fundus hyperspectral image standardization method as described above can be implemented as a program (or application) including an executable algorithm that can be executed on a computer.
  • the program can be provided by being stored on a temporary or non-transitory computer readable medium.
  • a non-transitory readable medium refers to a medium that semi-permanently stores data and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory.
  • the various applications or programs described above may be stored and provided in a non-transitory readable medium, such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), EPROM (Erasable PROM, EPROM), EEPROM (Electrically EPROM), or flash memory.
  • Temporarily readable media refers to various types of RAM such as Static RAM (SRAM), Dynamic RAM (DRAM), Synchronous DRAM (SDRAM), Double Data Rate SDRAM (DDR SDRAM), Enhanced SDRAM (ESDRAM), Synclink DRAM (SLDRAM), and Direct Rambus RAM (DRRAM).
  • SRAM Static RAM
  • DRAM Dynamic RAM
  • SDRAM Synchronous DRAM
  • DDR SDRAM Double Data Rate SDRAM
  • ESDRAM Enhanced SDRAM
  • SLDRAM Synclink DRAM
  • DRRAM Direct Rambus RAM

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Eye Examination Apparatus (AREA)
  • Signal Processing (AREA)

Abstract

참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법은 영상처리장치가 특정 대상자의 안저 초분광 이미지를 입력받는 단계, 상기 영상처리장치가 상기 안저 초분광 이미지에서 참조 영역을 결정하는 단계 및 상기 영상처리장치가 상기 참조 영역을 기준으로 상기 안저 초분광 이미지의 색상값을 보정하는 단계를 포함한다.

Description

참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법 및 영상 처리 장치
이하 설명하는 기술은 안저(fundus)의 초분광 이미지를 표준화하는 기법에 관한 것이다.
광학 이미징(optical imaging) 기술은 다양한 병리학적 평가나 수술을 위하여 활용되고 있다. 한편, 초분광 이미징(Hyper-spectral imaging)은 샘플의 전자기 스펙트럼으로부터 정보를 수집(전자기 복사의 반사, 방사 및 흡수 측정)하여 이미지를 생성하는 기술이다. 초분광 이미지는 전자기파의 스펙트럼 밴드에 따른 2차원적인 영상정보를 초분광 큐브 형태로 구성하여 대상체의 상태, 구성, 특징, 변이 등을 도출하는데 활용된다.
초분광 이미징은 안과 질환 등에 대한 진단에 활용되고 있다. 예컨대, 안저의 초분광 이미징은 망막혈관에서의 흡수 스펙트럼 또는 산소 포화도를 기준으로 안과 질환의 진단에 사용될 수 있다. 나아가, 최근 안저의 초분광 이미지가 알츠하이머 진단에 유용하다는 연구도 있었다.
안저의 초분광 이미징은 외부에서 조사된 빛이 각막과 수정체 등을 통과 후 안저에서 반사되어 발생하는 정보를 수집한다. 이때, 각막 및 수정체는 광학적 필터로 작용하게 되는데 대상자마다 구조적으로 다른 특성을 갖는다. 따라서, 안저의 초분광 이미지는 대상자마다 서로 다른 특성을 보여 분석에 어려움이 발생할 수 있다.
이하 설명하는 기술은 안저의 초분광 이미지를 정규화 내지 표준화하는 기법을 제공하고자 한다.
참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법은 영상처리장치가 특정 대상자의 안저 초분광 이미지를 입력받는 단계, 상기 영상처리장치가 상기 안저 초분광 이미지에서 참조 영역을 결정하는 단계 및 상기 영상처리장치가 상기 참조 영역을 기준으로 상기 안저 초분광 이미지의 색상값을 보정하는 단계를 포함한다.
안저 초분광 이미지를 표준화하는 영상처리장치는 특정 대상자의 안저 초분광 이미지를 입력받는 입력장치, 안저 초분광 이미지의 색상을 보정하는 프로그램을 저장하는 저장장치 및 상기 프로그램을 이용하여 상기 안저 초분광 이미지에서 참조 영역을 결정하고, 상기 참조 영역의 색상값과 사전에 구축한 기준값을 비교하여 상기 안저 초분광 이미지를 보정하는 연산장치를 포함한다.
이하 설명하는 기술은 안저 초분광 이미지에서 동맥 및/또는 정맥 영역을 기준으로 초분광 이미지를 균일하게 보정하여 대상자에 대한 진단 정확도를 높인다.
도 1은 안저 초분광 이미지를 표준화하는 시스템에 대한 예이다.
도 2는 안저 초분광 이미지를 표준화하는 과정에 대한 예이다.
도 3은 안저 초분광 이미지를 표준화하는 과정에 대한 다른 예이다.
도 4는 표준화된 안저 초분광 이미지를 이용한 애플리케이션에 대한 예이다.
도 5는 안저 초분광 이미지를 표준화하는 영상처리장치에 대한 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 안저에 대한 초분광 이미지를 보정하는 기법에 관한 것이다. 초분광 이미지는 초분광 카메라로 획득되는 안저 초분광 이미지를 의미한다. 이하 안저 영역에 대한 초분광 이미지를 안저 초분광 이미지라고 명명한다.
이하 영상처리장치가 안저 초분광 이미지를 보정하여 표준화한다고 설명한다. 영상처리장치는 일정한 데이터 처리가 가능한 다양한 장치로 구현될 수 있다. 예컨대, 영상처리장치는 PC, 네트워크상의 서버, 스마트 기기, 전용 프로그램이 임베딩된 칩셋 등으로 구현될 수 있다.
도 1은 안저 초분광 이미지를 표준화하는 시스템(100)에 대한 예이다. 도 1에서 영상처리장치는 컴퓨터 단말(130) 및 서버(140)인 예를 도시하였다.
안저 초분광 카메라(110)는 특정 대상자의 안저 초분광 이미지를 생성한다. 안저 초분광 카메라(110)는 외부에서 빛을 조사하여 안저에서 반사되는 스펙트럼 정보를 수집하여 초분광 이미지를 생성한다. 안저 초분광 이미지는 다양한 주파수 대역에서 확보한 이미지 세트로 구성된다. 안저 초분광 카메라(110)가 생성한 안저 초분광 이미지는 EMR(Electronic Medical Record, 120) 또는 별도의 데이터베이스(DB)에 저장될 수 있다.
컴퓨터 단말(130)은 이용하여 안저 초분광 이미지를 일정하게 표준화할 수 있다. 컴퓨터 단말(130)은 유선 또는 무선 네트워크를 통해 안저 초분광 카메라(110) 또는 EMR(120)로부터 안저 초분광 이미지를 입력받을 수 있다. 경우에 따라 컴퓨터 단말(130)은 안저 촬영기(110)와 물리적으로 연결된 장치일 수도 있다. 컴퓨터 단말(130)은 안저 초분광 이미지를 참조 영역을 기준으로 색상을 보정할 수 있다. 참조 영역은 동맥 영역 및 정맥 영역 중 적어도 하나 일 수 있다. 안저 초분광 이미지의 표준화 과정은 후술한다. 사용자 A는 컴퓨터 단말(130)에서 표준화된 안저 초분광 이미지를 확인할 수 있다. 나아가, 사용자 A는 컴퓨터 단말(130)을 이용하여 표준화된 안저 초분광 이미지를 추가 분석하거나 진단 자료로 활용할 수 있다.
서버(140)는 안저 초분광 카메라(110) 또는 EMR(120)로부터 안저 초분광 이미지를 수신할 수 있다. 서버(140)는 안저 초분광 이미지를 참조 영역을 기준으로 색상을 보정할 수 있다. 참조 영역은 동맥 영역 및 정맥 영역 중 적어도 하나 일 수 있다. 안저 초분광 이미지 표준화 과정은 후술한다. 서버(140)는 표준화된 안저 초분광 이미지를 사용자 A의 단말에 전송할 수 있다. 사용자 A는 표준화된 안저 초분광 이미지를 확인할 수 있다. 사용자 A는 사용자의 단말을 이용하여 표준화된 안저 초분광 이미지를 추가 분석하거나 진단 자료로 활용할 수 있다.
컴퓨터 단말(130) 및/또는 서버(140)는 표준화된 안저 초분광 이미지를 EMR(120) 또는 별도 DB에 저장할 수도 있다.
도 2는 안저 초분광 이미지를 표준화하는 과정(200)에 대한 예이다.
영상처리장치는 초기 안저 초분광 이미지를 입력받는다(210). 초기 안저 초분광 이미지는 분석 대상인 특정 대상자로부터 수집한 이미지이다.
영상처리장치는 초기 안저 초분광 이미지를 일정하게 전처리할 수 있다(215). 전처리는 초기 영상의 해상도 또는 크기 조절, 초기 안저 초분광 이미지 중 안구 영역 추출 등을 포함할 수 있다.
영상처리장치는 안저 초분광 이미지의 색상을 표준화하기 위한 참조 영역을 결정한다(220). 참조 영역은 안저 초분광 이미지 전체의 색상 또는 색온도를 보정하는데 사용되는 기준 영역을 의미한다.
안저 영상에서 시신경 유두, 망막 등은 인종과 나이에 영향을 받는 구조이다. 그러나, 안저 영상에서 혈관은 동맥혈과 정맥혈에서 각각 광학적 특징을 가지며 나이 및 인종에 무관하다. 따라서, 참조 영역은 안저 초분광 이미지에서 확인되는 동맥 영역 및/또는 정맥 영역을 이용할 수 있다. 영상처리장치는 안저 초분광 이미지 중 일부 영역의 동맥 영역과 정맥 영역을 사용할 수 있다.
영상처리장치는 선택한 참조 영역을 기준으로 전체 안저 초분광 이미지를 보정할 수 있다(230).
(1) 참조 영역은 동맥 영역만을 포함할 수 있다. 동맥은 정맥에 비하여 질환의 영향을 덜 받는다. 따라서, 영상처리장치는 동맥 영멱만을 기준으로 안저 초분광 이미지를 보정할 수 있다.
(2) 참조 영역은 동맥 영역 및 정맥 영역을 포함할 수 있다. 영상처리장치는 동맥 영역과 함께 보조적인 참조 영역으로 정맥 영역을 기준으로 안저 초분광 이미지를 보정할 수 있다.
(3) 참조 영역은 시신경 유두(optic disk) 영역에 위치한 혈관 영역만을 사용할 수 있다. 참조 영역은 중심 혈관에 가까운 곳에 위치한 혈관 영역을 사용하는 것이 바람직하다. 중심 혈관에 가까운 혈관은 크기가 커서 계측이 용이하고, 배경인 망막색소상피의 영향이 가장 적다. 나아가, 대상자가 특정 질환을 갖는다면 혈관도 영향을 받을 수 있으므로 안구 내에서 혈관이 분기하기 전인 시신경 유두 영역에 위치한 혈관을 참조 영역으로 사용하는 것이 바람직하다. 따라서, (i) 영상처리장치는 시신경 유두 영역의 동맥 영역만을 참조 영역으로 사용하여 안저 초분광 이미지를 보정할 수 있다. 또한, (ii) 영상처리장치는 시신경 유두 영역의 동맥 영역 및 정맥 영역을 참조 영역으로 사용하여 안저 초분광 이미지를 보정할 수 있다.
한편, (i) 영상처리장치는 사용자가 인터페이스 장치를 통해 설정한(선택한) 동맥 영역 및 정맥 영역을 참조 영역으로 이용할 수 있다. (ii) 영상처리장치는 일반적인 영상 처리 과정을 통하여 참조 영역을 결정할 수도 있다. 영상처리장치는 동맥 영역 및 정맥 영역의 형태 및 색상의 특징을 이용하여 참조 영역을 결정할 수 있다. 참조 영역이 되는 동맥 영역 및 정맥 영역의 특징에 대해서는 후술한다. (iii) 또는 영상 처리 장치는 세그멘테이션 모델(segmentation model)을 이용하여 참조 영역을 검출할 수도 있다. 예컨대, 세그멘테이션 모델은 U-net, FCN(fully convolutional network) 등과 같은 시멘틱 세그멘테이션 모델일 수 있다. 이 경우 영상처리장치는 초기 안저 초분광 이미지를 학습된 세그멘테이션 모델에 입력하여 참조 영역을 구분할 수 있다.
영상처리장치는 다양한 방법으로 안저 초분광 이미지를 보정할 수 있다.
영상처리장치는 사전에 수집한 참조 영역의 보편적인 참조값과 현재 안저 초분광 이미지에서 추출한 참조 영역의 색상값을 비교한다. 보편적인 참조값은 특정 모집단에서 수집한 참조 영역의 색상값 또는 색상값의 평균값일 수 있다. 보편적인 참조값도 동맥 영역, 정맥 영역, 시신경 유두 영역의 동맥 영역 및 시신경 유두 영역의 정맥 영역 중 적어도 하나의 영역에 대한 값일 수 있다. 이때 모집단은 건강한 정상인 또는 특정 질환의 환자로 구성될 수 있다. 한편, 모집단은 특정 인종으로 구성될 수도 있다. 영상처리장치는 보편적인 참조값과 특정 대상자의 참조 영역의 색상값을 차이를 기준으로 특정 대상자의 안저 초분광 이미지를 보정할 수 있다.
색상의 차이는 다양한 방법으로 연산할 수 있다. 영상처리장치는 RGB 전체 채널을 기준으로 색상의 차이를 결정할 수도 있고, 특정 색 채널을 기준으로 색상의 차이를 결정할 수도 있다. 또는 영상처리장치는 RGB 영상을 YCbCr로 변환하여 CbCr 공간에서 색상의 차이를 결정할 수도 있다.
나아가, 영상처리장치는 참조 영역 중 동맥 영역과 정맥 영역의 색상의 차이를 기준으로 전체 안저 초분광 이미지를 보정할 수도 있다.
동맥 영역과 정맥 영역의 색상은 본래 일정한 정도의 차이를 갖는다. 따라서, 안저 초분광 이미지에서도 동맥 영역과 정맥 영역을 일정한 정도의 차이를 갖게 된다. 영상처리장치는 현재 대상자의 초기 안저 초분광 이미지에서 동맥 영역과 정맥 영역의 색상 차이가 일정한 값(기준값)을 갖도록 전체 안저 초분광 이미지의 색상을 보정할 수 있다. 여기서 기준값은 특정값일 수도 있고, 특정한 범위일 수도 있다. 즉, 영상처리장치는 동맥 영역과 정맥 영역의 색상 차이가 일정한 값이 되거나, 색상 차이가 일정한 범주에 들도록 보정할 수 있다. 영상처리장치는 특정 색 채널(들)의 값을 변경하여 동맥 영역과 정맥 영역의 색상 차이가 일정한 값이 되도록 조절할 수 있다. 영상처리장치는 색상 채널별로 사전에 마련한 보정 테이블을 이용하거나, 보정 함수를 이용하여 색상을 보정할 수 있다.
동맥과 정맥의 색상 차이는 산소화된 헤모글로빈(HbO2)과 탈산소화된 헤모글로빈(Hb)의 비율의 차이에 기인한다. 널리 알려진 바와 같이 동맥이 산호화된 헤모글리빈의 비율이 정맥에 비하여 높다. 나아가, 동맥은 혈관벽 내의 근육이 두껍고, 정맥은 근육이 얇기때문에 정맥이 동맥에 비하여 굵어보이고 색이 더 짙은 붉은색을 띄게 된다.
안저 초분광 이미지에서 동맥과 정맥의 산소 포화도는 차이가 있다. 이와 관련하여 동맥의 산소 포화도와 정맥의 산소 포화도의 차이가 연구 결과가 있다(Bahram Khoobehi et al, Retinal Arterial and Venous Oxygen Saturation Is Altered in Diabetic Patients, Invest Ophthalmol Vis Sci. 2013;54:7103-7106).
해당 연구는 정상인, 당뇨망막병증이 없는 당뇨환자, 경도-중등도 당뇨망막증이 있는 환자 및 심한 당뇨망막증이 있는 환자군을 대상으로 망막에서 동맥과 정맥의 산소 포화도를 측정하였다. 간략하게 설명하면, (i) 정상인에서 동맥혈의 산소 포화도는 92.3 ± 4.2%, 정맥혈의 산소 포화도는 57.2 ± 6.0%로 차이는 35.2%이고, (ii) 당뇨망막병증이 없는 당뇨환자에서 동맥혈의 산소 포화도는 96.3 ± 8.6%, 정맥혈의 산소 포화도는 58.7 ± 7.5%로 차이는 37.6%, (iii) 경도-중등도 당뇨망막증이 있는 환자에서 동맥혈의 산소 포화도는 97.7± 5.8%, 정맥혈의 산소 포화도는 61.1%± 7.6%로 차이는 36.6%이었고, (iv) 심한 당뇨망막증 환자에서 동맥혈의 산소 포화도는 102± 10.2%, 정맥혈의 산소 포화도는 66.8± 8.4%로 차이는 35.2% 이었다. 즉, 안구 질환과 관계없이 망막에서 동맥혈과 정맥혈의 산소 포화도 차이는 비교적 일정하다는 것을 알 수 있다. 또한, 동맥혈의 산소 포화도는 92-103.6% 범위에 속하고, 정맥혈의 산소 포화도는 57.2-66.8%에 속한다.
망막의 동맥과 정맥이 각각 일정한 산소 포화도 분포를 갖고, 대상자에 관계없이 동맥과 정맥의 산호 포화도의 차이가 일정하다는 종전 연구 결과는 안저 초분광 이미지의 동맥의 색상과 정맥의 색상 차이 역시 일정하다는 결론을 낳는다. 따라서, 영상처리장치는 안저 초분광 이미지에서 동맥 영역과 정맥 영역의 색상 차이를 기준으로 안저 초분광 이미지를 보정할 수 있다.
도 3은 안저 초분광 이미지를 표준화하는 과정에 대한 다른 예이다.
영상처리장치는 초기 안저 초분광 이미지를 입력받는다(310). 초기 안저 초분광 이미지는 분석 대상인 특정 대상자로부터 수집한 이미지이다. 하나의 이미지는 x×y 크기이고, λ 파장을 갖는다. 안저 초분광 이미지는 서로 다른 스펙트럼에서 생성한 다수의 이미지들로 구성된다. 따라서, 초기 안저 초분광 이미지는 안저 초분광 이미지 세트에 해당한다.
영상처리장치는 초기 안저 초분광 이미지를 일정하게 전처리할 수 있다(315). 전처리는 초기 영상의 해상도 또는 크기 조절, 초기 안저 초분광 이미지 중 안구 영역 추출 등을 포함할 수 있다.
영상처리장치는 서로 다른 스펙트럼 대역에서 생성한 다수의 안저 초분광 이미지들을 중 참조 이미지들을 선택한다(320). 참조 이미지들은 서로 다른 스펙트럼 대역(예컨대, 900nm, 600nm)에서 생성한 안저 초분광 이미지들로 구성된다. 참조 이미지들은 적어도 2개의 스펙트럼 대역에서 생성한 이미지들로 구성될 수 있다.
영상처리장치는 선택한 참조 이미지들 각각에서 참조 영역을 결정할 수 있다(330). 참조 영역은 도 2에서 전술한 바와 같다.
영상처리장치는 선택한 참조 영역을 기준으로 전체 안저 초분광 이미지를 보정할 수 있다(340).
영상처리장치가 2개의 스펙트럼 대역(600nm와 900nm)의 참조 이미지들을 참조 이미지로 선택했다고 가정한다. (i)영상처리장치는 600nm의 참조 이미지에서 참조 영역을 결정한다. 영상처리장치는 600nm의 참조 영역에 대한 보편적인 참조값과 특정 대상자의 600nm의 참조 영역의 색상값을 비교하여, 특정 대상자의 안저 초분광 이미지가 참조값과 동일(또는 기준 범위 근접한 값)이 되도록 특정 대상자의 600nm 안저 초분광 이미지를 보정할 수 있다. 나아가, 영상처리장치는 600nm 안저 초분광 이미지 보정한 값만큼 다른 스펙트럼 대역의 안저 초분광 이미지들로 보정할 수 있다. (ii) 영상처리장치는 900nm의 참조 이미지에서 참조 영역을 결정한다. 영상처리장치는 900nm의 참조 영역에 대한 보편적인 참조값과 특정 대상자의 600nm의 참조 영역의 색상값을 비교하여, 특정 대상자의 안저 초분광 이미지가 참조값과 동일(또는 기준 범위 근접한 값)이 되도록 특정 대상자의 900nm 안저 초분광 이미지를 보정할 수 있다. 나아가, 영상처리장치는 900nm 안저 초분광 이미지 보정한 값만큼 다른 스펙트럼 대역의 안저 초분광 이미지들로 보정할 수 있다. (iii) 영상처리장치는 선택한 참조 이미지 각각에 대하여 참조 영역과 해당 스펙트럼 대역의 보편적인 참조값을 비교할 수 있다. 영상처리장치는 다수의 참조 이미지들 각각에서 특정 대상자의 참조 영역의 색상값과 보편적임 참조값의 차이를 평균하여 차이를 연산할 수 있다. 영상처리장치는 해당 차이를 기준으로 특정 대상자의 전체 안저 초분광 이미지들을 보정할 수 있다. (iv) 영상처리장치는 선택한 참조 이미지 각각에 대하여 참조 영역인 동맥 영역과 정맥 영역의 색상값 차이를 연산할 수 우 있다. 영상처리장치는 다수의 참조 이미지들 각각에서 동맥 영역과 정맥 영역의 차이값의 평균값을 연산할 수 있다. 영상처리장치는 차이값의 평균값을 기준으로 그 차이가 일정한 값이 되도록 전체 안저 초분광 이미지들을 보정할 수 있다.
도 4는 표준화된 안저 초분광 이미지를 이용한 애플리케이션에 대한 예이다. 도 4는 표준화된 안저 초분광 이미지를 분석하는 학습 모델 내지 AI(artificial intelligence) 모델을 구축하는 예이다. AI 모델은 환자의 안저 초분광 이미지를 분석하여 안구 병변을 예측 내지 진단하는 모델일 수 있다.
도 4(A)는 AI 모델을 학습하는 과정에 대한 예이다. 영상처리장치는 안저 검사 장치가 생성한 초기 안저 초분광 이미지들을 입력받는다. 여기서 영상처리장치는 별도의 학습 장치일 수 있다. 영상처리장치는 별도의 DB로부터 초기 안저 초분광 이미지들을 전달받을 수 있다. 영상처리장치는 모집단의 안저 초분광 이미지를 전술한 과정을 통해 표준화한다. 영상처리장치는 표준화한 안저 초분광 이미지를 학습 DB에 저장할 수 있다. 영상처리장치는 표준화된 안저 초분광 이미지를 이용하여 AI 모델을 학습시킨다. 영상처리장치는 표준화된 안저 초분광 이미지를 AI 모델에 입력하고, AI 모델이 출력하는 값과 사전에 알고 있는 라벨값을 비교하면서 AI 모델의 파라미터를 갱신하는 과정을 반복한다. 이를 통해 영상처리장치는 안구 병변을 예측하는 AI 모델을 마련한다.
도 4(B)는 학습된 AI 모델을 이용하여 안구 병변을 예측하는 과정의 예이다. 영상처리장치는 안저 초분광 카메라가 촬영한 초기 안저 초분광 이미지를 입력받는다. 영상처리장치는 초기 안저 초분광 이미지를 표준화한다. 영상처리장치는 표준화된 안저 초분광 이미지를 도 4(A)를 통해 학습된 AI 모델에 입력한다. 영상처리장치는 AI 모델을 이용하여 안구 병변에 대한 추론을 수행한다. 영상처리장치는 AI 모델에 출력하는 값(확률값)에 따라 안구 병변 여부에 분석 결과는 도출할 수 있다.
도 5는 안저 초분광 이미지를 표준화하는 영상처리장치(400)에 대한 예이다. 영상처리장치(400)는 전술한 영상처리장치(도 1의 130 및 140)에 해당한다. 영상처리장치(400)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 영상처리장치(400)는 PC와 같은 컴퓨터 장치, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다.
영상처리장치(400)는 저장장치(410), 메모리(420), 연산장치(430), 인터페이스 장치(440), 통신장치(450) 및 출력장치(460)를 포함할 수 있다.
저장장치(410)는 안저 초분광 카메라에서 생성된 초기 안저 초분광 이미지를 저장할 수 있다.
저장장치(410)는 초기 안저 초분광 이미지를 표준화하는 코드 내지 프로그램을 저장할 수 있다.
저장장치(410)는 이미지 보정을 위한 참조 정보(스펙트럼 대역별 참조 영역의 참조값, 스펙트럼 대역별 동맥과 정맥의 색상 차이의 기준값 등)를 저장할 수 있다.
저장장치(410)는 안저 초분광 이미지 표준화를 위한 참조 영역을 구분하는 프로그램 내지 학습모델(세그멘테이션 모델)을 저장할 수 있다.
저장장치(410)는 표준화된 안저 초분광 이미지를 저장할 수 있다.
메모리(420)는 영상처리장치(400)가 안저 초분광 이미지를 표준화(보정)하는 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.
인터페이스 장치(440)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(440)는 물리적으로 연결된 입력 장치 또는 외부 저장장치로부터 특정 대상자의 초기 안저 초분광 이미지를 입력받을 수 있다. 인터페이스 장치(440)는 초기 안저 초분광 이미지에서 참조 영역에 대한 설정 정보를 입력받을 수 있다. 인터페이스 장치(440)는 표준화된 안저 초분광 이미지를 외부 객체에 전달할 수도 있다.
통신장치(450)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신장치(450)는 외부 객체로부터 특정 대상자의 초기 안저 초분광 이미지를 수신할 수 있다. 통신장치(450)는 초기 안저 초분광 이미지에서 참조 영역에 대한 설정 정보를 수신할 수 있다. 통신장치(450)는 표준화된 안저 초분광 이미지를 사용자 단말과 같은 외부 객체에 송신할 수도 있다.
인터페이스 장치(440)는 통신장치(450)로부터 전달되는 데이터를 영상처리장치(400) 내부로 전달하는 장치일 수도 있다.
출력장치(460)는 일정한 정보를 출력하는 장치이다. 출력장치(460)는 데이터 처리 과정에 필요한 인터페이스, 초기 안저 초분광 이미지, 표준화된 안저 초분광 이미지, 진단 결과 등을 출력할 수 있다.
연산 장치(430)는 저장장치(410)에 저장된 코드, 프로그램 내지 학습 모델을 이용하여 이하 설명하는 과정을 수행할 수 있다.
연산 장치(430)는 초기 안저 초분광 이미지를 일정하게 전처리할 수 있다. 전처리는 해상도 내지 크기 변경, 일정한 영역 크롭(crop), 잡음 제거 등과 같은 작업 중 어느 하나일 수 있다.
연산 장치(430)는 초기 안저 초분광 이미지 보정에 기준이 되는 참조 영역을 결정할 수 있다. 연산 장치(430)는 사용자가 입력하는 정보에 기반하여 참조 영역을 결정할 수 있다. 또한, 연산 장치(430)는 영상 처리 프로그램에 기반하여 참조 영역을 자동으로 결정할 수 있다. 또한, 연산 장치(430)는 학습된 세그멘테이션 모델을 이용하여 참조 영역을 구분할 수도 있다. 참조 영역은 도 2에서 설명한 바와 같다.
연산 장치(430)는 참조 영역의 색상값과 모집단 데이터에서 사전에 수집한 참조값(기준값)을 비교하여 특정 대상자의 안저 초분광 이미지를 보정할 수 있다. 이 과정은 도 2에서 설명한 바와 같다. 예컨대, 연산 장치(430)는 특정 대상자의 참조 영역의 색상값과 사전에 구축한 모집단의 안저 초분광 이미지의 참조 영역의 색상값(기준값)의 차이를 기준으로 특정 대상자의 안저 초분광 이미지를 보정할 수 있다.
연산 장치(430)는 서로 다른 스펙트럼 대역에서 참조 이미지들을 수집하고, 각 참조 이미지들의 참조 영역과 사전에 수집한 참조값(기준값)을 비교하여 특정 대상자의 안저 초분광 이미지를 보정할 수 있다. 이 과정은 도 3에서 설명한 바와 같다. 연산장치는 초분광 이미지 세트에서 서로 다른 스펙트럼 대역들에서 다수의 초분광 이미지들을 선택하고, 다수의 초분광 이미지들 각각에 대하여 참조 영역의 색상값과 사전에 구축한 모집단의 안저 초분광 이미지의 참조 영역의 색상값의 차이를 연산하고, 다수의 초분광 이미지들의 차이값의 평균값을 기준으로 안저 초분광 이미지 세트를 보정할 수 있다.
나아가, 연산 장치(430)는 표준화된 안저 초분광 이미지를 사전에 학습된 AI 모델에 입력하여 안구 병변에 관한 추론을 수행할 수도 있다.
연산 장치(430)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.
또한, 상술한 바와 같은 안저 초분광 이미지 처리 방법 내지 안저 초분광 이미지 표준화 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (11)

  1. 영상처리장치가 특정 대상자의 안저 초분광 이미지를 입력받는 단계;
    상기 영상처리장치가 상기 안저 초분광 이미지에서 참조 영역을 결정하는 단계; 및
    상기 영상처리장치가 상기 참조 영역을 기준으로 상기 안저 초분광 이미지의 색상값을 보정하는 단계를 포함하는 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법.
  2. 제1항에 있어서,
    상기 참조 영역은 (i) 동맥 영역 및 (ii) 동맥 영역과 정맥 영역 중 적어도 하나인 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법.
  3. 제2항에 있어서,
    상기 참조 영역은 시신경 유두에 위치한 혈관 영역인 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법.
  4. 제1항에 있어서,
    상기 영상처리장치가 상기 참조 영역의 색상값과 사전에 구축한 모집단의 안저 초분광 이미지의 참조 영역의 색상값의 차이를 기준으로 상기 특정 대상자의 상기 안저 초분광 이미지를 보정하는 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법.
  5. 영상처리장치가 특정 대상자의 안저 초분광 이미지 세트를 입력받는 단계;
    상기 영상처리장치가 상기 안저 초분광 이미지 세트에서 서로 다른 스펙트럼 대역들에서 다수의 초분광 이미지들을 선택하는 단계;
    상기 영상처리장치가 상기 다수의 초분광 이미지들 각각에서 참조 영역을 결정하는 단계; 및
    상기 영상처리장치가 상기 다수의 초분광 이미지들 각각의 상기 참조 영역을 기준으로 상기 안저 초분광 이미지의 색상값을 보정하는 단계를 포함하는 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법.
  6. 제5항에 있어서,
    상기 참조 영역은 시신경 유두에 위치한 (i) 동맥 영역 및 (ii) 동맥 영역과 정맥 영역 중 적어도 하나인 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법.
  7. 제5항에 있어서,
    상기 영상처리장치가 상기 다수의 초분광 이미지들 각각에 대하여 상기 참조 영역의 색상값과 사전에 구축한 모집단의 안저 초분광 이미지의 참조 영역의 색상값의 차이를 연산하고, 상기 다수의 초분광 이미지들의 차이값의 평균값을 기준으로 상기 안저 초분광 이미지를 보정하는 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법.
  8. 특정 대상자의 안저 초분광 이미지를 입력받는 입력장치;
    안저 초분광 이미지의 색상을 보정하는 프로그램을 저장하는 저장장치; 및
    상기 프로그램을 이용하여 상기 안저 초분광 이미지에서 참조 영역을 결정하고, 상기 참조 영역의 색상값과 사전에 구축한 기준값을 비교하여 상기 안저 초분광 이미지를 보정하는 연산장치를 포함하는 안저 초분광 이미지를 표준화하는 영상처리장치.
  9. 제8항에 있어서,
    상기 참조 영역은 시신경 유두에 위치한 (i) 동맥 영역 및 (ii) 동맥 영역과 정맥 영역 중 적어도 하나인 안저 초분광 이미지를 표준화하는 영상처리장치.
  10. 제8항에 있어서,
    상기 연산장치는 상기 참조 영역의 색상값과 사전에 구축한 모집단의 안저 초분광 이미지의 참조 영역의 색상값의 차이를 기준으로 상기 특정 대상자의 상기 안저 초분광 이미지를 보정하는 안저 초분광 이미지를 표준화하는 영상처리장치.
  11. 제8항에 있어서,
    상기 안저 초분광 이미지는 서로 다른 스펙트럼 대역들에서 생성한 다수의 초분광 이미지들을 포함하고,
    상기 연산장치는 상기 다수의 초분광 이미지들 각각에 대하여 상기 참조 영역의 색상값과 사전에 구축한 모집단의 안저 초분광 이미지의 참조 영역의 색상값의 차이를 연산하고, 상기 다수의 초분광 이미지들의 차이값의 평균값을 기준으로 상기 안저 초분광 이미지를 보정하는 안저 초분광 이미지를 표준화하는 영상처리장치.
PCT/KR2024/003337 2023-06-12 2024-03-18 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법 및 영상 처리 장치 Ceased WO2024258001A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020230074750A KR102682011B1 (ko) 2023-06-12 2023-06-12 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법 및 영상 처리 장치
KR10-2023-0074750 2023-06-12

Publications (1)

Publication Number Publication Date
WO2024258001A1 true WO2024258001A1 (ko) 2024-12-19

Family

ID=91912860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/003337 Ceased WO2024258001A1 (ko) 2023-06-12 2024-03-18 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법 및 영상 처리 장치

Country Status (2)

Country Link
KR (1) KR102682011B1 (ko)
WO (1) WO2024258001A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049318A (ja) * 2003-07-31 2005-02-24 Isoken:Kk 血液の凝集判定方法及びその装置
JP2013508035A (ja) * 2009-10-15 2013-03-07 ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド 網膜の異常を検出するためのシステムおよび方法
JP2022064132A (ja) * 2020-10-13 2022-04-25 キヤノン株式会社 医用画像処理装置及びその制御方法、並びにプログラム
JP2023008344A (ja) * 2021-07-05 2023-01-19 株式会社ニデック 眼科用画像処理プログラム
JP2023513438A (ja) * 2020-01-23 2023-03-31 レティスペック インコーポレイテッド 疾患を診断するシステム及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102280365B1 (ko) 2019-12-17 2021-07-22 주식회사 휴비츠 안저 촬영 이미지의 보정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049318A (ja) * 2003-07-31 2005-02-24 Isoken:Kk 血液の凝集判定方法及びその装置
JP2013508035A (ja) * 2009-10-15 2013-03-07 ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド 網膜の異常を検出するためのシステムおよび方法
JP2023513438A (ja) * 2020-01-23 2023-03-31 レティスペック インコーポレイテッド 疾患を診断するシステム及び方法
JP2022064132A (ja) * 2020-10-13 2022-04-25 キヤノン株式会社 医用画像処理装置及びその制御方法、並びにプログラム
JP2023008344A (ja) * 2021-07-05 2023-01-19 株式会社ニデック 眼科用画像処理プログラム

Also Published As

Publication number Publication date
KR102682011B1 (ko) 2024-07-04

Similar Documents

Publication Publication Date Title
US10750992B2 (en) Machine learning systems and techniques for multispectral amputation site analysis
Dimauro et al. Anaemia detection based on sclera and blood vessel colour estimation
US20220142484A1 (en) Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US10004410B2 (en) System and methods for measuring physiological parameters
EP1450287B1 (en) Method of extracting region of interest from tongue image and health monitoring method and apparatus using the tongue image
JP4487535B2 (ja) 健康度測定システムおよびプログラム
US20170079530A1 (en) Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
WO2017074505A1 (en) Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
KR20230157921A (ko) 생체 지수 측정 방법
Drance et al. Multivariate analysis in glaucoma: use of discriminant analysis in predicting glaucomatous visual field damage
US11288801B2 (en) Eye care device and method for assessing and predicting dementia
JP4649965B2 (ja) 健康度判定装置、及びプログラム
Miah et al. Non-invasive bilirubin level quantification and jaundice detection by sclera image processing
Dzulkifli et al. Methods for determining bilirubin level in neonatal jaundice screening and monitoring: A literature review
Kesarwani et al. Non-invasive anaemia detection by examining palm pallor: A smartphone-based approach
WO2017020045A1 (en) System and methods for malarial retinopathy screening
CN118942698A (zh) 女性贫血风险评估方法
WO2023038254A1 (ko) 기계학습을 이용한 비침습적 당화혈색소 또는 혈당 추정 방법 및 장치
US20250009224A1 (en) Method and Image Processing Device for Standardizing Fundus Image on Basis of Artery and Vein
WO2024258001A1 (ko) 참조 영역을 기준으로 안저 초분광 이미지를 보정하는 방법 및 영상 처리 장치
Zarehpour et al. Bilibin: An intelligent mobile phone-based platform to monitor newborn jaundice
CN120284204A (zh) 一种基于机器视觉的中医药心衰智能诊疗系统及方法
Peng et al. Identification of near‐infrared characteristic bands of small bowel necrosis based on cellwise detection algorithm
CN114494299B (zh) 温度检测设备
Chowdhury et al. Development of a Smart System for Neonatal Jaundice Detection Using CNN Algorithm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24823523

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE