WO2022114371A1 - 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기 - Google Patents

발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기 Download PDF

Info

Publication number
WO2022114371A1
WO2022114371A1 PCT/KR2020/019204 KR2020019204W WO2022114371A1 WO 2022114371 A1 WO2022114371 A1 WO 2022114371A1 KR 2020019204 W KR2020019204 W KR 2020019204W WO 2022114371 A1 WO2022114371 A1 WO 2022114371A1
Authority
WO
WIPO (PCT)
Prior art keywords
real image
image
thermal
thermal image
processing unit
Prior art date
Application number
PCT/KR2020/019204
Other languages
English (en)
French (fr)
Inventor
이정훈
이주성
고현철
Original Assignee
(주)메쉬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)메쉬 filed Critical (주)메쉬
Priority to CN202080107527.8A priority Critical patent/CN116490122A/zh
Publication of WO2022114371A1 publication Critical patent/WO2022114371A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0271—Thermal or temperature sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Definitions

  • the present invention applies a frame matching method so that the real image obtained from the real image camera has a wider angle than the thermal image obtained from the thermal image camera in order to utilize it to the maximum without omission of thermal image pixels, so that the top, bottom, left, right, and right sides of the real image are automatically adjusted.
  • Optimal automatic mapping of the real image and the thermal image of the thermal imager which reconstructs the real image by stretching or shortening it, so that the thermal image can be maximized without omission of thermal image pixels It relates to a method and a thermal tester to which the method is applied.
  • a thermal imaging camera is a camera that can measure the surface temperature of an object in a non-contact manner.
  • the criterion for confirming high fever through a fever test for a specific infectious disease is 37.3°C, and in order to compare with a person with a normal body temperature of 36.5°C, the temperature must be expressed in units of 0.1°C. There must be, and this is a requirement for operating a thermal imaging camera used for medical purposes.
  • thermo imaging cameras are operated as an accurate temperature reference point by additionally installing a blackbody source as an additional device to increase temperature accuracy.
  • a real image camera In order to accurately identify and track a person suspected of having a fever, a real image camera should be additionally configured and shot simultaneously.
  • the infrared image receives data based on temperature information, and in order to visualize it, it is necessary to determine what color the temperature is expressed in through a technology called color mapping. This is essential for diagnostic efficiency, and color mapping for the temperature region maps the results by analyzing the histogram graph.
  • a fever tester for the public consists only of a thermal imaging camera, if a person with a fever is suspected, it is difficult to identify the person in question.
  • the real image camera is automatically selected with a wider angle than the thermal image camera in order to utilize it to the maximum without omission of thermal image pixels. ) and shortening, the optimal automatic mapping method between the real image and the thermal image of the thermal tester for maximum utilization without omission of thermal image pixels in the thermal imaging device using an infrared imaging device, and heat generated by the method Suggest a checker.
  • six real image frames are stored inside each of the front and rear images based on the thermal image frame, and the frame with the highest matching rate with the thermal image frame is selected and applied, but the boundary line of the subject is detected (real image, heat image), match the expanded result and the reduced result by 1 pixel in each direction, compare the matching rate, repeat the same method to fix the point with the highest matching rate, repeat 4 times in the up, down, left, and right directions, in all directions to be fixed as a result of an optimized mapping.
  • Korean Patent Publication No. 10-2016-0056023 'A device and method for providing a thermal image using a thermopile array sensor and a real image camera' is a thermal image based on the analyzed thermal distribution and characteristics of the high-resolution real image.
  • a high-resolution thermal image of the subject is created by matching the high-resolution real image with the
  • Korean Patent Laid-Open No. 10-2016-0056023 detects the boundary line of a subject as in the present invention (real image, thermal image), matches the result of expanding and reducing the result by 1 pixel in each direction, and increasing the matching rate As a result of comparison, the same method is repeated to fix the point with the highest matching rate, and as a result of the optimized mapping, there is no technology for maximizing the use of thermal image pixels without omission.
  • the problem to be solved by the present invention is that, in a thermal imaging device having a thermal imaging camera (infrared imaging device) and a real image camera, the image of the visual camera is better than the thermal imaging camera in order to utilize it to the maximum without omission of thermal imaging pixels.
  • the fever tester of the present invention includes a thermal imaging camera that takes a thermal image of a region including a plurality of subjects; a real image camera that takes a real image of an area including a plurality of subjects, and is photographed simultaneously with a thermal imager; Match the thermal image received from the thermal imaging camera and the real image received from the real image camera, and based on the thermal image, expand or reduce the top, bottom, left and right of the real image to obtain a reconstructed real image matched with the thermal image, and an arithmetic processing unit configured to detect body heat (body temperature) of subjects using the thermal image and the reconstructed real image.
  • body heat body temperature
  • the arithmetic processing unit stores six real image frames in the memory unit before and after the thermal image frame based on the thermal image frame, and the real image frame having the highest matching rate with the thermal image frame among the stored real image frames. Select an image frame, detect the boundary line of the subject in the thermal image frame and the selected real image frame, match the result of expanding and reducing the result by 1 pixel in each of the vertical and horizontal directions, and the point with the highest matching rate and a real image and thermal image mapping unit that selects .
  • the real image and thermal image mapping unit inverts the real image screen and the thermal image screen for edge detection, compares the horizontal axis thermal image profile in the inverted predetermined thermal image and the horizontal axis real image profile in the inverted real image, The real image profile on the abscissa axis closest to the image profile is obtained, and the real image profile on the abscissa axis closest to the ordinate thermal image profile is obtained by comparing the ordinate thermal image profile in the predetermined inverted thermal image and the ordinate real image profile in the inverted real image. The ratio and position of the real image profile on the horizontal axis and the real image profile on the vertical axis are obtained, adjusted, the adjusted real image is stored as a reconstructed real image in the memory unit, and output to the display unit.
  • the arithmetic processing unit further includes a multi-region body temperature detection unit, and a multi-region body temperature detection unit, a thermal image and a reconstructed real image, and a region of interest that is divided so as to be a preset number of horizontal x vertical, and is a divided region (region) of the thermal image.
  • the overall average value is obtained from the fields, and the partition region in which the maximum value of each partition of the thermal image is smaller than the overall average value is excluded from the region of interest. Excluding the region of interest, comparing the maximum values between neighboring regions contiguous in the region of interest, leaving only the partition (region) with the largest maximum value among the neighboring regions, and excluding the remaining neighboring regions from the region of interest. , calculates the remaining coordinates (ie, XY coordinates) of the region of interest and the maximum temperature of the region of interest, and displays the calculated maximum temperature on the thermal image and the real image of the coordinates of the region of interest.
  • the calculation processing unit further includes a win-level automatic adjustment unit, and the win-level automatic adjustment unit calculates a histogram from the thermal image and detects a background peak from the histogram, but a preset background peak reference value Detects a higher background peak, detects a body surface peak in the histogram, detects a body surface peak that is lower than the preset body surface peak reference value, and sets the point where the highest temperature region becomes 3% of the total thermal image area
  • the highest point of the expression temperature Set as phosphorus and upper limit, set the dividing point where the background and body surface (skin) intersect as the lowest point, the lower eye value, use the lower limit and upper limit to generate color mapping data, Pseudo-coloring is performed, and the obtained pseudo-colored image is output to the display unit.
  • the arithmetic processing unit receives the thermal image received from the thermal imaging camera and the real image camera Match the real images that have been made, but expand or reduce the top, bottom, left, right, and right of the real image based on the thermal image to obtain the reconstructed real image matched with the thermal image is characterized in that it detects
  • the arithmetic processing unit reads 6 real image frames each from the memory unit before and after the thermal image frame based on the thermal image frame to obtain the reconstructed real image, and the matching rate with the thermal image frame among the real image frames is The highest real image frame is selected, the boundary of the subject is detected in the thermal image frame and the selected real image frame, respectively, and the result of expanding and reducing the image by 1 pixel in each direction in the vertical and horizontal directions is matched, and the matching rate is Choose the highest point.
  • the driving method of the thermal inspector includes: a screen inversion step in which the operation processing unit inverts the real image screen and the thermal image screen for edge detection; a horizontal axis matching rate detecting step, wherein the calculation processing unit compares the horizontal axis thermal image profile in the predetermined thermal image inverted in the screen inversion step with the horizontal axis real image profile in the real image inverted in the screen inversion step to obtain a horizontal axis matching rate; The calculation processing unit compares the horizontal axis matching rate detected in the horizontal axis matching rate detection step with the pre-stored matching maximum value on the horizontal axis, and if the horizontal axis matching rate is not equal to the horizontal axis matching maximum value, in the real image inverted in the screen inversion step a comparison step of reading the next real image profile on the horizontal axis from the memory unit and returning to the horizontal axis matching rate detection step with the highest matching value on the horizontal axis; The calculation processing unit compares the vertical axis
  • the arithmetic processing unit divides the screen of the thermal image so as to have a preset number of horizontal x vertical, and divides the divided regions into regions of interest.
  • the arithmetic processing unit in each zone divided in the zone division step, excluding the outermost zone, the outermost zone exclusion step;
  • the calculation processing unit may include: an average value detecting step of obtaining an average value of the thermal image in all regions of the thermal image divided in the region dividing step; a maximum value comparison step of comparing the maximum value of the region of the thermal image divided in the region dividing step with the average value detected in the average value detecting step, and excluding the region having the maximum value smaller than the average value from the region of interest;
  • the operation processing unit in the regions of interest, in the contiguous regions, comparing the maximum values between the contiguous regions, leaving only the region having the largest maximum value and excluding the remaining contiguous regions from the ROI;
  • the calculation processing unit after the peripheral area comparison step, uses the remaining area of interest as the final area of interest, and calculating the coordinates (ie, XY coordinates) and the maximum temperature of the final area of interest, a maximum temperature detection step;
  • the driving method of the thermal tester includes: a histogram calculating step in which the arithmetic processing unit calculates a histogram from the thermal image;
  • the operation processing unit detects a background peak in the histogram, the background peak detecting step of detecting a background peak higher than a preset background peak reference value;
  • a body surface peak detection step of the calculation processing unit detecting a body surface peak in the histogram, and detecting a body surface peak lower than a preset body surface peak reference value;
  • the calculation processing unit obtains the point where the highest temperature region becomes 3% of the total thermal image area as the upper limit value, which is the highest point of the expression temperature, and obtains the dividing point where the background and the body surface (skin) intersect as the lowest point, the lower value, lower limit value and upper limit value setting step;
  • the method further includes a pseudo coloring step of generating color mapping data using the lower and upper limit values obtained in the lower and upper limit setting step, performing pseudo coloring on the body surface area in the histogram,
  • the optimal automatic mapping method of the real image and the thermal image of the present invention and the thermal tester to which the method is applied are a thermal imaging camera (infrared imaging device) and a real image camera. After storing 6 real image frames before and after, selecting the frame with the highest matching rate with the thermal image frame, detecting the boundary of the subject (real image, thermal image), and expanding 1 pixel in each direction Repeat the process of matching the reduced result with the reduced result and comparing the matching rate several times to fix the point with the highest matching rate, but repeat it 4 times in the up, down, left, and right directions to fix the result of the optimized mapping in all directions. , in the thermal inspection machine, by obtaining that the image of the real image camera is photographed at a wider angle than the thermal image camera, it can be used to the maximum without omission of thermal image pixels, thereby reducing errors and increasing accuracy.
  • a thermal imaging camera infrared imaging device
  • FIG. 1 is a block diagram showing a schematic configuration of a heat detector of the present invention.
  • FIG 2 is an example showing before and after applying the frame matching method of the present invention.
  • FIG. 3 is a flowchart schematically illustrating an optimal automatic mapping method between a real image and a thermal image in the thermal tester of the present invention.
  • FIG. 4 is an explanatory diagram illustrating each matching rate detection step and a comparison step with each matching maximum value in the flowchart of FIG. 3 .
  • FIG. 5 is an explanatory diagram for explaining a real image adjustment step in the flowchart of FIG. 3 .
  • FIG 6 is an example in which body temperature is detected and displayed by the multi-region body temperature detection method of the present invention.
  • FIG. 7 is a flowchart illustrating an example of the multi-region body temperature detection method of the present invention.
  • FIG. 8 shows an example of an image that has undergone the segmentation step of FIG. 7 .
  • FIG. 9 shows an image of the image of FIG. 8 subjected to the step of excluding the outermost region.
  • FIG. 10 shows an image that has undergone a maximum value comparison step of the image of FIG. 9 .
  • FIG. 11 shows an image in which the image of FIG. 10 is subjected to a peripheral area comparison step.
  • 13 is a flowchart illustrating diagnostic histogram equalization (win-level automatic adjustment) in the present invention.
  • FIG. 14 shows an example of a background section and a body surface section.
  • FIG. 15 shows body surface sections of interest selected from the body surface sections of FIG. 14 .
  • FIG. 1 is a block diagram showing a schematic configuration of a heat detector of the present invention.
  • the thermal image detected by the thermal imaging camera (infrared camera) 120 and the real image detected by the real image camera (general color camera) 160 are transmitted to the calculation processing unit 200 .
  • the calculation processing unit 200 includes a real image and thermal image mapping unit 201 , a multi-region body temperature detection unit 205 , and a win-level automatic adjustment unit 207 .
  • the arithmetic processing unit 200 stores six real image frames before and after each in the memory unit 220 based on the thermal image frame, and the matching rate with the thermal image frame is the highest.
  • the boundary of the subject is detected in the selected real image frame and thermal image frame, respectively, the result of expanding and reducing the image by 1 pixel in each direction is matched, and the matching rate is determined by comparing the matching rate.
  • the process of selecting the highest point is repeated several times to fix the point with the highest matching rate, but this is repeated 4 times in the up, down, left, and right directions, and in this way, it is fixed as the result of mapping optimized in all directions of up, down, left, and right do.
  • the arithmetic processing unit 200 can obtain an image of which the real image has a wider angle than the thermal image. detects the body heat (body temperature) of the subject, performs pseudo-coloring on the body surface region in the win-level automatic adjustment unit 207 , and outputs the body heat image and body heat temperature value to the display unit 210 .
  • the real image camera should be selected with a wider angle than the thermal image camera. ) function.
  • the operation processing unit 200 stores six real image frames before and after each in the memory unit 220 based on the thermal image frame, and selects the real image frame having the highest matching rate with the thermal image frame. A boundary line of a subject is detected in the thermal image frame and the selected real image frame.
  • the result of expanding 1 pixel in each direction and the result of reducing the size are matched, and the matching rate is compared.
  • the same method is repeated to fix the point with the highest matching rate, repeat 4 times in up, down, left, and right directions, and as a result, it is fixed as a result of mapping optimized in all directions.
  • FIG. 2 is an example showing before and after the frame matching method of the present invention is applied, and FIG. 2 (a) shows a real image and a thermal image before applying the frame matching method of the present invention, and FIG. 2 (b) shows a real image and a thermal image after applying the frame matching method of the present invention.
  • the matching rate of the real image and the thermal image after applying the present invention is relatively improved compared to the real image and the thermal image before the application of the present invention. Alternatively, it can be seen that the shortening has been performed.
  • FIG. 3 is a flowchart schematically illustrating an optimal automatic mapping method between a real image and a thermal image in the thermal tester of the present invention.
  • the operation processing unit 200 inverts the real image screen and the thermal image screen for edge detection in the real image screen and the thermal image screen (S110), and inverts the thermal image screen for edge detection in the thermal image screen make it (S115).
  • the arithmetic processing unit 200 calculates a predetermined thermal image profile (predetermined horizontal axis thermal image profile) in the thermal image inverted in the screen inversion step, and a horizontal axis real image profile in the real image inverted in the screen inversion step (i.e., , Nth horizontal axis real image profile) to obtain a horizontal axis matching rate (S120).
  • a predetermined thermal image profile predetermined horizontal axis thermal image profile
  • a horizontal axis real image profile in the real image inverted in the screen inversion step i.e., Nth horizontal axis real image profile
  • an absolute value of a value obtained by subtracting the length of the predetermined thermal image profile from the length of the real image profile on the horizontal axis may be obtained as the horizontal axis matching rate (a value indicating the degree of matching on the horizontal axis).
  • the calculation processing unit 200 compares the horizontal axis matching rate detected in the horizontal axis matching rate detection step with the stored horizontal axis matching maximum value (that is, the maximum matching rate) ( S125), if the horizontal axis matching rate is not less than or equal to the horizontal axis matching maximum value, the horizontal axis matching maximum value is not detected, and the next horizontal axis real image profile (i.e., N+1 th horizontal axis real image profile) is read from the memory unit ( S127 ), and the process proceeds to the horizontal axis matching rate detection step.
  • the maximum matching value on the horizontal axis may be 0.
  • the profile analysis result for the edge of the real image and the profile analysis value for the edge of the thermal image are compared on the horizontal axis to determine the maximum matching value on the horizontal axis. Repeat until it comes out.
  • the calculation processing unit 200 calculates a predetermined thermal image profile (predetermined vertical axis thermal image profile) in the thermal image inverted in the screen inversion step, and a vertical axis real image profile in the real image inverted in the screen inversion step (i.e., , Nth vertical axis real image profile) to obtain a vertical axis matching rate (S130).
  • a predetermined thermal image profile predetermined vertical axis thermal image profile
  • a vertical axis real image profile in the real image inverted in the screen inversion step i.e., Nth vertical axis real image profile
  • the absolute value of a value obtained by subtracting the length of the predetermined thermal image profile from the length of the real image profile on the vertical axis may be obtained as the vertical axis matching rate (a value indicating the vertical axis matching degree).
  • the calculation processing unit 200 compares the vertical axis matching rate detected in the vertical axis matching rate detection step with the stored vertical axis matching maximum value (that is, the maximum matching rate) ( S135), if the vertical axis matching rate is not less than or equal to the vertical axis matching maximum value, the vertical axis matching maximum value is not detected, and the next vertical axis real image profile (i.e., N+1 th vertical axis real image profile) is read from the memory unit (S137), and the process goes to the matching rate detection step.
  • the maximum matching value on the vertical axis may be 0.
  • the step of comparing with the matching maximum value on the horizontal axis in the step of comparing with the matching maximum value on the horizontal axis, if the horizontal axis matching rate is less than or equal to the horizontal axis matching maximum value, the maximum matching value on the horizontal axis is detected.
  • the real image profile is stored in the memory unit 220 as the horizontal axis real image profile at the time of best matching with respect to the predetermined thermal image profile, and in the step of comparing with the matching maximum value on the vertical axis, the vertical axis matching rate is the highest matching value on the vertical axis If it is less than or equal to the value, the maximum matching value on the vertical axis is detected, and the vertical axis real image profile at this time is stored in the memory unit 220 as the vertical axis real image profile at the time of highest matching with respect to the predetermined thermal image profile. It stores, and stores the ratio (Ratio) and position (Delta) of the horizontal axis real image profile at the time of the best matching and the vertical axis real image profile at the time of the best matching in the memory unit 220 (S150).
  • the Nth profile is stored in the memory unit 220, and the horizontal axis real image profile at that time
  • the value of the ratio (Ratio) and the position (Delta) of the vertical axis real image profile is stored in the memory unit 220 .
  • the ratio and position of the real image are adjusted with the ratio (Ratio) and position (Delta) values of the horizontal axis real image profile and the vertical axis real image profile obtained in the horizontal and vertical matching data storage step,
  • the adjusted real image is stored in the memory unit 220 and output to the display unit 210 .
  • the position Delta may indicate a distance between a predetermined thermal image profile and the real image profile on the horizontal axis.
  • the real image adjustment step may further include a setting value storage step.
  • the ratio (Ratio) and position (Delta) values of the horizontal axis real image profile and the vertical axis real image profile are stored as set values, and the real image can be adjusted by reusing them later.
  • FIG. 4 is an explanatory diagram illustrating each matching rate detection step and a comparison step with each matching maximum value in the flowchart of FIG. 3
  • FIG. 5 is an explanatory diagram illustrating the real image adjustment step of the flowchart of FIG. 3 .
  • 4A shows examples of a real image image and a thermal image image before the screen inversion step.
  • Figure 4 (b) shows the result of the screen inversion step of the real image image and the thermal image image of Figure 4 (a).
  • FIG. 4(C) shows the profile of the thermal image and the profile of the thermal image by comparing the profile of the real image with the profile of the thermal image (the blue part of FIG. It shows that the same real image profile (Len(Max) in Fig. 4(C)) is selected.
  • Fig. 5 (a) is a view for explaining the real image adjustment step.
  • the ratio and position of the real image profile on the horizontal axis and the real image profile on the vertical axis stored in the step of storing matching data on the horizontal and vertical sides of the flowchart of Fig. 3 . Adjust the real image using the (Delta) value.
  • FIG. 5(b) shows images after the real image and thermal image of FIG. 4(b) have undergone a real image adjustment step.
  • the screen of the thermal image is divided so that the preset number of horizontal x vertical (for example, the horizontal x vertical is 4x3 or 8x6) is larger than the preset value (for example, the overall average value) in each division of the thermal image Detect the peak (maximum partition point). And, when each maximum point (peak) exceeds a preset threshold temperature (eg, 40 °C), the maximum point is excluded from the region of interest. Then, in the maximum points that are not excluded (missing), adjacent local peak points are excluded. The temperature value of the maximum point (peak) of each division area obtained in this way is displayed in the corresponding part of the real image and the thermal image.
  • a preset threshold temperature eg, 40 °C
  • FIG 6 is an example in which body temperature is detected and displayed by the multi-region body temperature detection method of the present invention.
  • the body temperature values detected for each person are respectively displayed in the real image and the thermal image.
  • FIG. 7 is a flowchart illustrating an example of the multi-region body temperature detection method of the present invention
  • FIG. 8 shows an example of an image that has undergone the zone division step of FIG. 7
  • FIG. 9 shows the image of FIG. 8 excluding the outermost zone A rough image is shown
  • FIG. 10 is an image obtained by comparing the image of FIG. 9 with the maximum value
  • FIG. 11 is an image obtained by comparing the image of FIG.
  • the operation processing unit 200 divides the screen of the thermal image so that the preset horizontal number x vertical number (eg, horizontal x vertical is 4x3 or 8x6) is divided into regions (S210).
  • the preset horizontal number x vertical number eg, horizontal x vertical is 4x3 or 8x6
  • regions (S210) An example of an image that has undergone the segmentation step is shown in FIG. 8 .
  • the outermost zone exclusion step the outermost zone is excluded from each zone divided in the zone division step. That is, the values of the outermost region are set to '0', and the outermost region is excluded from the region of interest (S215).
  • An image of the case in which the image of FIG. 8 has undergone the step of excluding the outermost region is the same as that of FIG.
  • the calculation processing unit 200 obtains an average value (average temperature of the divided area) of the thermal image in all the regions (divisions) of the thermal image divided in the section dividing step (S220).
  • the arithmetic processing unit 200 compares the maximum value of each divided region with the average value detected in the average value detection step (S230), and if it is smaller than the average value, the region is excluded from the region of interest (S235) ), and in this way, regions smaller than the maximum value in all partitions are excluded from the region of interest.
  • FIG. 10 is an image of the image of FIG. 9 when a region smaller than the average value is excluded from the region of interest in the maximum value comparison step.
  • a threshold temperature comparison step (not shown) may be further included between the maximum value comparison step and the peripheral area comparison step.
  • a region exceeding a preset threshold temperature eg, 40° C.
  • the maximum value between the adjacent adjacent areas is compared (S250), and the area with the largest maximum value among them
  • the remaining adjacent areas are excluded from the region of interest (S255), leaving only By comparison, only the region having the largest maximum value is left and the remaining adjacent neighboring regions are excluded from the region of interest (S260). That is, it is confirmed by repeatedly detecting and excluding the selected region and the ROI by comparing all adjacent regions of interest.
  • FIG. 11 is an image showing a case in which, in the neighboring region comparison step, the maximum values in the adjacent regions are compared, the region having the largest maximum value is left, and the regions having the small maximum value are excluded from the region of interest. .
  • the coordinates (ie, XY coordinates) for the final ROI detected in the peripheral zone comparison step and the maximum temperature of the corresponding zone are calculated (S265).
  • the maximum temperature of the region is displayed at the coordinates of the final region of interest detected in the maximum temperature detection step (S270). That is, the corresponding value is displayed on the image.
  • the area to be observed can be selected by adjusting the win level.
  • the horizontal axis is the temperature range
  • the vertical axis is the cumulative amount of the number of pixels.
  • the temperature distribution is determined in the interval between the minimum and maximum values. Pseudo-coloring is performed using the point where the highest temperature region is 3% of the total area as the highest point of the expression temperature and the lowest point at the point where the background and the skin region intersect.
  • Fig. 12 (a) is an example of an image before the win-level adjustment
  • Fig. 12 (b) shows an image in which the background region and the skin region are separated in the histogram graph of Fig. 12 (a)
  • Fig. 12 ( c) shows an image obtained by pseudocoloring the image of FIG. 12(b).
  • FIG. 13 is a flowchart illustrating diagnostic histogram equalization (win-level automatic adjustment) in the present invention
  • FIG. 14 shows an example of a background section and body surface section
  • FIG. Shows selected target region of interest.
  • a histogram is calculated from the thermal image (S510).
  • a background peak which is a peak related to the background, is detected in the histogram calculated in the histogram calculation step (S520).
  • 14A shows an example of a background peak detected in the background peak detection step of FIG. 13 .
  • a background peak condition check execution step it is checked whether the background peak detected in the background peak detection step is a local peak that is lower than a preset background peak reference value (S525), and if it is lower than the background peak reference value If it is a local peak, the background peak is removed ( S530 ), and the process returns to the background peak detection step.
  • a body surface peak which is a peak related to the body surface, is detected from the histogram calculated in the histogram calculation step (S520).
  • 14 (b) shows an example of the body surface peak detected in the body surface peak detection step of FIG. 13 .
  • condition test execution step for body surface peak it is checked whether the body surface peak detected in the body surface peak detection step is a local peak that is higher than the preset body surface peak reference value (S555), and if it is higher than the body surface peak reference value If it is a local peak, the body surface peak is removed (S560), and the process returns to the body surface peak detection step.
  • 15 shows the body surface sections of interest derived by executing the condition test execution step of the body surface peak in the body surface section of FIG. 14 .
  • the lower limit value (S570) and the upper limit value (S575) are set in the histogram. That is, the point at which the highest temperature region becomes 3% of the total area is set as the highest point (upper limit value) of the expression temperature, and the dividing point where the background and the skin region intersect is set as the lowest point (lower value).
  • color mapping data is generated using the body surface peak, the background peak, the lower limit value and the upper limit value, and pseudo coloring is performed on the body surface area in the histogram (S575), and the pseudo coloring image thus performed is displayed on the display unit 210 ) is output.
  • the optimal automatic mapping method of the real image and thermal image of the present invention and the thermal imager to which the method is applied is a fever tester with reduced errors and increased accuracy. measure multiple times.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Radiation Pyrometers (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 열화상 화소의 누락없이 최대로 활용하기 위해 실화상 카메라로부터 얻은 실화상이, 열화상 카메라로부터 얻은 열화상 보다 광각이게 하기 위해, 프레임 매칭 방법을 적용하여, 자동으로 실화상의 상하좌우를 확장(Strech)하거나 축소(Shorten)하여 실화상을 재구성하여, 적외선 촬영장치를 이용한 발열검사기에서 열화상 화소의 누락없이 열화상을 최대로 활용할 수 있는, 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기에 관한 것이다. 본 발명의 발열검사기는, 다수의 피검자를 포함하는 영역의 열화상을 촬영하는 열화상 카메라; 다수의 피검자를 포함하는 영역의 실화상을 촬영하되, 열화상 카메라와 동시에 촬영되는 실화상 카메라; 열화상 카메라로부터 수신된 열화상과, 실화상 카메라로부터 수신된 실화상을 매칭을 행하되, 열화상을 기준으로, 실화상의 상하좌우를 확장하거나 축소하여, 열화상과 맞추어진 재구성 실화상을 구하고, 열화상과 재구성 실화상을 이용하여 피검자들의 체열(체온)을 검출하는, 연산처리부;를 포함하는 것을 특징으로 한다. 본 발명의 발열검사기는, 실화상 카메라의 영상이 열화상 카메라보다 광각으로 촬영된 것을 얻음으로써, 열화상 화소의 누락없이 최대로 활용할 수 있으며, 이로 인해 오류를 줄이고, 정확도를 높일 수 있다.

Description

발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기
본 발명은, 열화상 화소의 누락없이 최대로 활용하기 위해 실화상 카메라로부터 얻은 실화상이, 열화상 카메라로부터 얻은 열화상 보다 광각이게 하기 위해, 프레임 매칭 방법을 적용하여, 자동으로 실화상의 상하좌우를 확장(Strech)하거나 축소(Shorten)하여 실화상을 재구성하여, 적외선 촬영장치를 이용한 발열검사기에서 열화상 화소의 누락없이 열화상을 최대로 활용할 수 있는, 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기에 관한 것이다.
열화상카메라는 물체의 표면 온도를 비접촉으로 측정할 수 있는 카메라이다. 특정 전염병의 발열검사를 통한 고열 확인 판단기준은 37.3℃로서, 36.5℃의 정상체온을 가진 사람과 비교하기 위해서는 0.1℃ 단위로 온도가 표현되어야 하며, 온도의 정확도는 상온에서 0.4℃ 수준을 유지할 수 있어야 하며, 이것은 의료용 목적으로 사용되는 열화상카메라를 운용하기 위한 요구조건이다.
이러한 요구조건을 만족하지 못하면, 즉, 온도정확도가 낮을 경우 발열의심자(febrile person)를 정상인으로 판단하거나 혹은 반대의 결과를 가져올 수 있다. 그렇기 때문에 기존의 열화상 카메라들은 온도의 정확도를 높이기 위한 부가장치로 흑체(Blackbody source)를 추가 설치하여 정확한 온도 기준점으로 운용한다.
발열의심자를 정확히 확인 및 추적하기 위해 실화상 카메라를 추가 구성하여 동시촬영하여야 하며, 이 경우, 실화상 및 열화상 출력 화면을 구성함에 있어 같은 위치 좌표정보를 제공할 수 있도록 하는 기능은 필수적이다.
일반적으로, 대중을 검역(Screening) 하는 발열검사에서는 2명 이상의 열원을 동시에 검출할 수 있어야 하며 이동하는 물체를 실시간으로 분석하여 화면에 표시할 수 있어야 한다.
또한, 적외선 영상은 온도정보에 기반한 데이터가 수신되며 이를 시각화하기 위해서는 컬러 매핑이라는 기술을 통해 해당 온도가 어떠한 색상으로 표현되는지를 결정하여야 한다. 이는 진단효율에 있어서 필수적이며 온도영역에 대한 컬러 매핑은 히스토그램 그래프를 분석하여 결과를 매핑한다.
대중을 상대로 하는 발열검사기는 열화상카메라만으로 구성되었을 때 발열의심자가 나올 경우 해당 인원을 추적을 하기에 쉽게 구분할 수 없는 단점이 있다.
이는, 흑백영상 또는 컬러매핑이 된 영상은 온도차이만을 강조하기 때문에 이목구비와 얼굴 특징점을 구분하기에 쉽지 않기 때문이며, 이를 해결하기 위해 실화상 카메라를 동시에 촬영하여 이러한 단점을 극복하도록 국제 규격에서 권고하고 있다. 이 경우에, 두 영상(실화상, 열화상)의 해상도가 다를 경우, 해상도가 같더라도 화각이 다를 경우 사용자의 혼란을 유발할 수 있다. 그리고, 화면에 측정되는 온도를 표시하는 경우 피사체의 위치가 동일해야만 정확한 좌표에 대한 온도값을 표기하는데 혼란을 주지 않는다. 따라서 발열검사기에 있어서, 실화상과, 열화상의 1:1의 매핑이 필요하다.
발열검사기의 측정 방법에는 크게 3가지가 있다. 화면 안에 들어오는 모든 온도에 대한 온도값을 측정하는 방법과, 안면인식 및 다중영역으로, 배경이나 사물과 출입하는 인원에 대한 온도 구분을 명확히 구분하여 온도값을 측정하여 오류(오동작)를 줄이고자 하는 방법들이 있다. 안면인식을 이용하는 경우 영상의 검출 정확도에 따라 출입하는 인원을 정확히 판별할 수 없는 문제점이 있으며, 특히, 피검자가 카메라를 정면으로 바라보아야 하며, 마스크의 착용이나 모자와 같은 악세서리의 영향이 검출 능력에 단점으로 작용한다. 또한 정확한 발열의 측정은 얼굴에서도 동맥이 지나가는 눈꼬리와 이마의 관자놀이 부근이 가장 정확한 체온을 대변하는 위치이다. 이외에 목에 위치한 경동맥이 지나는 위치와 귓바퀴 뒷 부분의 피부에서도 정확한 체온이 측정될 수 있는 위치이다. 안면인식은 피험자의 옆모습이나 뒷모습을 포함하여 이러한 위치를 배제하기 때문에 측정할 수 있는 제약이 있기 때문에 다중영역 체온검출은 안면인식의 단점을 보완하는 방법이다.
본 발명은, 열화상 화소의 누락없이 최대로 활용하기 위해 실화상 카메라는 열화상 카메라보다 광각으로 자동 선택되게 하며, 이를 위해, 프레임 매칭 방법을 적용하여, 자동으로 실화상의 상하좌우를 확장(Strech) 및 축소(Shorten) 할 수 있도록 이루어진, 적외선 촬영장치를 이용한 발열검사기에서의 열화상 화소의 누락없이 최대로 활용하기 위한, 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기을 제안한다.
본 발명은, 열화상 프레임을 기준으로 실화상 프레임을 전/후 6장씩 내부에 저장하였다가 열화상 프레임과 매칭율이 가장 높은 프레임을 선택하여 적용하되, 피사체의 경계선을 검출(실화상, 열화상)하고 각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고 매칭율을 비교하며, 동일한 방법을 재수행하여 매칭율이 가장높은 지점을 고정하도록 하고 상하좌우 방향으로 4회 반복하며 모든 방향으로 최적화된 매핑의 결과로 고정할 수 있도록 한다.
선행기술로, 국내 특허공개 제10-2016-0056023호 '서모파일 어레이 센서와 실영상 카메라를 이용한 열화상 제공 장치 및 그 방법'은, 분석한 열분포와 고해상도 실영상 이미지의 특징을 기반으로 열 이미지와 고해상도 실영상 이미지의 매칭을 통해 피사체의 고해상도의 열화상을 생성한다.
그러나, 국내 특허공개 제10-2016-0056023호는, 본 발명과 같은 피사체의 경계선을 검출(실화상, 열화상)하고 각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고 매칭율을 비교하며, 동일한 방법을 재수행하여 매칭율이 가장높은 지점을 고정하여 최적화된 매핑의 결과로, 열화상 화소의 누락없이 최대로 활용하는 기술은 구비되어 있지 않다.
본 발명이 해결하고자 하는 과제는, 열화상 카메라(적외선 촬영장치)와 실화상 카메라를 구비하는 발열검사기에 있어서, 열화상 화소의 누락없이 최대로 활용하기 위해 실화상 카메라의 영상이 열화상 카메라보다 광각으로 촬영되게 하기 위해, 열화상 프레임을 기준으로 실화상 프레임을 전/후 6장씩 내부에 저장하였다가 열화상 프레임과 매칭율이 가장 높은 프레임을 선택하여, 피사체의 경계선을 검출(실화상, 열화상)하고 각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고 매칭율을 비교하는 과정 수회 반복 수행하여 매칭율이 가장 높은 지점을 고정하도록 하되, 상하좌우 방향으로 4회 반복하며 모든 방향으로 최적화된 매핑의 결과로 고정할 수 있도록 하는, 발열검사기에서의 열화상 화소의 누락없이 활용하기 위한, 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기를 제공하는 것이다.
상기 과제를 해결하기 위해, 본 발명의 발열검사기는, 다수의 피검자를 포함하는 영역의 열화상을 촬영하는 열화상 카메라; 다수의 피검자를 포함하는 영역의 실화상을 촬영하되, 열화상 카메라와 동시에 촬영되는 실화상 카메라; 열화상 카메라로부터 수신된 열화상과, 실화상 카메라로부터 수신된 실화상을 매칭을 행하되, 열화상을 기준으로, 실화상의 상하좌우를 확장하거나 축소하여, 열화상과 맞추어진 재구성 실화상을 구하고, 열화상과 재구성 실화상을 이용하여 피검자들의 체열(체온)을 검출하는, 연산처리부;를 포함하는 것을 특징으로 한다.
상기 연산처리부는, 열화상 프레임을 기준으로 열화상 프레임의 전과 후에, 각기 6장씩의 실화상 프레임을 메모리부에 저장하고, 저장되어 있는 실화상 프레임들 중에 열화상 프레임과 매칭율이 가장 높은 실화상 프레임을 선택하고, 열화상 프레임과 선택된 실화상 프레임에서, 피사체의 경계선을 각각 검출하고, 상하좌우의 각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고, 매칭율이 가장 높은 지점을 선택하는, 실화상과 열화상 매핑부를 구비한다.
실화상과 열화상 매핑부는, 엣지 검출을 위해 실화상 화면 및 열화상 화면을 반전시키고, 반전된 소정 열화상에서의 가로축 열화상 프로파일과, 반전된 실화상에서의 가로축 실화상 프로파일을 비교하여, 가로축 열화상 프로파일과에 가장 가까운 가로축 실화상 프로파일을 구하며, 반전된 소정 열화상에서의 세로축 열화상 프로파일과, 반전된 실화상에서의 세로축 실화상 프로파일을 비교하여, 세로축 열화상 프로파일과에 가장 가까운 가로축 실화상 프로파일을 구하며, 구하여진 가로축 실화상 프로파일과 세로축 실화상 프로파일의 비율(Ratio)과 위치(Delta)를 구하고, 가로축 실화상 프로파일과, 세로축 실화상 프로파일의 비율과 위치 값으로, 실화상의 비율 및 위치를 조정하고, 그 조정된 실화상을 재구성 실화상으로서 메모리부에 저장하고, 디스플레이부로 출력한다.
또한, 상기 연산처리부는 다중영역 체온검출부를 더 구비하며, 다중영역 체온검출부, 열화상과 재구성 실화상과, 기설정된 가로갯수 x 세로갯수가 되도록 분할하고, 열화상의 분할영역(구역)인 관심구역들에서 전체 평균값을 구하고, 열화상의 각 분할영역의 최대값이 전체 평균값보다 작은 분할영역은, 관심구역에서 제외하고, 열화상의 각 분할영역의 최대값이 기 설정된 문턱치 온도를 초과하는 분할영역은, 관심구역에서 제외하고, 관심구역에서 연접한 주변구역들간의 최대값을 비교하여, 연접한 주변구역들중 최대값이 가장 큰 분할영역(구역)만을 남기고 나머지 연접한 주변구역을 관심구역에서 제외하고, 남아 있는 관심구역의 좌표(즉, XY좌표)와 해당 관심구역의 최고온도를 산출하고, 산출된 최고온도를 해당 관심구역의 좌표의 열화상 및 실화상에 표시한다.
상기 연산처리부는 윈레벨(Win-level) 자동조정부를 더 구비하며, 윈레벨(Win-level) 자동조정부는, 열화상으로부터 히스토그램을 산출하고, 히스토그램에서 배경 피크를 검출하되, 기설정된 배경 피크 기준값보다 상위의 배경 피크를 검출하고, 히스토그램에서 체표 피크를 검출하되, 기설정된 체표 피크 기준값보다 하위의 체표 피크를 검출하고, 최고온도영역이 전체 열화상 면적의 3%가 되는 지점을 표현온도의 최고점인, 상한값으로 설정하고, 배경과 체표(피부)의 영역이 교차되는 구분지점을 최저점인, 하안값으로 설정하고, 하한값 및 상한값을 이용하여, 컬러매핑 데이터를 생성하여, 히스토그램에서 체표영역에 관한 슈도 컬러링을 행하고, 얻어진 슈도 컬러링 이미지를 디스플레이부로 출력한다.
또한, 본 발명에서, 열화상 카메라 및 실화상 카메라를 구비하여 다수의 피검자의 체열을 동시에 검출하는 발열검사기의 구동방법은, 연산처리부가 열화상 카메라로부터 수신된 열화상과, 실화상 카메라로부터 수신된 실화상을 매칭을 행하되, 열화상을 기준으로, 실화상의 상하좌우를 확장하거나 축소하여, 열화상과 맞추어진 재구성 실화상을 구하고, 열화상과 재구성 실화상을 이용하여 피검자들의 체열(체온)을 검출하는 것을 특징으로 한다.
연산처리부는, 재구성 실화상을 구하기 위해, 열화상 프레임을 기준으로 열화상 프레임의 전과 후에, 각기 6장씩의 실화상 프레임을 메모리부로부터 읽어들여, 실화상 프레임들 중에 열화상 프레임과 매칭율이 가장 높은 실화상 프레임을 선택하고, 열화상 프레임과 선택된 실화상 프레임에서, 피사체의 경계선을 각각 검출하고, 상하좌우의 각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고, 매칭율이 가장 높은 지점을 선택한다.
열화상과 실화상의 매칭을 위해, 열검사기의 구동방법은, 연산처리부는 엣지 검출을 위해 실화상 화면 및 열화상 화면을 반전시키는, 화면 반전단계; 연산처리부는 화면 반전단계에서 반전된 소정 열화상에서의 가로축 열화상 프로파일과, 화면 반전단계에서 반전된 실화상에서의 가로축 실화상 프로파일을 비교하여, 가로축 매칭율을 구하는, 가로축 매칭율 검출단계; 연산처리부는, 가로축 매칭율 검출단계에서 검출된 가로축 매칭율을, 기 저장된 가로축의 매칭 최고값과 비교하여, 만약 가로축 매칭율이 가로축의 매칭 최고값보다 같지 않다면, 화면 반전단계에서 반전된 실화상에서 다음번의 가로축 실화상 프로파일을 메모리부로부터 읽어들이고, 가로축 매칭율 검출단계로 되돌아 가는, 가로축의 매칭 최고값과의 비교단계; 연산처리부는 화면 반전단계에서 반전된 소정 열화상에서의 세로축 열화상 프로파일과, 화면 반전단계에서 반전된 실화상에서의 세로축 실화상 프로파일을 비교하여, 세로축 매칭율을 구하는, 세로축 매칭율 검출단계; 연산처리부는, 세로축 매칭율 검출단계에서 검출된 세로축 매칭율을, 기 저장된 세로축의 매칭 최고값과 비교하여, 만약 세로축 매칭율이 가로축의 매칭 최고값보다 같지 않다면, 화면 반전단계에서 반전된 실화상에서 다음번의 가로축 실화상 프로파일을 메모리부로부터 읽어들이고, 세로축 매칭율 검출단계로 되돌아 가는, 세로축의 매칭 최고값과의 비교단계; 연산처리부가 가로축 실화상 프로파일과 세로축 실화상 프로파일의 비율(Ratio)과 위치(Delta)를 구하여, 메모리부에 저장하는, 가로측 및 세로측의 매칭데이터 저장단계; 연산처리부는 가로축 실화상 프로파일과, 세로축 실화상 프로파일의 비율과 위치 값으로, 실화상의 비율 및 위치를 조정하고, 그 조정된 실화상을 재구성 실화상으로서 메모리부에 저장하고, 디스플레이부로 출력하는, 실화상 조정단계;를 포함한다.
또한, 피검자들의 체열(체온)을 검출하기 위해, 발열검사기의 구동방법은, 연산처리부는 열화상의 화면을, 기설정된 가로갯수 x 세로갯수가 되도록 구역을 분할하여, 분할된 구역들을 관심구역들로 하는, 구역분할단계; 연산처리부는 구역분할단계에서 분할된 각 구역에서, 최외각 구역을 제외하는, 최외각 구역 제외단계; 연산처리부는 구역분할단계에서 분할된 열화상의 모든 구역들에서, 열화상의 평균값을 구하는, 평균값 검출단계; 연산처리부는, 구역분할단계에서 분할된 열화상의 구역의 최대값을, 평균값 검출단계에서 검출된 평균값과 비교하여, 최대값이 상기 평균값보다 작은 구역을, 관심구역에서 제외하는, 최대값 비교단계; 연산처리부는, 관심구역들에서, 연접한 구역들에서, 연접한 구역들간의 최대값을 비교하여, 최대값이 가장 큰 구역만을 남기고 나머지 연접한 구역들을 관심구역에서 제외하는, 주변구역 비교단계; 연산처리부는, 주변구역 비교단계를 거친 후, 남아 있는 관심구역을 최종 관심구역으로 하며, 최종 관심구역의 좌표(즉, XY좌표)와 최고온도를 산출하는, 최고온도 검출단계; 연산처리부는, 최고온도 검출단계에서 검출된 최종 관심구역의 최고온도를 최종 관심구역의 좌표의 열화상 및 실화상에 표시하는, 이미지 상에의 해당 값 표시단계;를 더 포함한다.
또한, 발열검사기의 구동방법은, 연산처리부는 열화상으로부터 히스토그램을 산출하는, 히스토그램 산출단계; 연산처리부는 히스토그램에서 배경 피크를 검출하되, 기설정된 배경 피크 기준값보다 상위의 배경 피크를 검출하는, 배경 피크 검출단계; 연산처리부는 히스토그램에서 체표 피크를 검출하되, 기설정된 체표 피크 기준값보다 하위의 체표 피크를 검출하는, 체표 피크 검출단계; 연산처리부는 최고온도영역이 전체 열화상 면적의 3%가 되는 지점을 표현온도의 최고점인, 상한값으로 구하고, 배경과 체표(피부)의 영역이 교차되는 구분지점을 최저점인, 하안값으로 구하는, 하한값 및 상한값 설정단계; 하한값 및 상한값 설정단계에서 구한 하한값 및 상한값을 이용하여, 컬러매핑 데이터를 생성하여, 히스토그램에서 체표영역에 관한 슈도 컬러링을 행하고, 얻어진 슈도 컬러링 이미지를 디스플레이부로 출력하는 슈도 컬러링 단계;를 더 구비한다.
본 발명의 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기는, 열화상 카메라(적외선 촬영장치)와 실화상 카메라를 구비하는 발열검사기에 있어서, 열화상 프레임을 기준으로 실화상 프레임을 전/후 6장씩 내부에 저장하였다가 열화상 프레임과 매칭율이 가장 높은 프레임을 선택하여, 피사체의 경계선을 검출(실화상, 열화상)하고 각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고 매칭율을 비교하는 과정 수회 반복 수행하여 매칭율이 가장 높은 지점을 고정하도록 하되, 상하좌우 방향으로 4회 반복하며 모든 방향으로 최적화된 매핑의 결과로 고정할 수 있도록 하여, 발열검사기에 있어서, 실화상 카메라의 영상이 열화상 카메라보다 광각으로 촬영된 것을 얻음으로써, 열화상 화소의 누락없이 최대로 활용할 수 있으며, 이로 인해 오류를 줄이고, 정확도를 높일 수 있다.
도 1은 본 발명의 발열검사기의 개략적인 구성을 나타내는 블럭도이다.
도 2는 본 발명의 프레임 매칭 방법을 적용하기 전과 후를 나타내는 일예이다.
도 3은 본 발명의 발열검사기에서 실화상과 열화상의 최적 자동 매핑 방법을 개략적으로 설명하는 흐름도이다.
도 4는 도 3의 흐름도의 각 매칭율 검출단계 및 각 매칭 최고값과의 비교단계을 설명하는 설명도이다.
도 5는 도 3의 흐름도의 실화상 조정단계를 설명하는 설명도이다.
도 6은 본 발명의 다중영역 체온검출 방법으로 체온을 검출하여 표시한 일예이다.
도 7은 본 발명의 다중영역 체온검출 방법의 이례를 설명하는 흐름도이다.
도 8은 도 7의 구역분할 단계를 거친 영상의 일예를 나타낸다.
도 9는 도 8의 영상을 최외각 구역 제외단계를 거친 영상을 나타낸다.
도 10은 도 9의 영상을 최대값 비교단계를 거친 영상을 나타낸다.
도 11은 도 10의 영상을 주변구역 비교단계를 거치는 영상을 나타낸다.
도 12는 윈레벨의 조정 전후의 일예를 나타낸다.
도 13은 본 발명에서 진단목적 히스토그램 이퀄라이즈 (윈레벨 자동 조정)을 설명하는 흐름도이다.
도 14는 배경구간 및 체표구간의 일예를 나타낸다.
도 15는 도 14의 체표구간으로부터 선택된 관심체표구간들을 나타낸다.
이하 본 발명의 발열검사기에서의 실화상과 열화상의 최적 자동 매핑 방법 및 장치을 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 발열검사기의 개략적인 구성을 나타내는 블럭도이다.
열화상 카메라(적외선 카메라)(120)에서 검출된 열화상 및 실화상 카메라(일반 컬러카메라)(160)으로부터 검출된 실화상은 연산처리부(200)로 전달된다.
연산처리부(200)는 실화상과 열화상 매핑부(201), 다중영역 체온검출부(205), 윈레벨(Win-level) 자동조정부(207)를 포함한다.
연산처리부(200)는 실화상과 열화상 매핑부(201)에서, 열화상 프레임을 기준으로 실화상 프레임을 전/후 6장씩 메모리부(220)에 저장하였다가 열화상 프레임과 매칭율이 가장 높은 실화상 프레임을 선택하여, 이렇게 선택된 실화상 프레임 및 열화상 프레임에서 피사체의 경계선을 각각 검출하고, 각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고 매칭율을 비교하여 매칭율이 가장 높은 지점을 선택하는 과정 수회 반복 수행하여, 선택된 매칭율이 가장 높은 지점을 고정하도록 하되, 이를, 상하좌우 방향으로 4회 반복하며, 이렇게 하여 상하좌우의 모든 방향으로 최적화된 매핑의 결과로 고정한다.
이에 따라, 연산처리부(200)는, 실화상 영상이 열화상보다 광각의 영상을 얻을 수 있으며, 결과적으로, 열화상 화소의 누락없이, 열화상을 이용하여 다중영역 체온검출부(205)에서, 다수의 피검자의 체열(체온)을 검출하고, 윈레벨 자동조정부(207)에서 체표영역에 관한 슈도 컬러링을 행하여 그 체열이미지 및 체열온도값을 디스플레이부(210)로 출력한다.
이하, 본 발명의 발열검사기에서 실화상과 열화상의 최적 자동 매핑 방법에 대해서 설명한다.
<실화상 및 열화상 영상의 1:1 매핑 방법>
이는 연산처리부(200)의 실화상과 열화상 매핑부(201)에서 구동된다.
열화상 화소의 누락없이 최대로 활용하기 위해 실화상 카메라는 열화상 카메라보다 광각으로 선택하여야 하며, 이를 위해, 본 발명에서 연산처리부(200)가 실화상의 상하좌우를 확장(Strech) 및 축소(Shorten) 하는 기능을 구비한다.
이는 자동화로 진행되도록 이루어져 있으며, 프레임 매칭 방법을 적용한다.
연산처리부(200)는 열화상 프레임을 기준으로 실화상 프레임을 전/후 6장씩 메모리부(220)에 저장하였다가 열화상 프레임과 매칭율이 가장 높은 실화상 프레임을 선택한다. 열화상 프레임과, 선택된 실화상 프레임에서 피사체의 경계선을 검출한다.
각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고 매칭율을 비교한다. 동일한 방법을 재수행하여 매칭율이 가장 높은 지점을 고정하도록 하고 상하좌우 방향으로 4회 반복하며 결과적으로 모든 방향으로 최적화된 매핑의 결과로 고정되게 한다.
도 2는 본 발명의 프레임 매칭 방법을 적용하기 전과 후를 나타내는 일예로, 도 2의 (a)는 본 발명의 프레임 매칭 방법을 적용하기 전의 실화상과 열화상을 나타내며, 도 2의 (b)는 본 발명의 프레임 매칭 방법을 적용한 후의 실화상과 열화상을 나타낸다.
본 발명을 적용하기 후의 실화상과 열화상은, 본 발명을 적용하기 전의 실화상과 열화상에 비해, 상대적으로 매칭율이 현저히 좋아진 것을 알 수 있으며, 또한, 실화상은 상하좌우로 확장(Strech) 또는 축소(Shorten)가 행하여진 것을 알 수 있다.
도 3은 본 발명의 발열검사기에서 실화상과 열화상의 최적 자동 매핑 방법을 개략적으로 설명하는 흐름도이다.
화면 반전단계로, 연산처리부(200)는 실화상 화면 및 열화상 화면에서 엣지 검출을 위해 실화상 화면 및 열화상 화면을 반전시키며(S110), 열화상 화면에서 엣지 검출을 위해 열화상 화면을 반전시킨다(S115).
가로축 매칭율 검출단계로, 연산처리부(200)는 화면 반전단계에서 반전된 열화상에서의 소정 열화상 프로파일(소정 가로축 열화상 프로파일)과, 화면 반전단계에서 반전된 실화상에서의 가로축 실화상 프로파일 (즉, N 번째 가로축 실화상 프로파일)을 비교하여, 가로축 매칭율을 구한다(S120). 여기서, 상기의 소정 열화상 프로파일의 길이와, 상기의 가로축 실화상 프로파일의 길이를 차감한 값의 절대값을, 가로축 매칭율(가로축 매칭정도를 나타내는 값)로서 구할 수 있다.
가로축의 매칭 최고값과의 비교단계로, 연산처리부(200)는, 가로축 매칭율 검출단계에서 검출된 가로축 매칭율을, 기 저장된 가로축의 매칭 최고값(즉, 매칭율 최대값)과 비교하여(S125), 만약 가로축 매칭율이 가로축의 매칭 최고값보다 작거나 같지 않다면, 가로축의 매칭 최고값이 검출되지 않은 것으로, 화면 반전단계에서 반전된 실화상에서 다음번의 가로축 실화상 프로파일 (즉, N+1 번째 가로축 실화상 프로파일)을 메모리부로부터 읽어들이고(S127), 가로축 매칭율 검출단계로 간다. 여기서, 가로축의 매칭 최고값은 0일 수 있다.
즉, 가로축 매칭율 검출단계 및 가로축의 매칭 최고값과의 비교단계에서는, 가로축에서, 실화상의 엣지에 대한 프로파일 분석 결과와, 열화상의 엣지에 대한 프로파일 분석한 값을 비교하여 가로축의 매칭 최고값이 나올 때까지 반복한다.
세로축 매칭율 검출단계로, 연산처리부(200)는 화면 반전단계에서 반전된 열화상에서의 소정 열화상 프로파일(소정 세로축 열화상 프로파일)과, 화면 반전단계에서 반전된 실화상에서의 세로축 실화상 프로파일 (즉, N 번째 세로축 실화상 프로파일)을 비교하여, 세로축 매칭율을 구한다(S130). 여기서, 상기의 소정 열화상 프로파일의 길이와, 상기의 세로축 실화상 프로파일의 길이를 차감한 값의 절대값을, 세로축 매칭율(세로축 매칭정도를 나타내는 값)로서 구할 수 있다.
세로축의 매칭 최고값과의 비교단계로, 연산처리부(200)는, 세로축 매칭율 검출단계에서 검출된 세로축 매칭율을, 기 저장된 세로축의 매칭 최고값(즉, 매칭율 최대값)과 비교하여(S135), 만약 세로축 매칭율이 세로축의 매칭 최고값보다 작거나 같지 않다면, 세로축의 매칭 최고값이 검출되지 않은 것으로, 화면 반전단계에서 반전된 실화상에서 다음번의 세로축 실화상 프로파일 (즉, N+1 번째 세로축 실화상 프로파일)을 메모리부로부터 읽어들이고(S137), 매칭율 검출단계로 간다. 여기서, 세로축의 매칭 최고값은 0일 수 있다.
가로측 및 세로측의 매칭데이터 저장단계로, 가로축의 매칭 최고값과의 비교단계에서 가로축 매칭율이 가로축의 매칭 최고값보다 작거나 같다면, 가로축의 매칭 최고값이 검출된 것으로, 이 때의 가로축 실화상 프로파일을, 상기의 소정 열화상 프로파일에 대한, 최고 매칭시의 가로축 실화상 프로파일로 메모리부(220)에 저장하고, 세로축의 매칭 최고값과의 비교단계에서 세로축 매칭율이 세로축의 매칭 최고값보다 작거나 같다면, 세로축의 매칭 최고값이 검출된 것으로, 이 때의 세로축 실화상 프로파일을, 상기의 소정 열화상 프로파일에 대한, 최고 매칭시의 세로축 실화상 프로파일로 메모리부(220)에 저장하고, 최고 매칭시의 가로축 실화상 프로파일과, 최고 매칭시의 세로축 실화상 프로파일의 비율(Ratio)과 위치(Delta) 값을 메모리부(220)에 저장한다 (S150).
예를들어, 매칭율들이 매칭 최고값과 같아, 소정 열화상 프로파일과, N 번째 실화상 프로파일의 길이가 일치할 때, 이 N 번째 프로파일을 메모리부(220)에 기억하고 그때의 가로축 실화상 프로파일과, 세로축 실화상 프로파일의 비율(Ratio)과 위치(Delta) 값을 메모리부(220)에 저장한다.
실화상 조정단계로, 가로측 및 세로측의 매칭데이터 저장단계에서 구한, 가로축 실화상 프로파일과, 세로축 실화상 프로파일의 비율(Ratio)과 위치(Delta) 값으로, 실화상의 비율 및 위치를 조정하고, 그 조정된 실화상을 메모리부(220)에 저장하고, 디스플레이부(210)로 출력한다. 여기서 위치(Delta)는 소정 열화상 프로파일과, 상기의 가로축 실화상 프로파일과의 거리를 나타낼 수 있다.
실화상 조정단계 후에, 설정값 저장단계를 더 구비할 수 있다.
설정값 저장단계는, 가로축 실화상 프로파일과, 세로축 실화상 프로파일의 비율(Ratio)과 위치(Delta) 값을 설정값으로서 저장하고, 차후에 이를 재사용하여 실화상을 조정할 수 있다.
도 4는 도 3의 흐름도의 각 매칭율 검출단계 및 각 매칭 최고값과의 비교단계을 설명하는 설명도이고, 도 5는 도 3의 흐름도의 실화상 조정단계를 설명하는 설명도이다.
도 4의 (a)는 화면 반전단계의 전의 실화상 영상과 열화상 영상의 예를 나타낸다.
도 4의 (b)는 도 4의 (a)의 실화상 영상과 열화상 영상을, 화면 반전단계를 거친 결과를 나타낸다.
도 4의 (C)는 각 매칭율 검출단계 및 각 매칭 최고값과의 비교단계에서, 실화상의 프로파일을 열화상의 프로파일(도 4의 (C)의 파랑색부분)과 비교하여, 열화상의 프로파일과 같은 실화상의 프로파일(도 4의 (C)의 Len(Max))을 선출하는 것을 나타낸다.
도 5의 (a)는 실화상 조정단계를 설명하는 도면으로, 도 3의 흐름도의 가로측 및 세로측의 매칭데이터 저장단계에서 저장된 가로축 실화상 프로파일과, 세로축 실화상 프로파일의 비율(Ratio)과 위치(Delta) 값을 이용하여 실화상 영상을 조정한다.
도 5의 (b)는 도 4의 (b)의 실화상 영상과 열화상 영상이, 실화상 조정단계를 거친 후의 영상을 나타낸다.
<다중영역 체온검출>
이는 연산처리부(200)의 다중영역 체온검출부(205)에서 검출된다.
열화상의 화면을, 기설정된 가로갯수 x 세로갯수 (예를들어, 가로x세로가 4x3 또는 8x6)가 되도록 분할하고, 열화상의 각 분할영역에서 기 설정된 값(예를들어 전체 평균값)보다 큰, 최대지점(peak)(최대 분할영역 지점)을 검출한다. 그리고, 각 최대지점(peak)이 기 설정된 문턱치 온도(예를들어 40℃)를 초과하는 경우, 그 최대지점은 관심영역에서 제외한다. 그 다음에, 제외(누락)되지 않은 최대지점들에서, 인접한 국부 피크(local peak) 지점들은 제외시킨다. 이렇게 구하여진 각 분할영역의 최대지점(peak)의 온도값을, 실 화상 및 열 화상의 해당부분에 표시한다.
도 6은 본 발명의 다중영역 체온검출 방법으로 체온을 검출하여 표시한 일예이다.
실 영상 및 열 화상내에 인물별로 검출된 체온값이 각각 표시되어 있다.
도 7은 본 발명의 다중영역 체온검출 방법의 이례를 설명하는 흐름도이고, 도 8은 도 7의 구역분할 단계를 거친 영상의 일예를 나타내고, 도 9는 도 8의 영상을 최외각 구역 제외단계를 거친 영상을 나타내고, 도 10은 도 9의 영상을 최대값 비교단계를 거친 영상을 나타내고, 도 11은 도 10의 영상을 주변구역 비교단계를 거치는 영상을 나타낸다.
구역분할단계로, 연산처리부(200)는 열화상의 화면을, 기설정된 가로갯수 x 세로갯수 (예를들어, 가로x세로가 4x3 또는 8x6)가 되도록 구역을 분할한다(S210). 구역분할 단계를 거친 영상의 일예는 도 8과 같다.
최외각 구역 제외단계로, 구역분할단계에서 분할된 각 구역에서, 최외각 구역은 제외한다. 즉, 최외각 구역의 값들을 '0'로 하며, 최외각 구역은 관심구역에서 제외하는 것을 말한다(S215). 도 8의 영상이 최외각 구역 제외단계를 거친 경우의 영상은 도 9와 같다.
평균값 검출단계로, 연산처리부(200)는 구역분할단계에서 분할된 열화상의 모든 구역(분할영역)에서, 열화상의 평균값(분할영역 평균온도)을 구한다 (S220).
최대값 비교단계로, 연산처리부(200)는 각 분할영역의 최대값을, 평균값 검출단계에서 검출된 평균값과 비교하여(S230), 만약 상기 평균값보다 작다면 그 구역을 관심구역에서 제외하며(S235), 이와같은 방식으로 모든 분할영역에서 최대값보다 작은 구역을 관심구역에서 제외한다. 도 9의 영상이, 최대값 비교단계에서, 평균값보다 작은 구역을 관심구역에서 제외한 경우의 영상이 도 10이다.
경우에 따라서, 최대값 비교단계와, 주변구역 비교단계의 사이에, 문턱치 온도 비교단계(미도시)를 더 구비할 수 있다.
문턱치 온도 비교단계(미도시)는 최대값 비교단계에서 제외되지 않은 구역(분할영역)들에서, 기 설정된 문턱치 온도(예를들어 40℃)를 초과하는 구역은 관심영역에서 제외한다.
주변구역 비교단계로, 최대값 비교단계 또는 문턱치 온도 비교단계를 거친 구역들에서, 연접한 구역들의 경우, 연접한 주변구역들간의 최대값을 비교하여(S250), 그 중 최대값이 가장 큰 구역만을 남기고 나머지 연접한 주변구역을 관심구역에서 제외하며(S255), 이와 같은 방법으로, 최대값 비교단계 또는 문턱치 온도 비교단계를 거친 구역들 중의 나머지 구역들에서도, 연접한 주변구역들간의 최대값을 비교하여, 그 중 최대값이 가장 큰 구역만을 남기고 나머지 연접한 주변구역을 관심구역에서 제외한다(S260). 즉, 모든 연접된 관심 구역에 대하여 서로 비교하여 선별된 구역과 관심영역에서 제외하는 결과를 반복 검출하여 확인한다.
도 10의 영상에서, 주변구역 비교단계에서, 연접한 구역들에서 최대값들을 비교하여 그중 큰 최대값을 가지는 구역을 남기고, 최대값이 작은 구역들을 관심구역에서 제외한 경우를 나타내는 영상이 도 11이다.
최고온도 검출단계로, 주변구역 비교단계에서 검출된 최종 관심구역에 대한 좌표(즉, XY좌표)와 해당 구역의 최고온도를 산출한다(S265).
실화상 및 열화상에서, 최고온도 검출단계에서 검출된 최종 관심구역에 대한 좌표의 위치에 해당 구역의 최고온도를, 표시한다(S270). 즉, 이미지 위에 해당 값을 표시한다.
<진단목적 히스토그램 이퀄라이즈 (윈레벨(Win-level) 자동 조정)>
이는 연산처리부(200)의 윈레벨 자동조정부(207)에서 행하여 진다.
컬러를 적외선영상에 매핑할 때 진단효율을 극대화하기 위해 관심 온도 영역의 히스토그램 전체에 색상표현을 적절히 분포시키 것이 필요하다.
영상에 대한 전체적인 히스토그램그래프에서는 배경영역과 피부영역으로 구분 지을 수 있는 특성이 있기 때문에 윈레벨을 조정하여 관측하고자 하는 영역을 선별할 수 있다. 히스토그램에서는 가로축은 온도범위가 되며, 세로축은 픽셀개수의 누적양이 된다.
조정된 윈레벨에서는 최저값(minimum)과 최고값(maximum)의 구간에서 온도 분포를 결정하게 된다. 최고온도영역이 전체 면적의 3%가 되는 지점을 표현온도의 최고점으로, 배경과 피부의 영역이 교차되는 구분지점을 최저점으로 하여 슈도컬러링(pseudo-coloring)한다.
도 12는 윈레벨의 조정 전후의 일예를 나타낸다.
도 12의 (a)는 윈레벨의 조정 전의 영상의 일예이고, 도 12의 (b)는 도 12의 (a)의 히스토그램그래프에서는 배경영역과 피부영역을 구분한 영상을 나타내고, 도 12의 (c)는 도 12의 (b)의 영상에 슈도컬러링한 영상을 나타낸다.
도 13은 본 발명에서 진단목적 히스토그램 이퀄라이즈 (윈레벨(Win-level) 자동 조정)을 설명하는 흐름도이고, 도 14는 배경구간 및 체표구간의 일예를 나타내고, 도 15는 도 14의 체표구간으로부터 선택된 관심체표구간들을 나타낸다.
히스토그램 산출단계로, 열화상으로부터 히스토그램을 산출한다(S510).
배경 피크 검출단계로, 히스토그램 산출단계에서 산출된 히스토그램에서 배경에 관한 피크인 배경 피크를 검출한다(S520). 도 14의 (a)는 도 13의 배경 피크 검출단계에서 검출된 배경피크의 일예를 나타낸다.
배경 피크의 조건검사 실행단계로, 배경 피크 검출단계에서 검출된 배경 피크가, 기설정된 배경 피크 기준값보다 하위에 있는 로컬(Local) 피크인지를 검사하고(S525), 만약 배경 피크 기준값보다 하위에 있는 로컬(Local) 피크이라면, 이 배경 피크를 제거하고(S530), 배경 피크 검출단계로 되돌아간다.
체표 피크 검출단계로, 히스토그램 산출단계에서 산출된 히스토그램에서 체표에 관한 피크인 체표 피크를 검출한다(S520). 도 14의 (b)는 도 13의 체표 피크 검출단계에서 검출된 체표피크의 일예를 나타낸다.
체표 피크의 조건검사 실행단계로, 체표 피크 검출단계에서 검출된 체표 피크가, 기설정된 체표 피크 기준값보다 상위에 있는 로컬(Local) 피크인지를 검사하고(S555), 만약 체표 피크 기준값보다 상위에 있는 로컬(Local) 피크라면, 이 체표 피크를 제거하고(S560), 체표 피크 검출단계로 되돌아간다. 도 15는 도 14의 체표 구간에서, 체표 피크의 조건검사 실행단계를 실행하여 도출된 관심체표구간들을 나타낸다.
하한값 및 상한값 설정단계로, 히스토그램에서 하한값(S570)과 상한값(S575)에 대한 설정을 행한다. 즉, 최고온도영역이 전체 면적의 3%가 되는 지점을 표현온도의 최고점(상한값)으로, 배경과 피부의 영역이 교차되는 구분지점을 최저점(하안값)으로 설정한다.
슈도 컬러링 단계로, 체표 피크, 배경피크, 하한값 및 상한값을 이용하여, 컬러매핑 데이터를 생성하여, 히스토그램에서 체표영역에 관한 슈도 컬러링을 행하고(S575), 이렇게 행하여진 슈도 컬러링 이미지를 디스플레이부(210)로 출력한다.
본 명세서는 본 발명의 기술 분야에서 통상의 지식을 가진 자이면 충분히 인식하고 유추할 수 있는 내용은 그 상세한 기재를 생략하였으며, 본 명세서에 기재된 구체적인 예시들 이외에 본 발명의 기술적 사상이나 필수적 구성을 변경하지 않는 범위 내에서 보다 다양한 변형이 가능하다. 따라서 본 발명은 본 명세서에서 구체적으로 설명하고 예시한 것과 다른 방식으로도 실시될 수 있으며, 이는 본 발명의 기술 분야에 통상의 지식을 가진 자이면 이해할 수 있는 사항이다.
본 발명의 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기는, 오류를 줄이고, 정확도를 높인 발열검사기로, 공항, 학교, 식당, 관공서, 기업 등에서 다수인의 체온 동시다발적으로 측정한다.

Claims (10)

  1. 다수의 피검자를 포함하는 영역의 열화상을 촬영하는 열화상 카메라;
    다수의 피검자를 포함하는 영역의 실화상을 촬영하되, 열화상 카메라와 동시에 촬영되는 실화상 카메라;
    열화상 카메라로부터 수신된 열화상과, 실화상 카메라로부터 수신된 실화상을 매칭을 행하되, 열화상을 기준으로, 실화상의 상하좌우를 확장하거나 축소하여, 열화상과 맞추어진 재구성 실화상을 구하고, 열화상과 재구성 실화상을 이용하여 피검자들의 체열(체온)을 검출하는, 연산처리부;
    를 포함하는 것을 특징으로 하는, 발열검사기.
  2. 제1항에 있어서, 상기 연산처리부는,
    열화상 프레임을 기준으로 열화상 프레임의 전과 후에, 각기 6장씩의 실화상 프레임을 메모리부에 저장하고, 저장되어 있는 실화상 프레임들 중에 열화상 프레임과 매칭율이 가장 높은 실화상 프레임을 선택하고, 열화상 프레임과 선택된 실화상 프레임에서, 피사체의 경계선을 각각 검출하고, 상하좌우의 각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고, 매칭율이 가장 높은 지점을 선택하는, 실화상과 열화상 매핑부를 구비하는 것을 특징으로 하는, 발열검사기.
  3. 제2항에 있어서, 실화상과 열화상 매핑부는,
    엣지 검출을 위해 실화상 화면 및 열화상 화면을 반전시키고,
    반전된 소정 열화상에서의 가로축 열화상 프로파일과, 반전된 실화상에서의 가로축 실화상 프로파일을 비교하여, 가로축 열화상 프로파일과에 가장 가까운 가로축 실화상 프로파일을 구하며,
    반전된 소정 열화상에서의 세로축 열화상 프로파일과, 반전된 실화상에서의 세로축 실화상 프로파일을 비교하여, 세로축 열화상 프로파일과에 가장 가까운 가로축 실화상 프로파일을 구하며,
    구하여진 가로축 실화상 프로파일과 세로축 실화상 프로파일의 비율(Ratio)과 위치(Delta)를 구하고,
    가로축 실화상 프로파일과, 세로축 실화상 프로파일의 비율과 위치 값으로, 실화상의 비율 및 위치를 조정하고, 그 조정된 실화상을 재구성 실화상으로서 메모리부에 저장하고, 디스플레이부로 출력하는 것을 특징으로 하는, 발열검사기.
  4. 제2항에 있어서, 상기 연산처리부는,
    열화상과 재구성 실화상과, 기설정된 가로갯수 x 세로갯수가 되도록 분할하고, 열화상의 분할영역(구역)인 관심구역들에서 전체 평균값을 구하고, 열화상의 각 분할영역의 최대값이 전체 평균값보다 작은 분할영역은, 관심구역에서 제외하고, 열화상의 각 분할영역의 최대값이 기 설정된 문턱치 온도를 초과하는 분할영역은, 관심구역에서 제외하고,
    관심구역에서 연접한 주변구역들간의 최대값을 비교하여, 연접한 주변구역들중 최대값이 가장 큰 분할영역(구역)만을 남기고 나머지 연접한 주변구역을 관심구역에서 제외하고,
    남아 있는 관심구역의 좌표(즉, XY좌표)와 해당 관심구역의 최고온도를 산출하고, 산출된 최고온도를 해당 관심구역의 좌표의 열화상 및 실화상에 표시하는 다중영역 체온검출부를 더 구비하는 것을 특징으로 하는, 발열검사기.
  5. 제4항에 있어서, 연산처리부는
    열화상으로부터 히스토그램을 산출하고,
    히스토그램에서 배경 피크를 검출하되, 기설정된 배경 피크 기준값보다 상위의 배경 피크를 검출하고,
    히스토그램에서 체표 피크를 검출하되, 기설정된 체표 피크 기준값보다 하위의 체표 피크를 검출하고,
    최고온도영역이 전체 열화상 면적의 3%가 되는 지점을 표현온도의 최고점인, 상한값으로 설정하고, 배경과 체표(피부)의 영역이 교차되는 구분지점을 최저점인, 하안값으로 설정하고,
    하한값 및 상한값을 이용하여, 컬러매핑 데이터를 생성하여, 히스토그램에서 체표영역에 관한 슈도 컬러링을 행하고, 얻어진 슈도 컬러링 이미지를 디스플레이부로 출력하는 윈레벨(Win-level) 자동조정부를 더 구비하는 것을, 특징으로 하는, 발열검사기.
  6. 열화상 카메라 및 실화상 카메라를 구비하여 다수의 피검자의 체열을 동시에 검출하는 발열검사기의 구동방법에 있어서,
    연산처리부가 열화상 카메라로부터 수신된 열화상과, 실화상 카메라로부터 수신된 실화상을 매칭을 행하되, 열화상을 기준으로, 실화상의 상하좌우를 확장하거나 축소하여, 열화상과 맞추어진 재구성 실화상을 구하고, 열화상과 재구성 실화상을 이용하여 피검자들의 체열(체온)을 검출하는 것을 특징으로 하는, 발열검사기의 구동방법.
  7. 제6항에 있어서,
    연산처리부는, 재구성 실화상을 구하기 위해, 열화상 프레임을 기준으로 열화상 프레임의 전과 후에, 각기 6장씩의 실화상 프레임을 메모리부로부터 읽어들여, 실화상 프레임들 중에 열화상 프레임과 매칭율이 가장 높은 실화상 프레임을 선택하고, 열화상 프레임과 선택된 실화상 프레임에서, 피사체의 경계선을 각각 검출하고, 상하좌우의 각 방향으로 1픽셀씩 확장한 결과와 축소한 결과를 매칭하고, 매칭율이 가장 높은 지점을 선택하는 것을 특징으로 하는, 발열검사기의 구동방법.
  8. 제7항에 있어서, 열화상과 실화상의 매칭을 위해,
    연산처리부는 엣지 검출을 위해 실화상 화면 및 열화상 화면을 반전시키는, 화면 반전단계;
    연산처리부는 화면 반전단계에서 반전된 소정 열화상에서의 가로축 열화상 프로파일과, 화면 반전단계에서 반전된 실화상에서의 가로축 실화상 프로파일을 비교하여, 가로축 매칭율을 구하는, 가로축 매칭율 검출단계;
    연산처리부는, 가로축 매칭율 검출단계에서 검출된 가로축 매칭율을, 기 저장된 가로축의 매칭 최고값과 비교하여, 만약 가로축 매칭율이 가로축의 매칭 최고값보다 같지 않다면, 화면 반전단계에서 반전된 실화상에서 다음번의 가로축 실화상 프로파일을 메모리부로부터 읽어들이고, 가로축 매칭율 검출단계로 되돌아 가는, 가로축의 매칭 최고값과의 비교단계;
    연산처리부는 화면 반전단계에서 반전된 소정 열화상에서의 세로축 열화상 프로파일과, 화면 반전단계에서 반전된 실화상에서의 세로축 실화상 프로파일을 비교하여, 세로축 매칭율을 구하는, 세로축 매칭율 검출단계;
    연산처리부는, 세로축 매칭율 검출단계에서 검출된 세로축 매칭율을, 기 저장된 세로축의 매칭 최고값과 비교하여, 만약 세로축 매칭율이 가로축의 매칭 최고값보다 같지 않다면, 화면 반전단계에서 반전된 실화상에서 다음번의 가로축 실화상 프로파일을 메모리부로부터 읽어들이고, 세로축 매칭율 검출단계로 되돌아 가는, 세로축의 매칭 최고값과의 비교단계;
    연산처리부가 가로축 실화상 프로파일과 세로축 실화상 프로파일의 비율(Ratio)과 위치(Delta)를 구하여, 메모리부에 저장하는, 가로측 및 세로측의 매칭데이터 저장단계;
    연산처리부는 가로축 실화상 프로파일과, 세로축 실화상 프로파일의 비율과 위치 값으로, 실화상의 비율 및 위치를 조정하고, 그 조정된 실화상을 재구성 실화상으로서 메모리부에 저장하고, 디스플레이부로 출력하는, 실화상 조정단계;
    를 포함하는 것을 특징으로 하는, 발열검사기의 구동방법.
  9. 제7항에 있어서, 피검자들의 체열(체온)을 검출하기 위해,
    연산처리부는 열화상의 화면을, 기설정된 가로갯수 x 세로갯수가 되도록 구역을 분할하여, 분할된 구역들을 관심구역들로 하는, 구역분할단계;
    연산처리부는 구역분할단계에서 분할된 각 구역에서, 최외각 구역을 제외하는, 최외각 구역 제외단계;
    연산처리부는 구역분할단계에서 분할된 열화상의 모든 구역들에서, 열화상의 평균값을 구하는, 평균값 검출단계;
    연산처리부는, 구역분할단계에서 분할된 열화상의 구역의 최대값을, 평균값 검출단계에서 검출된 평균값과 비교하여, 최대값이 상기 평균값보다 작은 구역을, 관심구역에서 제외하는, 최대값 비교단계;
    연산처리부는, 관심구역들에서, 연접한 구역들에서, 연접한 구역들간의 최대값을 비교하여, 최대값이 가장 큰 구역만을 남기고 나머지 연접한 구역들을 관심구역에서 제외하는, 주변구역 비교단계;
    연산처리부는, 주변구역 비교단계를 거친 후, 남아 있는 관심구역을 최종 관심구역으로 하며, 최종 관심구역의 좌표(즉, XY좌표)와 최고온도를 산출하는, 최고온도 검출단계;
    연산처리부는, 최고온도 검출단계에서 검출된 최종 관심구역의 최고온도를 최종 관심구역의 좌표의 열화상 및 실화상에 표시하는, 이미지 상에의 해당 값 표시단계;
    를 포함하는 것을 특징으로 하는, 발열검사기의 구동방법.
  10. 제7항에 있어서,
    연산처리부는 열화상으로부터 히스토그램을 산출하는, 히스토그램 산출단계;
    연산처리부는 히스토그램에서 배경 피크를 검출하되, 기설정된 배경 피크 기준값보다 상위의 배경 피크를 검출하는, 배경 피크 검출단계;
    연산처리부는 히스토그램에서 체표 피크를 검출하되, 기설정된 체표 피크 기준값보다 하위의 체표 피크를 검출하는, 체표 피크 검출단계;
    연산처리부는 최고온도영역이 전체 열화상 면적의 3%가 되는 지점을 표현온도의 최고점인, 상한값으로 구하고, 배경과 체표(피부)의 영역이 교차되는 구분지점을 최저점인, 하안값으로 구하는, 하한값 및 상한값 설정단계;
    하한값 및 상한값 설정단계에서 구한 하한값 및 상한값을 이용하여, 컬러매핑 데이터를 생성하여, 히스토그램에서 체표영역에 관한 슈도 컬러링을 행하고, 얻어진 슈도 컬러링 이미지를 디스플레이부로 출력하는 슈도 컬러링 단계;를 더 구비하는 것을, 특징으로 하는, 발열검사기의 구동방법.
PCT/KR2020/019204 2020-11-27 2020-12-28 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기 WO2022114371A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202080107527.8A CN116490122A (zh) 2020-11-27 2020-12-28 发热筛查装置的真实图像和热成像图像的自动优化映射方法和应用该方法的发热筛查装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0162528 2020-11-27
KR1020200162528A KR102494633B1 (ko) 2020-11-27 2020-11-27 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기

Publications (1)

Publication Number Publication Date
WO2022114371A1 true WO2022114371A1 (ko) 2022-06-02

Family

ID=81752839

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/019204 WO2022114371A1 (ko) 2020-11-27 2020-12-28 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기

Country Status (4)

Country Link
US (1) US20220172381A1 (ko)
KR (1) KR102494633B1 (ko)
CN (1) CN116490122A (ko)
WO (1) WO2022114371A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309186B (zh) * 2023-05-12 2023-09-12 北京理工大学 一种基于多段s曲线映射的红外图像动态范围压缩方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204217A1 (en) * 2012-03-06 2014-07-24 The Industry & Academic Cooperation In Chungnam National University (Iac) Thermal imaging system capable of tracing specific portion in thermal image and method of tracing specific portion using the same
KR20190044925A (ko) * 2017-10-23 2019-05-02 다빈치온 주식회사 실화상과 열화상을 이용한 영상 생성 방법 및 그 장치
US20190162439A1 (en) * 2016-06-03 2019-05-30 Mitsubishi Electric Corporation Equipment control device and equipment control method
KR20200009667A (ko) * 2018-07-19 2020-01-30 주식회사 한컴엠디에스 영상 합성 장치 및 그의 영상 합성 방법
KR20200028082A (ko) * 2018-09-06 2020-03-16 송지우 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140204217A1 (en) * 2012-03-06 2014-07-24 The Industry & Academic Cooperation In Chungnam National University (Iac) Thermal imaging system capable of tracing specific portion in thermal image and method of tracing specific portion using the same
US20190162439A1 (en) * 2016-06-03 2019-05-30 Mitsubishi Electric Corporation Equipment control device and equipment control method
KR20190044925A (ko) * 2017-10-23 2019-05-02 다빈치온 주식회사 실화상과 열화상을 이용한 영상 생성 방법 및 그 장치
KR20200009667A (ko) * 2018-07-19 2020-01-30 주식회사 한컴엠디에스 영상 합성 장치 및 그의 영상 합성 방법
KR20200028082A (ko) * 2018-09-06 2020-03-16 송지우 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법

Also Published As

Publication number Publication date
KR102494633B1 (ko) 2023-02-07
CN116490122A (zh) 2023-07-25
US20220172381A1 (en) 2022-06-02
KR20220075095A (ko) 2022-06-07

Similar Documents

Publication Publication Date Title
CN106851263B (zh) 基于定时自学习模块的视频质量诊断方法及系统
WO2016159726A1 (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
WO2019054638A1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2018169330A1 (en) Systems and methods for determining defects in visual field of a user
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2013062345A1 (ko) 비전시스템의 이미지 품질 향상을 위한 컬러조명 제어방법
BR0002632B1 (pt) &#34;aparelho e método de formação de imagens de gráficos de cisalhamento&#34;
WO2022114371A1 (ko) 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기
WO2013095032A1 (ko) 초음파 영상을 이용하여 정중 시상면을 자동으로 검출하는 방법 및 그 장치
CN111047568A (zh) 一种漏汽缺陷检测识别方法及系统
CN106341682A (zh) 检测老化功能的方法、系统及装置
CN104700424B (zh) 医用彩色电子内窥镜图像坏点检测装置
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2018164361A1 (ko) 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN113362270B (zh) 显示屏画面显示异常监测方法及其装置
WO2023059116A1 (ko) 시각적 피로발생구간 판단 방법 및 그 장치
Haghmohammadi et al. Remote measurement of body temperature for an indoor moving crowd
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
WO2022034955A1 (ko) 영상 처리를 기반으로 하는 각막궤양 검출 장치 및 그 방법
WO2012099337A1 (ko) 카드의 비가시성 마크 검출 방법
WO2021112436A1 (ko) 장 정결도의 자동화 계산 장치 및 방법
WO2017200132A1 (ko) 수면성 호흡장애 진단장치 및 방법
WO2020226455A1 (ko) 안저 이미지를 이용한 시신경병증 예측 장치 및 시신경병증 예측 결과 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20963765

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202080107527.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20963765

Country of ref document: EP

Kind code of ref document: A1