WO2023096129A1 - 영상 기반 진단 시스템 및 이의 제어 방법 - Google Patents

영상 기반 진단 시스템 및 이의 제어 방법 Download PDF

Info

Publication number
WO2023096129A1
WO2023096129A1 PCT/KR2022/014307 KR2022014307W WO2023096129A1 WO 2023096129 A1 WO2023096129 A1 WO 2023096129A1 KR 2022014307 W KR2022014307 W KR 2022014307W WO 2023096129 A1 WO2023096129 A1 WO 2023096129A1
Authority
WO
WIPO (PCT)
Prior art keywords
histogram
image
target region
data
corrected
Prior art date
Application number
PCT/KR2022/014307
Other languages
English (en)
French (fr)
Inventor
박응규
김요한
배샛별
송승현
이동훈
Original Assignee
주식회사 큐에스택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210179230A external-priority patent/KR20230078439A/ko
Application filed by 주식회사 큐에스택 filed Critical 주식회사 큐에스택
Publication of WO2023096129A1 publication Critical patent/WO2023096129A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Definitions

  • It relates to an image-based diagnosis system and a control method thereof.
  • An object to be solved is to provide an image-based diagnosis system capable of properly normalizing image data so as to perform an accurate diagnosis based on a photographed image and a method for controlling the same.
  • an image-based diagnosis system and a control method thereof are provided.
  • An image-based diagnostic system acquires a diagnostic strip having at least one target region and a barcode and an image of the diagnostic strip, determines a location of the at least one target region based on the barcode in the image, and determines a location of the at least one target region, and and an image-based diagnosis device generating a histogram for the target region and generating a corrected histogram for the target region using the histogram for the target region, wherein the image-based diagnosis device includes the adjacent histogram for the target region.
  • a corrected histogram for the target region may be generated by calculating the average of the values of the other two data values except for the data having the largest value among the three data values, and using the average value as the data value of a specific location.
  • the image-based diagnosis apparatus may generate a new corrected histogram for the target region using the corrected histogram for the target region.
  • the image-based diagnosis apparatus may repeatedly generate a new corrected histogram for the target region at a predefined number of times or until the standard deviation of the new corrected histogram falls within a predefined range.
  • An RGB correction area may be further formed in the diagnosis stream, and the image-based diagnosis device obtains a color correction ratio using the RGB correction area, and generates a corrected histogram for the correction ratio and the target area. It may be provided to perform color correction on the target area using the color correction method.
  • the image-based diagnosis apparatus may perform diagnosis using the target region where color correction has been performed.
  • the image-based diagnostic device may correct the image of the diagnostic stream by correcting the shape of the barcode based on the barcode, or may determine the presence or absence of a shadow based on a shadow recognition area formed in the diagnostic strip.
  • the image-based diagnosis apparatus obtains a rescaled histogram of the histogram of the target region, obtains a gray histogram using the rescaled histogram, and obtains a corrected histogram of the target region using the gray histogram. You can also create histograms.
  • the image-based diagnosis method includes acquiring an image of a diagnostic strip having at least one target region and a barcode formed thereon, determining a location of the at least one target region based on the barcode in the image, and determining a location of the at least one target region in the target region.
  • the generating step may include calculating an average of values of two other data values excluding the data having the largest value among three adjacent data values of the histogram for the target area, and using the average as a data value of a specific position in the target area It may include generating a corrected histogram for .
  • the image-based diagnosis method may further include generating a new corrected histogram for the target region using the corrected histogram for the target region.
  • the step of generating a new calibrated histogram for the target region using the calibrated histogram for the target region may include a predefined number of times or until the standard deviation of the new calibrated histogram falls within a predefined range. and repeatedly generating a new corrected histogram for the target region using the corrected histogram for the target region.
  • the image-based diagnosis method includes obtaining a correction ratio for color using an RGB correction area formed on the diagnostic strip, and color correction for the target area using the correction ratio and a corrected histogram for the target area. It may further include steps to perform.
  • the image-based diagnosis method may further include a step of performing diagnosis using the target region where color correction has been performed.
  • the image-based diagnosis method may include at least one of correcting an image of a diagnostic stream by correcting the shape of the barcode based on the barcode and determining whether a shadow exists based on a shadow recognition area formed on the diagnostic strip. may further include.
  • the image-based diagnosis method may further include acquiring a rescaled histogram of the histogram of the target region and acquiring a gray histogram using the rescaled histogram.
  • image-based diagnosis can be more accurately performed by appropriately normalizing data of a captured image.
  • FIG. 1 is a schematic diagram of an embodiment of an image-based diagnostic system.
  • FIG. 2 is a diagram of one embodiment of a diagnostic strip.
  • FIG. 3 is a block diagram of an image-based diagnosis apparatus according to an embodiment.
  • FIG. 4 is a block diagram of an image correction unit according to an embodiment.
  • 5 is a diagram for explaining an example of correcting a shooting angle of a QR code.
  • FIG. 6 is a block diagram of an embodiment of a normalization processing unit.
  • FIG. 7 is a diagram for explaining an example of an operation for determining a location of a region to be recognized.
  • FIG. 8 is a diagram for explaining an example of a process of generating a histogram for a region to be recognized.
  • FIG. 9 is a graph showing an example of a histogram for a recognition target region.
  • FIG. 10 is a diagram illustrating changes in a histogram according to correction results.
  • 11 to 14 are diagrams for explaining an embodiment of a histogram correction unit.
  • 15 is a flowchart of a method of controlling an image-based diagnostic system according to an embodiment.
  • a term with an added 'unit' used below may be implemented in software and/or hardware, and depending on an embodiment, one 'unit' may be implemented as one physical or logical component, or a plurality of 'units' may be implemented as one physical or logical component. It is possible to implement one physical or logical component, or one 'unit' to implement a plurality of physical or logical components. When a part is said to be connected to another part throughout the specification, this may mean that a part and another part are physically connected to each other and/or electrically connected.
  • a part when a part includes another part, this means that it does not exclude another part other than the other part unless otherwise stated, and may further include another part according to the designer's choice. do.
  • Expressions such as the first to Nth are for distinguishing at least one part (s) from other part (s), and do not necessarily mean that they are sequential unless otherwise specified.
  • singular expressions may include plural expressions, unless there is a clear exception from the context.
  • FIGS. 1 to 14 An embodiment of an image-based diagnostic system including a diagnostic strip and an image-based diagnostic device will be described with reference to FIGS. 1 to 14 .
  • FIG. 1 is a schematic diagram of an image-based diagnosis system according to an embodiment
  • FIG. 2 is a diagram of a diagnostic strip according to an embodiment
  • FIG. 3 is a block diagram of an image-based diagnosis device according to an embodiment.
  • the image-based diagnostic system 1 includes at least one diagnostic strip 10, and emitted or reflected signals from the at least one diagnostic strip 10.
  • An image-based diagnosis apparatus 100 receiving light (9, visible light, etc.), wherein the image-based diagnosis apparatus 100 includes an image including at least one diagnosis stream 10 corresponding to the received light 9 Generates, performs at least one processing on the generated image to obtain a final image (still image or video), and, if necessary, based on the analysis result of the obtained final image, the subject (for example, a human body or an animal) etc.) to perform diagnosis.
  • the diagnostic strip 10 includes a barcode 11, an RGB correction area 12, a shadow recognition area 13, and a diagnosis recognition area 14 formed on at least one surface 10A. can do.
  • the barcode 11, the RGB correction area 12, the shadow recognition area 13, and the diagnosis recognition area 14 are directly printed or printed on one side 10A of the diagnosis stream 10 through attachment of a printed image.
  • the barcode 11, the RGB correction area 12, the shadow recognition area 13, and the diagnosis recognition area 14 may all be formed on the same surface 10A, or some of them may be formed on two or more different surfaces. (For example, it may be formed on one side (10A) and the opposite side thereof). Also, according to a designer's choice, at least one of the RGB correction area 12, the barcode 11, and the shadow recognition area 13 may be omitted.
  • the barcode 11 is used to detect the size, magnification, direction, and/or tilt of the diagnostic stream 10, or the center of the diagnostic recognition area 14, for example within the diagnostic recognition area 14. It can be used to recognize the most centrally located area (hereinafter, the central target area, for example, the fourth target area 14-4) among at least one area (14-1 to 14-13, hereinafter, target area) in Therefore, the image-based diagnosis apparatus 100 can recognize the target regions 14-1 to 14-13 in a more accurate shape and size and perform diagnosis based on them. For example, it may include at least one of a one-dimensional barcode and a two-dimensional barcode (hereinafter referred to as a QR code), but is not limited thereto.
  • a QR code two-dimensional barcode
  • the RGB correction area 12 may be used as a standard for RGB correction by the image-based diagnosis apparatus 100, and includes, for example, a red (R) area, a green (G) area, and a blue (B) area. And, if necessary, at least one of a white area and a black area may be further included. Each of these regions may have a substantially square or rectangular shape, but is not limited thereto.
  • the RGB correction area 12 may be positioned on top of the barcode 11.
  • the shadow recognition area 13 is provided so that the image-based diagnosis apparatus 100 can detect whether a shadow exists on one surface 10A of the diagnosis stream 10 .
  • the shadow recognition area 13 may include an empty blank area, and no shape is shown or printed in the empty blank area, and may be colored only in a single color (eg, white).
  • the shadow recognition area 13 may be located at the lower end of the barcode 11, or may be disposed between the barcode 11 and the recognition area 14 for diagnosis.
  • the recognition area 14 for diagnosis is used by the image-based diagnosis apparatus 100 to detect whether a subject has a disease.
  • the recognition area 14 for diagnosis may include one or more target areas 14-1 to 14-13.
  • each of the target regions 14-1 to 14-13 may all have the same shape, some may have the same shape while others may have different shapes, or all may have different shapes.
  • the shape may include a square, a rectangle, a circle, an ellipse, or a triangle.
  • each of the target regions 14-1 to 14-13 may have different colors.
  • Each of the target regions 14-1 to 14-13 may be formed of a material capable of discoloration depending on a component deposited on the corresponding regions 14-1 to 14-13.
  • At least one of the target regions 14-1 to 14-13 may be smeared with a subject (eg, blood or urine) obtained from the subject, and the corresponding target region 14-1 to 14-13 at least one) is discolored accordingly.
  • the image-based diagnosis apparatus 100 may determine the subject's disease based on the discoloration of the target region 14 (14-1 to 14-13).
  • the diagnostic strip 10 may be manufactured using materials such as paper, synthetic resin, rubber, and/or metal, and is implemented using an electronic device having a separate part for burying the test subject according to an embodiment. It could be.
  • the image-based diagnosis apparatus 100 may include a photographing unit 101 and a processor 200, and, if necessary, a storage unit 103, an input unit 105, and an output unit ( 107) may further include at least one. At least two of the photographing unit 101, the storage unit 103, the input unit 105, the output unit 107, and the processor 200 are unilaterally or in both directions through mutual circuit lines, cables, or wireless communication networks. It is prepared to transmit data or instructions.
  • the photographing unit 101 may photograph all or part of one surface 10A of the diagnostic strip 10 . Specifically, the photographing unit 101 receives the light 9 transmitted from the diagnostic strip 10, obtains an electrical signal corresponding to the received light 9, and stores the obtained electrical signal in the storage unit 103. ) or to the processor 200.
  • the photographing unit 101 may be implemented using a predetermined image photographing module, and the image photographing module includes a lens for focusing light and an imaging device for converting the received light 9 into an electrical signal (for example, A charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) may be included.
  • the photographing unit 101 may be physically separated from the image-based diagnostic device 100.
  • the photographing unit 101 may be a digital camera, smartphone, tablet PC, web cap, or scanner. It may be implemented using a device or the like.
  • the storage unit 103 may temporarily or non-temporarily store data or programs (which may be referred to as apps, applications, or software) necessary for the operation of the image-based diagnosis apparatus 100 .
  • the storage unit 103 includes an electrical signal output by the photographing unit 101, data generated in the process of processing by the processor 200 (eg, an image, a raw histogram, or a histogram corrected at least once), and / or the final decision result of the processor 2000 may be received and stored.
  • the storage unit 103 may store a program code related to the operation of the processor 200.
  • the program code may be used by a programmer or the like.
  • the storage unit 103 may include, for example, at least one of a main memory device and an auxiliary memory device, and the main memory device may include a ROM and / or may be implemented using a semiconductor storage medium such as RAM, and the auxiliary storage device is a flash memory device (solid state drive (SSD, Solid State Drive), etc.), SD (Secure Digital) card, magnetic tape , a hard disk drive (HDD), a compact disk and/or a DVD, and the like.
  • SSD Solid State Drive
  • SD Secure Digital
  • the input unit 105 may receive commands or data for operation of the image-based diagnosis apparatus 100 from a user or another device (eg, a smartphone or a hardware device for a server).
  • a user such as an examinee, a medical person, or a guardian, manipulates the input unit 105 so that the photographing unit 101 photographs the diagnostic strip 10 or the processor 200 performs an operation such as image processing or diagnosis.
  • the input unit 105 may include, for example, a keyboard, a mouse, a tablet, a touch screen, a touch pad, a track ball, a track pad, an ultrasonic scanner, a motion detection sensor, a vibration sensor, a light receiving sensor, a pressure sensor, a proximity sensor, and/or a microcomputer.
  • It may include a phone, etc., and a data input/output terminal capable of receiving data from other external devices (for example, a portable memory device) or a communication module (for example, a LAN) connected to other external devices through a wired or wireless communication network. card, short-distance communication module or mobile communication module, etc.) and the like.
  • a data input/output terminal capable of receiving data from other external devices (for example, a portable memory device) or a communication module (for example, a LAN) connected to other external devices through a wired or wireless communication network. card, short-distance communication module or mobile communication module, etc.) and the like.
  • the output unit 107 outputs data stored in the storage unit 103 or temporarily or finally generated by the processor 200 (for example, normalized data, diagnosis results, etc.) to the outside to visually or audibly It can be provided to the user or the like or delivered to another external device.
  • the output unit 107 may include, for example, a display, a printer device, a speaker device, an image output terminal, a data input/output terminal, and/or a communication module.
  • the processor 200 generates an image based on the electrical signal transmitted from the photographing unit 101, corrects the generated image, or performs normalization processing using the image or a histogram obtained from the image. And/or an operation such as obtaining a diagnosis result based on an image may be performed. Also, the processor 200 may control overall operations of the image-based diagnosis apparatus 100 as needed.
  • the processor 200 may include, for example, a central processing unit (CPU), a graphic processing unit (GPU), a micro controller unit (MCU), an application processor (AP), ), an electronic control unit (ECU), a micro processor (Micom), and/or at least one electronic device capable of performing other various calculation and control processes. These processing or control devices can be implemented using, for example, one or more semiconductor chips, circuits, or related components alone or in combination.
  • the processor 200 includes an image generator 201, an image preprocessor 210, a normalization processor 230, a color correction unit 250, and a diagnosis unit 270. ) may be included. At least two of the image generator 201, the image preprocessor 210, the normalization processor 230, the color corrector 250, and the diagnosis unit 270 may be logically or physically separated. . Depending on the embodiment, at least one of the image generator 201, the image preprocessor 210, the normalization processor 230, the color correction unit 250, and the diagnosis unit 270 may be omitted.
  • the image generating unit 201 receives an electrical signal corresponding to the light received by the photographing unit 101 from the photographing unit 101, and combines all or part of the received electrical signals to one side of the diagnostic strip 10. Images of all or part of (10A) can be created. Therefore, in the image generated by the image generator 201, all areas of the diagnosis stream 10, for example, the barcode 11, the RGB correction area 12, the shadow recognition area 13, and the diagnosis recognition area 14 ) may exist, and some of these (11 to 14), for example, only the recognition area 14 for diagnosis may exist. The generated image may be transmitted to the image pre-processing unit 210 .
  • FIG. 4 is a block diagram of an image correction unit according to an embodiment
  • FIG. 5 is a diagram for explaining an example of correcting a shooting angle of a QR code.
  • the image pre-processing unit 210 may perform pre-correction on the image so as to easily process normalization or color correction on the generated image.
  • the image preprocessing unit 210 may include at least one of a barcode center point recognizing unit 211, a shape correcting unit 212, and a shadow processing unit 213, as shown in FIG. 4 .
  • 4 shows the barcode center point recognizing unit 211, the shape correcting unit 212, and the shadow processing unit 213 as sequentially, respectively, but this is exemplary, and the processing sequence thereof depends on the embodiment or the designer's selection. It may be implemented differently from this.
  • the barcode center point recognizing unit 211 may detect and recognize the center point 11E of the barcode 11 of the diagnostic strip 10 in the acquired image. Specifically, referring to FIG. 2, the barcode center point recognizing unit 211 acquires a barcode, for example, a corner of the QR code 11, for example, a finder pattern (Finder Pattern, 11A, 11B, 11C, 11D), and After acquiring the respective line segments L1 and L2 connecting the opposite corners 11A and 11C or 11B and 11D, the intersection point 11E where both line segments L1 and L2 intersect is the center point of the barcode 11 ( 11E), the central point 11E of the barcode 11 can be recognized. The recognized central point 11E may be used to correct the captured barcode 11 or the diagnostic strip 10 including the barcode 11 .
  • the shape correction unit 212 corrects the shape of the barcode 11 by using at least two of the corners of the barcode 11, for example, the finder patterns 11A, 11B, 11C, and 11D, and based on this, the diagnostic strip ( 10) can be corrected.
  • the shape correcting unit 212 may recognize the magnification of the barcode 11 by measuring the lengths of the finder patterns 11A and 11B disposed on the mutual side surfaces.
  • the shape correcting unit 212 measures the lengths of the finder patterns 11B and 11C disposed above and below each other, and compares the lengths of the finder patterns 11A and 11B disposed on the sides of each other to obtain the result shown in FIG. 5.
  • the photographed diagnostic strip 10-1 is different from its original shape by tilting the photographing angle. It is determined that the barcode is distorted, and the image of the distorted barcode 11-1 and/or the diagnostic strip 10-1 is corrected to obtain a barcode 11-2 having the same or similar shape as the original shape and/or An image of the diagnostic strip 10-2 may be acquired.
  • the shadow processing unit 213 may recognize a shadow generated on one surface 10A of the diagnostic strip 10 based on the shadow recognition area 13 and determine whether or not it exists. For example, the shadow processing unit 213 acquires at least one line of image data (pixel values) from one end to the other end of the shadow recognition area 13, and the difference between the maximum value and the minimum value of the obtained image data. By comparing the , it is possible to determine whether a shadow exists.
  • the shadow processing unit 213 determines that a shadow exists when the difference between the maximum value and the minimum value of the acquired image data is greater than a predefined reference value (eg, 60), and conversely, the acquired image data If the difference between the maximum value and the minimum value of is smaller than a predefined reference value, it may be determined that no shadow exists. If it is determined that a shadow exists in the diagnostic strip 10, the shadow processing unit 213 converts the value of each pixel corresponding to the shadow or sends a control signal to the output unit 107, etc., depending on the embodiment, so that the user Re-photographing may be requested, or a control signal may be transmitted to the photographing unit 101 so that the photographing unit 101 may perform re-photographing. Conversely, if it is determined that no shadow exists in the diagnostic strip 10, the shadow processing unit 213 may determine that the corresponding image is suitable for normalization processing and transmit the corresponding image to the normalization processing unit 230.
  • a predefined reference value eg, 60
  • the normalization unit 230 may receive an image from the image generator 201 or the image preprocessor 210 and normalize the image. When the image is normalized by the normalizer 230, light reflection present in the image may also be corrected.
  • FIG. 6 is a block diagram of a normalization processing unit according to an embodiment
  • FIG. 7 is a diagram for explaining an example of an operation for determining a location of a region to be recognized.
  • the normalization processing unit 230 includes a recognition target region location determination unit 231, a histogram generation unit 232, a histogram conversion unit 233, a histogram correction unit 234, and a statistical value calculation unit. (235).
  • a recognition target region location determination unit 231 the recognition target region location determining unit 231, the histogram generating unit 232, the histogram converting unit 233, the histogram correcting unit 234, and the statistical value calculation unit 235 may be omitted.
  • the recognition target region position determining unit 231 may recognize a central target region (for example, the fourth target region 14-4) located at the center of the target regions 14-1 to 14-13.
  • a central target region for example, the fourth target region 14-4 located at the center of the target regions 14-1 to 14-13.
  • the barcode 11 The length of the line segment L11 connecting the center point 11D detected by the barcode center point recognizing unit 211 at one corner 11A (ie, one finder pattern) of and one target area at the center point 11D, an example A point (14-1A, which may include the center point of the first target region 14-1) within the first target region 14-1 located at the most edge among the target regions 14-1 to 14-13 is The ratio between the lengths of the connecting line segments L12 is constant.
  • the designer makes the distance between the center point 11D and the point 14-1A of the first target region 14-1 twice the distance between the corner 11A and the center point 11D.
  • the location of the first target area 14-1 may be determined, and the first target area 14-1 may be drawn, printed, or attached to the corresponding location.
  • the barcode 11 is a QR code
  • the QR code since the QR code has a substantially square shape, if one point 14-1A of the first target area 14-1 is the center point from the other corner 11B. It is located on the extension line L12 of the line segment (L2 in FIG.
  • the distance between the point 14-1A of the first target area 14-1 and the point 14-4A of the fourth target area 14-4 is If the distance to a point 14-1A of the region 14-1 is given by twice the distance between the corner 11A and the center point 11D, the distance between the corner 11A and the center point 11D. ⁇ 2 times or 1/ ⁇ 2 times the distance between the center point 11D and a point 14-1A of the first target area 14-1.
  • a point 14-1A of one target area for example, the first target area 14-1
  • a point of another target area for example, the second target area 14-2
  • the distance between 14-2A is the distance between a point 14-1A of the first target area 14-1 and a point 14-4A of the fourth target area 14-4. It may be given according to the number of (14-1 to 14-4). For example, the distance between one point 14-1A of one target area 14-1 and one point 14-2A of another target area 14-2 adjacent to one corner 11A and It may be given as ( ⁇ 2)/3 times the distance between the center points 11D.
  • the size of the barcode 11 formed on the diagnostic strip 10 (specifically, the distance between the finder patterns 11A and 11B and the center point 11D of the barcode 11) can be checked, at least one to detect the position of the target regions 14-1 to 14-13 and the position of each center point (14-1A to 14-4A, etc.) of the at least one target region 14-1 to 14-13. do.
  • Each of the at least one detected target region 14 - 1 to 14 - 13 may be transferred to the histogram generator 232 .
  • FIG. 8 is a diagram for explaining an example of a histogram generation process for a region to be recognized
  • FIG. 9 is a graph showing an example of a histogram for a region to be recognized.
  • the histogram generator 232 may obtain histogram data using values of respective pixels belonging to at least one target region 14 - 1 to 14 - 13 of the recognition target region 14 . For example, as shown in FIG. 8 , the histogram generating unit 232, given at least one target region (14-k, where k is a natural number of 1 or more) is given, the histogram generator 232 may generate a plurality of targets within the at least one target region 14-k.
  • At least one histogram 20 corresponding to the target region 14-k may be generated as shown in FIG. 9 by arranging in a predefined order.
  • each data (for example, RGB values) from a point (R0, R0) at the top left of the target area 14-k to the top right (R0, Ry), a point just below the top left (R1, R0) ) to the upper right lower point (R1, Ry) or the data from the lower left point (Rx, R0) to the lower right point (Rx, Ry) sequentially according to each position.
  • each pixel value may include an R value, a G value, and a B value
  • the histogram 20 for the target region 14-k is also a histogram for R values, a histogram for G values, and a histogram for G values.
  • a histogram of B values may be included.
  • the histogram generator 232 may generate at least one histogram 20 by obtaining data from all points within the target area 14-k, or may generate at least one histogram 20 within the target area 14-k. At least one histogram 20 may be generated by obtaining each data from a part of the area. In the latter case, for example, the histogram generating unit 232 may generate at least one histogram 20 by acquiring corresponding data from the rest of the target area 14-k except for the boundary and its surroundings. do. In this case, the remainder of the target area 14-k except for the boundary and its surroundings may correspond to approximately 90% of the target area 14-k.
  • the histogram conversion unit 233 may convert one or more generated histograms 20 to generate one or more new histograms.
  • the histogram conversion unit 233 may rescale each data of at least one histogram. For example, the histogram conversion unit 233 performs rescaling of the R value of a specific pixel, rescaling of the G value of the specific pixel, and rescaling of the B value of the specific pixel, respectively. A rescaling progress of the values may be obtained, and based on this, a rescaled histogram for R values, a rescaled histogram for G values, and a rescaled histogram for B values may be obtained.
  • the histogram conversion unit 233 calculates, for example, the following equation for color values corresponding to at least one target region 14-1 to 14-13, that is, R value, G value, and B value, respectively. It is also possible to obtain rescaled color values for each of the at least one target region 14-1 to 14-13 by applying Equations 1 to 3.
  • R_Re, G_Re, and B_Re are rescaled R, G, and B values
  • R_Wh, G_Wh, and B_Wh are R, G, and B values for white
  • R_Bl, G_Bl, and B_ Bl is the R, G, and B values for black
  • R, G, and B are the R, G, and B values of the corresponding pixel.
  • the histogram conversion unit 233 may obtain a gray histogram based on the rescaling result for each of the R, G, and B values.
  • the gray histogram shows each R value rescaling result, each G value rescaling result corresponding to each R value rescaling result, and each R value rescaling result (and/or G value rescaling result).
  • scaling result may be obtained by calculating the average of the B value rescaling results corresponding to the scaling result).
  • At least one gray histogram corresponding to the R, G, and B values is obtained.
  • the histogram conversion unit 233 may be omitted according to embodiments.
  • the histogram correction unit 234 normalizes the histogram by performing a histogram correction process based on at least one of the at least one histogram generated by the histogram generator 232, the rescaled histogram obtained by the histogram conversion unit 233, and the gray histogram. A histogram can also be obtained.
  • the histogram correction unit 234 may first determine whether to perform the histogram correction process using at least one value of the gray histogram. For example, the histogram correction unit 234 detects a maximum value of data and a minimum value of data in the gray histogram, respectively, and the difference between the maximum value and the minimum value is a value predefined by a user or designer (eg, 30), the histogram correction process may not be performed, and conversely, if the difference between the maximum value and the minimum value is greater than a predefined value, the histogram correction process may be performed. If the histogram correction process is not performed, the corresponding histogram may be transmitted to the color correction unit 250 or the diagnosis unit 270 without additional processing.
  • the histogram correction unit 234 may first determine whether to perform the histogram correction process using at least one value of the gray histogram. For example, the histogram correction unit 234 detects a maximum value of data and a minimum value of data in the gray histogram, respectively, and the difference between the maximum
  • FIGS. 11 to 14 are charts for explaining an embodiment of a histogram correction unit.
  • Histogram correction may be performed based on two or more consecutive data belonging to a given histogram 20 .
  • the histogram correction unit 234 may include the nth data d_n of the original histogram 20, the (n ⁇ 1)th data d_n ⁇ 1 adjacent to the nth data, and the (n+1th)th data d_n ⁇ 1 ) data (d_n+1) may be used to perform histogram correction (n is a natural number greater than or equal to 1).
  • the histogram correction unit 234 selects data having the largest value among the (n ⁇ 1)th data d_n ⁇ 1, the nth data d_n, and the (n+1)th data d_n+1.
  • the original histogram 20 A first-order corrected histogram 21 corresponding to can be obtained.
  • the histogram corrector 234 performs the histogram correction in the same manner as described above or in a partially modified manner based on two or more consecutive data of the first corrected histogram 21, and the second corrected histogram 22 ) may be further acquired, and a third-order corrected histogram 23 or the like may be further obtained by repeating the above for an arbitrary limited number of times.
  • first data for example, data corresponding to coordinates (R0, R0) (d1, value is 3)
  • second data for example, data corresponding to coordinates (R1, R0) (d2, value is 5)
  • third data for example, obtaining data
  • This process can be performed for all data (d1 to d8, etc.), and accordingly, a first-order corrected histogram 21 can be obtained.
  • the histogram correction unit 234 performs second data (value is 3.5), third data (value is 3) and fourth data (value is 3) in the first-order corrected histogram 21 according to the user's selection or predefined settings.
  • the histogram correction unit 234 may also obtain a third-order correction histogram 23 from the second-order correction histogram 22 through the same process as described above.
  • the histograms 20 to 23 can be obtained sequentially as shown in FIG. 10 .
  • Equation 5 The operation of the above-described histogram correction unit 234 may be given as Equation 5 below.
  • D ⁇ (k)_n means the data value of the nth position of the k-th correction histogram 22
  • D ⁇ (k-1)_n-1, D ⁇ (k-1)_n and D ⁇ (k-1)_n+1 is the (n-1)th, nth, and (n+1)th positions of the (k-1)th correction histogram (original histogram (20) when k is 1), respectively.
  • the above-described histogram correction process may be repeated a number of times, for example, may be repeated a predetermined number of times (eg, 5 times) according to a preset bar, and/or the standard deviation of the corrected histograms 21 to 23 may be It may be repeated until it corresponds to a predefined range (eg, a range in which the value of the standard deviation is 2% or less).
  • a predefined range eg, a range in which the value of the standard deviation is 2% or less.
  • the histogram correction unit 234 performs the above-described operation on a plurality of data regularly spaced apart from each other, for example, the (n ⁇ i)th data, the nth data, and the (n+i)th data to form a histogram. It is also possible to perform correction processing (i is a natural number of 2 or greater). In addition, the histogram correction unit 234 may obtain corrected histogram(s) 21 to 23 in the same manner as described above or with a partially modified method for four or more data of the histogram 20 .
  • the overall standard deviation of each histogram 20 to 23 generally decreases in accordance with the number of iterations of the histogram correction process, and the coefficient of variation is similarly gradually decrease Accordingly, processing of data becomes relatively easier.
  • light reflection in the data can also be corrected. Light reflection refers to a situation in which light diffusely reflected from a lens surface of a camera or the like or reflected from a wall surface of a barrel is focused on an imaging device to cause light blur, thereby deteriorating the sharpness and saturation of a photographed image.
  • the statistical value calculation unit 235 may calculate and obtain statistical value(s) for at least one of the above-described original or corrected histograms 20 to 23 (for example, a finally corrected histogram).
  • the statistical value(s) may include mean, variance, standard deviation, and/or coefficient of variation.
  • Statistical values obtained for the original or corrected histograms 20 to 23 are transmitted to the color correction unit 250 or the like, and may be used by the color correction unit 250 .
  • the color correction unit 250 receives the histograms 20 to 23 corresponding to at least one of the plurality of target regions 14-1 to 14-13 by the normalization processing unit 230, and uses the histograms 20 to 23 in the image. You can also correct the color of In this case, the color correction unit 250 obtains a correction value (or correction rate) for color using the RGB correction area 12, and converts the obtained correction value or correction rate to the target areas 14-1 to 14 in the image. -13), color correction may be performed on the target regions 14-1 to 14-13. In this case, for color correction of the target regions 14-1 to 14-13, the above-described histograms 20 to 23 or statistical value(s) thereof may be used.
  • the image-based diagnosis apparatus 100 can obtain more accurate values for the colors represented by the target regions 14-1 to 14-13, based on which, whether or not the color is discolored. By more precisely determining the , the diagnosis of the subject can be performed more elaborately.
  • the color corrected image by the color correction unit 250 may be transmitted to the diagnosis unit 270 or may be transmitted to the storage unit 103 or the output unit 107 .
  • the diagnosis unit 270 is based on the image data of the target regions 14-1 to 14-3 transmitted from the normalization processing unit 230 or the color correction unit 250 or the histograms 20 to 23 corresponding thereto.
  • a patient's disease can be diagnosed.
  • the diagnosis unit 270 may diagnose the subject's disease by using a reference table including discolored values of the target regions 14-1 to 14-13 and diseases corresponding thereto.
  • a reference table or the like may be built in the storage unit 103 in the form of a database.
  • the diagnostic unit 270 converts the discolored values of the target regions 14-1 to 14-13 into at least one learning model (deep neural network, convolutional neural network, long-term short-term memory, generative adversarial network, or conditional generative adversarial).
  • diagnosis unit 270 may be stored in the storage unit 103 or provided to a user or the like through the output unit 107 .
  • a program prepared for the above-described processing may be stored in the storage unit 103, and the processor 200 drives such a program to perform the above-described image generation, image correction, normalization, color correction, and diagnosis operations. At least one of these may be performed.
  • the above-described image-based diagnosis apparatus 100 may be implemented using a specially designed processing device capable of performing image generation, image correction, normalization, color correction, and/or diagnosis operations as described above, or at least It may be implemented by using one known information processing device alone or in combination.
  • the at least one information processing device is, for example, a desktop computer, a laptop computer, a server hardware device, a smart phone, a tablet PC, a smart watch, a smart band, a head mounted display (HMD) device, and a handheld game machine.
  • HMD head mounted display
  • PDA Personal Digital Assistant
  • navigation device scanner device, printer device, 3D printer device, remote controller (remote control), digital television, set top box, digital media player device, media streaming device, sound playback device (artificial intelligence speakers, etc.), household appliances (e.g. refrigerators, etc.), manned or unmanned vehicles (e.g. vehicles, mobile robots, wireless model vehicles, robot vacuum cleaners, etc.), manned or unmanned aerial vehicles (e.g.
  • airplanes, helicopters, Drones, model airplanes, model helicopters, etc. medical devices (X-ray imaging devices, computed tomography (CT), mammography devices or magnetic resonance imaging (MRI) devices, etc.), robots (home use, industrial or military) or mechanical devices (industrial or military), but is not limited thereto, and may include various devices that designers or users can consider depending on situations or conditions.
  • medical devices X-ray imaging devices, computed tomography (CT), mammography devices or magnetic resonance imaging (MRI) devices, etc.
  • robots home use, industrial or military
  • mechanical devices industrial or military
  • 15 is a flowchart of a method of controlling an image-based diagnostic system according to an embodiment.
  • the diagnostic strip may include a barcode (one-dimensional barcode or QR code, etc.) and a recognition area for diagnosis, as shown in FIG. 2, and may further include an RGB correction area or a shadow recognition area as needed.
  • an RGB correction area, a barcode, a shadow recognition area, and a recognition area for diagnosis may be sequentially arranged, but is not limited thereto.
  • the barcode may be used to detect the size, magnification, direction, and/or inclination of the diagnosis stream, and identify any one target area (for example, a central target area) among a plurality of target areas within a recognition area for diagnosis. may also be used for
  • the recognition area for diagnosis may be prepared to change color according to an object acquired from the test subject so as to detect whether or not the subject has a disease.
  • the RGB correction area may be used as a standard for RGB correction, and may include, for example, at least one of a red area, a green area, a blue area, a white area, and a black area.
  • the shadow recognition area is an area having a single color such as white, and may be used to determine whether a shadow exists.
  • the photographed image may be primarily corrected (310). For example, based on at least two of the finder patterns located at the corners of the barcode (for example, a QR code), it is determined whether the shape of the barcode is a rectangle or a square according to a predetermined shape, and if the shape of the barcode is trapezoid or , parallelogram, etc., image correction may be performed so that the captured barcode matches the original barcode shape. In addition, the presence or absence of a shadow may be determined, and the shadow may be corrected or re-photographed on the diagnostic strip, if necessary. In addition, the center point of the barcode (for example, QR code) of the captured image may be obtained in the corresponding process.
  • the finder patterns located at the corners of the barcode for example, a QR code
  • a location of at least one target region of the region to be recognized may be determined based on the barcode.
  • the position of the desired target area may be obtained based on the size of the barcode (for example, the distance between the finder pattern and the center point) of the barcode, and more specifically, the distance between the finder pattern of the barcode and the center point of the barcode, and which When the distance between one target area (for example, the first target area) is determined, the distance between the first target area and the desired target area is obtained from a ratio thereof, and based on this, the location of the desired target area is determined, , it is possible to detect the target area based on this.
  • a histogram may be generated using the value of each pixel belonging to the at least one target region (330).
  • the histogram may be generated by extracting data (pixel values) for each point in at least one target area in a zigzag form from an upper left corner to a lower right corner, and sequentially arranging the extracted data.
  • the generated histogram may include a histogram for R values, a histogram for G values, and a histogram for B values. Generation of the histogram may be performed based on data of all zones within the target area or based on data of some zones.
  • the generated histogram may be transformed (340) according to an embodiment.
  • histograms eg, a histogram for R values, a histogram for G values, and a histogram for B values
  • histograms may be rescaled to obtain rescaled histograms, respectively, and gray histograms may be rescaled as needed. It can also be obtained from a histogram.
  • the rescaled histogram may be obtained using Equations 1 to 3 above.
  • the gray histogram may be calculated based on an average of R value rescaling results, G value rescaling results, and B value rescaling results as described in Equation 4 above.
  • Histogram correction processing may be sequentially performed (350).
  • the histogram correction is also arranged to be performed only when the difference between the maximum value of the data and the minimum value of the data in the gray histogram is greater than a predefined value (eg, 30) by the user or designer. possible.
  • Correction of the histogram may be performed based on two or more consecutive data, for example, two or more adjacent data in the histogram (for example, the (n-1)th data, the nth data, and the (n+1)th data ) may be used.
  • the histogram correction may be performed multiple times, and accordingly, a first-order corrected histogram to an m-order corrected histogram may be sequentially obtained (m is a natural number greater than or equal to 1).
  • the iterative correction of the histogram may be performed according to the number of times predefined by the user or designer, and/or the standard deviation of the mth-order corrected histogram is within a predefined range (e.g., standard It may be performed until the value of the deviation corresponds to a range of 2% or less).
  • the m-order corrected histogram is any consecutive three data ((n-1)th data, n-th data, and (n+1)th data in the (m-1)th corrected histogram. ), the average of the values of the remaining two data values excluding the data with the largest value among the data of a predetermined coordinate (for example, the coordinate corresponding to the nth data of the three data of the (m-1) th corrected histogram) (example , n-th data) may be generated.
  • the obtained histogram may be stored in a predetermined storage medium, provided visually or audibly to a user or designer, or transmitted to other information processing devices, etc., depending on circumstances.
  • statistical value(s) for the m-order corrected histogram may be calculated and obtained (360).
  • the statistical value(s) may include mean, variance, standard deviation, and/or coefficient of variation.
  • RGB correction for the target area may be further performed based on the RGB correction area of the diagnosis stream (370). Correction of the target region may be performed based on a histogram corresponding to the target region. Specifically, the RGB correction for the target area may be performed by obtaining a color correction ratio using the RGB correction area formed on the diagnostic strip and performing color correction for the target area based on the obtained correction ratio. In this case, and a corrected histogram for the target area may be used. According to this correction, it is possible to accurately determine the color of the target area.
  • diagnosis of the subject may be performed based on images of the target region or a histogram corresponding thereto (380). Diagnosis of the subject may be performed using a pre-built database or may be performed based on a learning model.
  • the diagnosis result may be stored in a separate storage medium, provided visually or audibly to a user, etc., and/or transmitted to another information processing device.
  • the control method of the image-based diagnosis system 1 may be implemented in the form of a program that can be driven by a computer device.
  • the program may include commands, libraries, data files, and/or data structures alone or in combination, and may be designed and manufactured using machine language codes or high-level language codes.
  • the program may be specially designed to implement the above-described method, or may be implemented using various functions or definitions known and usable to those skilled in the art in the field of computer software.
  • the computer device may be implemented by including a processor or a memory capable of realizing program functions, and may further include a communication device as needed.
  • a program for implementing the control method of the image-based diagnosis system described above may be recorded on a computer-readable recording medium.
  • Recording media readable by a computer include, for example, semiconductor storage media such as a solid state drive (SSD), ROM, RAM, or flash memory, magnetic disk storage media such as a hard disk or floppy disk, or a compact disk or DVD. It may include at least one type of physical storage medium capable of temporarily or non-temporarily storing one or more programs that are executed according to a call from a computer, such as an optical recording medium such as a disk or a magneto-optical recording medium such as a floptical disk. .
  • an abnormal image-based diagnosis system and control method thereof are not limited to the above-described embodiments.
  • Various other devices or methods that can be implemented by modifying and transforming based on the above-described embodiments by those skilled in the art may also be an embodiment of the above-described image-based diagnosis device or image-based diagnosis system control method.
  • the described method(s) may be performed in an order different from that described, and/or component(s) of a described system, structure, device, circuit, etc. may be coupled, connected, or otherwise used in a manner other than described. Even if they are combined or substituted or substituted by other components or equivalents, the above-described image-based diagnosis apparatus or image-based diagnosis system control method may be an embodiment.
  • the present invention relates to an image-based diagnostic system and a method for controlling the same, and has industrial applicability capable of appropriately normalizing data of a captured image, effectively removing light reflection present in the image, and reinforcing device recognition power of a code.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Image Processing (AREA)

Abstract

영상 기반 진단 시스템 및 이의 제어 방법에 관한 것으로, 영상 기반 진단 시스템은 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립 및 상기 진단 스트립에 대한 영상을 획득하고, 상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하고, 상기 목표 영역에 대한 히스토그램을 생성하고, 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 장치를 포함하되, 상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하도록 마련될 수 있다.

Description

영상 기반 진단 시스템 및 이의 제어 방법
영상 기반 진단 시스템 및 이의 제어 방법에 관한 것이다.
카메라나 스마트폰 등을 이용하여 영상을 촬영하는 경우, 외부의 광은 렌즈를 통해 집속되고 집속된 광은 이미지 센서에 의해 수신되고, 이미지 센서는 수신한 광에 대응되는 전기적 신호를 출력하고, 출력된 전기적 신호를 조합하여 영상이 생성된다. 그런데, 입사된 광은 렌즈에 의해 난반사되거나 또는 배럴 내부 벽면 등에 의해 반사되고, 이미지 센서는 이와 같이 집속된 광뿐만 아니라 반사된 광도 수신하고, 이들 광의 조합에 대응하는 전기적 신호를 출력하기 때문에, 영상은 빛 반사에 따른 노이즈도 포함하여 생성되게 된다. 이러한 빛 반사에 따른 노이즈는 영상의 선명도를 낮추거나, 영상 상에 과다 노출에 따른 빛 번짐을 발생시키거나 또는 영상의 채도를 변화시켜 영상의 피사체의 색상이 원래의 피사체의 색상과 상당히 상이하게 하는 것 등의 문제점을 야기하였다. 이러한 촬영된 영상과 원래의 피사체 간의 차이는, 촬영된 영상을 이용하여 진단을 수행하는 진단 장치의 진단 정확성과 성능을 저하하는 원인이 되어 왔다. 또한, 이러한 빛 반사는 바코드(QR 코드)의 정확한 인식을 저해하는 요소로도 작용하였다.
촬영된 영상을 기반으로 정확한 진단을 수행할 수 있도록 영상의 데이터에 대한 적절한 정규화를 수행할 수 있는 영상 기반 진단 시스템 및 이의 제어 방법을 제공하는 것을 해결하고자 하는 과제로 한다.
상술한 과제를 해결하기 위하여 영상 기반 진단 시스템 및 이의 제어 방법이 제공된다.
영상 기반 진단 시스템은 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립 및 상기 진단 스트립에 대한 영상을 획득하고, 상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하고, 상기 목표 영역에 대한 히스토그램을 생성하고, 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 장치를 포함하되, 상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성할 수도 있다.
상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성할 수도 있다.
상기 영상 기반 진단 장치는, 미리 정의된 회수로 또는 상기 새로운 보정된 히스토그램의 표준편차가 미리 정의된 범위에 해당할 때까지 상기 목표 영역에 대한 새로운 보정된 히스토그램의 생성을 반복 수행할 수도 있다.
상기 진단 스트림에는 RGB 보정 영역이 더 형성될 수 있으며, 상기 영상 기반 진단 장치는, 상기 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하고, 상기 보정 비율 및 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 색 보정을 수행하도록 마련될 수도 있다.
상기 영상 기반 진단 장치는, 색 보정이 수행된 상기 목표 영역을 이용하여 진단을 수행할 수도 있다.
상기 영상 기반 진단 장치는, 상기 바코드를 기반으로 상기 바코드의 형상을 보정하여 진단 스트림에 대한 영상을 보정하거나, 상기 진단 스트립에 형성된 그림자 인식 영역을 기반으로 그림자의 존재 여부를 판단하는 것도 가능하다.
상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램에 대한 리스케일링된 히스토그램을 획득하고, 상기 리스케일링된 히스토그램을 이용하여 그레이 히스토그램을 획득하고, 상기 그레이 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성할 수도 있다.
영상 기반 진단 방법은, 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립에 대한 영상을 획득하는 단계, 상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하는 단계, 상기 목표 영역에 대한 히스토그램을 생성하는 단계 및 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계를 포함하고, 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계는, 상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계를 포함할 수 있다.
영상 기반 진단 방법은, 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 단계를 더 포함할 수도 있다.
상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 단계는, 미리 정의된 회수로 또는 상기 새로운 보정된 히스토그램의 표준편차가 미리 정의된 범위에 해당할 때까지 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램의 생성을 반복 수행하는 단계를 포함할 수도 있다.
영상 기반 진단 방법은, 상기 진단 스트립에 형성된 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하는 단계 및 상기 보정 비율 및 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 색 보정을 수행하는 단계를 더 포함할 수도 있다.
영상 기반 진단 방법은, 색 보정이 수행된 상기 목표 영역을 이용하여 진단을 수행하는 단계를 더 포함하는 것도 가능하다.
영상 기반 진단 방법은, 상기 바코드를 기반으로 상기 바코드의 형상을 보정하여 진단 스트림에 대한 영상을 보정하는 단계 및 상기 진단 스트립에 형성된 그림자 인식 영역을 기반으로 그림자의 존재 여부를 판단하는 단계 중 적어도 하나를 더 포함할 수도 있다.
영상 기반 진단 방법은, 상기 목표 영역에 대한 히스토그램에 대한 리스케일링된 히스토그램을 획득하는 단계 및 상기 리스케일링된 히스토그램을 이용하여 그레이 히스토그램을 획득하는 단계를 더 포함하는 것도 가능하다.
상술한 영상 기반 진단 시스템 및 이의 제어 방법에 의하면, 촬영된 영상의 데이터를 적절하게 정규화하여 영상을 기반으로 하는 진단을 더욱 정확하게 수행할 수 있게 된다.
상술한 영상 기반 진단 시스템 및 이의 제어 방법에 의하면, 영상에 존재하는 빛 반사를 효과적으로 제거하여 영상 기반의 진단 성능을 개선시킬 수 있는 효과도 얻을 수 있다.
상술한 영상 기반 진단 시스템 및 이의 제어 방법에 의하면, 진단 스트립에 형성된 바코드나 큐알 코드 등에 대한 장치의 인식력을 보강할 수 있게 되고, 이를 기반으로 진단 스트림을 더욱 정확하게 분석할 수 있게 되는 효과도 얻을 수 있다.
도 1은 영상 기반 진단 시스템의 일 실시예에 대한 개요도이다.
도 2는 진단 스트립의 일 실시예에 대한 도면이다.
도 3은 영상 기반 진단 장치의 일 실시예에 대한 블록도이다.
도 4는 영상 보정부의 일 실시예에 대한 블록도이다.
도 5는 QR코드의 촬영 각도 보정의 일례를 설명하기 위한 도면이다.
도 6은 정규화 처리부의 일 실시예에 대한 블록도이다.
도 7은 인식대상영역의 위치 판별 동작의 일례를 설명하기 위한 도면이다.
도 8은 인식대상영역에 대한 히스토그램 생성 과정의 일례를 설명하기 위한 도면이다.
도 9는 인식대상영역에 대한 히스토그램의 일례를 도시한 그래프 도면이다.
도 10은 보정 결과에 따른 히스토그램의 변화를 도시한 도면이다.
도 11 내지 14는 히스토그램 보정부의 일 실시예를 설명하기 위한 도표이다.
도 15는 영상 기반 진단 시스템의 제어 방법의 일 실시예의 흐름도이다.
이하 명세서 전체에서 동일 참조 부호는 특별한 사정이 없는 한 동일 구성요소를 지칭한다. 이하에서 사용되는 '부'가 부가된 용어는, 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 실시예에 따라 하나의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 복수의 '부'가 하나의 물리적 또는 논리적 부품으로 구현되거나, 하나의 '부'가 복수의 물리적 또는 논리적 부품들로 구현되는 것도 가능하다. 명세서 전체에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 어떤 부분과 다른 부분이 상호 간에 물리적으로 연결되었음을 의미할 수도 있고, 및/또는 전기적으로 연결되었음을 의미할 수도 있다. 또한, 어떤 부분이 다른 부분을 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 부분 이외의 또 다른 부분을 제외하는 것이 아니며, 설계자의 선택에 따라서 또 다른 부분을 더 포함할 수 있음을 의미한다. 제1 내지 제N(N은 1 이상의 자연수) 등의 표현은, 적어도 하나의 부분(들)을 다른 부분(들)으로부터 구분하기 위한 것으로, 특별한 기재가 없는 이상 이들이 순차적임을 반드시 의미하지는 않는다. 또한 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함할 수 있다.
이하 도 1 내지 도 14를 참조하여, 진단 스트립 및 영상 기반 진단 장치를 포함하는 영상 기반 진단 시스템의 일 실시예를 설명한다.
도 1은 영상 기반 진단 시스템의 일 실시예에 대한 개요도이고, 도 2는 진단 스트립의 일 실시예에 대한 도면이며, 도 3은 영상 기반 진단 장치의 일 실시예에 대한 블록도이다.
도 1 내지 도 3에 도시된 바를 참조하면, 영상 기반 진단 시스템(1)은, 일 실시예에 있어서, 적어도 하나의 진단 스트립(10)과, 적어도 하나의 진단 스트립(10)에서 방출되거나 반사된 광(9, 가시광 등)을 수신하는 영상 기반 진단 장치(100)를 포함하되, 영상 기반 진단 장치(100)는, 수신광(9)에 대응하여 적어도 하나의 진단 스트림(10)을 포함하는 영상을 생성하고, 생성한 영상에 대한 적어도 하나의 처리를 수행하여 최종 영상(정지영상 또는 동영상)을 획득하고, 필요에 따라, 획득한 최종 영상에 대한 분석 결과를 기반으로 피검자(일례로 인체 또는 동물 등)에 대한 진단을 수행할 수 있도록 마련된다.
진단 스트립(10)은, 도 2에 도시된 바와 같이, 적어도 일 면(10A)에 형성된 바코드(11), RGB 보정 영역(12), 그림자 인식 영역(13) 및 진단용 인식 영역(14)을 포함할 수 있다. 바코드(11), RGB 보정 영역(12), 그림자 인식 영역(13) 및 진단용 인식 영역(14)은, 직접 인쇄나, 인쇄된 이미지의 부착 등을 통해 진단 스트림(10)의 일 면(10A)에 형성될 수 있다. 실시예에 따라서, 바코드(11), RGB 보정 영역(12), 그림자 인식 영역(13) 및 진단용 인식 영역(14)은 모두 동일한 면(10A)에 형성될 수도 있고 또는 일부는 서로 상이한 둘 이상의 면(일례로 일 면(10A) 및 이의 반대면)에 형성될 수도 있다. 또한, 설계자의 선택에 따라서, RGB 보정 영역(12), 바코드(11) 및 그림자 인식 영역(13) 중 적어도 하나는 생략될 수도 있다.
바코드(11)는, 진단 스트림(10)의 크기, 배율, 방향 및/또는 기울어짐 등을 감지하기 위해 이용되거나, 또는 진단용 인식 영역(14)에 대한 중심, 일례로 진단용 인식 영역(14) 내에서 적어도 하나의 영역(14-1 내지 14-13, 이하 목표 영역) 중에서 가장 중앙에 위치한 영역(이하 중심 목표 영역, 일례로 제4 목표 영역(14-4) 등을 인식하기 위해 이용될 수 있다. 따라서, 영상 기반 진단 장치(100)는 목표 영역(14-1 내지 14-13)을 보다 정확한 형태 및 크기로 인식하고 이를 기반으로 진단을 수행할 수 있게 된다. 바코드(11)는, 일 실시예에 있어서, 1차원 바코드 및 2차원 바코드(이하 QR 코드) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
RGB 보정 영역(12)은, 영상 기반 진단 장치(100)에 의한 RGB 보정의 기준으로 이용될 수 있으며, 예를 들어, 적색(R) 영역, 녹색(G) 영역 및 청색(B) 영역을 포함하고, 필요에 따라 백색 영역 및 흑색 영역 중 적어도 하나를 더 포함할 수 있다. 이들 각각의 영역은 대략 정사각형 또는 직사각형의 형상을 가질 수 있으나, 이에 한정되는 것은 아니다. RGB 보정 영역(12)은, 바코드(11)의 상단에 위치할 수도 있다.
그림자 인식 영역(13)은, 영상 기반 진단 장치(100)가 진단 스트림(10)의 일 면(10A)에 그림자가 존재하는지 여부를 감지할 수 있도록 마련된다. 그림자 인식 영역(13)은 빈 공백 영역을 포함할 수 있으며, 빈 공백 영역에는 어떠한 모양도 도시 또는 인쇄되어 있지 않고, 오직 단색(일례로 백색)으로 채색되어 있을 수도 있다. 그림자 인식 영역(13)은, 바코드(11)의 하단에 위치할 수도 있으며, 바코드(11) 및 진단용 인식 영역(14) 사이에 배치되는 것도 가능하다.
진단용 인식 영역(14)은, 영상 기반 진단 장치(100)가 피검자의 질환 발생 여부 등을 감지하기 위해 이용된다. 진단용 인식 영역(14)은, 하나 또는 둘 이상의 목표 영역(14-1 내지 14-13)을 포함할 수 있다. 이 경우, 각각의 목표 영역(14-1 내지 14-13)은 모두 동일한 형상을 갖거나, 일부는 동일하고 다른 일부는 상이한 형상을 갖거나 또는 모두 상이한 형상을 가질 수 있다. 여기서, 형상은, 정사각형, 직사각형, 원, 타원 또는 삼각형 등을 포함할 수 있다. 또한, 각각의 목표 영역(14-1 내지 14-13)은 서로 상이한 색상을 갖을 수도 있다. 각각의 목표 영역(14-1 내지 14-13)은, 해당 영역(14-1 내지 14-13)에 묻은 성분에 따라 변색될 수 있는 소재로 형성된 것일 수 있다. 예를 들어, 목표 영역(14-1 내지 14-13) 중 적어도 하나에는 피검자로부터 획득된 피검체(일례로 혈액이나 소변 등)가 묻을 수 있으며, 해당 목표 영역(14-1 내지 14-13 중 적어도 하나)은 이에 따라 변색된다. 영상 기반 진단 장치(100)는, 목표 영역(14: 14-1 내지 14-13)의 변색을 기반으로 피검자의 질병을 판단할 수 있다.
진단 스트립(10)은, 종이, 합성수지, 고무 및/또는 금속 등의 소재를 이용하여 제작된 것일 수 있으며, 실시예에 따라서 피검자의 피검체를 묻힐 수 있는 부분이 별도로 마련된 전자 장치를 이용하여 구현될 수도 있다.
영상 기반 진단 장치(100)는 도 3에 도시된 바와 같이, 촬영부(101) 및 프로세서(200)를 포함할 수 있으며, 필요에 따라, 저장부(103), 입력부(105) 및 출력부(107) 중 적어도 하나를 더 포함할 수 있다. 촬영부(101), 저장부(103), 입력부(105), 출력부(107) 및 프로세서(200) 중 적어도 둘은 상호 회로 라인이나, 케이블이나 또는 무선 통신 네트워크를 통해, 일방으로 또는 쌍방으로 데이터나 지시 등을 전달할 수 있게 마련된다.
촬영부(101)는 진단 스트립(10)의 일 면(10A)의 전부 또는 일부를 촬영할 수 있다. 구체적으로, 촬영부(101)는, 진단 스트립(10)으로부터 전달되는 광(9)을 수신하고, 수신한 광(9)에 대응하여 전기적 신호를 획득하고, 획득된 전기적 신호를 저장부(103) 또는 프로세서(200)로 전달할 수 있다. 촬영부(101)는, 소정의 영상 촬영 모듈을 이용하여 구현될 수 있으며, 영상 촬영 모듈은, 광을 집속하기 위한 렌즈와, 수광한 광(9)을 전기적 신호로 변환하는 촬상소자(일례로 전하결합소자(CCD: Charge Coupled Device)나 금속산화물반도체(CMOS: complementary metal-oxide semiconductor)) 등을 포함할 수 있다. 실시예에 따라서, 촬영부(101)는 영상 기반 진단 장치(100)와 물리적으로 분리되어 있을 수 있으며, 이 경우, 촬영부(101)는, 디지털 카메라, 스마트폰, 태블릿 피씨, 웹 캡 또는 스캐너 장치 등을 이용하여 구현될 수도 있다.
저장부(103)는, 영상 기반 진단 장치(100)의 동작에 필요한 데이터나 프로그램(앱, 애플리케이션 또는 소프트웨어 등으로 지칭 가능함)을 일시적 또는 비일시적으로 저장할 수 있다. 예를 들어, 저장부(103)는 촬영부(101)가 출력한 전기적 신호, 프로세서(200)의 처리 과정에서 생성된 데이터(일례로 영상, 원 히스토그램 또는 적어도 1회 이상 보정된 히스토그램 등) 및/또는 프로세서(2000의 최종 판단 결과 등을 수신하여 저장할 수도 있다. 또한, 저장부(103)는, 프로세서(200)의 동작에 관한 프로그램 코드를 저장할 수도 있다. 여기서, 프로그램 코드는, 프로그래머 등의 설계자에 의해 직접 작성 또는 수정된 후 저장부(103)에 저장된 것일 수도 있고, 다른 물리적 기록 매체(외장 메모리 장치나 콤팩트 디스크(CD) 등)로부터 전달받은 것일 수도 있으며, 및/또는 유무선 통신 네트워크를 통해 접속 가능한 전자 소프트웨어 유통망을 통하여 획득 또는 갱신된 것일 수도 있다. 저장부(103)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있고, 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현될 수 있으며, 보조기억장치는, 플래시 메모리 장치(솔리드 스테이트 드라이브(SSD, Solid State Drive) 등), SD(Secure Digital) 카드, 자기 테이프, 하드 디스크 드라이브(HDD), 콤팩트 디스크 및/또는 디브이디(DVD) 등을 포함할 수 있다.
입력부(105)는, 영상 기반 진단 장치(100)의 동작을 위한 명령이나 데이터 등을 사용자나 다른 장치(일례로 스마트폰이나 서버용 하드웨어 장치 등)로부터 전달 받을 수 있다. 사용자 등(피검자, 의료인 또는 보호자 등)은 입력부(105)를 조작하여 촬영부(101)가 진단 스트립(10)을 촬영하도록 하거나, 프로세서(200)가 영상 처리나 진단 등의 동작을 수행하도록 할 수 있다. 입력부(105)는, 예를 들어, 키보드, 마우스, 태블릿, 터치 스크린, 터치 패드, 트랙 볼, 트랙패드, 초음파 스캐너, 동작 감지 센서, 진동 센서, 수광 센서, 감압 센서, 근접 센서 및/또는 마이크로 폰 등을 포함할 수도 있고, 외부의 다른 장치(일례로 휴대용 메모리 장치 등)로부터 데이터 등의 수신이 가능한 데이터 입출력 단자나, 외부의 다른 장치와 유무선 통신 네트워크를 통해 연결되는 통신 모듈(일례로 랜 카드, 근거리 통신 모듈 또는 이동통신 모듈 등) 등을 포함할 수도 있다.
출력부(107)는, 저장부(103)에 저장되거나 프로세서(200)에 의해 임시적으로 또는 최종적으로 생성된 데이터(일례로 정규화 처리된 데이터나, 진단 결과 등)를 외부로 출력하여 시각적 또는 청각적으로 사용자 등에게 제공하거나, 외부의 다른 장치로 전달할 수 있다. 출력부(107)는, 예를 들어, 디스플레이, 프린터 장치, 스피커 장치, 영상 출력 단자, 데이터 입출력 단자 및/또는 통신 모듈 등을 포함할 수 있다.
프로세서(200)는, 촬영부(101)로부터 전달된 전기적 신호를 기반으로, 영상을 생성하거나, 생성된 영상을 보정하거나, 영상을 이용하거나 또는 영상으로부터 획득된 히스토그램을 이용하여 정규화 처리를 수행하거나 및/또는 영상을 기반으로 진단 결과를 획득하는 등의 동작을 수행할 수 있다. 또한, 프로세서(200)는 필요에 다라 영상 기반 진단 장치(100)의 전반적인 동작을 제어하는 것도 가능하다. 프로세서(200)는, 예를 들어, 중앙 처리 장치(CPU: Central Processing Unit), 그래픽 처리 장치(GPU: Graphic Processing Unit), 마이크로 컨트롤러 유닛(MCU: Micro Controller Unit), 애플리케이션 프로세서(AP: Application Processor), 전자 제어 유닛(ECU: Electronic Controlling Unit), 마이컴(Micom: Micro Processor) 및/또는 이외 각종 연산 및 제어 처리를 수행할 수 있는 적어도 하나의 전자 장치 등을 포함할 수 있다. 이들 처리 또는 제어 장치는, 예를 들어, 하나 또는 둘 이상의 반도체 칩, 회로 또는 관련 부품 등을 단독으로 이용하거나 조합하여 구현 가능하다.
프로세서(200)는 일 실시예에 있어서, 도 3에 도시된 바와 같이, 영상 생성부(201), 영상 전처리부(210), 정규화 처리부(230), 색상 보정부(250) 및 진단부(270)를 포함할 수 있다. 영상 생성부(201), 영상 전처리부(210), 정규화 처리부(230), 색상 보정부(250) 및 진단부(270) 중 적어도 둘은 논리적으로 구분된 것일 수도 있고 물리적으로 구분된 것일 수도 있다. 실시예에 따라서, 영상 생성부(201), 영상 전처리부(210), 정규화 처리부(230), 색상 보정부(250) 및 진단부(270) 중 적어도 하나는 생략되는 것도 가능하다.
영상 생성부(201)는 촬영부(101)로부터 촬영부(101)과 수광한 광에 대응하는 전기적 신호를 수신하고, 수신한 전기적 신호의 전부 또는 일부를 조합하여 진단 스트립(10)의 일 면(10A)의 전부 또는 일부에 대한 영상을 생성할 수 있다. 따라서, 영상 생성부(201)에 의해 생성되는 영상에는, 진단 스트림(10)의 모든 영역, 일례로 바코드(11), RGB 보정 영역(12), 그림자 인식 영역(13) 및 진단용 인식 영역(14)이 존재할 수도 있고, 이들(11 내지 14) 중 일부, 일례로 진단용 인식 영역(14) 등만이 존재할 수도 있다. 생성된 영상은 영상 전처리부(210)로 전달될 수 있다.
도 4는 영상 보정부의 일 실시예에 대한 블록도이고, 도 5는 QR코드의 촬영 각도 보정의 일례를 설명하기 위한 도면이다.
영상 전처리부(210)는, 생성된 영상에 대한 정규화나 색상 보정 등을 용이하게 처리할 수 있도록 영상에 대한 사전 보정을 수행할 수 있다. 예를 들어, 영상 전처리부(210)는 도 4에 도시된 바와 같이 바코드 중심점 인식부(211), 형상 보정부(212) 및 그림자 처리부(213) 중 적어도 하나를 포함할 수 있다. 도 4에는 바코드 중심점 인식부(211), 형상 보정부(212) 및 그림자 처리부(213)가 각각 순차되는 것처럼 도시되어 있으나, 이는 예시적인 것으로, 실시예나 설계자 등의 선택에 따라서 이들의 처리 순서는 이와 상이하게 구현될 수도 있다.
바코드 중심점 인식부(211)는 획득한 영상 내에서 진단 스트립(10)의 바코드(11)의 중심점(11E)을 감지하여 인식할 수 있다. 구체적으로 바코드 중심점 인식부(211)는, 도 2를 참조하면, 바코드, 일례로 QR코드(11)의 모서리, 일례로 파인더 패턴(Finder Pattern, 11A, 11B, 11C, 11D)를 획득하고, 서로 대향하는 모서리(11A 및 11C 또는 11B 및 11D)를 연결하는 각각의 선분(L1, L2)를 획득한 후, 양 선분(L1, L2)이 교차하는 교차점(11E)을 바코드(11)의 중심점(11E)으로 검출함으로써, 바코드(11)의 중심점(11E)을 인식할 수 있다. 인식된 중심점(11E)은 촬영된 바코드(11) 또는 이를 포함하는 진단 스트립(10)을 보정하기 위해 이용될 수 있다.
형상 보정부(212)는, 바코드(11)의 모서리, 일례로 파인더 패턴(11A, 11B, 11C, 11D) 중 적어도 둘을 이용하여 바코드(11)의 형상을 보정하고, 이를 기반으로 진단 스트립(10)에 대한 영상을 보정할 수 있다. 예를 들어, 형상 보정부(212)는, 상호 측면에 배치된 파인더 패턴(11A, 11B)의 길이를 계측하여 바코드(11)의 배율을 인식할 수도 있다. 또한, 형상 보정부(212)는 상호 상하에 배치된 파인더 패턴(11B, 11C)의 길이를 계측하고, 상호 측면에 배치된 파인더 패턴(11A, 11B)의 길이와 비교하여, 도 5에 도시된 바와 같이, 바코드(11-1)가 대략 사다리꼴, 평행사변형 또는 좌우로 긴 직사각형 형상인지 판단하고, 판단 결과를 기반으로 촬영 각도가 경사져 촬영된 진단 스트립(10-1)이 원래의 형태와 상이하게 왜곡되었다고 판단하고, 형태가 왜곡된 바코드(11-1) 및/또는 진단 스트립(10-1)에 대한 영상을 보정하여 원래의 형상과 동일 또는 이에 근사한 형상의 바코드(11-2) 및/또는 진단 스트립(10-2)에 대한 영상을 획득할 수도 있다.
영상 기반 진단 장치(100)가 진단 스트립(10)을 촬영하는 경우, 주변의 광에 기인하여 진단 스트림(10)에는 영상 기반 진단 장치(100)나 다른 물체의 그림자가 존재할 수도 있다. 그림자 처리부(213)는 그림자 인식 영역(13)을 기반으로 진단 스트립(10)의 일 면(10A)에 생성된 그림자를 인식하고 이의 존재 여부를 판단할 수 있다. 예를 들어, 그림자 처리부(213)는, 그림자 인식 영역(13)의 일 말단에서 타 말단까지 적어도 일 라인의 영상 데이터(픽셀 값)을 획득하고, 획득한 영상 데이터의 최대 값과 최소 값의 차이를 비교하여 그림자의 존재 여부를 판단할 수 있다. 이 경우, 그림자 처리부(213)는, 획득한 영상 데이터의 최대 값과 최소 값의 차이가 미리 정의된 기준 값(일례로 60)보다 크다면, 그림자가 존재하는 것으로 판단하고, 반대로 획득한 영상 데이터의 최대 값과 최소 값의 차이가 미리 정의된 기준 값보다 작다면, 그림자가 존재하지 않는 것으로 판단할 수 있다. 만약 진단 스트립(10)에 그림자가 존재하는 것으로 판단되면, 그림자 처리부(213)는, 실시예에 따라서, 그림자에 대응하는 픽셀 각각의 값을 변환하거나, 출력부(107) 등에 제어 신호를 보내 사용자 등에게 재촬영을 요청하거나, 또는 촬영부(101)에 제어 신호를 전송하여 촬영부(101)가 재촬영을 수행하도록 할 수도 있다. 반대로 만약 진단 스트립(10)에 그림자가 존재하지 않는 것으로 판단되면, 그림자 처리부(213)는 해당 영상이 정규화 처리에 적합한 영상인 것으로 판단하고, 해당 영상을 정규화 처리부(230)로 전달할 수 있다.
정규화부(230)는, 영상 생성부(201) 또는 영상 전처리부(210)로부터 영상을 수신하고, 영상에 대한 정규화를 수행할 수 있다. 정규화부(230)에 의해 영상에 대한 정규화가 수행될 때, 영상 내에 존재하는 빛 반사도 보정될 수 있다.
도 6은 정규화 처리부의 일 실시예에 대한 블록도이고, 도 7은 인식대상영역의 위치 판별 동작의 일례를 설명하기 위한 도면이다.
도 6에 도시된 바를 참조하면, 정규화 처리부(230)는, 인식 대상 영역 위치 판별부(231), 히스토그램 생성부(232), 히스토그램 변환부(233), 히스토그램 보정부(234) 및 통계값 연산부(235)를 포함할 수 있다. 실시예에 따라서, 인식 대상 영역 위치 판별부(231), 히스토그램 생성부(232), 히스토그램 변환부(233), 히스토그램 보정부(234) 및 통계값 연산부(235) 중 적어도 하나는 생략 가능하다.
인식 대상 영역 위치 판별부(231)는, 목표 영역(14-1 내지 14-13) 중에서 가장 중앙에 위치한 중심 목표 영역(일례로 제4 목표 영역(14-4))을 인식할 수 있다. 구체적으로 바코드(11) 및 진단용 인식 영역(14)의 각각의 목표 영역(14-1 내지 14-3)은 진단 스트립(10)의 일 면(10A)에 인쇄되어 비가변적이므로, 바코드(11)의 일 모서리(11A, 즉, 일 파인더 패턴)에서 바코드 중심점 인식부(211)에 의해 검출된 중심점(11D)을 잇는 선분(L11)의 길이와, 중심점(11D)에서 어느 하나의 목표 영역, 일례로 목표 영역(14-1 내지 14-13) 중 가장 가장자리에 위치한 제1 목표 영역(14-1) 내의 일 지점(14-1A, 제1 목표 영역(14-1)의 중심점을 포함 가능함)을 연결하는 선분(L12)의 길이 간의 비율은 일정하다. 예를 들어, 설계자는 중심점(11D)과 제1 목표 영역(14-1)의 일 지점(14-1A)까지의 거리가, 일 모서리(11A)와 중심점(11D) 사이의 거리의 2배가 되도록 제1 목표 영역(14-1)의 위치를 결정하고, 해당 위치에 제1 목표 영역(14-1)을 도시, 인쇄 또는 부착할 수 있다. 또한, 바코드(11)가 QR코드인 경우, QR코드는 대체적으로 정사각형의 형상을 가지므로, 만약 제1 목표 영역(14-1)의 일 지점(14-1A)이 다른 모서리(11B)로부터 중심점(11D)을 지나는 선분(도 2의 L2)의 연장선(L12)에 위치하고, 다른 일부의 목표 영역(14-2 내지 14-4)이 스트립(10)의 길이 방향에 직교하는 방향으로 나란히 배치되어 있다면, 중심점(11D)과 제1 목표 영역(14-1)의 일 지점(14-1A) 사이를 잇는 선분(L12)과, 제1 목표 영역(14-1)의 일 지점(14-1A)과 중심 목표 영역(일례로 제4 목표 영역(14-4))의 일 지점(14-4A, 제4 목표 영역(14-4)의 중심점을 포함 가능함) 사이를 잇는 선분(L13) 사이의 각도(θ)는 대략 45도로 주어진다. 따라서, 제1 목표 영역(14-1)의 일 지점(14-1A)과 제4 목표 영역(14-4)의 일 지점(14-4A) 사이의 거리는, 만약 중심점(11D)과 제1 목표 영역(14-1)의 일 지점(14-1A)까지의 거리가 일 모서리(11A)와 중심점(11D) 사이의 거리의 2배로 주어졌다면, 일 모서리(11A)와 중심점(11D) 사이의 거리의 √2 배 또는 중심점(11D)과 제1 목표 영역(14-1)의 일 지점(14-1A)까지의 거리의 1/√2 배로 주어질 수 있다. 이 경우, 어느 하나의 목표 영역(일례로 제1 목표 영역(14-1))의 일 지점(14-1A)과 인접한 다른 목표 영역(일례로 제2 목표 영역(14-2))의 일 지점(14-2A) 사이의 거리는, 제1 목표 영역(14-1)의 일 지점(14-1A)과 제4 목표 영역(14-4)의 일 지점(14-4A) 사이의 거리를 목표 영역(14-1 내지 14-4)의 개수에 따라 주어질 수 있다. 예를 들어, 어느 하나의 목표 영역(14-1)의 일 지점(14-1A)과 인접한 다른 목표 영역(14-2)의 일 지점(14-2A) 사이의 거리는, 일 모서리(11A)와 중심점(11D) 사이의 거리의 (√2)/3 배로 주어질 수 있다. 그러므로, 진단 스트립(10)에 형성된 바코드(11)의 크기(구체적으로는 파인더 패턴(11A, 11B)과 바코드(11)의 중심점(11D) 사이의 거리)를 확인할 수 있으면, 이를 이용하여 적어도 하나의 목표 영역(14-1 내지 14-13)의 위치와, 적어도 하나의 목표 영역(14-1 내지 14-13) 각각의 중심점(14-1A 내지 14-4A 등)의 위치를 검출할 수 있게 된다. 검출된 적어도 하나의 목표 영역(14-1 내지 14-13)은 각각 히스토그램 생성부(232)로 전달될 수 있다.
도 8은 인식대상영역에 대한 히스토그램 생성 과정의 일례를 설명하기 위한 도면이고, 도 9는 인식대상영역에 대한 히스토그램의 일례를 도시한 그래프 도면이다.
히스토그램 생성부(232)는, 인식 대상 영역(14)의 적어도 하나의 목표 영역(14-1 내지 14-13)에 속한 각각의 픽셀의 값을 이용하여 히스토그램 데이터를 획득할 수 있다. 예를 들어, 히스토그램 생성부(232)는 도 8에 도시된 바와 같이 적어도 하나의 목표 영역(14-k, k는 1 이상의 자연수)이 주어지면, 적어도 하나의 목표 영역(14-k) 내의 복수의 지점(일례로 좌측 상단의 모서리 주변의 일 화소(R0, R0)에서부터 우측 하단의 모서리 주변의 일 화소(Rx, Ry)) 각각에 대응하는 화소 값을 획득하고, 각각에 대응하는 화소 값을 미리 정의된 순서에 따라 배치함으로써 도 9에 도시된 바와 같이 목표 영역(14-k)에 대응하는 적어도 하나의 히스토그램(20)을 생성할 수 있다. 구체적으로, 목표 영역(14-k)의 좌측 상단의 일 지점(R0, R0)로부터 우측 상단(R0, Ry)까지의 각각의 데이터(일례로 RGB값), 좌측 상단 바로 하단 지점(R1, R0)으로부터 우측 상단 바로 하단 지점(R1, Ry)까지의 각각의 데이터 내지 좌측 하단의 일 지점(Rx, R0)로부터 우측 하단의 일 지점(Rx, Ry)까지의 데이터가 각각의 위치에 따라 순차적으로 배치되어 적어도 하나의 히스토그램(20)이 생성될 수 있게 된다. 여기서, 각각의 픽셀은 값은 R값, G값 및 B값을 포함할 수 있으며, 이에 따라 목표 영역(14-k)에 대한 히스토그램(20)도 R값에 대한 히스토그램, G값에 대한 히스토그램 및 B값에 대한 히스토그램을 포함할 수 있다. 실시예에 따라서, 히스토그램 생성부(232)는, 목표 영역(14-k) 내의 모든 지점으로부터 데이터를 획득하여 적어도 하나의 히스토그램(20)을 생성할 수도 있고, 또는 목표 영역(14-k) 내의 일부의 구역으로부터 각각의 데이터를 획득하여 적어도 하나의 히스토그램(20)을 생성할 수도 있다. 후자의 경우, 예를 들어, 히스토그램 생성부(232)는 목표 영역(14-k)의 경계 및 그 주변을 제외한 나머지 부분으로부터 대응하는 데이터를 획득하여 적어도 하나의 히스토그램(20)을 생성하는 것도 가능하다. 이 경우, 목표 영역(14-k)의 경계 및 그 주변을 제외한 나머지 부분은 목표 영역(14-k)의 대략 90%에 해당할 수도 있다.
히스토그램 변환부(233)는, 하나 또는 복수의 생성된 히스토그램(20)을 변환하여 새로운 하나 또는 복수의 히스토그램을 생성할 수도 있다.
일 실시예에 의하면, 히스토그램 변환부(233)는 적어도 하나의 히스토그램의 각각의 데이터를 리스케일링할 수 있다. 예를 들어, 히스토그램 변환부(233)는, 특정 픽셀에 대한 R값에 대한 리스케일링과, 특정 픽셀에 대한 G값에 대한 리스케일링과, 특정 픽셀에 대한 B값에 대한 리스케일링을 수행하여 각 값에 대한 리스케일링 경과를 획득할 수 있고, 이를 기반으로 R값에 대한 리스케일링된 히스토그램, G값에 대한 리스케일링된 히스토그램 및 B값에 대한 리스케일링된 히스토그램을 획득할 수 있다. 여기서, 히스토그램 변환부(233)는, 예를 들어, 적어도 하나의 목표 영역(14-1 내지 14-13)에 대응하는 색상 값, 즉 R값, G값 및 B값 각각에 대해 하기의 수학식 1 내지 수학식 3을 적용하여 적어도 하나의 목표 영역(14-1 내지 14-13) 각각에 대한 리스케일링된 색상 값을 획득하는 것도 가능하다.
[수학식 1]
Figure PCTKR2022014307-appb-img-000001
[수학식 2]
Figure PCTKR2022014307-appb-img-000002
[수학식 3]
Figure PCTKR2022014307-appb-img-000003
수학식 1 내지 3에서, R_Re, G_Re 및 B_Re는 리스케일링된 R값, G값 및 B값이고, R_Wh, G_Wh 및 B_Wh는 백색에 대한 R값, G값 및 B값이며, R_Bl, G_Bl 및 B_ Bl은 흑색에 대한 R값, G값 및 B값이고, R, G 및 B는 해당 픽셀의 R값, G값 및 B값이다.
또한, 히스토그램 변환부(233)는, R값, G값 및 B값 각각에 대한 리스케일링 결과를 기반으로 그레이 히스토그램을 획득할 수도 있다. 그레이 히스토그램은 하기의 수학식 4에 기재된 바와 같이 각 R값 리스케일링 결과와, 각 R값 리스케일링 결과에 대응하는 각 G값 리스케일링 결과와, 각 R값 리스케일링 결과(및/또는 G값 리스케일링 결과)에 대응하는 B값 리스케일링 결과들의 평균을 연산하여 획득될 수도 있다.
[수학식 4]
Figure PCTKR2022014307-appb-img-000004
이에 따라 R값, G값 및 B값에 대응하는 적어도 하나의 그레이 히스토그램이 획득된다.
히스토그램 변환부(233)는 실시예에 따라서 생략될 수도 있다.
히스토그램 보정부(234)는 히스토그램 생성부(232)에서 생성된 적어도 하나의 히스토그램, 히스토그램 변환부(233)에서 획득된 리스케일링된 히스토그램 및 그레이 히스토그램 중 적어도 하나를 기반으로 히스토그램 보정 처리를 수행하여 정규화된 히스토그램을 획득할 수도 있다.
일 실시예에 의하면, 히스토그램 보정부(234)는, 그레이 히스토그램이 생성된 경우, 그레이 히스토그램의 적어도 하나의 값을 이용하여 히스토그램 보정 처리의 수행 여부를 먼저 결정할 수도 있다. 예를 들어, 히스토그램 보정부(234)는 그레이 히스토그램 내의 데이터의 최대 값 및 데이터의 최소 값을 각각 검출하고, 최대 값 및 최소 값의 차이가 사용자나 설계자 등에 의해 미리 정의된 값(예를 들어, 30)보다 작다면, 히스토그램 보정 처리를 수행하지 않고, 반대로 최대 값 및 최소 값의 차이가 미리 정의된 값보다 크다면, 히스토그램 보정 처리를 수행하도록 마련될 수도 있다. 히스토그램 보정 처리를 하지 않는 경우, 해당 히스토그램은 색상 보정부(250)나 진단부(270) 등으로 별도의 처리 없이 전달될 수도 있다.
도 10은 보정 결과에 따른 히스토그램의 변화를 도시한 도면이고, 도 11 내지 도 14는 히스토그램 보정부의 일 실시예를 설명하기 위한 도표이다.
히스토그램의 보정은 주어진 히스토그램(20)에 속하는 둘 이상의 연속된 데이터를 기반으로 수행될 수 있다. 예를 들어, 히스토그램 보정부(234)는, 원 히스토그램(20)의 제n 데이터(d_n)와, 제n 데이터에 인접한 제(n-1) 데이터(d_n-1)와, 제(n+1) 데이터(d_n+1)를 이용하여 히스토그램 보정을 수행할 수도 있다(n은 1 이상의 자연수). 이 경우, 히스토그램 보정부(234)는, 제(n-1) 데이터(d_n-1), 제n 데이터(d_n) 및 제(n+1) 데이터(d_n+1) 중에서 그 값이 가장 큰 데이터를 제거하고, 나머지 데이터 상의 평균값을 연산하고, 연산된 평균 값을 제n 데이터(d_n)에 대응하는 1차 보정된 제n 데이터의 값으로 하여, 도 10에 도시된 바와 같이 원 히스토그램(20)에 대응하는 1차 보정된 히스토그램(21)을 획득할 수 있다. 또한, 히스토그램 보정부(234)는, 1차 보정된 히스토그램(21)의 둘 이상의 연속된 데이터를 기반으로 상술한 바와 동일하게 또는 일부 변형된 방식으로 히스토그램 보정을 수행하여 2차 보정된 히스토그램(22)을 더 획득할 수도 있으며, 임의의 제한된 회수로 상술한 바를 반복하여 3차 보정된 히스토그램(23) 등을 더 획득할 수도 있다.
도 11 내지 도 14에 도시된 바를 참조하여 보정된 히스토그램(21 내지 23)의 생성 과정의 일례를 상세하게 설명하면, 원 히스토그램(20)이 주어진 경우, 히스토그램 보정부(234)는, 원 히스토그램(20)의 제1 데이터, 일례로 좌표 (R0, R0)에 해당하는 데이터(d1, 값은 3), 제2 데이터, 일례로 좌표 (R1, R0)에 해당하는 데이터(d2, 값은 5) 및 제3 데이터, 일례로 좌표 (R2, R0)에 해당하는 데이터(d3, 값은 4)를 획득하고, 제1 내지 제3 데이터(d1 내지 d3) 중에서 가장 값이 큰 제2 데이터(d2)를 제거하고, 나머지 제1 데이터(d1) 및 제3 데이터(d3)의 평균 값(3.5=(3+4)/2)을 구하여, 1차 보정된 히스토그램(21)의 특정 위치의 데이터(일례로 제2 데이터)에 대응하는 값을 획득할 수 있다. 또한, 히스토그램 보정부(234)는, 동일하게 원 히스토그램(20)의 제2 데이터, 일례로 좌표 (R1, R0)에 해당하는 데이터(d2, 값은 5), 제3 데이터, 일례로 좌표 (R2, R0)에 해당하는 데이터(d3, 값은 4) 및 제4 데이터, 일례로 좌표 (R3, R0)에 해당하는 데이터(d4, 값은 2)를 획득하고, 제2 내지 제4 데이터(d2 내지 d4) 중에서 가장 값이 큰 제2 데이터(d2)를 제거하고, 나머지 제3 데이터(d3) 및 제4 데이터(d4)의 평균 값(3=(4+2)/2)을 구하여 1차 보정된 히스토그램(21)의 제3 데이터에 해당하는 값을 획득할 수 있다. 이와 같은 과정은 모든 데이터(d1 내지 d8 등)에 대해 수행될 수 있으며, 이에 따라 1차 보정된 히스토그램(21)이 획득될 수 있게 된다. 이어서, 히스토그램 보정부(234)는, 사용자의 선택이나 미리 정의된 설정에 따라서, 1차 보정된 히스토그램(21) 내의 제2 데이터(값은 3.5), 제3 데이터(값은 3) 및 제4 데이터(값은 2.5) 중에서 해당 값이 가장 큰 제2 데이터를 제외하고 제3 및 제4 데이터의 평균을 연산하여 2차 보정 히스토그램(22)의 제3 데이터에 대응하는 값(2.75=(3+2.5)/2)을 획득하고, 1차 보정된 히스토그램(21)의 제3 데이터(값은 3), 제4 데이터(값은 2.5) 및 제5 데이터(값은 2.5) 중에서 그 값이 가장 큰 제3 데이터는 제외하고, 제4 및 제5 데이터의 평균(2.5=(2.5+2.5)/2)을 연산하여 2차 보정 히스토그램(22)의 제4 데이터에 대응하는 값을 획득함으로써, 새로운 히스토그램, 즉 2차 보정 히스토그램(22)을 생성할 수 있다.
또한, 히스토그램 보정부(234)는, 상술한 바와 동일한 과정을 통해서 2차 보정 히스토그램(22)으로부터 3차 보정 히스토그램(23)도 획득할 수 있다. 이와 같은 과정의 반복에 따라 제2 내지 제4 히스토그램(21 내지 23)을 획득하면, 도 10에 도시된 바와 같이 히스토그램(20 내지 23)이 순차적으로 획득될 수 있게 된다.
상술한 히스토그램 보정부(234)의 연산은 하기의 수학식 5와 같이 주어질 수 있다.
[수학식 5]
Figure PCTKR2022014307-appb-img-000005
수학식 5에서 D^(k)_n는 k차 보정 히스토그램(22)의 n번째 위치의 데이터 값을 의미하고, D^(k-1)_n-1, D^(k-1)_n 및 D^(k-1)_n+1은 각각 (k-1)차 보정 히스토그램(k가 1인 경우에는 원 히스토그램(20))의 (n-1)번째, n번째 및 (n+1)번째 위치의 데이터를 의미한다.
상술한 히스토그램 보정 과정은 다수 회 반복 가능하며, 예를 들어, 미리 설정된 바에 따라 소정의 횟수(일례로 5회)로 반복될 수도 있고, 및/또는 보정된 히스토그램(21 내지 23)의 표준편차가 미리 정의된 범위(예를 들어, 표준편차의 값이 2% 이하인 범위)에 해당할 때까지 반복될 수도 있다.
실시예에 따라서, 히스토그램 보정부(234)는 상호 일정하게 이격된 다수의 데이터, 예를 들어 제(n-i) 데이터, 제n 데이터 및 제(n+i) 데이터에 대해 상술한 연산을 수행하여 히스토그램 보정 처리를 수행하는 것도 가능하다(i는 2 이상의 자연수). 또한, 히스토그램 보정부(234)는 히스토그램(20)의 넷 이상의 데이터에 대해 상술한 바와 동일하게 또는 일부 변형된 방법으로 보정된 히스토그램(들)(21 내지 23)을 획득하는 것도 가능하다.
상술한 바와 같이 보정된 히스토그램(21 내지 23)을 순차적으로 획득하면, 각 히스토그램(20 내지 23)의 전체적인 표준편차는 히스토그램 보정 과정의 반복 회수에 대응하여 대체적으로 감소하고, 변동 계수도 이와 동일하게 점차 감소한다. 따라서, 데이터의 처리가 상대적으로 더욱 용이하게 된다. 또한, 이러한 히스토그램 보정 과정에서 데이터 내의 빛 반사도 보정될 수 있게 된다. 빛 반사는 카메라 등의 렌즈 면에서 난반사되거나 배럴의 벽면 등에서 반사된 광이 촬상소자에 맺혀 빛 번짐을 발생시킴으로써 촬영 영상의 선명도와 채도를 악화시키는 상황을 의미한다. 특히, 강한 사광이 광학계 및 렌즈 입사구로 유입되는 조건에서는 광학계 내 난반사가 강하면서도 빈번하게 발생해, 이로 인해 필름의 소자나 이미지 센서의 픽셀 과포화로 인한 과노출 상태가 야기되거나, 명도차가 큰 경계면에서 빛이 번지거나 명부가 과다하게 노출되는 글로우 현상이 나타나곤 한다. 또한, 이에 따라서 영상 내에서 마이크로 광 효과도 발생되게 된다. 마이크로 광 효과는 면적이 아니라 도트 형태로 작게 발생되는 빛 반사로, 일반적인 빛 반사는 면적 형태로 발생하므로 상대적으로 넓은 범위에 걸쳐 이상 값이 히스토그램 상에 발생하나, 마이크로 광 효과에 따른 빛 반사는 극히 좁은 범위에 걸쳐 주변 값과 상당히 상이한 이상 값이 발생하게 된다. 상술한 바와 같이 히스토그램 보정을 통해 다수 회수로 히스토그램(20)을 보정하면, 보정된 히스토그램(21 내지 23) 내에는 지나치게 큰 값이 제거 처리되므로, 이상 값은 제거될 수 있으며, 이에 따라 마이크로 광 효과 등과 같은 빛 반사가 보정될 수 있게 된다.
통계값 연산부(235)는 상술한 원래의 또는 보정된 히스토그램(20 내지 23) 중 적어도 하나(일례로 최종적으로 보정된 히스토그램)에 대한 통계적 수치(들)을 연산하여 획득할 수도 있다. 여기서, 통계적 수치(들)은, 평균, 분산, 표준편차 및/또는 변동 계수 등을 포함할 수 있다. 원래의 또는 보정된 히스토그램(20 내지 23)에 대해 획득된 통계적 수치들은 색상 보정부(250) 등으로 전달되고, 색상 보정부(250)에 의해 이용될 수도 있다.
색상 보정부(250)는, 정규화 처리부(230)에 의해 복수의 목표 영역(14-1 내지 14-13) 중 적어도 하나에 대응하는 히스토그램(20 내지 23)을 수신하고, 이를 이용하여 영상 내에서의 색상을 보정할 수도 있다. 이 경우, 색상 보정부(250)는 RGB 보정 영역(12)을 이용하여 색상에 대한 보정치(또는 보정 비율)을 획득하고, 획득한 보정치 또는 보정비율을, 영상 내의 목표 영역(14-1 내지 14-13)에 반영하여 목표 영역(14-1 내지 14-13)에 대한 색 보정을 수행할 수도 있다. 이 경우, 목표 영역(14-1 내지 14-13)의 색 보정을 위해 상술한 히스토그램(20 내지 23)이나, 또는 이에 대한 통계적 수치(들)이 이용될 수도 있다. 색상 보정부(250)의 보정에 따라서, 영상 기반 진단 장치(100)는 목표 영역(14-1 내지 14-13)이 나타내는 색상에 대한 더욱 정확한 값을 획득할 수 있게 되며, 이를 기반으로 변색 여부를 보다 정밀하게 판단함으로써, 피검자의 진단을 더욱 더 정교하게 수행할 수 있게 된다. 색상 보정부(250)에 의해 색상이 보정된 영상은 진단부(270)로 전달될 수도 있고, 또는 저장부(103)나 출력부(107)로 전달될 수도 있다.
진단부(270)는, 정규화 처리부(230) 또는 색상 보정부(250)에서 전달된 목표 영역(14-1 내지 14-3)에 대한 영상 데이터 또는 이에 대응하는 히스토그램(20 내지 23)을 기반으로 피검자의 질병을 진단할 수 있다. 이 경우, 진단부(270)는, 목표 영역(14-1 내지 14-13)의 변색된 값과 이에 대응하는 질병을 포함하는 참조 테이블 등을 이용하여 피검자의 질병을 진단할 수도 있다. 참조 테이블 등은 저장부(103)에 데이터베이스 형태로 구축된 것일 수도 있다. 또한, 진단부(270)는, 목표 영역(14-1 내지 14-13)의 변색된 값을 적어도 하나의 학습 모델(심층 신경망, 콘볼루션 신경망, 장단기메모리, 생성적 적대 신경망 또는 조건부 생성적 적대 신경망 등)에 입력하고, 이에 대응하는 결과 값을 획득하여 피검자의 질병을 진단하는 것도 가능하다. 진단부(270)의 진단 결과는 저장부(103)에 저장될 수도 있고, 출력부(107)를 통해 사용자 등에게 제공될 수 있다.
실시예에 따라, 저장부(103)에는 상술한 처리를 위해 마련된 프로그램이 저장될 수 있으며, 프로세서(200)는, 이러한 프로그램을 구동하여 상술한 영상 생성, 영상 보정, 정규화, 색상 보정 및 진단 동작 중 적어도 하나를 수행할 수 있다.
상술한 영상 기반 진단 장치(100)는, 기 설명한 바와 같은 영상 생성, 영상 보정, 정규화, 색상 보정 및/또는 진단 동작 등을 수행할 수 있도록 특별히 고안된 처리장치를 이용하여 구현될 수도 있고, 또는 적어도 하나의 알려진 정보처리장치를 단독으로 이용하거나 조합 이용함으로써 구현될 수도 있다. 여기서, 적어도 하나의 정보처리장치는, 예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버용 하드웨어 장치, 스마트 폰, 태블릿 피씨, 스마트 시계, 스마트 밴드, 두부 장착형 디스플레이(HMD: Head Mounted Display) 장치, 휴대용 게임기, 개인용 디지털 보조기(PDA: Personal Digital Assistant), 내비게이션 장치, 스캐너 장치, 프린터 장치, 삼차원 프린터 장치, 리모트 컨트롤러(리모컨), 디지털 텔레비전, 셋 톱 박스, 디지털 미디어 플레이어 장치, 미디어 스트리밍 장치, 음향 재생 장치(인공 지능 스피커 등), 가전 기기(일례로 냉장고 등), 유인 또는 무인 이동체(일례로 차량, 이동성 로봇, 무선 모형 차량, 로봇 청소기 등), 유인 또는 무인 비행체(일례로 항공기나, 헬리콥터나, 드론, 모형 비행기, 모형 헬리콥터 등), 의료 기기(엑스선 촬영 장치, 컴퓨터 단층 촬영 장치(CT: Computed Tomography), 유방 촬영 장치 또는 자기공명촬영(MRI: Magnetic Resonance Imaging) 장치 등), 로봇(가정용, 산업용 또는 군사용) 또는 기계 장치(산업용 또는 군사용) 등을 포함할 수 있으나, 이에 한정되는 것은 아니며, 설계자나 사용자 등이 상황이나 조건에 따라서 고려 가능한 다양한 장치를 포함할 수도 있다.
이하 도 15를 참조하여 영상 기반 진단 시스템의 제어 방법의 일 실시예를 설명한다.
도 15는 영상 기반 진단 시스템의 제어 방법의 일 실시예의 흐름도이다.
도 15에 도시된 바를 참조하면, 진단 스트립에 대한 촬영이 수행되고, 진단 스트립의 전부 또는 일부를 포함하는 영상이 생성되어 획득된다(300). 여기서, 진단 스트립은, 도 2에 도시된 바와 같이, 바코드(1차원 바코드나 QR코드 등) 및 진단용 인식 영역을 포함할 수 있으며, 필요에 따라 RGB 보정 영역이나 그림자 인식 영역 등을 더 포함할 수도 있다. 이 경우, 진단 스트립에는, 예를 들어, RGB 보정 영역, 바코드, 그림자 인식 영역 및 진단용 인식 영역이 순차적으로 배치될 수도 있으나, 이에 한정되는 것은 아니다.
바코드는, 진단 스트림의 크기, 배율, 방향 및/또는 기울어짐 등을 감지하기 위해 이용될 수도 있고, 진단용 인식 영역 내의 다수의 목표 영역 중 어느 하나의 목표 영역(일례로 중심 목표 영역 등)의 식별을 위해 이용될 수도 있다. 진단용 인식 영역은 피검자의 질환 발생 여부를 감지할 수 있도록, 피검자로부터 획득된 피검체에 따라 변색되도록 마련된 것일 수 있다. RGB 보정 영역은 RGB 보정의 기준으로 이용될 수 있으며, 예를 들어, 적색 영역, 녹색 영역 및 청색 영역, 백색 영역 및 흑색 영역 중 적어도 하나를 포함할 수 있다. 그림자 인식 영역은 백색 등의 단색을 갖는 영역으로, 그림자의 존재 여부 판단을 위해 이용될 수도 있다.
이어서 촬영된 영상이 1차적으로 보정될 수 있다(310). 예를 들어, 바코드(일례로 QR코드)의 모서리에 위치한 파인더 패턴 중 적어도 둘을 기반으로 바코드의 형상이 예정된 바에 따라 직사각형 또는 정사각형인지 여부가 판단되고, 만약 바코드의 형상이 예정된 바와 상이하게 사다리꼴이나, 평행사변형 등의 형상으로 왜곡되어 있으면, 촬영된 바코드가 원래의 바코드 형상에 맞도록 영상 보정이 수행될 수 있다. 또한, 그림자의 존재 여부가 판단되고, 필요에 따라서 그림자가 보정되거나 또는 진단 스트립에 대한 재촬영이 수행될 수 있다. 또한, 해당 과정에서 촬영된 영상의 바코드(일례로 QR코드)의 중심점이 획득될 수도 있다.
바코드를 기반으로 인식 대상 영역의 적어도 하나의 목표 영역의 위치가 판별될 수 있다. 예를 들어, 원하는 목표 영역의 위치는 바코드의 크기(일례로 파인더 패턴과 중심점 간의 거리)를 기반으로 획득될 수 있으며, 보다 구체적으로는 바코드의 파인더 패턴 및 바코드의 중심점 사이의 거리와 중심점에서 어느 하나의 목표 영역(일례로 제1 목표 영역) 사이의 거리가 정해진 경우, 이들에 대한 비율로부터 제1 목표 영역 및 원하는 목표 영역 사이의 거리를 획득하고, 이를 기반으로 원하는 목표 영역의 위치를 결정하고, 이를 기반으로 목표 영역을 검출할 수 있게 된다.
원하는 적어도 하나의 목표 영역이 검출되면, 적어도 하나의 목표 영역에 속한 각각의 픽셀의 값을 이용하여 히스토그램을 생성할 수 있다(330). 예를 들어, 히스토그램은, 적어도 하나의 목표 영역 내의 각각의 지점에 대한 데이터(화소 값)를 좌측 상단에서부터 우측 하단까지 지그재그 형태로 추출하고, 추출한 데이터를 순차적으로 배치함으로써 생성될 수 있다. 이 경우, 생성된, 히스토그램은, R값에 대한 히스토그램, G값에 대한 히스토그램 및 B값에 대한 히스토그램을 포함할 수 있다. 히스토그램의 생성은, 목표 영역 내의 모든 구역의 데이터를 기반으로 수행될 수도 있고 또는 일부의 구역의 데이터를 기반으로 수행될 수도 있다.
생성된 히스토그램은, 실시예에 따라서, 변환될 수도 있다(340). 예를 들어, 히스토그램(일례로 R값에 대한 히스토그램, G값에 대한 히스토그램 및 B값에 대한 히스토그램)은 각각 리스케일링되어 리스케일링된 히스토그램이 획득될 수도 있고, 필요에 따라 그레이 히스토그램이 리스케일링된 히스토그램으로부터 획득될 수도 있다. 리스케일링된 히스토그램은, 상술한 수학식 1 내지 수학식 3을 이용하여 획득될 수 있다. 또한, 그레이 히스토그램은 상술한 수학식 4에 기재된 바와 같이 R값 리스케일링 결과, G값 리스케일링 결과 및 B값 리스케일링 결과들의 평균을 기반으로 연산된 것일 수도 있다.
순차적으로 히스토그램의 보정 처리가 수행될 수 있다(350). 실시예에 따라서, 히스토그램의 보정은 그레이 히스토그램 내의 데이터의 최대 값 및 데이터의 최소 값의 차이가 사용자나 설계자 등에 의해 미리 정의된 값(예를 들어, 30)보다 큰 경우에 한하여 수행되도록 마련되는 것도 가능하다. 히스토그램의 보정은, 둘 이상의 연속된 데이터를 기반으로 수행될 수 있으며, 예를 들어, 히스토그램 내의 인접한 둘 이상의 데이터(일례로 제(n-1) 데이터, 제n 데이터 및 제(n+1) 데이터)를 이용하여 수행될 수도 있다. 실시예에 따라서, 어느 정도 이격된 히스토그램 내의 데이터를 이용하여 히스토그램의 보정이 수행되는 것도 가능하다. 일 실시예에 따르면, 히스토그램의 보정은 다 회 수행될 수 있으며, 이에 따라 1차 보정된 히스토그램 내지 m차 보정된 히스토그램이 순차적으로 획득될 수 있다(m은 1 이상의 자연수). 실시예에 따라서, 히스토그램의 반복 보정은, 사용자나 설계자 등에 의해 사전에 정의된 회수에 따라서 수행될 수도 있고, 및/또는 m차 보정된 히스토그램의 표준편차가 미리 정의된 범위(예를 들어, 표준편차의 값이 2% 이하인 범위)에 해당할 때까지 수행될 수도 있다. 일 실시예에 의하면, m차 보정된 히스토그램은, (m-1)차 보정된 히스토그램 내의 임의의 연속된 세 개의 데이터(제(n-1) 데이터, 제n 데이터 및 제(n+1) 데이터) 중에서 그 값이 가장 큰 데이터를 제외한 나머지 두 개의 데이터의 값의 평균을 소정 좌표(일례로 (m-1)차 보정된 히스토그램의 세 개의 데이터 중 제n 데이터에 대응하는 좌표)의 데이터(일례로, 제n 데이터)로 하여 생성될 수도 있다. 획득된 히스토그램은, 상황에 따라서, 소정의 저장 매체에 저장될 수도 있고, 사용자나 설계자 등에게 시각적 또는 청각적으로 제공될 수도 있으며, 다른 정보처리장치 등으로 전송될 수도 있다.
m차 보정된 히스토그램이 획득되면, m차 보정된 히스토그램에 대한 통계적 수치(들)이 연산 및 획득될 수 있다(360). 여기서, 통계적 수치(들)은, 평균, 분산, 표준편차 및/또는 변동 계수 등을 포함할 수 있다.
필요에 따라서, 진단 스트림의 RGB 보정 영역을 기반으로 목포 영역에 대한 RGB 보정이 더 수행될 수도 있다(370). 목표 영역에 대한 보정은, 목표 영역에 대응하는 히스토그램을 기반으로 수행될 수도 있다. 구체적으로 목표 영역에 대한 RGB 보정은, 진단 스트립에 형성된 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하고, 획득한 보정 비율을 기반으로 목표 영역에 대한 색 보정을 수행함으로써 수행될 수도 있다. 이 경우, 및 목표 영역에 대한 보정된 히스토그램이 이용될 수도 있다. 이와 같은 보정에 따라 목표 영역에 대한 색상에 대한 정확한 판단이 가능하게 된다.
순차적으로 목표 영역에 대한 영상 또는 이에 대응하는 히스토그램을 기반으로 피검자에 대한 진단이 수행될 수 있다(380). 피검자에 대한 진단은, 미리 구축된 데이터베이스를 이용하여 수행될 수도 있고, 또는 학습 모델을 기반으로 수행될 수도 있다. 진단 결과는 별도의 저장 매체에 저장되거나, 사용자 등에게 시각적 또는 청각적으로 제공되거나, 및/또는 다른 정보처리장치 등으로 전송될 수 있다.
상술한 실시예에 따른 영상 기반 진단 시스템(1)의 제어 방법은, 컴퓨터 장치에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다. 프로그램은, 명령어, 라이브러리, 데이터 파일 및/또는 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 또한, 여기서, 컴퓨터 장치는, 프로그램의 기능을 실현 가능하게 하는 프로세서나 메모리 등을 포함하여 구현된 것일 수 있으며, 필요에 따라 통신 장치를 더 포함할 수도 있다.
상술한 영상 기반 진단 시스템의 제어 방법을 구현하기 위한 프로그램은, 컴퓨터에 의해 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터에 의해 판독 가능한 기록 매체는, 예를 들어, 솔리드 스테이트 드라이브(SSD), 롬, 램 또는 플래시 메모리 등과 같은 반도체 저장 매체나, 하드 디스크나 플로피 디스크 등과 같은 자기 디스크 저장 매체나, 콤팩트 디스크나 디브이디 등과 같은 광 기록 매체나, 또는 플롭티컬 디스크 등과 같은 자기-광 기록 매체 등 컴퓨터 등의 호출에 따라 실행되는 하나 이상의 프로그램을 일시적 또는 비일시적으로 저장 가능한 적어도 한 종류의 물리적 저장 매체를 포함할 수 있다.
이상 영상 기반 진단 시스템 및 이의 제어 방법의 여러 실시예에 대해 설명하였으나, 영상 기반 진단 시스템 및 이의 제어 방법은 오직 상술한 실시예에 한정되는 것은 아니다. 해당 기술 분야에서 통상의 지식을 가진 자가 상술한 실시예를 기초로 수정 및 변형하여 구현할 수 있는 다른 다양한 장치나 방법 역시 상술한 영상 기반 진단 장치나 영상 기반 진단 시스템의 제어 방법의 일 실시예가 될 수 있다. 예를 들어, 설명된 방법(들)이 설명된 바와 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소(들)가 설명된 바와 다른 형태로 결합, 연결 또는 조합되거나 다른 구성 요소 또는 균등물 등에 의하여 대치 또는 치환되더라도, 상술한 영상 기반 진단 장치 또는 영상 기반 진단 시스템의 제어 방법의 일 실시예가 될 수 있다.
본 발명은 영상 기반 진단 시스템 및 이의 제어 방법에 관한 것으로, 촬영된 영상의 데이터를 적절하게 정규화하고, 영상에 존재하는 빛 반사를 효과적으로 제거하고, 코드의 장치 인식력을 보강할 수 있는 산업상 이용가능성이 있다.

Claims (14)

  1. 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립; 및
    상기 진단 스트립에 대한 영상을 획득하고, 상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하고, 상기 목표 영역에 대한 히스토그램을 생성하고, 상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 장치;를 포함하고,
    상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 시스템.
  2. 제1항에 있어서,
    상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 영상 기반 진단 시스템.
  3. 제2항에 있어서,
    상기 영상 기반 진단 장치는, 미리 정의된 회수로 또는 상기 새로운 보정된 히스토그램의 표준편차가 미리 정의된 범위에 해당할 때까지 상기 목표 영역에 대한 새로운 보정된 히스토그램의 생성을 반복 수행하는 영상 기반 진단 시스템.
  4. 제1항에 있어서,
    상기 진단 스트림에는 RGB 보정 영역이 더 형성되고,
    상기 영상 기반 진단 장치는, 상기 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하고, 상기 보정 비율 및 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 색 보정을 수행하는 영상 기반 진단 시스템.
  5. 제4항에 있어서,
    상기 영상 기반 진단 장치는, 색 보정이 수행된 상기 목표 영역을 이용하여 진단을 수행하는 영상 기반 진단 시스템.
  6. 제1항에 있어서,
    상기 영상 기반 진단 장치는, 상기 바코드를 기반으로 상기 바코드의 형상을 보정하여 진단 스트림에 대한 영상을 보정하거나, 상기 진단 스트립에 형성된 그림자 인식 영역을 기반으로 그림자의 존재 여부를 판단하는 영상 기반 진단 시스템.
  7. 제1항에 있어서,
    상기 영상 기반 진단 장치는, 상기 목표 영역에 대한 히스토그램에 대한 리스케일링된 히스토그램을 획득하고, 상기 리스케일링된 히스토그램을 이용하여 그레이 히스토그램을 획득하고, 상기 그레이 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 영상 기반 진단 시스템.
  8. 적어도 하나의 목표 영역 및 바코드가 형성된 진단 스트립에 대한 영상을 획득하는 단계;
    상기 영상 내의 상기 바코드를 기반으로 상기 적어도 하나의 목표 영역의 위치를 결정하는 단계;
    상기 목표 영역에 대한 히스토그램을 생성하는 단계; 및
    상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계;를 포함하고,
    상기 목표 영역에 대한 히스토그램을 이용하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계는,
    상기 목표 영역에 대한 히스토그램의 인접한 세 개의 데이터 중 가장 큰 값을 갖는 데이터를 제외한 다른 두 개의 데이터의 값의 평균을 연산하고, 상기 평균을 특정 위치의 데이터 값으로 하여 상기 목표 영역에 대한 보정된 히스토그램을 생성하는 단계;를 포함하는 영상 기반 진단 방법.
  9. 제8항에 있어서,
    상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 단계;를 더 포함하는 영상 기반 진단 방법.
  10. 제9항에 있어서,
    상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램을 생성하는 단계는,
    미리 정의된 회수로 또는 상기 새로운 보정된 히스토그램의 표준편차가 미리 정의된 범위에 해당할 때까지 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 새로운 보정된 히스토그램의 생성을 반복 수행하는 단계;를 포함하는 영상 기반 진단 방법.
  11. 제8항에 있어서,
    상기 진단 스트립에 형성된 RGB 보정 영역을 이용하여 색상에 대한 보정 비율을 획득하는 단계; 및
    상기 보정 비율 및 상기 목표 영역에 대한 보정된 히스토그램을 이용하여 상기 목표 영역에 대한 색 보정을 수행하는 단계;를 더 포함하는 영상 기반 진단 방법.
  12. 제11항에 있어서,
    색 보정이 수행된 상기 목표 영역을 이용하여 진단을 수행하는 단계;를 더 포함하는 영상 기반 진단 방법.
  13. 제8항에 있어서,
    상기 바코드를 기반으로 상기 바코드의 형상을 보정하여 진단 스트림에 대한 영상을 보정하는 단계; 및
    상기 진단 스트립에 형성된 그림자 인식 영역을 기반으로 그림자의 존재 여부를 판단하는 단계; 중 적어도 하나를 더 포함하는 영상 기반 진단 방법.
  14. 제8항에 있어서,
    상기 목표 영역에 대한 히스토그램에 대한 리스케일링된 히스토그램을 획득하는 단계; 및
    상기 리스케일링된 히스토그램을 이용하여 그레이 히스토그램을 획득하는 단계;를 더 포함하는 영상 기반 진단 방법.
PCT/KR2022/014307 2021-11-26 2022-09-26 영상 기반 진단 시스템 및 이의 제어 방법 WO2023096129A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210166040 2021-11-26
KR10-2021-0166040 2021-11-26
KR1020210179230A KR20230078439A (ko) 2021-11-26 2021-12-15 영상 기반 진단 시스템 및 이의 제어 방법
KR10-2021-0179230 2021-12-15

Publications (1)

Publication Number Publication Date
WO2023096129A1 true WO2023096129A1 (ko) 2023-06-01

Family

ID=86539749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014307 WO2023096129A1 (ko) 2021-11-26 2022-09-26 영상 기반 진단 시스템 및 이의 제어 방법

Country Status (1)

Country Link
WO (1) WO2023096129A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140051173A1 (en) * 2012-08-17 2014-02-20 St. Mary's College Analytical devices for detection of low-quality pharmaceuticals
KR20140130879A (ko) * 2013-05-02 2014-11-12 최광성 소변 검사 방법 및 관련 장치
KR20150115971A (ko) * 2014-04-01 2015-10-15 한양대학교 산학협력단 어플리케이션 기반 소변검사용 스트립 및 소변 검사 방법
KR20160052442A (ko) * 2014-11-04 2016-05-12 삼성전자주식회사 생체 정보 측정 방법 및 이를 위한 장치
KR20200140500A (ko) * 2019-06-07 2020-12-16 주식회사 큐에스택 검출 방법 및 검출 패드

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140051173A1 (en) * 2012-08-17 2014-02-20 St. Mary's College Analytical devices for detection of low-quality pharmaceuticals
KR20140130879A (ko) * 2013-05-02 2014-11-12 최광성 소변 검사 방법 및 관련 장치
KR20150115971A (ko) * 2014-04-01 2015-10-15 한양대학교 산학협력단 어플리케이션 기반 소변검사용 스트립 및 소변 검사 방법
KR20160052442A (ko) * 2014-11-04 2016-05-12 삼성전자주식회사 생체 정보 측정 방법 및 이를 위한 장치
KR20200140500A (ko) * 2019-06-07 2020-12-16 주식회사 큐에스택 검출 방법 및 검출 패드

Similar Documents

Publication Publication Date Title
KR101679290B1 (ko) 영상 처리 방법 및 장치
US11386699B2 (en) Image processing method, apparatus, storage medium, and electronic device
US7733404B2 (en) Fast imaging system calibration
WO2020237565A1 (zh) 一种目标追踪方法、装置、可移动平台及存储介质
JP2011039604A (ja) 画像追尾装置、画像追尾方法、及びコンピュータプログラム
CN113205560B (zh) 多深度相机的标定方法、装置、设备及存储介质
WO2019066373A1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
WO2020171379A1 (en) Capturing a photo using a mobile device
TW201822708A (zh) 動態影像之心率活動偵測系統與其方法
US10009545B2 (en) Image processing apparatus and method of operating the same
CN112822371B (zh) 图像处理芯片、应用处理芯片、数据统计系统及方法
JP2011134117A (ja) 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
WO2023096129A1 (ko) 영상 기반 진단 시스템 및 이의 제어 방법
CN111080683B (zh) 图像处理方法、装置、存储介质及电子设备
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
CN111104921A (zh) 一种基于Faster rcnn的多模态行人检测模型及方法
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
JP4222013B2 (ja) 画像修正装置、文字認識方法及び画像修正プログラム
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
CN110739047A (zh) 患者图像色彩还原方法、装置、设备及可读存储介质
KR20230078439A (ko) 영상 기반 진단 시스템 및 이의 제어 방법
CN114913239A (zh) 一种事件相机传感器与rgb相机联合标定方法和装置
CN113240602A (zh) 图像去雾方法及装置、计算机可读介质和电子设备
JP2010154323A (ja) 画像処理装置、画像抽出方法、および、プログラム
JP2014044525A (ja) 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898812

Country of ref document: EP

Kind code of ref document: A1