WO2013108955A1 - 적외선 영상 처리 방법 및 적외선 영상 처리 장치 - Google Patents

적외선 영상 처리 방법 및 적외선 영상 처리 장치 Download PDF

Info

Publication number
WO2013108955A1
WO2013108955A1 PCT/KR2012/001603 KR2012001603W WO2013108955A1 WO 2013108955 A1 WO2013108955 A1 WO 2013108955A1 KR 2012001603 W KR2012001603 W KR 2012001603W WO 2013108955 A1 WO2013108955 A1 WO 2013108955A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
data
image
interpolation
infrared
Prior art date
Application number
PCT/KR2012/001603
Other languages
English (en)
French (fr)
Inventor
강철오
김재홍
박정목
Original Assignee
티.비.티. 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 티.비.티. 주식회사 filed Critical 티.비.티. 주식회사
Priority to KR1020147023004A priority Critical patent/KR101531879B1/ko
Publication of WO2013108955A1 publication Critical patent/WO2013108955A1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the present invention relates to image processing, and more particularly, to an infrared image processing method and an infrared image processing apparatus.
  • an infrared camera generates an infrared image by detecting infrared radiation energy emitted from an object by a detector and extracting the radiation temperature of the object as an electric signal and displaying it as a two-dimensional visual image.
  • an image pickup device for converting the detection result of infrared rays into data in two dimensions is required.
  • the related art of the infrared camera system is disclosed in Korean Laid-Open Patent Publication No. 2002-0053262.
  • Infrared rays are characterized by having a stronger thermal action than visible or ultraviolet rays, which is why it is also called a hot ray.
  • the radiant heat transmitted from the sun or the heating element to the space is mainly caused by infrared rays.
  • infrared rays Intended for industrial or medical use, there are infrared bulbs that emit strong infrared light.
  • Infrared rays have a strong thermal arc because the frequency of the infrared rays is about the same as the natural frequency of the molecules constituting the substance.
  • electromagnetic resonance occurs and the energy of infrared light is effectively Due to being absorbed into. Since infrared rays have a long wavelength, they have less scattering effect due to fine particles than ultraviolet rays or visible rays, and thus they transmit relatively well through air deposition.
  • the infrared imaging device can be understood as a device having a function of converting a two-dimensional pattern of infrared light into an electric signal.
  • Materials having sensitivity to wavelengths of 2 to 12, which are important wavelength bands for infrared image detection, include pure dope Ge, InAs, InSb, HgCdTe, and PbS, but all require cooling.
  • pyroelectric crystals such as triglycine sulphate (TGS), LiTa03, and PbTi03 can be used at lower phases although the response speed is slow.
  • Infrared imaging devices may be classified into optical scanning (rotating mirrors, etc.), electron beam scanning (infrared beacons), self-scanning (solidified colors) and the like according to the scanning method.
  • Many of the infrared imaging devices put into practical use combine a single sensor such as HgCdTe and optical scanning. Some of these sensors are closely related to everyday life, such as visible and infrared spin scan radiometers (VISSRs), which are mounted on meteorological satellites to observe the earth.
  • VISSRs visible and infrared spin scan radiometers
  • infrared imaging devices are compared with charge-coup led devices (CCDs) or complementary metal-oxide semiconductors (CMOS), which are widely used as imaging devices in the visible region.
  • CCDs charge-coup led devices
  • CMOS complementary metal-oxide semiconductors
  • image data obtained from an infrared imaging device may be displayed in real time or stored on a display device.
  • increasing the pixel integration degree of the infrared imaging device is accompanied by technical difficulty or high cost, and may sometimes output infrared image data having a resolution lower than that of a general display device in a commercial infrared image system.
  • the data sensed by the infrared detector may be data of 384 ⁇ 288 pixel size.
  • a commonly used display system may adopt the NTSC method, which is a standard of television broadcasting mainly used in the United States and Korea, or the PAL method used in most European countries.
  • NTSC or PAL can support 720 x 480 or 720 x 576 output resolution, so the resolution of the display system often has 720 x 480 or 720 x 576 specifications.
  • a 384 288 size image is displayed by using a portion of the display area of the display system, or 384X288 size data or 384X288 size
  • 384X288 size data or 384X288 size There is a way to magnify meditation and display it in the entire display area. Displaying infrared images only in some display areas of the display system is inefficient, using only a fraction of the display system performance.
  • the 384 ⁇ 288 size data or the 384 ⁇ 288 standard image is enlarged and displayed on the entire display area, the pixel itself may be enlarged like a block. Therefore, although the size of the overall image increases, it may be perceived as visually deteriorating the image quality.
  • Infrared cameras that generate images by sensing infrared light are mainly used as nighttime surveillance cameras. It can also be used for military purposes, identification of objects in ship navigation, and in the field of nondestructive inspection.
  • it may be important to identify the shape of the object as well as the presence or absence of the object.
  • military night vision cameras it is important to identify the presence or absence of objects in the boundary area, but it may also be important to identify the shape of a specific object to identify humans or animals or other objects. .
  • Increasing the resolution of the infrared camera may be an important purpose in relation to the characteristics of the infrared image.
  • One object of the present invention is to provide an infrared image processing method capable of improving the quality of an infrared image enlarged with a small cost increase.
  • Another object of the present invention is to provide an infrared image processing apparatus for generating an enlarged infrared image having improved quality.
  • the infrared image processing method for achieving the above object, generating data of a first resolution to the infrared detection value detected in a plurality of pixels, the first resolution
  • the data of the second resolution is generated by interpolating the data of the data, and the data of the second resolution is output.
  • the data of the first resolution may be image data having a first resolution
  • the generating of the data having the first resolution may include detecting infrared light from the plurality of pixels to generate sensed data having a first resolution. And generating image data having the first resolution by image processing the sensed data having the first resolution.
  • the data of the first resolution and the data of the second resolution are sensed data of the first resolution and sensed data of the second resolution, respectively, and image data of the outputted second resolution
  • the method may further include converting to.
  • the interpolation is performed by linear interpolation, polynomial interpolation, or spline interpolation. You can follow one approach.
  • An infrared image processing apparatus for achieving the above another object includes an infrared detector, an interpolation processor, an image processor, and an output unit.
  • the infrared detector detects infrared rays to generate sensing data having a first resolution.
  • the interpolation processor interpolates the sensed data having the first resolution to generate sensed data having the second resolution.
  • the image processor generates image data of a second resolution by image processing the sensed data of the second resolution.
  • the output unit outputs image data having the second resolution.
  • the interpolation processor may include a first memory unit, a calculator, a second memory unit, and a controller.
  • the first memory unit may store sensing data of the first resolution.
  • the operation unit may generate interpolation sensing data by performing interpolation operation by receiving the sensing data of the first resolution from the first memory unit.
  • the second memory unit may store a detected data of the first resolution detection data "and the interpolation sense whether the data of the second resolution.
  • the controller may control the first memory unit, the second memory unit, and the calculator.
  • An infrared image processing apparatus for achieving the above another object includes an infrared detector, an image processor, an interpolation processor, and an output unit.
  • the infrared detector detects infrared rays to generate sensing data having a first resolution.
  • the image processor generates image data having a first resolution by image processing the sensed data having the first resolution.
  • the interpolation processor generates image data having a second resolution by interpolating the image data having the first resolution.
  • the output unit outputs image data having the second resolution.
  • the interpolation processor may include a first memory unit, a calculator, a second memory unit, and a controller.
  • the first memory unit may store image data having the first resolution.
  • the operation unit may generate interpolation image data by performing interpolation operation by receiving the image data having the first resolution from the first memory unit.
  • the second memory unit may store the image data having the first resolution and the interpolated image data as the image data having the second resolution.
  • the controller may control the first memory unit, the second memory unit, and the calculator.
  • the first direction scaling factor in the first direction scaling factor and the second direction scaling factor for converting the first resolution to the second resolution, the first direction scaling factor is It may be the same as the second direction scaling factor.
  • the first direction scaling factor in the first direction scaling factor and the second direction scaling factor for converting the first resolution to the second resolution, is different from the second direction scaling factor. Can be.
  • the infrared image processing apparatus may further include a display unit that displays image data having the second resolution.
  • the sensing data of the first resolution is data in a digital form
  • the infrared sensing unit converts the sensed infrared signal into a digital form to generate the sensing data of the first resolution.
  • ADC Analog-Digital Converter
  • the second resolution image data may be analog data.
  • the output unit may include a digital-to-analog converter (D) for converting the image data of the second resolution into an analog form.
  • D digital-to-analog converter
  • an infrared image processing method or an infrared image processing apparatus may improve image quality when scaling an image according to characteristics of an infrared image.
  • FIG. 1 is a diagram showing wavelength bands of electromagnetic waves used to obtain an image in an infrared camera.
  • FIGS. 2A to 2C are diagrams illustrating a change in resolution according to an enlargement of an infrared image.
  • 3A and 3B are views for explaining magnification and interpolation of an infrared image.
  • FIG. 4 is a block diagram illustrating an infrared image processing apparatus according to an exemplary embodiment.
  • FIG. 5 is a block diagram illustrating an infrared image processing apparatus according to another exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of an interpolation processor of FIG. 5.
  • FIG. 6 is a diagram illustrating an example of an interpolation processor of FIG. 5.
  • 7A and 7B are diagrams for describing magnification and interpolation of an infrared image when the first direction scaling factor is different from the second direction scaling factor.
  • 8A to 8E are graphs illustrating examples of a method of enlarging and interpolating an infrared image.
  • 9 is a flowchart illustrating an infrared image processing method according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an infrared image processing method according to another embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating an infrared image processing method according to another embodiment of the present invention.
  • 12A and 12B are diagrams for comparing the quality of an enlarged infrared image according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another component.
  • the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
  • a component When a component is said to be “connected” or “connected” to another component, it may or may not be directly connected to the other component, but in some cases
  • one component is said to be "directly connected” or “directly connected” to another component, no other component exists between the two. would have to be configured in other words used to describe the relationship between elements, i.e.
  • FIG. 1 is a diagram illustrating wavelength bands of electromagnetic waves used to acquire an image in an infrared camera. Referring to FIG. 1, an infrared region having a wavelength longer than that of the visible light region is illustrated. The visible region ranges from the shortest wavelength (V) to the blue (B), green (G), yellow (Y), orange (0) and red (R) regions.
  • infrared rays refer to electromagnetic waves in a band of 750 nm to 1 mm longer than a wavelength of visible light, and even in this infrared band increase, light of near infrared rays (NIR) refers to a wavelength of 700 nm to 1400 nm.
  • NIR near infrared rays
  • the near-infrared light is invisible to human eyes, but can be detected by CCD or CMOS devices.
  • the Far Infrared Fay (FIR) band is also referred to as Long Wavelength Infrared Ray (LWIR), and the infrared ray represents a band of 8 ⁇ to 15 ⁇ m of light wavelength.
  • LWIR Long Wavelength Infrared Ray
  • the far-infrared band has the advantage of distinguishing the temperature because the wavelength changes with temperature.
  • the radiant energy according to the wavelength is 3 ⁇ ⁇ .
  • the 8ym ⁇ 12 ⁇ wavelength band is the infrared camera. Widely used in the la or infrared detection device.
  • the sensed data is temperature data
  • the temperature data may be converted into image data and output to the display device.
  • the display device may display the input image data on the screen.
  • FIGS. 2A through 2 are diagrams illustrating a change in resolution according to an enlargement of an infrared image.
  • an image having a size of 6 ⁇ 6 pixels is illustrated.
  • an infrared image may express brightness according to the intensity of infrared rays.
  • infrared images are basically capable of representing white images.
  • a method of expressing colors differently according to the intensity of infrared rays may be employed.
  • FIG. 2B is an enlarged view of an image of FIG. 2A in an area of 12 ⁇ 12 pixel size. 2A and 2B, it can be seen that the pixel area of FIG. 2B is four times the pixel area of FIG. 2A. In the image area of FIG. 2B, the number of pixels is quadrupled, and a value corresponding to each pixel of the original image is assigned to four pixels so that four pixels are represented as one block. As shown in FIG. 2B, in the case of simply enlarging a low resolution image, pixels may be enlarged and recognized as blocks.
  • FIG. 2C is an image obtained by enlarging and interpolating the image of FIG. 2A.
  • the image area of FIG. 2C has an image area of 12 ⁇ 12 pixels.
  • different pixel values are assigned to four pixel units. The different pixel values may be assigned through interpolation. Referring to FIG. 2B and FIG. 2C, it can be seen that the image of FIG. 2C shows higher resolution than FIG. 2B.
  • the interpolation process may mean a process of increasing the apparent resolution when increasing the number of pixels.
  • it may mean a process of generating new data between sampling data to create an effect of upsampling data having a low sampling rate.
  • the infrared image processing apparatus when converting the resolution of an image signal, in particular, when the resolution is improved, it may mean a method of calculating pixels generated as the resolution increases in addition to the pixels of the original image.
  • Infrared image data is different from image data in a visible light region, and thus an image is obtained by detecting a hot ray.
  • Infrared images and general visible light image data may have differences in image processing.
  • the wavelength band of the incoming infrared rays is different from the wavelength band of the visible light that can represent the color, the color information is not included in the generated image.
  • color processing may be performed on the infrared image, but in this case, color processing is artificially performed in order to distinguish easily according to the intensity of infrared rays, and does not reflect color information of an actual object.
  • the difference can also be seen in the interpolation process.
  • an image enlarged through interpolation There may be a lot of difference between images taken at high resolution. This is because the visible light intensity of the corresponding wavelength band rapidly changes in the portion where the color changes.
  • the infrared image the infrared intensity does not change rapidly on the same object surface due to the characteristic of the thermal image, and since the infrared image does not reflect the actual color information, the image enlarged through interpolation and the actual high resolution A relatively small difference may appear between the images taken by the camera.
  • the difference may affect the utility of interpolation of the image.
  • the quality of the image magnification through interpolation may be limited because the image enlarged through interpolation processing is different from the image captured at a high resolution.
  • the image enlarged through interpolation process is relatively smaller than the image captured in high resolution, so the image enlarged through interpolation has a relatively better image quality compared to the case of visible light image.
  • 3A and 3B are views for explaining magnification and interpolation of an infrared image.
  • FIG. 3A a 4 ⁇ 4 pixel size and an image 10 are shown.
  • FIG. 3B the image 10 of 4 ⁇ 4 pixel size is enlarged to the image 13 of 8 ⁇ 8 pixel size. Is shown.
  • the position of each pixel is indicated by referring to original characters 1 to 16.
  • each pixel of FIG. 3A is disposed by one paxel in the first direction D1 and the second direction D2, respectively.
  • the pixel 107 floating on the original letter 7 of FIG. 3A stands against the pixel 137 of FIG. 3B.
  • the pixel data values of FIG. 3A may be assigned to 16 pixels representing the pixels of the image 10 of FIG. 3A among the 64 pixels included in the image 13 of FIG. 3B. '
  • the number of pixels is quadrupled, and thus the data values of the 48 pixels are unspecified.
  • the quality of the enlarged image 13 may vary according to a method of generating a data value stone assigned to the 48 unspecified pixels. For example, as shown in the figure illustrated in FIG. 2B, data values of 16 pixels to be sympathized can be collectively assigned to 48 unspecified pixels. For example, the data value of the pixel 131 may be equally assigned to three pixels 132, 139, and 140 that form one square block together with the pixel 131.
  • data values of 48 pixels are specified in this manner, an image in which the size of the pixel itself is enlarged can be obtained as shown in the image of FIG. In this case, the quality of the enlarged image does not improve.
  • interpolation processing may be applied.
  • Various interpolation methods can be used for the interpolation process.
  • the infrared image may be enlarged by interpolation according to one of linear interpolation, polynomial interpolation, and spline interpolation.
  • the data value of the pixel 166 is the value of the two pixel data values of the pixel 165 and the pixel 167. Can be specified as average.
  • the data value of the pixel ⁇ 73 may be designated as an average of two pixel data values of the pixel 165 and the pixel 181.
  • the data value of the pixel 174 may be designated as an average of four pixel data values of the pixel 165, the pixel 167, the pixel 181, and the pixel 183.
  • the pixel data according to the enlargement of the infrared image may be generated through various interpolation methods.
  • various interpolation methods may be used to enlarge the infrared image, and the present invention is not limited to a specific interpolation method.
  • polylyn interpolation or spline interpolation Infrared image can be enlarged by.
  • the image processing apparatus 20 may include an infrared detector 21, an interpolation processor 22, an image processor 23, and an output unit 24.
  • the infrared detecting unit 21 detects infrared (IR) and detects the detected data of the first resolution.
  • the interpolation processor 22 interpolates the sensed data ISD1 of the first resolution to generate the sensed data ISD2 of the second resolution.
  • the image processor 23 performs image processing on the sensing data ISD2 of the second resolution to generate the image data IMD2 of the second resolution.
  • the output unit 24 outputs the image data IMD2 of the second resolution.
  • the image data IMD2 of the second resolution may be output to a display device or the like.
  • the infrared detector 21 may include various types of infrared imaging devices.
  • the infrared imaging element included in the infrared sensing unit 21 may include a plurality of unit pixels corresponding to the plurality of pixels, and detects infrared (IR) to sense data of the first resolution ( ISD1 ). Can be generated.
  • the intensity of unit pixels of the infrared imaging device may be the same as the first resolution.
  • the sensed data (ISD1) of the first resolution is a plurality of units. It may be data sensed from each pixel stone, and each of the unit pixels may have a value corresponding to the sensed value.
  • the sensed data ISD1 of the first resolution may be analog data.
  • the interpolation processor 22 may include an analog-to-digital converter (ADC) for signal processing.
  • analog data sensed by the plurality of unit pixels of the infrared sensing unit 21 may be converted into digital and input to the interpolation processor 22.
  • the infrared detector 21 may include at least one analog-digital converter, and the sensing data ISD1 having the first resolution may be digital data.
  • the interpolation processor 22 may convert the sensed data ISD1 of the first resolution input as analog data or digital data into the sensed data ISD2 of the second resolution.
  • the second resolution may be greater than the first resolution.
  • the interpolation processor 22 may generate the sensing data ISD2 having the second resolution based on various interpolation schemes.
  • the interpolation processor 22 enlarges the sensed data ISD1 of the first resolution by using one of linear interpolation, polynomial interpolation, and spline interpolation. 2 sense of resolution Intelligent data (ISD2) can be generated.
  • ISD2 sense of resolution Intelligent data
  • cubit spline interpolation or cardinal spline interpolation may be used as an example of specific spline interpolation. An exemplary interpolation scheme will be described later with reference to FIGS. 8A to 8E.
  • the interpolation processor 22 may perform interpolation processing based on the scaling control signal SCS.
  • the scaling control signal may include information related to the first resolution and the second resolution associated with interpolation.
  • a scaling control signal may be generated based on the first resolution and the second resolution.
  • the second resolution may have a higher resolution than the first resolution.
  • the first resolution may be a resolution that corresponds to the physical sensing density of the infrared detector 21, for example, the first resolution may be 384 ⁇ 288. In this case, the three resolution may be higher than 384X288.
  • the second resolution may have a resolution of 720X480 or 720X576 standard.
  • the first direction scaling factor and the second direction scaling factor which are ratios extending from the first resolution to the second resolution, may be the same.
  • the first direction scaling factor may be a ratio of the first direction to the first resolution and the second resolution.
  • the second direction scaling factor may be a ratio of the first resolution to the second direction of the second resolution.
  • the first resolution and the second resolution may have a first direction resolution of 360 and 720, respectively.
  • the i-th scaling factor may be determined as 2.
  • the first resolution and the second resolution may have a second direction resolution of 240 and 480, respectively.
  • the second direction scaling factor may be determined as 2.
  • the first direction scaling factor and the second direction scaling factor may be the same.
  • the aspect ratio of the enlarged image remains the same.
  • the first direction scaling factor and the second direction scaling factor may be different from each other.
  • the image processor 23 may convert the sensed data ISD2 of the second resolution into the image data IMD2 of the second resolution.
  • the image processor 23 may perform an image processing function of various functions in generating the image data IMD2 having the second resolution. For example, the image processor 23 may perform the Daewoong according to the value of the sensing data ISD2 of the second resolution. Color mapping function to give color to the pixel to be performed can be performed. In addition, the image processor 23 may perform functions such as inverse, flip-H / V, and freeze.
  • the image data IMD2 output from the image processor 23 may be analog data.
  • the image processor 23 may include a digital-analog converter (DAC) for signal processing.
  • DAC digital-analog converter
  • the display device displaying the image data IMD2 may be an analog display device.
  • the image data IMD2 output from the image processor 23 may be digital data.
  • the data processed in the digital form in the image processor 23 may be output without undergoing digital-to-analog conversion.
  • the display apparatus displaying the image data IMD2 may be a digital display apparatus.
  • the image processor 23 of the infrared image processing apparatus 20 may selectively output the image data IMD2 in analog form or digital form.
  • the type of the image data IMD2 output by the image processor 23 may be selected according to the type of display device.
  • the image data IMD2 may be output in a format such as analog CYBS or ITU-BT.656.
  • the image processor 23 may include at least one converter to output the image data IMD2 in a specific format.
  • the output unit 24 outputs the image data IMD2 to the display device.
  • the output unit 24 may include a memory device for temporarily storing the image data IMD2 on a frame-by-frame basis, and the data or display device stored according to the form of the image data IMD2. It may include a digital-to-analog converter or an analog-to-digital converter for converting the data output to.
  • the output unit 25 may include an interface device for communicating with a display device displaying the image data IMD2.
  • FIG. 5 is a block diagram illustrating an infrared image processing apparatus according to another exemplary embodiment.
  • the image processing apparatus 30 may include an infrared detector 31, an image processor 32, an interpolation processor 33, and an output unit 34.
  • the infrared detecting unit 31 detects infrared (IR) and detects data having a resolution of one.
  • Image processing section 32 detects the image data (ISD1) of a first resolution, The image data IMD1 of system 1 resolution is generated by processing.
  • the interpolation processor 33 interpolates the image data IMD1 of the first resolution to generate the image data IMD2 of the second resolution.
  • the output unit 34 outputs the image data IMD2 having the second resolution.
  • the image data IMD2 of the second resolution may be output to a display device or the like.
  • the image processing apparatus 20 of FIG. 4 first interpolates the sensing data ISD1 of the first resolution generated by the infrared detector 21 to the second resolution having a high resolution by interpolating the interpolation processor 22.
  • the sensing data ISD2 is generated, and the image processor 23 generates the image data IMD2 of the second resolution.
  • the image processing apparatus 30 of FIG. 5 first processes the sensed data ISD1 of the first resolution generated by the infrared detector 31 and the image processor 32 first processes the image data IMD1. ), And the interpolation processing section 33 interpolates to generate the image data IMD2 of the second resolution having a high resolution.
  • the infrared detector 31 may include various types of infrared imaging devices. As described above, the sensing data ISD1 of the first resolution may be analog data. In this case, the image processor 32 may include an analog-to-digital converter (ADC) for signal processing. In another embodiment, analog data sensed by the plurality of unit pixels of the infrared detector 31 may be converted to digital and input to the image processor 32. In this case, the infrared detector 21 may include at least one analog-to-digital converter, and the sensing data ISD1 having the first resolution may be digital data.
  • ADC analog-to-digital converter
  • the image processor 32 may convert the sensed data ISD1 of the first resolution input as analog data or digital data into the image data IMD1 of the first resolution.
  • the image processor 32 may perform an image processing function of various functions in generating the image data IMD1 having the first resolution. For example, the image processor 32 may perform a color mapping function to give a color to a corresponding pixel according to the value of the sensing data ISD1 of the first resolution.
  • the image processor 32 may perform functions such as inverse, flip-H / V, and freeze.
  • the interpolation processor 33 may convert the image data IMD1 having the first resolution into the image data IMD2 having the second resolution.
  • the second resolution may be greater than the first resolution.
  • the interpolation processing section 33 is based on the various interpolation schemes to zero the second resolution.
  • Phase data IMD2 can be generated.
  • the interpolation processor 33 enlarges the sensed data ISD1 of the first resolution by using one of linear interpolation, polynomial interpolation, and spline interpolation. 2 Resolution and image data (IMD2) can be generated.
  • IMD2 2 Resolution and image data
  • Cusp spline interpolation or Cardinal spline interpolation may be used as an example of specific spline interpolation. An exemplary interpolation scheme will be described later with reference to FIGS. 8A to 8E.
  • the interpolation processor 33 may perform interpolation based on the scaling control signal SCS.
  • the scaling control signal may include information relating to the first resolution and the second resolution associated with interpolation.
  • a scaling control signal may be generated based on the first resolution and the second resolution.
  • the second resolution may be a higher resolution than the first resolution of the first resolution is the resolution that respond to the physical sensing density of the infrared sensing unit (31)
  • the first resolution may be 384X288 resolution, in which case the second resolution may be higher than 384X288.
  • the second resolution may be 720X480 or 720X576. May have a resolution.
  • the first direction scaling factor and the second direction scaling factor which are ratios extending from the first resolution to the second resolution, may be the same.
  • the first direction scaling factor may be a ratio of the first direction to the first resolution and the second resolution.
  • the second direction scaling factor may be a ratio of the first resolution to the second direction of the second resolution.
  • the first direction scaling factor may be determined as 2.
  • the first resolution and the second resolution may have second direction resolutions of 240 and 480, respectively.
  • the second direction scaling factor may be determined as 2.
  • the first direction scaling factor and the second direction scaling factor may be the same. In this case, the aspect ratio of the enlarged image remains the same. As described below, in another embodiment, the first direction scaling factor and the second direction scaling factor may be different from each other. In one embodiment, the image data of the second resolution output from the interpolation processor 33.
  • the interpolation processor 33 may include a digital-to-analog converter (DAC) for signal processing.
  • DAC digital-to-analog converter
  • the display device displaying the image data IMD2 may be an analog display device.
  • the image data IMD2 output from the interpolation processor 33 may be digital data.
  • the data processed in the digital form in the interpolation processor 33 may be output without undergoing digital-to-analog conversion.
  • the display device displaying the interpolation data IMD2 may be a digital display device.
  • the interpolation processor 33 of the infrared image processing apparatus 30 may selectively output the image data IMD2 having the second resolution in an analog form or a digital form.
  • the shape of the image data IMD2 of the second resolution output by the interpolation processor 33 may be selected according to the shape of the display device.
  • the image data IMD2 having the second resolution may be output in a format such as analog CVBS or ITU-BT656.
  • the interpolation processor 33 may include at least one converter to output the image data IMD2 in a specific format.
  • the output unit 34 outputs the image data IMD2 of the second resolution.
  • the output unit 34 may output the image data IMD2 of the second resolution to the deslaying device.
  • the output unit 34 may include a memory device for temporarily storing the image data IMD2 of the second resolution in one frame unit, and according to the form of the image data IMD2 of the second resolution. It may include a digital-to-analog converter or an analog-to-digital converter for converting the stored data or the data output to the display device.
  • the output unit 34 may include an interface device for communicating with a display device that displays image data IMD2 having a second resolution.
  • FIG. 6 is a diagram illustrating an example of an interpolation processor of FIG. 5.
  • the interpolation processor 33 includes a first memory unit 31Q and a second memory unit.
  • the first memory unit 310 stores the image data IMD1 of the first resolution.
  • the calculator 330 receives the image data IMD1 having the first resolution from the first memory 310 and performs interpolation to generate interpolated image data IIMD.
  • the second memory unit 320 stores the image data IMD1 of the first resolution. And interpolation image data IIMD as image data IMD2 of a second resolution.
  • the control unit 340 controls the first memory unit 310, the second memory unit 320, and the operation unit 330.
  • the first memory unit 310 may be any memory device that temporarily stores the image data IMD1 of the first resolution input from the image processor 235.
  • the first memory unit 310 may be configured as a register.
  • the first memory unit 310 may be controlled by the first control signal CS1 input from the controller 340.
  • the second memory unit 320 may be controlled by the second control signal CS2 input from the controller 340.
  • the first memory unit 310 may output the image data IMD1 having the first resolution to the second memory unit 320 and the calculation unit 330 based on the first control signal CS1.
  • the calculation unit 330 may generate interpolation image data IIMD by interpolating the image data IMD1 having the first resolution.
  • Data may be data to be inserted between the original data before interpolation.
  • the image data IMD1 of the first resolution may correspond to the original pixel data of FIG. 3A
  • the interpolated image data IIMD is between the original data in FIG. 3B.
  • the pixel data may be inserted. That is, in the example of FIGS. 3A and 3B, the image data IMD1 of the first resolution may correspond to pixel data represented by original characters 1 to 16, and the interpolated image data IIMD is a pixel represented by original characters in FIG. 3B. Other pixel data may be encountered.
  • the calculator 330 may be controlled by the third control signal CS3 input from the controller 340.
  • the second memory unit 320 may store the image data IMD1 of the first resolution input from the first memory unit 310 and the interpolation image data IIMD input from the calculator 330.
  • the image data IMD1 and the interpolation image data IIMD having the first resolution may be stored in the second memory unit 320 as the image data IMD2 having the second resolution.
  • the image data IMD2 of the second resolution may correspond to the entire pixel data of FIG. 3B.
  • the storage data of the first resolution image data DIMD1 and the interpolation image data IIMD stored in the second memory unit 320 may need to be carefully designated.
  • the first line of the image 13 is original characters.
  • Pixels indicated by 1 to 4 and pixels not indicated by the original character are displayed alternately. This indicates that the image data IMD1 and the interpolation image data IIMD having the first resolution are alternately stored in the second memory unit 320 as pixel data constituting the first row of the image 13. Can mean. On the other hand, in the second row of the image 13 of Fig. 3B, only pixels not represented by the original characters are designated. This may mean that only the interpolated image data IIMD is stored in the second memory unit 320 as pixel data constituting the second row of the image 13.
  • the controller 340 of the interpolation processor 33 may control the order of the image data IMD1 and the interpolated image data IIMD of the first resolution stored in the second memory 320 based on the above description. have. In this case, the second memory unit 320 may store the image data IMD1 and the interpolated image data IIMD having the first resolution based on the second control signal CS2 of the controller 340.
  • the controller 340 may control the first memory 310, the second memory 320, and the calculator 330 of the interpolation processor 33.
  • the controller 340 may be configured to include a first memory unit 310, a second memory unit 320, and a calculation unit based on the first control signal CS1, the second control signal CS2, and the third control signal CS3. 330 may be controlled.
  • the first control signal CS1, the second control signal CS2, and the third control signal CS3 may be generated in the controller 340 based on the scaling control signal SCS.
  • Each of the devices or components of FIGS. 4 to 6 may be implemented on one chip.
  • a high cost is required, while the cost of implementing a chip including the functions may be relatively low. Therefore, according to the present invention, the resolution of the infrared image can be improved without additional cost increase required to increase the device integration degree of the imaging device.
  • the interpolation processor 33 of FIG. 5 is illustrated in FIG. 6, the interpolation processor of FIG. 4, which receives the sensing data ISD1 of the first resolution and generates the sensing data ISD2 of the second resolution, is illustrated in FIG. 22) It can also be implemented in the same way. In this case, the interpolation processor 22 of FIG. 4 interpolates the sensing data rather than the image data.
  • 7A and 7B are views for explaining magnification and interpolation of an infrared image when the first direction scaling factor is different from the second direction scaling factor.
  • FIG. 7A an image 40 before magnification through interpolation processing is shown.
  • FIG. 7B an image 45 magnified through interpolation processing is illustrated. Similar to FIG. 3A, the image 40 shown in FIG. 7A is 4 ⁇ 4 pixels in size. Unlike FIG. 3B, the image 45 shown in FIG. 7B is 12 ⁇ 8 pixels in size.
  • the image 10 of the first resolution of FIG. 3A is illustrated in FIG. 3B.
  • the first direction D1 scaling factor and the second direction D2 scaling factor for converting to the image 13 of the second resolution are equal as two.
  • the image 10 is enlarged at the same ratio in the horizontal and vertical directions.
  • the scaling factor of the first direction D1 is 3 and the scaling factor of the second direction D2 is 2.
  • the aspect ratio in which the original image 40 is enlarged is different. That is, in the infrared image processing method according to an embodiment of the present invention, in the first direction scaling factor and the second direction scaling factor for converting the first resolution to the second resolution, the first direction scaling factor is the first direction scaling factor. It may be different from the two-way scaling factor. In this case, ratios of the first direction D1 and the second direction D2 of the original image 40 before enlargement are changed through enlargement.
  • 8A to 8E are graphs for illustrating a method of enlarging and interpolating an infrared image.
  • the image data is data having position information in two dimensions, but data having position information in one dimension is shown for convenience of description.
  • the original data before interpolation is indicated by dots, and the data newly generated by interpolation is indicated by lines between the points.
  • the horizontal axis may be position information of data
  • the vertical axis may mean a value of data designated at each position.
  • FIG. 8A data is shown prior to interpolation. Since the data before interpolation, the lines between the dots are not shown.
  • FIG. 8B there is shown data in which data specified between original data has the same characteristics as the nearest data.
  • pixels may be simply enlarged and recognized as blocks.
  • Linear interpolation is one of the simplest of the interpolation methods. Data between points corresponding to the data before interpolation is generated by linear calculation as shown in the graph of FIG. 8C. Linear interpolation has the advantage of fast calculation due to the small amount of computation required for interpolation.
  • interpolation is performed according to polynomial interpolat ion. Data is shown.
  • Polynomial interpolation is equivalent to generalizing linear interpolation. Linear interpolation is a first-order polynomial, while polynomial interpolation can have two or more polynomials.
  • polynomial interpolation may perform interpolation by generating a curve following a sixth order polynomial. In general, if there are n data, the order of the polynomial required for polynomial interpolation may be n-1, since the curve that must pass all n data must be selected.
  • polynomial interpolation unlike linear interpolation, differentiation is possible at the position of original data.
  • polynomial interpolation can increase computational complexity and runge's phenomenon because the order of the special polynomial is higher than the linear interpolation.
  • spline interpolat ions may be used.
  • Spline interpolation allows the use of low-degree polynomials in each interval. This polynomial can be chosen to be naturally connected to the polynomials in the preceding and following intervals. The functions selected for each interval are called splines. Like polynomial interpolation, spline interpolation produces a smaller error than linear interpolation. Also, interpolation is naturally connected over the interval, but requires less computation than polynomial interpolation. Although the Runge phenomenon mentioned above is a significant improvement over polynomial interpolation, spline interpolation alone is not yet sufficient. As the spline interpolation, cubit spline interpolation or cardinal spline interpolation may be used. In addition, one of several other types of spline interpolation methods may be used in the present invention.
  • FIG. 9 is a flowchart illustrating an infrared image processing method according to an embodiment of the present invention.
  • step S10 data having a first resolution that corresponds to an infrared detection value is generated (step S10), and data of the first resolution is generated.
  • Interpolation is performed to generate data of the second resolution (step S30), and the data of the second resolution is output (step S50).
  • first data corresponding to a value detected at each pixel of the infrared sensing device is generated.
  • the data of the resolution can be generated.
  • the data having the first resolution may be analog data. Therefore, the data of the first resolution may be processed by analog-to-digital conversion.
  • data of the first resolution may be expanded to data of the second resolution through an interpolation process.
  • an interpolation process may be performed before the sensing data is converted into image data, or an interpolation process may be performed after the sensing data is converted into image data.
  • the data of the first resolution and the second resolution to be interpolated may be the sensing data.
  • the data of the first resolution and the data of the second resolution to be interpolated may be image data.
  • the interpolation process may be performed by digital signal processing.
  • the data of the second resolution which is interpolated and enlarged, may be output for other subsequent signal processing or to be displayed on the despray device.
  • FIG. 10 is a flowchart illustrating an infrared image processing method according to another embodiment of the present invention.
  • detecting infrared rays from a plurality of pixels to generate sensed data having a first resolution (S110).
  • a process of first converting sensing data having a first resolution into image data having a first resolution and then interpolating the image data having the first resolution may be performed to enlarge the second resolution.
  • FIG. 11 is a flowchart illustrating an infrared image processing method according to another embodiment of the present invention.
  • an infrared image processing method may include detecting infrared rays from a plurality of pixels to generate sensing data having a first resolution (S210). Detection of the second resolution by interpolating sense data of one resolution Generating data (S230), outputting the sensed data of the second resolution (S250) and generating the image data of the second resolution by image processing the output sensed data of the second resolution (S270) It includes.
  • the sensing data of the first resolution may be enlarged to the sensing data of the second resolution through interpolation, and then the process of converting the sensing data of the second resolution into image data may be performed.
  • the image processing process may include, for example, functions such as color mapping, inverse, flip-H / V, and freeze.
  • the methods of FIGS. 9 to 11 may be implemented by computer programs and performed by software.
  • 12A and 12B are diagrams for comparing the quality of an enlarged infrared image according to an embodiment of the present invention.
  • Fig. 12A shows an enlarged image of an infrared image without image processing according to the present invention.
  • the pixels may be enlarged in a block shape.
  • 12B illustrates an image in which an infrared image is enlarged through image processing according to an embodiment of the present invention.
  • FIG. 12B unlike FIG. 12A, even when the image is enlarged, the phenomenon in which the pixels are enlarged in a block shape is alleviated and displayed. Therefore, according to the present invention, the resolution of the infrared image can be improved without additional cost increase required to increase the device integration degree of the imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

적외선 영상 처리 방법은 복수의 픽셀에서 감지되는 적외선 검출값에 대응하는 제 1 해상도의 데이터를 생성하는 단계, 제 1 해상도의 데이터를 보간 처리하여 제 2 해상도의 데이터를 생성하는 단계 및 제 2 해상도의 데이터를 출력하는 단계를 포함한다.

Description

【명세서】
【발명의명칭】
적외선 영상 처리 방법 및 적외선 영상 처리 장치
【기술분야】
<ι> 본 발명은 영상 처리에 관한 것으로， 보다 상세하게는 적외선 영상 처리 방 법 및 적외선 영상 처리 장치에 관한 것이다.
【배경기술】
<2> 일반적인 적외선 카메라는 물체에서 방사되는 적외선 방사 에너지를 검지기 에 의해 검출하고, 물체의 방사 온도를 전기 신호로서 꺼내어 2차원의 가시상으로 표시하는 방식에 의해 적외선 영상을 생성한다. 이를 위해 적외선의 감지 결과를 2 차원 상의 데이터로 변환하는 촬상 소자가 필요하다. 종래의 적외선 카메라 시스템 에 관한 기술은 한국공개특허공보 공개번호 톡 2002-0053262 등에 개시되어 있다.
<3> 적외선은 가시광선이나 자외선에 비해 강한 열작용을 가지고 있는 것이 특징 이며， 이 때문에 열선이라고도 한다. 태양이나 발열체로부터 공간으로 전달되는 복 사열은 주로 적외선에 의한 것이다. 공업용이나 의료용으로 사용하기 위한 것으로， 강한 적외선을 방출하는 적외선 전구가 있다. 적외선이 강한 열호과를 가지고 있는 것은 적외선의 주파수가 물질을 구성하고 있는 분자의 고유진동수와 거의 같은 정 도의 범위에 있기 때문에， 물질에 적외선이 부딪치면 전자기적 공진현상을 일으켜 적외광파의 에너지가 효과적으로 물질에 흡수되는 것에 기인한다. 적외선은 파장이 길기 때문에 자외선이나 가시광선에 비하여 미립자에 의한 산란효과가 적어서 공기 증에 비교적 잘 투과한다.
<4> 적외선 촬상 소자는 적외광의 2차원 패턴을 전기 신호로 변환하는 기능의 소 자로 파악할 수 있다. 적외선 영상 검출의 증요한 파장 대역인 2~12 의 파장에 감 도를 가진 재료로서는 블순물 도프 Ge, InAs, InSb, HgCdTe, PbS 등이 있지만 모두 냉각을 요한다. 이에 대하여 TGS(triglycine sulphate), LiTa03, PbTi03 등의 초전 (焦電)결정은 웅답속도는 늦지만 상은에서 사용할 수 있다. 적외선 촬상 장치는 주 사방식에 따라 광학주사 (회전거울 등), 전자 빔 주사 (적외선 비디콘)， 자기주사 (고 체화 컬러) 등으로 분류될 수 있다. 실용화되어 있는 적외선 촬상 소자의 다수는 HgCdTe 등의 단일 센서와 광학 주사를 조합한 것이다. 이중에는 기상 위성에 탑재 되어 지구를 관측하는 센서인 가시 적외 복사계 (visible and infrared spin scan radiometer; VISSR)와 같이 일상 생활에 밀접한 관계를 가진 센서도 있다. <5> 한편, 적외선 촬상 소자는 가시광선 영역의 촬상 소자로 폭넓게 사용되는 전 하 결합 소자 (charge-coup led device; CCD) 또는 상보형 금속 산화막 반도체 (complementary metal -oxide semiconductor； CMOS)와 비교하여 블 때, 집적도를 높 이기 위해서 높은 비용이 수반된다. 이와 관련하여， 많은 응용 분야에서 적외선 촬 상 소자로부터 얻어진 영상 데이터를 실시간으로, 혹은 이를 저장하여 디스플레이 장치에 표시하는 경우가 있다. 상술한 바와 같이， 적외선 촬상 소자의 화소 집적도 를 높이는 데에는 기술적 난이도 또는 고비용이 수반되며, 상용의 적외선 영상 시 스템에 있어서 일반적인 디스플레이 장치의 해상도보다 낮은 해상도의 적외선 영상 데이터를 출력하는 경우가 있다.
<6> 예를 들어, 적외선 감지부에서 감지되는 데이터는 384X288 픽셀 사이즈의 데이터일 수 있다. 또한, 통상적으로 많이 사용되는 디스플레이 시스템은 미국 및 한국에서 주로 사용되는 텔레비전 방송의 규격인 NTSC 방식， 또는 대부분의 유럽 국가들에서 사용되는 PAL 방식을 채택할 수 있다. NTSC 방식 또는 PAL 방식은 720 X480 또는 720X576 규격의 출력 해상도를 지원할 수 있으며， 이에 따라 디스플레 이 시스템의 해상도 또한 720X480 또는 720X576 규격을 갖는 경우가 많다.
<7> 상기와 같은 디스플레이 시스템에 384X288 크기의 적외선 데이터를 영상으 로 출력하기 위해서는 디스플레이 시스템의 표시 영역의 일부 면적을 활용하여 384 288 규격의 영상을 표시하거나， 또는 384X288 크기의 데이터 또는 384X288 규 격의 명상을 확대하여 전체 디스플레이 영역에 표시하는 방법이 있다. 디스플레이 시스템의 일부 표시 영역에만 적외선 영상을 표시하는 것은 디스폴레이 시스템 성 능의 일부만 사용하는 것으로 비효율적이다. 384X288 크기의 데이터 또는 384 X 288 규격의 영상을 확대하여 전체 디스플레이 영역에 표시하는 경우, 픽셀 자체가 블록과 같이 확대되어 보이는 현상이 발생할 수 있다. 따라서, 전체적인 영상의 크 기는 증가하지만 시각적으로 영상의 품질이 저하되는 것처럼 인식될 수 있다.
<8> 적외선을 센싱하여 영상을 생성하는 적외선 카메라는 주로 야간 감시 카메라 로서 사용된다. 또한 군사 목적 또는 선박 항해시 물체의 식별 등에 이용될 수 있 고， 비파괴 검사의 분야에도 사용될 수 있다. 한편, 적외선 영상의 일 분야에서， 물체의 유무 여부 뿐만 아니라 물체의 형상을 식별하는 것이 증요할 수 있다. 예를 들어, 군사 목적의 야간 감시 카메라에서는 경계 지역에 존재하는 물체의 유무 여 부를 식별 하는 것도 중요하나， 구체적인 물체의 형상을 식별하여 인간인지 또는 동물이나 기타 물체를 식별하는 것 또한 중요할 수 있다. 이런 측면에서 파악할 때 ， 적외선 카메라의 해상도를 높이는 것은 적외선 영상의 특성 등과 관련되어 중요 한 목적이 될 수 있다. 즉， 낮은 해상도의 적외선 영상으로는.물체의 유무 식별 또 는 물체의 위치 식별 등은 가능하지만， 구체적인 형상의 식별에는 어려움이 있을 수 있다. 또한， 적외선 영상의 해상도를 높이기 위해 촬상 소자의 물리적인 화소 집적도를 높이는 것은 기술적으로 어려움이 있으며 높은 비용올 수반하게 된다. 예 를 들어， 적외선 영상의 해상도를 직접적으로 높이기 위해 적외선 촬상 소자의 화 소 집적도를 2배 높이는 경우에 비용은 3~4배로 증가할 수 있다.
【발명의 요약】
【기술적 과제】 .
<9> 본 발명의 일 목적은 적은 비용 상승폭으로 확대된 적외선 영상의 품질을 개 선시킬 수 있는 적외선 영상 처리 방법을 제공하는 데 있다.
<10> 본 발명의 다른 일 목적은 품질이 개선된 확대된 적외선 영상을 생성하는 적 외선 영상 처리 장치를 제공하는 데 있다.
<11> 다만, 본 발명의 해결하고자 하는 과제는 상기 언급된 과제에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
【기술적 해결방법]
<12> 상기 일 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적외선 영상 처 리 방법에서는， 복수의 픽셀에서 감지되는 적외선 검출값에 대웅하는 제 1 해상도 의 데이터를 생성하고, 상기 제 1 해상도의 데이터를 보간 처리하여 제 2 해상도의 데이터를 생성하며, 상기 제 2 해상도의 데이터를 출력한다.
일 실시예에서， 상기 제 1 해상도의 데이터는 제 1 해상도의 영상 데이터이 고, 상기 제 1 해상도의 데이터를 생성하는 단계는, 상기 복수의 픽셀에서 적외선 을 감지하여 제 1 해상도의 감지 데이터를 생성하는 단계 및 상기 제 1 해상도의 감지 데이터를 영상 처리하여 상기 제 1 해상도의 영상 데이터를 생성하는 단계를 포함할 수 있다.
<14> 일 실시예에서， 상기 제 1 해상도의 데이터 및 상기 제 2 해상도의 데이터는 각각 제 1 해상도의 감지 데이터 및 제 2 해상도의 감지 데이터이고， 상기 출력된 제 2 해상도의 감지 데이터를 영상 데이터로 변환하는 단계를 더 포함할 수 있다.
<15> 일 실시예에서, 상기 보간 처리는 선형 보간 (Linear interpolation), 다항 보간 (Polynomial interpolation), 스플라인 보간 (Spline interpolation) 증 어느 하나의 방식을 따를 수 있다.
<16> 상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적외선 영상 처리 장치는 적외선 감지부， 보간 처리부， 영상 처리부 및 출력부를 포함한다. 상 기 적외선 감지부는 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성한다. 상 기 보간 처리부는 상기 제 1 해상도의 감지 데이터를 보간 처리하여 제 2 해상도의 감지 데이터를 생성한다. 상기 영상 처리부는 상기 제 2 해상도의 감지 데이터를 영상 처리하여 제 2 해상도의 영상 데이터를 생성한다. 상기 출력부는 상기 제 2 해상도의 영상 데이터를 출력한다.
<17> 일 실시예에서, 상기 상기 보간 처리부는 제 1 메모리부， 연산부, 제 2 메모 리부 및 제어부를 포함할 수 있다. 상기 제 1 메모리부는 상기 제 1 해상도의 감지 데이터를 저장할 수 있다. 상기 연산부는 상기 제 1 메모리부로부터 상기 제 1 해 상도의 감지 데이터를 입력 받아 보간 연산을 수행하여 보간 감지 데이터를 생성할 수 있다. 상기 제 2 메모리부는 상기 제 1 해상도의 감지 데이터' 및 상기 보간 감 지 데이터를 상기 제 2 해상도의 감지 데이터로서 저장할 수 있다. 상기 제어부는 상기 제 1 메모리부, 상기 제 2 메모리부 및 상기 연산부를 제어할 수 있다.
<18> 상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 적외선 영상 처리 장치는 적외선 감지부， 영상 처리부， 보간 처리부 및 출력부를 포함한다. 상 기 적외선 감지부는 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성한다. 상 기 영상 처리부는 상기 제 1 해상도의 감지 데이터를 영상 처리하여 제 1 해상도의 영상 데이터를 생성한다. 상기 보간 처리부는 상기 제 1 해상도의 영상 데이터를 보간 처리하여 제 2 해상도의 영상 데이터를 생성한다. 상기 출력부는 상기 제 2 해상도의 영상 데이터를 출력한다.
<19> 일 실시예에서, 상기 보간 처리부는 제 1 메모리부， 연산부, 제 2 메모리부 및 제어부를 포함할 수 있다. 상기 제 1 메모리부는 상기 제 1 해상도의 영상 데이 터를 저장할 수 있다. 상기 연산부는 상기 제 1 메모리부로부터 상기 제 1 해상도 의 영상 데이터를 입력 받아 보간 연산을 수행하여 보간 영상 데이터를 생성할 수 있다. 상기 제 2 메모리부는 상기 제 1 해상도의 영상 데이터 및 상기 보간 영상 데이터를 상기 제 2 해상도의 영상 데이터로서 저장하할 수 있다. 상기 제어부는 상기 제 1 메모리부, 상기 제 2 메모리부 및 상기 연산부를 제어할 수 있다.
<20> 일 실시예에서, 제 1 해상도를 제 2 해상도로 변환하기 위한 제 1 방향 스케 일링 인자와 제 2 방향 스케일링 인자에 있어서， 상기 제 1 방향 스케일링 인자는 상기 제 2 방향 스케일링 인자와 동일할 수 있다.
<21> 일 실시예에서， 제 1 해상도를 제 2 해상도로 변환하기 위한 제 1 방향 스케 일링 인자와 제 2 방향 스케일링 인자에 있어서, 상기 제 1 방향 스케일링 인자는 상기 제 2 방향 스케일링 인자와는 다를 수 있다.
<22> 일 실시예에서， 상기 적외선 영상 처리 장치는 상기 제 2 해상도의 영상 데 이터를 표시하는 디스플레이부를 더 포함할 수 있다.
<23> 일 실시예에서， 상기 제 1 해상도의 감지 데이터는 디지털 형태의 데이터이 며, 상기 적외선 감지부는 감지된 적외선 신호를 디지털 형태로 변환하여 상기 제 1 해상도의 감지 데이터를 생성하는 아날로그—디지털 변환기 (Analog-Digital Converter; ADC)를 포함할 수 있다.
<24> 실시예에 따라， 상기 제 2 해상도의 영상 데이터는 아날로그 데이터일 수 다. 상기 출력부는 상기 제 2 해상도의 영상 데이터를 아날로그 형태로 변환하는 디지털—아날로그 변환기 (Digita卜 Analog Converter; D )를 포함할 수 있다.
【유리한 효과】
<25> 본 발명에 따론 적외선 영상 처리 방법 또는 적외선 영상 처리 장치에 의하 면， 적외선 영상의 특성에 따라 영상의 스케일링 시에 화질을 개선할 수 있다. 【도면의 간단한 설명】
<26> 도 1은 적외선 카메라에서.영상을 얻기 위해 사용되는 전자기파의 파장대를 나타내는 도면이다.
<27> 도 2a 내지 2c는 적외선 영상의 확대에 따른 해상도 변화를 나타내는 도면이 다 ·
<28> 도 3a 및 3b는 적외선 영상의 확대 및 보간을 설명하기 위한 도면이다.
<29> 도 4는 본 발명의 일 실시예에 따른 적외선 영상 처리 장치를 나타내는 블록 도이다.
<30> 도 5는 본 발명의 다른 실시예에 따른 적외선 영상 처리 장치를 나타내는 블 록도이다.
<31> 도 6은 도 5의 보간 처리부의 일 실시예를 나타내는 도면이다.
<32> 도 7a 및 7b는 제 1 방향 스케일링 인자가 제 2 방향 스케일링 인자와 다른 경우의 적외선 영상의 확대 및 보간을 설명하기 위한 도면이다.
<33> 도 8a 내지 8e는 적외선 영상의 확대 및 보간 방식올 예시하기 위한 그래프 들이다. <34> 도 9는 본 발명의 일 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서 도이다.
<35> 도 10은 본 발명의 다른 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.
<36> 도 11은 본 발명의 또다른 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.
<37> 도 12a 및 도 12b는 본 발명의 일 실시예에 따라 확대된 적외선 영상의 품질 을 비교하기 위한 도면이다.
【발명의 실시를 위한 형태】
<38> 본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기 능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로'해석되어서는 아니 된다.
<39> 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바， 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어 야 한다.
<40> 제 1， 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나 의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들 어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소 로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. <41> 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어'' 있다고 언급된 때에는， 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있 을 수도 있지만, 증간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이 다. 반면에， 어떤 구성요소가 다른 구성요소에 "직접 연결되어' ' 있다거나 "직접 접 속되어 있다고 언급된 때에는， 증간에 다른 구성요소가 존재하지 않는 것으로 이 해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들， 즉 〜사이에 와 "바로 〜사이에" 또는 1 '〜에 이웃하는'1과 "-에 직접 이웃하는'' 등도 마찬가지로 해석되어야 한다. <42> 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것 으로， 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르 게 뜻하지 않는 한， 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지 다" 등의 용어는 설시된 특징, 숫자， 단계， 동작, 구성요소， 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지， 하나 또는 그 이상의 다른 특징들이나 숫자， 단계， 동작， 구성요소, 부분품 또는 .이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다 .
<43> 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정 의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미 인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거 나 과도하게 형식적인 의미로 해석되지 않는다.
<44> 이하, 첨부한 도면들을 참조하여， 본 발명의 바람직한 실시예를 보다 상세하 게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사 용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
<45> 도 1은 적외선 카메라에서 영상을 얻기 위해 사용되는 전자기파의 파장대를 나타내는 도면이다. 도 1올 참조하면 , 가시광선 영역보다 파장이 긴 적외선 영역이 도시되어 있다. 가시광선 영역은 가장 파장이 짧은 보라 (V)에서부터, 파랑 (B), 초 록 (G), 노랑 (Y), 주황 (0) 및 빨강 (R) 영역의 파장 대역을 포함한다.
<46> 한편, 적외선은 가시광선의 파장보다 긴 750nm에서 1mm의 대역의 전자기파를 말하는 것으로서， 이러한 적외선 대역 증에서도 근적외선 (Near Infrared Ray; NIR) 의 빛은 700nm에서 1400nm의 파장을 말한다. 상기 근적외선 대역의 빛은 사람의 눈 에는 보이지 않지만 CCD나 CMOS 소자로도 감지가 가능하다. 이에 비해, 원적외선 (Far Infrared Fay; FIR) 대역은 장파 적외선 (Long Wavelength Infrared Ray; LWIR)이라고도 하며 적외선은 빛의 파장 중 8μπι에서 15um의 대역을 나타낸다. 특 히 원적외선 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있는 장 점이 있다.
<47> 또한， 에너지 방출 특성 측면에서 볼 때 파장에 따른 복사 에너지는 3μηι ~
5ym 의 파장 대역보다 8ym ~ 12μπι 파장 대역에서 크게 나타나고, 모래먼지, 섬 광， 연막 등에 대한 투과 특성이 우수하여 8μιτι - 12 ym 파장 대역이 적외선 카메 라또는 적외선 탐지 장치에 널리 이용된다.
<48> 이 경우에 감지된 데이터는 온도 데이터로서， 상기 온도 데이터를 영상 데이 터로서 변환 처리하여 디스플레이 장치로 출력할 수 있다. 디스폴레이 장치는 입력 된 영상 데이터를 화면에 표시할 수 있다.
<49> 도 2a 내지 2<：는 적외선 영상의 확대에 따른 해상도 변화를 나타내는 도면이 다.
<50> 도 2a를 참조하면， 6X6 픽셀 크기의 영상이 도시되어 있다. 적외선 카메라 또는 적외선 영상 시스템에서, 적외선 영상은 적외선의 강도 (intensity)에 따라 밝 기를 표현할 수 있다. 통상적인 가시광선을 감지하는 영상 시스템에서 필터를 사용 하여 컬러 영상을 나타내는 것과 달리, 적외선 영상은 기본적으로 혹백 영상을 표 현할 수 있다. 응용에 있어서， 적외선의 강도에 따라 색상을 다르게 표현하는 방법 을 채용할 수도 있다.
<51> 도 2b는 도 2a의 영상을 확대하여 12X12 픽샐 크기의 영역에 도시한 것이 다. 도 2a와 도 2b를 같이 참조하면, 도 2b에서 픽셀 면적이 도 2a의 픽셀 면적의 4배임을 알 수 있다. 도 2b의 영상 영역에서는 픽셀들의 개수가 네 배가 되었으며， 원본 영상의 각 픽셀에 대응하는 값이 네 개의 픽셀에 동일하게 배정되어 네 개의 픽셀이 하나의 블록과 같이 표현되어 있다. 도 2b에 도시된 바와 같이， 낮은 해상 도의 영상을 단순히 확대하는 경우에 픽셀들도 확대되어 블록과 같이 인식될 수 있 - 다 "
<52> 도 2c는 도 2a의 영상을 확대하여 보간 처리한 결과 영상이다. 도 2c의 영상 영역은 도 2b와 마찬가지로 12X12 픽셀 크기의 영상 영역올 갖는다. 그러나 도 2b 의 영상과는 달리 네 개의 픽셀 단위에 서로 다른 화소 값이 배정되어 있음을 알 수 있다. 상기 서로 다른 화소 값의 배정은 보간 처리를 통해 수행할 수 있다. 도 2b와 도 2c를 함께 참조하면, 도 2b에 비애 도 2c의 영상이 해상도가 더욱 높아 보 임을 알 수 있다.
<53> 보간 처리는 픽셀의 수를 증가시키는 경우에 외관상 해상도를 올리는 처리를 의미할 수 있다. 신호 처리의 관점에서는 샘플링 레이트가 낮은 데이터를 업샘플링 한 효과를 만들기 위해 샘플링 데이터들 사이에 새로운 데이터를 생성하는 과정을 의미할 수 있다. 적외선 영상 처리 장치에서, 영상 신호의 해상도를 변환하는 경 우， 특히 해상도를 향상시키는 경우 원래 영상의 픽셀들 외에 해상도 상승에 따라 생성되는 픽셀들의 계산하는 방식을 의미할 수 있다. <54> 적외선 영상 데이터는 가시광선 영역에 의한 영상 데이터와 달리 열선의 감 지에 의해 영상이 얻어지게 된다. 적외선 영상과 일반적인 가시광선 영상 데이터는 영상 처리에 있어서 차이점이 있을 수 있다. 예를 들어, 가시광선 영상 데이터의 경우， 물체의 색상 변화에 따라 반사되는 가시광선의 파장이 달라지므로, 각각의 색상 필터를 통해 유입되는 가시광선의 강도가 변화하게 된다. 상기 서로 다른 파 장의 가시광선 강도의 조합에 따라 색상이 나타나게 된다. 한편， 적외선 영상의 경 우, 유입되는 적외선의 파장대는 색상을 나타낼 수 있는 가시광선의 파장대와 다르 므로, 생성되는 영상에 색상 정보는 포함되지 않는다. 응용에 따라 적외선 영상에 색상 처리를 하는 경우가 있으나, 상기 경우는 적외선의 강도에 따라 구분올 쉽게 하기 위해 인위적으로 색상 처리를 ^는 것이고, 실제 물체의 색상 정보를 반영하 는 것은 아니다.
<55> 상기 차이점은 보간 처리를 함에 있어서도 나타날 수 있다. 예를 들어， 일 반적인 가시광선 영상의 보간 처리에 있어서, 미세하고 복잡한 패턴의 색상을 포함 하는 물체를 낮은 해상도의 촬상 장치로 촬영한 후에 보간 처리를 하여 확대하는 경우， 보간을 통해 확대된 영상과 실제 높은 해상도로 촬영된 영상은 많은 차이가 있을 수 있다. 색상이 변화하는 부분에서 해당 파장대의 가시광선 강도가 급격히 ' 변화하기 때문이다. 한편, 적외선 영상의 경우， 열 영상의 특징 상 동일한 물체 표 면에서 적외선 강도가 급격히 변화하는 경우는 많지 않고， 적외선 영상은 실제의 색상 정보를 반영하지 않으므로， 보간을 통해 확대된 영상과 실제 높은 해상도로 촬영된 영상 사이에는 상대적으로 차이가 적게 나타날 수 있다. 상기 차이점은 영 상의 보간 처리에 대한 효용성에 영향을 줄 수 있다. 가시광선 영상의 경우 보간 처리를 통해 확대한 영상이 높은 해상도로 촬영한 영상과 차이가 크므로 보간을 통 한 영상 확대의 품질에 한계가 있을 수 있다. 한편, 적외선 영상의 경우 보간 처리 를 통해 확대한 영상이 높은 해상도로 촬영한 영상과 차이가 상대적으로 작으므로 , 보간을 통해 확대된 영상은 가시광선 영상의 경우와 비교할 때 상대적으로 나은 영 상 품질을 나타낼 수 있다. 즉， 적외선 영상은 가시광선 영상에 비해 상대적으로 보간 처리에 더욱 높은 적응성을 가질 수 있다. 이에 따라 보간으로 인해 생성된 영상이 적외선 영상의 경우가 가시광선 영상의 경우보다 더욱 우수할 수 있다.
<56> 도 3a 및 3b는 적외선 영상의 확대 및 보간을 설명하기 위한 도면이다.
<57> 도 3a를 참조하면， 4X4 픽셀 크기와 영상 (10)이 도시되어 있다. 도 3b를 참 조하면， 4X4 픽셀 크기의 영상 (10)이 8X8 픽셀 크기의 영상 (13)으로 확대된 상태 가 도시되어 있다. 도 3a에서 각 픽셀의 위치는 원문자 1 내지 16으로 참조되어 표 시되어 있다. 도 3b를 참조하면， 도 3a의 각 픽셀들이 각각 제 1 방향 (D1) 및 제ᅵ 2 방향 (D2)으로 한 팍셀씩 건너뛰어 배치되어 있다. 예를 들어, 도 3a의 원문자 7에 상웅하는 픽셀 (107)은 도 3b의 픽셀 (137)에 대웅한다. 이에 따라, 도 3b의 영상 (13)에 포함되는 64개의 픽셀 중 도 3a의 영상 (10)의 픽셀들에 대웅하는 16개의 픽 셀에는 도 3a의 픽셀 데이터 값들이 배정될 수 있다. '
<58> 도 3a의 영상 (10)을 도 3M13)의 영상 (13)으로 확대함에 따라， 픽셀 수는 네 배가 되고， 따라서 48개의 픽셀들의 데이터 값들은 미지정된 상태이다. 상기 48개 의 미지정된 픽셀들에 지정하는 데이터 값돌을 생성하는 방식에 따라 확대된 영상 (13)의 품질이 달리질 수 있다. 예를 들어， 도 2b에서 예시된 도면과 같이， 48개의 미지정된 픽셀들에， 상웅하는 16개의 픽샐들의 데이터 값을 일괄적으로 지정할 수 있다. 예를 들어, 픽셀 (131)과 함께 하나의 정사각형 블록을 형성하는 세 개의 픽 셀들 (132, 139, 140)에 픽셀 (131)의 데이터 값이 동일하게 지정될 수 있다. 이러한 방식으로 48개의 픽셀들의 데이터 값을 지정하는 경우 도 2b의 영상과 같이 픽셀 자체의 크기가 확대된 것과 같은 영상을 얻을 수 있다. 이 경우 확대된 영상의 품 질은 향상되지 않는다.
<59> 한편, 본 발명에 따라 적외선 영상을 확대하기 위해， 보간 처리가 적용될 수 있다. 상기 보간 처리를 위해 다양한 보간 방법이 사용될 수 있다. 예를 들어, 선 형 보간 (Linear interpolation), 다항 보간 (Polynomial interpolation) 및 스플 라인 보간 (Spline interpolation) 중 어느 하나의 방식에 따라 보간 처리하여 적 외선 영상을 확대할 수 있다.
<60> 예를 들어， 도 3b의 영상 (13)에서 , 선형 보간에 따라 영상을 확대하는 경우， 픽셀 (166)의 데이터 값은 픽셀 (165) 및 픽셀 (167)의 두 개의 픽셀 데이터 값의 평 균으로 지정할 수 있다. 또한, 픽셀 (Γ73)의 데이터 값은 픽셀 (165) 및 픽셀 (181)의 두 개의 픽셀 데이터 값의 평균으로 지정할 수 있다. 그리고, 픽셀 (174)의 데이터 값은 픽셀 (165), 픽셀 (167)， 픽셀 (181) 및 픽셀 (183)의 네 개의 픽셀 데이터 값의 평균으로 지정할 수 있다. 이 외에도， 다양한 방식의 보간 방식을 통해 적외선 영 상의 확대에 따른 픽셀 데이터를 생성할 수 있다.
<61> 상술한 선형 보간 이외에도 다양한 보간 방법이 적외선 영상의 확대를 위해 사용될 수 있으며, 본 발명은 특정한 보간 방법에 제한되지 않는다. 예를 들어, 다 항 보간 (Polynomial interpolation) 또는 스플라인 보간 (Spline interpolation) 에 의해 적외선 영상을 확대할 수 있다.
<62> 도 4는 본 발명의 일 실시예에 따른 적외선 영상 처리 장치를 나타내는 블록 도이다. 도 4를 참조하면 , 영상 처리 장치 (20)는 적외선 감지부 (21), 보간 처리부 (22), 영상 처리부 (23) 및 출력부 (24)를 포함한다.
<63> 적외선 감지부 (21)는 적외선 (IR)을 감지하여 제 1 해상도의 감지 데이터
(ISD1)를 생성한다. 보간 처리부 (22)는 제 1 해상도의 감지 데이터 (ISD1)를 보간 처리하여 제 2 해상도의 감지 데이터 (ISD2)를 생성한다. 영상 처리부 (23)는 제 2 해상도의 감지 데이터 (ISD2)를 영상 처리하여 제 2 해상도의 영상 데이터 (IMD2)를 생성한다. 출력부 (24)는 제 2 해상도의 영상 데이터 (IMD2)를 출력한다. 제 2 해상 도의 영상 데이터 (IMD2)는 디스플레이 장치 등으로 출력될 수 있다.
<64> 적외선 감지부 (21)는 다양한 형태의 적외선 촬상 소자를 포함할 수 있다. 한 편， 적외선 감지부 (21)에 포함되는 상기 적외선 촬상 소자는 복수의 픽셀에 대응하 는 복수의 단위 화소를 포함할 수 있으며, 적외선 (IR)을 감지하여 제 1 해상도의 감지 데이터 (ISD1)를 생성할 수 있다. 이 경우에 상기 적외선 촬상 소자의 단위 화 소들의 집약도는 상기 제 1 해상도와 동일할 수 있다. 제 1 해상도의 감지 데이터 (ISD1)는 복수의 단위. 화소돌 각각으로부터 센싱된 데이터일 수 있으며， 상기 단위 화소들이 각각 센싱한 값에 상응하는 값을 가질 수 있다.
<65> 일 실시예에서, 제 1 해상도의 감지 데이터 (ISD1)은 아날로그 데이터일 수 있다. 이 경우 보간 처리부 (22)는 신호 처리를 위한 아날로그-디지털 변환기 (Analog-Digital Converter; ADC)를 .포함할 수 있다. 다른 실시예에서, 적외선 감 지부 (21)의 복수의 단위 화소들에서 센성되는 아날로그 데이터가 디지털로 변환되 어 보간 처리부 (22)로 입력될 수 있다. 이 경우， 적외선 감지부 (21)는 적어도 하나 의 아날로그—디지털 변환기를 포함할 수 있으며， 제 1 해상도의 감지 데이터 (ISD1) 는 디지털 데이터일 수 있다.
<66> 보간 처리부 (22)는 아날로그 데이터 혹은 디지털 데이터로 입력되는 제 1 해 상도의 감지 데이터 (ISD1)를 제 2 해상도의 감지 데이터 (ISD2)로 변환할 수 있다. 상기 제 2 해상도는 상기 제 1 해상도보다 클 수 있다. 이 경우， 보간 처리부 (22) 는 다양한 보간 방식에 기초하여 제 2 해상도의 감지 데이터 (ISD2)를 생성할 수 있 다. 예를 들어, 보간 처리부 (22)는 선형 보간 (Linear interpolation), 다항 보간 (Polynomial interpolation) 및 스플라인 보간 (Spline interpolation) 중 어느 하 나의 방식을 통해 제 1 해상도의 감지 데이터 (ISD1)를 확대하여 제 2 해상도의 감 지 데이터 (ISD2)를 생성할 수 있다. 또한, 구체적인 스플라인 보간의 예로써, 큐빅 스플라인 보간 (Cubit spline interpolation) 또는 카디널 스플라인 보간 (Cardinal spline interpolation) 등이 사용될 수 있다. 예시적인 보간의 방식에 대하여는 도 8a 내지 도 8e를 참조하여 후술하기로 한다.
보간 처리부 (22)는 스케일링 제어 신호 (SCS)에 기초하여 보간 처리를 수행할 수 있다. 일 실시예에서, 스케일링 제어 신호 (SCS)는 보간과 관련된 상기 제 1 해 상도 및 제 2 해상도와 관련된 정보를 포함할 수 있다. 다른 실시예에서， 스케일링 제어 신호 (SCS)는 상기 제 1 해상도 및 제 2 해상도에 기초하여 생성될 수 있다. 일 실시예에서, 상기 제 2 해상도는 상기 제 1 해상도보다 높은 해상도를 가 질 수 있다. 상기 제 1 해상도는 적외선 감지부 (21)의 물리적인 센싱 집적도에 대 웅되는 해상도일 수 있으며, 예를 들어 상기 제 1 해상도는 384X288 크기의 해상 도일 수 있다. 이 경우， 상기 쎄 2 해상도는 384X288 보다 높은 해상도일 수 있 다. 예를 돌어， 상기 제 2 해상도는 720X480 또는 720X576 규격의 해상도를 가질 수 있다.
일 실시예에서， 상기 제 1 해상도에서 제 2 해상도로 확장되는 비율인 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 서로 같을 수 있다. 제 1 방향 스케일링 인자는 제 1 해상도와 제 2 해상도의 제 1 방향의 비 (ratio)일 수 있다. 제 2 방향 스케일링 인자는 제 1 해상도와 제 2 해상도의 제 2 방향의 비 (ratio)일 수 있다. 예를 들어, 상기 제 1 해상도가 360X240 의 해상도이고, 상기 제 2 해상 도가 720X480 의 해상도인 경우, 제 1 해상도 및 제 2 해상도는 각각 360 및 720 의 제 1 방향 해상도를 가질 수 있다. 이 경우 제 i 방향 스케일링 인자는 2로 결 정될 수 있다. 또한, 상기 예에서 상기 제 1 해상도 및 제 2 해상도는 각각 240 및 480의 제 2 방향 해상도를 가질 수 있다. 이 경우 제 2 방향 스케일링 인자는 2로 결정될 수 있다. 일 실시예에서, 상술한 바와 같이 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 동일할 수 있다. 이 경우에 확대되는 영상의 가로 및 세로 비율은 동일하게 유지된다. 후술하는 바와 같이 , 다른 실시예에서 상기 제 1 방향 스케일링 인자 및 제 2 방향 스케일링 인자는 서로 다를 수 있다.
영상 처리부 (23)는 제 2 해상도의 감지 데이터 (ISD2)를 제 2 해상도의 영상 데이터 (IMD2)로 변환할 수 있다. 영상 처리부 (23)는 제 2 해상도의 영상 데이터 (IMD2)를 생성하는 데 있어서， 다양한 기능의 영상 처리 기능을 수행할 수 있다. 예를 들어， 영상 처리부 (23)는 제 2 해상도의 감지 데이터 (ISD2)의 값에 따라 대웅 되는 픽셀에 색상을 부여하는 컬러 맵핑 (Color Mapping) 기능을 수행할 수 있다. 그 이외에도 영상 처리부 (23)는 인버스 (Inverse), 플립-에이치 /브이 (Flip-H/V) 및 프리즈 (Freeze) 등의 기능을 수행할 수 있다.
<7i> 일 실시예에서， 영상 처리부 (23)에서 출력되는 영상 데이터 (IMD2)는 아날로 그 데이터일 수 있다. 이 경우, 영상 처리부 (23)는 신호 처리를 위한 디지털 -아날 로그 변환기 (Digital-Analog Converter; DAC)를 포함할 수 있다. 영상 처리부 (23) 에서 출력되는 영상 데이터 (IMD2)가 아날로그 데이터인 경우， 영상 데이터 (IMD2)를 표시하는 디스플레이 장치는 아날로그 디스풀레이 장치일 수 있다.
<72> 다른 실시예에서, 영상 처리부 (23)에서 출력되는 영상 데이터 (IMD2)는 디지 털 데이터일 수 있다. 이 경우， 영상 처리부 (23) 내에서 디지털 형태로 처리된 데 이터는 디지털ᅳ아날로그 변환을 거치지 않고 출력될 수 있다. 영상 처리부 (23)에서 출력되는 영상 데이터 (IMD2)가 디지털 데이터인 경우， 영상 데이터 (IMD2)를 표시하 는 디스플레이 장치는 디지털 디스플레이 장치일 수 있다. 실시예에 따라서， 적외 선 영상 처리 장치 (20)의 영상 처리부 (23)는 영상 데이터 (IMD2)를 선택적으로 아날 로그 형태 또는 디지털 형태로 출력할 수 있다. 이 경우 영상 처리부 (23)가 출력하 는 영상 데이터 (IMD2)의 형태는 디스폴레이 장치의 형태에 따라 선택될 수 있다. 예시적으로， 영상 데이터 (IMD2)는 아날로그 CYBS 또는 ITU-BT.656 등의 포맷으로 출 력될 수 있다. 영상 처리부 (23)는 영상 데이터 (IMD2)를 특정 포맷으로 출력하기 위 하여 적어도 하나의 변환기를 포함할 수 있다.
<73> 출력부 (24)는 영상 데이터 (IMD2)를 디스플레이 장치로 출력한다. 이 경우 상 기 출력부 (24)는 하나의 프레임 단위로 영상 데이터 (IMD2)를 일시적으로 저장하기 위한 메모리 장치를 포함할 수 있으며， 영상 데이터 (IMD2)의.형태에 따라 저장되는 데이터 또는 디스플레이 장치로 출력되는 데이터를 변환하기 위한 디지털-아날로그 변환기 또는 아날로그-디지털 변환기를 포함할 수 있다. 출력부 (25)는 영상 데이터 (IMD2)를 표시하는 디스플레이 장치와 통신하기 위한 인터페이스 장치를 포함할 수 있다.
<74> 도 5는 본 발명의 다른 실시예에 따른 적외선 영상 처리 장치를 나타내는 블 록도이다. 도 5를 참조하면, 영상 처리 장치 (30)는 적외선 감지부 (31)， 영상 처리 부 (32), 보간 처리부 (33) 및 출력부 (34)를 포함한다.
<75> 적외선 감지부 (31)는 적외선 (IR)을 감지하여 게 1 해상도의 감지 데이터
(ISD1)를 생성한다. 영상 처리부 (32)는 제 1 해상도의 감지 데이터 (ISD1)를 영상' 처리하여 계 1 해상도의 영상 데이터 (IMD1)를 생성한다. 보간 처리부 (33)는 제 1 해상도의 영상 데이터 (IMD1)를 보간 처리하여 제 2 해상도의 영상 데이터 (IMD2)를 생성한다. 출력부 (34)는 제 .2 해상도의 영상 데이터 (IMD2)를 출력한다. 제 2 해상 도의 영상 데이터 (IMD2)는 디스플레이 장치 등으로 출력될 수 있다.
<76> 도 4의 영상 처리 장치 (20)는 적외선 감지부 (21)에서 생성된 제 1 해상도의 감지 데이터 (ISD1)를 먼저 보간 처리부 (22)에서 보간 처리하여 높은 해상도를 갖는 제 2 해상도의 감지 데이터 (ISD2)를 생성하고, 영상 처리부 (23)에서 제 2 해상도의 영상 데이터 (IMD2)를 생성한다. 이와는 달리 , 도 5의 영상 처리 장치 (30)는 적외선 감지부 (31)에서 생성된 제 1 해상도의 감지 데이터 (ISD1)를 먼저 영상 처리부 (32) 에서 영상 처리하여 제 1 해상도의 영상 데이터 (IMD1)로 변환하고， 보간 처리부 (33)에서 보간 처리하여 높은 해상도를 갖는 제 2 해상도의 영상 데이터 (IMD2)를 생성한다.
<77> 적외선 감지부 (31)는 다양한 형태의 적외선 촬상 소자를 포함할 수 있다. 전 술한 바와 같이， 제 1 해상도의 감지 데이터 (ISD1)은 아날로그 데이터일 수 있다. 이 경우 영상 처리부 (32)는 신호 처리를 위한 아날로그-디지털 변환기 (Analog- Digital Converter; ADC)를 포함할 수 있다. 다른 실시예에서, 적외선 감지부 (31) 의 복수의 단위 화소들에서 센싱되는 아날로그 데이터가 디지털로 변환되어 영상 처리부 (32)로 입력될 수 있다. 이 경우, 적외선 감지부 (21)는 적어도 하나의 아날 로그-디지털 변환기를 포함할 수 있으며， 제 1 해상도의 감지 데이터 (ISD1)는 디지 털 데이터일 수 있다.
<78> 영상 처리부 (32)는 아날로그 데이터 혹은 디지털 데이터로 입력되는 제 1 해 상도의 감지 데이터 (ISD1)를 제 1 해상도의 영상 데이터 (IMD1)로 변환할 수 있다. 영상 처리부 (32)는 제 1 해상도의 영상 데이터 (IMD1)를 생성하는 데 있어서 , 다양 한 기능의 영상 처리 기능을 수행할 수 있다. 예를 들어, 영상 처리부 (32)는 제 1 해상도의 감지 데이터 (ISD1)의 값에 따라 대응되는 픽셀에 색상을 부여하는 컬러 맵핑 (Color Mapping) 기능을 수행할 수 있다. 그 이외에도 영상 처리부 (32)는 인버 스 (Inverse), 플립-에이치 /브이 (Flip-H/V) 및 프리즈 (Freeze) 등의 기능을 수행할 수 있다.
<79> 보간 처리부 (33)는 제 1 해상도의 영상 데이터 (IMD1)를 제 2 해상도의 영상 데이터 (IMD2)로 변환할 수 있다. 상기 제 2 해상도는 상기 제 1 해상도보다 클 수 있다. 이 경우, 보간 처리부 (33)는 다양한 보간 방식에 기초하여 제 2 해상도의 영 상 데이터 (IMD2)를 생성할 수 있다. 예를 들어, 보간 처리부 (33)는 선형 보간 (Linear interpolation), 다항 보간 (Polynomial interpolation) 및 스플라인 보간 (Spline interpolation) 중 어느 하나의 방식을 통해 제 1 해상도의 감지 데이터 (ISD1)를 확대하여 제 2 해상도와 영상 데이터 (IMD2)를 생성할 수 있다. 또한, 구 체적인 스플라인 보간의 예로써, 큐빅 스플라인 보간 (Cubit spline interpolation) 또는 디널 스플라인 보간 (Cardinal spline interpolation) 등 ΰ1 사용될 수 있다. 예시적인 보간의 방식에 대하여는 도 8a 내지 도 8e를 참조하여 후술하기로 한다.
<8 > 보간 처리부 (33)는 스케일링 제어 신호 (SCS)에 기초하여 보간 처리를 수행할 수 있다. 일 실시예에서, 스케일링 제어 신호 (SCS)는 보간과 관련된 상기 제 1 해 상도 및 제 2 해상도와 관련된ᅳ 정보를 포함할 수 있다. 다른 실시예에서， 스케일링 제어 신호 (SCS)는 상기 제 1 해상도 및 제 2 해상도에 기초하여 생성될 수 있다.
<8i> 일 실시예에"서， 상기 제 2 해상도는 상기 제 1 해상도보다 높은 해상도를 가 질 수 있다. 상기 제 1 해상도는 적외선 감지부 (31)의 물리적인 센싱 집적도에 대 응되는 해상도일 수 있으며， 예를 들어 상기 제 1 해상도는 384X288 크기의 해상 도일 수 있다. 이 경우， 상기 제 2 해상도는 384X288 보다 높은 해상도일 수 있 다. 예를 들어， 상기 제 2 해상도는 720X480 또는 720X576 규격의 해상도를 가질 수 있다.
<82> 일 실시예에서， 상기 제 1 해상도에서 제 2 해상도로 확장되는 비율인 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 서로 같을 수 있다. 제 1 방향 스케일링 인자는 제 1 해상도와 제 2 해상도의 제 1 방향의 비 (ratio)일 수 있다. 제 2 방향 스케일링 인자는 제 1 해상도와 제 2 해상도의 제 2 방향의 비 (ratio)일 수 있다. 예를 들어， 상기 제 1 해상도가 360X240 의 해상도이고, 상기 제 2 해상 도가 720X480 의 해상도인 경우, 제 1 해상도 및 제 2 해상도는 각각 360 및 720 의 제 1 방향 해상도를 가질 수 있다. 이 경우 제 1 방향 스케일링 인자는 2로 결 정될 수 있다. 또한， 상기 예에서 상기 제 1 해상도 및 제 2 해상도는 각각 240 및 480의 제 2 방향 해상도를 가질 수 있다. 이 경우 제 2 방향 스케일링 인자는 2로 결정될 수 있다. 일 실시예에서, 상술한 바와 같이 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 동일할 수 있다. 이 경우에 확대되는 영상의 가로 및 세로 비율은 동일하게 유지된다. 후술하는 바와 같이 , 다른 실시예에서 상기 제 1 방향 스케일링 인자 및 제 2 방향 스케일링 인자는 서로 다를 수 있다. <83> 일 실시예에서， 보간 처리부 (33)에서 출력되는 제 2 해상도의 영상 데이터
(IMD2)는 아날로그 데이터일 수 있다. 이 경우, 보간 처리부 (33)는 신호 처리를 위 한 디지털-아날로그 변환기 (Digita卜 Analog Converter; DAC)를 포함할 수 있다. 보 간 처리부 (33)에서 출력되는 영상 데이터 (IMD2)가 아날로그 데이터인 경우， 영상 데이터 (IMD2)를 표시하는 디스플레이 장치는 아날로그 디스플레이 장치일 수 있다.
<84> 다른 실시예에서， 보간 처리부 (33)에서 출력되는 영상 데이터 (IMD2)는 디지 털 데이터일 수 있다. 이 경우, 보간 처리부 (33) 내에서 디지털 형태로 처리된 데 이터는 디지털-아날로그 변환을 거치지 않고 출력될 수 있다. 보간 처리부 (33)에서 출력되는 영상 데이터 (IMD2)가 디지털 데이터인 경우 , 보간 데이터 (IMD2)를 표시하 는 디스플레이 장치는 디지털 디스플레이 장치일 수 있다. 실시예에 따라서， 적외 선 영상 처리 장치 (30)의 보간 처리부 (33)는 제 2 해상도의 영상 데이터 (IMD2)를 선택적으로 아날로그 형태 또는 디지털 형태로 출력할 수 있다. 이 경우 보간 처리 부 (33)가 출력하는 제 2 해상도의 영상 데이터 (IMD2)의 형태는 디스플레이 장치의 형태에 따라 선택될 수 있다. 예시적으로， 제 2 해상도의 영상 데이터 (IMD2)는 아 날로그 CVBS 또는 ITU-BT656 등의 포맷으로 출력될 수 있다. 보간 처리부 (33)는 영 상 데이터 (IMD2) 특정 포맷으로 출력하기 위하여 적어도 하나의 변환기를 포함할 수 있다.
<85> 출력부 (34)는 제 2 해상도의 영상 데이터 (IMD2)를 출력한다. 일 실시예에서, 출력부 (34)는 제 2 해상도의 영상 데이터 (IMD2)를 디스풀레이 장치로 출력할 수 있 다. 이 경우 상기 출력부 (34)는 하나의 프레임 단위로 제 2 해상도의 영상 데이터 (IMD2)를 일시적으로 저장하기 위한 메모리 장치를 포함할 수 있으며 , 제 2 해상도 의 영상 데이터 (IMD2)의 형태에 따라 저장되는 데이터 또는 디스플레이 장치로 출 력되는 데이터를 변환하기 위한 디지털-아날로그 변환기 또는 아날로그-디지털 변 환기를 포함할 수 있다. 출력부 (34)는 제 2 해상도의 영상 데이터 (IMD2)를 표시하 는 디스플레이 장치와 통신하기 위한 인터페이스 장치를 포함할 수 있다.
<86> 도 6은 도 5의 보간 처리부의 일 실시예를 나타내는 도면이다.
<87> 도 6을 참조하면，보간 처리부 (33)는 제 1 메모리부 (31Q), 제 2 메모리부
(320), 연산부 (330) 및 제어부 (340)를 포함할 수 있다. 제 1 메모리부 (310)는 제 1 해상도의 영상 데이터 (IMD1)를 저장한다. 연산부 (330)는 제 1 메모리부 (310)로부터 제 1 해상도의 영상 데이터 (IMD1)를 입력 받아 보간 연산을 수행하여 보간 영상 데 이터 (IIMD)를 생성한다. 제 2 메모리부 (320)는 제 1 해상도의 영상 데이터 (IMD1) 및 보간 영상 데이터 (IIMD)를 제 2 해상도의 영상 데이터 (IMD2)로서 저장한다. 제 어부 (340)는 제 1 메모리부 (310), 제 2 메모리부 (320) 및 연산부 (330)를 제어한다.
<88> 제 1 메모리부 (310)는 영상 처리부 (235)로부터 입력되는 제 1 해상도의 영상 데이터 (IMD1)를 임시 저장하는 임의의 기억장치일 수 있다. 일 실시예에서 , 제 1 메모리부 (310)는 레지스터로 구성될 수 있다. 제 1 메모리부 (310)는 제어부 (340)로 부터 입력되는 제 1 제어 신호 (CS1)에 의해 제어될 수 있다. 유사하게, 제 2 메모 리부 (320)는 제어부 (340)로부터 입력되는 제 2 제어 신호 (CS2)에 의해 제어될 수 있다. 제 1 메모리부 (310)는 제 1 제어 신호 (CS1)에 기초하여 제 1 해상도의 영상 데이터 (IMD1)를 제 2 메모리부 (320) 및 연산부 (330)로 출력할 수 있다.
<89> 연산부 (330)는 제 1 해상도의 영상 데이터 (IMD1)를 입력 받아 보간 연산하여 보간 영상 데이터 (IIMD)를 생성할 수 있다. 보간 영상.데이터 (IMD)는 보간 전 원본 데이터들 사이에 삽입될 데이터일 수 있다. 예를 들어, 도 3a 및 도 3b의 예에서, 제 1 해상도의 영상 데이터 (IMD1)는 도 3a의 원본 픽셀 데이터에 상웅할 수 있고, 보간 영상 데이터 (IIMD)는 도 3b에서 원본 데이터들 사이에 삽입되는 픽셀 데이터 들일 수 있다. 즉， 도 3a 및 도 3b의 예에서, 제 1 해상도의 영상 데이터 (IMD1)는 원문자 1 내지 16으로 표시된 픽셀 데이터에 상응할 수 있고， 보간 영상 데이터 (IIMD)는 도 3b에서 원문자로 표시된 픽샐 이외의 픽샐 데이터들에 상웅할 수 있 다. 연산부 (330)는 제어부 (340)로부터 입력되는 제 3 제어 신호 (CS3)에 의해 제어 될 수 있다.
<90> 제 2 메모리부 (320)는 제 1 메모리부 (310)로부터 입력되는 제 1 해상도의 영 상 데이터 (IMD1) 및 연산부 (330)로부터 입력되는 보간 영상 데이터 (IIMD)를 저장할 수 있다. 이 경우， 제 1 해상도의 영상 데이터 (IMD1) 및 보간 영상 데이터 (IIMD) 는 제 2 해상도의 영상 데이터 (IMD2)로써 제 2 메모리부 (320)에 저장될 수 있다. 도 3a 및 도 3b의 예에서, 제 2 해상도의 영상 데이터 (IMD2)는 도 3b의 전체 픽셀 데이터들에 상응할 수 있다. 이 경우 제 2 메모리부 (320)에 저장되는 제 1 해상도 의 영상 데이터 (DIMD1) 및 보간 영상 테이터 (IIMD)는 주의 깊게 저장 주소가 지정 되어야 할 필요가 있을 수 있다.
<9i> 예를 들어， 도 3b에 도시된 바와 같이, 영상 (13)의 제 1 행 (line)은 원문자
1 내지 4로 표시된 픽셀들과 원문자로 표시되지 않은 픽셀들이 교대로 표시되어 있 다. 이는 영상 (13)의 제 1 행을 이루는 픽셀 데이터로서 제 1 해상도의 영상 데이 터 (IMD1) 및 보간 영상 데이터 (IIMD)가 교번적으로 제 2 메모리부 (320)에 저장됨을 의미할 수 있다. 한편， 도 3b의 영상 (13)의 제 2 행은 원문자로 표시되지 않은 픽 셀들만이 지정되어 있다. 이는 영상 (13)의 제 2 행을 이루는 픽셀 데이터로서 보간 영상 데이터 (IIMD)만이 제 2 메모리부 (320)에 저장됨을 의미할 수 있다. 보간 처리 부 (33)의 제어부 (340)는 상술한 내용에 기초하여 제 2 메모리부 (320)에 저장되는 제 1 해상도의 영상 데이터 (IMD1) 및 보간 영상 데이터 (IIMD)의 순서들을 제어할 수 있다. 이 경우, 제 2 메모리부 (320)는 제어부 (340)의 제 2 제어 신호 (CS2)에 기 초하여 제 1 해상도의 영상 데이터 (IMD1) 및 보간 영상 데이터 (IIMD)를 저장할 수 있다.
<92> 제어부 (340)는 보간 처리부 (33)의 제 1 메모리부 (310)， 제 2 메모리부 (320) 및 연산부 (330)를 제어할 수 있다. 제어부 (340)는 제 1 제어 신호 (CS1), 제 2 제 어 신호 (CS2) 및 제 3 제어 신호 (CS3)에 기초하여 제 1 메모리부 (310), 제 2 메모 리부 (320) 및 연산부 (330)를 제어할 수 있다. 일 실시예에서, 제 1 제어 신호 (CS1), 제 2 제어 신호 (CS2) 및 제 3 제어 신호 (CS3) 는 스케일링 제어 신호 (SCS) 에 기초하여 제어부 (340)에서 생성될 수 있다.
<93> 상기 도 4 내지 도 6의 각각의 장치들 또는 구성요소들은 하나의 칩 상에서 구현될 수 있다. 전술한 바와 같이, 해상도를 높이기 위해 적외선 촬상 소자의 물 리적인 화소 집적도를 높이는 데에는 높은 비용이 필요한 반면, 상기 기능들을 포 함하는 칩을 구현하는 비용은 상대적으로 적은 금액일 수 있다. 따라서, 본 발명에 따르면, 촬상 소자의 소자 집적도를 높이기 위해 필요한 추가적인 비용 상승 없이 도 적외선 영상의 해상도를 향상시킬 수 있다.
<94> 도 6에는 도 5의 보간 처리부 (33)가 도시되어 있으나， 제 1 해상도의 감지 데이터 (ISD1)를 입력 받아 제 2 해상도의 감지 데이터 (ISD2)를 생성하는 도 4의 보 간 처리부 (22) 또한 동일한 방식으로 구현할 수 있다. 이 경우 도 4의 보간 처리부 (22)는 영상 데이터가 아닌 감지 데이터를 보간 처리하게 된다.
<95> 도 7a 및 7b는 제 1 방향 스케일링 인자가 제 2 방향 스케일링 인자와 다른 경우의 적외선 영상의 확대 및 보간올 설명하기 위한 도면이다.
<96> 도 7a를 참조하면, 보간 처리를 통한 확대 이전의 영상 (40)이 도시되어 있 고， 도 7b를 참조하면, 보간 처리를 통해 확대된 영상 (45)이 도시되어 있다. 도 3a 와 유사하게, 도 7a에 도시된 영상 (40)은 4X4 픽셀 크기이다. 도 3b와는 달리, 도 7b에 도시된 영상 (45)은 12X8 픽셀 크기이다.
<97> 도 3a 및 도 3b를 다시 참조하면, 도 3a의 제 1 해상도의 영상 (10)을 도 3b 의 제 2 해상도의 영상 (13)으로 변환하기 위한 제 1 방향 (D1) 스케일링 인자 및 제 2 방향 (D2) 스케일링 인자는 모두 2로서 동일하다. 이 경우, 영상 (10)은 가로 및 세로 방향으로 동일한 비율로 확대된다.
<98> 이와는 달리, 도 7a 및 도 7b에서， 제 1 방향 (D1) 스케일링 인자는 3이고, 제 2 방향 (D2) 스케일링 인자는 2이다. 이 경우, 원본 영상 (40)이 확대되는 가로 및 세로 비율은 서로 다르다. 즉, 본 발명의 일 실시예에 따른 적외선 영상 처리 방법에서는, 제 1 해상도를 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자 와 제 2 방향 스케일링 인자에 있어서， 상기 제 1 방향 스케일링 인자는 상기 제 2 방향 스케일링 인자와 다를 수 있다. 이 경우 확대 전 원본 영상 (40)의 제 1 방향 (D1) 및 제 2 방향 (D2) 비율은 확대를 통해 변화하게 된다. 상기 방법은， 원본 영 상 데이터 또는 원본 감지 데이터를 얻기 위한 적외선 감지 소자의 제 1 방향 및 제 2 방향 집적 해'상도의 비율이 적외선 영상 데이터를 i시하기 위한 디스플레이 장치의 제 1 방향 및 제 2 방향 해상도 비율과 다른 경우에 사용될 수 있다. <99> 도 8a 내지 8e는 적외선 영상의 확대 및 보간 방식을 예시하기 위한 그래프 들이다. 영상 데이터는 2차원의 위치 정보를 갖는 데이터이지만, 설명의 편의를 위 해 1차원의 위치 정보를 갖는 데이터가 도시되어 있다. 보간 이전의 원본 데이터는 점 (dot)으로 표시되어 있고， 보간에 의해 새롭게 생성되는 데이터는 상기 점들 사 이의 선으로 표시되어 있다. 도 8a 내지 8e에서， 수평축은 데이터의 위치 정보이 고, 수직축은 각 위치에 지정된 데이터의 값을 의미할 수 있다.
<ιοο> 도 8a를 참조하면, 보간 되기 이전의 데이터 도시되어 있다. 보간 이전의 데 이터이므로 점 (dot)들 사이의 선은 도시되지 않았다.
<ιοι> 도 8b를 참조하면, 원본 데이터들 사이에 지정되는 데이터가 가장 근방의 데 이터와 동일한 특징을 갖는 데이터가 도시되어 있다. 상기 도 8b에 따른 방식으로 영상을 확대하는 경우， 전술한 바와 같이 픽셀들이 단순히 확대되어 블록과 같이 인식될 수 있다.
<102> 도 8c를 참조하면， 선형 보간 (Linear interpolat ion)에 따라 보간된 데이터 가 도시되어 있다. 선형 보간은 보간법 중 가장 간단한 방법 증 하나이다. 보간 이 전의 데이터에 상응하는 점들 사이의 데이터는 도 8c의 그래프와 같이 선형 계산에 의해 생성된다. 선형 보간은 보간에 필요한 연산량이 적어 계산이 빠르다는 장점이 있다.
<|03> 도 8d를 참조하면 , 다항 보간 (Polynomial interpolat ion)에 따라 보간된 데 이터가 도시되어 있다. 다항 보간 보간법은 선형 보간법을 일반화 시킨 것과 같다. 선형 보간법은 1차 다항식인 반면 다항식 보간법은 2차 이상의 다항식을 가질 수 있다. 도 8d에 도시된 바와 같이， 보간 이전에 주어진 원본 데이터가 7개인 경우, 다항 보간법은 6차 다항식을 따르는 곡선을 생성하여 보간을 수행할 수 있다. 일반 적으로 n개의 데이터가 있는 경우 n개의 데이터를 전부 통과해야 하는 곡선올 선택 해야 하기 때문에 다항 보간에 필요한 다항식의 차수는 n-1차가 될 수 있다. 다항 보간법의 특징 중 하나로， 선형 보간법과 달리 원본 데이터의 위치에서 미분이 가 능할 수 있다. 한편， 다항 보간법은 선형 보간법과 비교하여 원본 데이터가 많을수 특 다항식의 차수가 높아지므로 계산 복잡성 (computational complexity)이 커질 수 있으며， Runge 현상 (Runge's phenomenon)이 발생할 수 있다. 상기 문제점을 피하려 는 경우, 스폴라인 보간 (Spline interpolat ion)을 이용할 수 있다.
<104> 도 8e를 참조하면， 스플라인 보간 (Spline interpolat ion)에 따라 보간된 데 이터가 도시되어 있다. 스플라인 보간법에서는 각 구간에서 낮은 차원 (low-degree) 의 다항식을 사용할 수 있다. 이 다항식은 전후 구간의 다항식들과 자연스럽게 연 결될 수 있는 것으로 선택할 수 있다. 이렇게 각 구간마다 선택된 함수들을 스플라 인 (spline)이라고 한다. 다항식 보간법와 같이 스플라인 보간법은 선형 보간법보다 작은 오차를 낸다. 또한 보간식도 구간에 걸쳐 자연스럽게 연결되지만 다항식 보간 법보다 더 적은 계산량을 필요로 한다. 앞에서 언급한 Runge현상이 다항식 보간법 에 비해 크게 개선이 되긴 했지만 스플라인 보간법만 가지고는 아직 층분하지는 않 다. 스폴라인 보간의 종류로， 큐빅 스플라인 보간 (Cubit spline interpolation) 또는 카디널 스플라인 보간 (Cardinal spline interpolation) 등이 사용될 수 있 다. 그 이외에도 다른 여러 형태의 스플라인 보간 방법 중 하나가 본 발명에 사용 될 수 있다.
<105> 도 9는 본 발명의 일 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서 도이 4.
<106> 도 9를 참조하면, 본 발명의 일 실시예에 따른 적외선 영상 처리 방법에서 는, 적외선 검출값에 대웅하는 제 1 해상도의 데이터를 생성하고 (단계 S10), 상기 제 1 해상도의 데이터를 보간 처리하여 제 2 해상도의 데이터를 생성하며 (단계 S30), 상기 제 2 해상도의 데이터를 출력한다 (단계 S50).
<107> 적외선 검출값에 대응하는 제 1 해상도의 데이터를 생성하는 단계 (S10)에서 는 적외선 감지 장치의 각 픽셀에서 감지되는 값에 각각 대웅하는 데이터인 제 1 해상도의 데이터를 생성할 수 있다. 상기 제 1 해상도의 데이터는 아날로그 데이터 일 수 있다. 따라서， 상기 제 1 해상도의 데이터는 아날로그-디지털 변환되어 처리 될 수 있다.
<108> 제 1 해상도의 데이터를 보간 처리하여 제 2 해상도의 데이터를 생성하는 단 계 (S30)에서는, 보간 과정을 통해 제 1 해상도의 데이터를 제 2 해상도의 데이터로 확대할 수 있다. 이 과정에서 감지 데이터가 영상 데이터로 변환되기 전에 보간 처 리 과정을 수행할 수도 있고, 감지 데이터를 영상 데이터로 변환한 이후에 보간 처 리 과정을 수행할 수도 있다. 감지 데이터가 영상 데이터로 변환되기 전에 보간 처 리 과정을 수행하는 경우, 상기 보간 처리되는 제 1 해상도의 데이터 및 제 2 해상 도의 데이터는 각각 감지 데이터일 수 있다. 감지 데이터가 영상 데이터로 변환된 이후에 보간 처리 과정을 수행하는 경우, 상기 보간 처리되는 제 1 해상도의 데이 터 및 제 2 해상도의 데이터는 각각 영상 데이터일 수 있다. 상기 보간 처리 과정 은 디지털 신호 처리에 의해 수행될 수.있다.
<109> 제 2 해상도의 데이터를 출력하는 단계 (S50)에서는, 보간 처리되어 확대된 제 2 해상도의 데이터를 다른 후속적인 신호 처리를 위해, 또는 디스풀레이 장치에 표시하기 위해 출력할 수 있다.
<ιι > 도 10은 본 발명의 다른 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.
<ιιι> 도 10을 참조하면, 본 발명의 다른 실시예에 따른 적외선 영상 처리 방법은, 복수의 픽셀에서 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 단계 (S110), 상기 게 1 해상도의 감지 데이터를 영상 처리하여 제 1 해상도의 영상 데 이터를 생성하는 단계 (S130), 상기 제 1 해상도의 영상 데이터를 보간 처리하여 제 2 해상도의 영상 데이터를 생성하는 단계 (S150) 및 상기 제 2 해상도의 영상 데이 터를 출력하는 단계 (S170)를 포함한다. 도 10의 방법에서는, 먼저 제 1 해상도의 감지 데이터를 제 1 해상도의 영상 데이터로 변환한 후, 상기 제 1 해상도의 영상 데이터를 보간 처리하여 제 2 해상도로 확대하는 과정이 수행될 수 있다.
<Π2> 도 11은 본 발명의 또다른 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.
<Π3> 도 11을 참조하면, 본 발명의 또다른 실시예에 따른 적외선 영상 처리 방법 은, 복수의 픽셀에서 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 단 계 (S210), 상기 거 1 1 해상도의 감지 데이터를 보간 처리하여 제 2 해상도의 감지 데이터를 생성하는 단계 (S230), 상기 제 2 해상도의 감지 데이터를 출력하는 단계 (S250) 및 상기 출력된 제 2 해상도의 감지 데이터를 영상 처리하여 제 2 해상도의 영상 데이터를 생성하는 단계 (S270)를 포함한다. 도 11의 방법에서는, 먼저 제 1 해상도의 감지 데이터를 보간 처리를 통해 제 2 해상도의 감지 데이터로 확대한 후 ， 상기 제 2 해상도의 감지 데이터를 영상 데이터로 변환하는 과정이 수행될 수 있 다. 확대된 제 2 해상도의 감지 데이터가 영상 데이터로 변환된 후에, 기타 다른 영상 처리 과정올 수행할 수 있다. 상기 영상 처리 과정은 예를 들어 컬러 맵핑 (Color Mapping), 인버스 (Inverse)， 플립-에이치 /브이 (Flip— H/V) 및 프리즈 (Freeze) 등의 기능을 포함할 수 있다. 도 9 내지 도 11의 방법들은 컴퓨터 프로그 램으로 구현되어 소프트웨어적으로 수행될 수 있다.
<Π4> 도 12a 및 도 12b는 본 발명의 일 실시예에 따라 확대된 적외선 영상의 품질 을 비교하기 위한 도면이다.
<Π5> 도 12a에는 적외선 영상을 본 발명에 따른 영상 처리 없이 확대한 영상이 도 시되어 있다. 도 12a를 참조하면, 영상의 확대에 따라 픽셀이 블록 모양으로 확대 되어 나타남을 알 수 있다. 한편, 도 12b에는 적외선 영상을 본 발명의 일 실시예 에 따른 영상 처리를 통해 확대한 영상이 도시되어 있다. 도 12b를 참조하면, 도 12a와는 달리 영상이 확대되어도 픽셀이 블록 모양으로 확대되어 나타나는 현상이 완화되어 표시됨을 알 수 있다. 따라서 , 본 발명에 따르면， 촬상 소자의 소자 집적 도를 높이기 위해 필요한 추가적인 비용 상승 없이도 적외선 영상의 해상도를 향상 시킬 수 있다.

Claims

【청구의 범위】
【청구항 1】
복수의 픽셀에서 감지되는 적외선 검출값에 대웅하는 제 1 해상도의 데이터 를 생성하는 단계;
상기 제 1 해상도의 데이터를 보간 처리하여 게 2 해상도의 데이터를 생성하 는 단계; 및
상기 제 2 해상도의 데이터를 출력하는 단계를 포함하는 적외선 영상 처리 방법 .
【청구항 2】
제 1 항에 있어서, 상기 제 1 해상도의 데이터는 제 1 해상도의 영상 데이터 이고， 상기 제 1 해상도의 데이터를 생성하는 단계는，
상기 복수의 픽셀에서 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성 하는 단계 ; 및
상기 제 1 해상도의 감지 데이터를 영상 처리하여 상기 제 1 해상도의 영상 데이터를 생성하는 단계를 포함하는 것을 특징으^ 하는 적외선 영상 처리 방법.
【청구항 3】
제 1 항에 있어서, 상기 제 1 해상도의 데이터 및 상기 제 2 해상도의 데이 터는 각각 제 1 해상도의 감지 데이터 및 제 2 해상도의 감지 데이터이고， 상기 출 력된 제 2 해상도의 감지 데이터를 영상 데이터로 변환하는 단계를 더 포함하는 것 을 특징으로 하는 적외선 영상 처리 방법.
【청구항 4】
제 1 항에 있어서， 상기 보간 처리는 선형 보간 (Linear interpolation), 다 항 보간 (Polynomial interpolation) 및 스플라인 보간 (Spline interpolation) 중 어느 하나의 방식을 따르는 것을 특징으로 하는 적외선 영상 처리 방법.
【청구항 5】
적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 적외선 감지부; 상기 제 1 해상도의 감지 데이터를 보간 처리하여 계 2 해상도의 감지 데이 터를 생성하는 보간 처리부;
상기 제 2 해상도의 감지 데이터를 영상 처리하여 제 2 해상도의 영상 데이 터를 생성하는 영상 처리부; 및
상기 제 2 해상도의 영상 데이터를 디스플레이 장치로 출력하는 출력부를포 함하는 적외선 영상 처리 장치.
【청구항 6】
적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 적외선 감지부; 상기 제 1 해상도의 감지 데이터를 영상 처리하여 제 1 해상도의 영상 데이 터를 생성하는 영상 처리부;
상기 제 1 해상도의 영상 데이터를 보간 처리하여 제 2 해상도의 영상 데이 터를 생성하는 보간 처리부; 및
상기 제 2 해상도의 영상 데이터를 출력하는 출력부를 포함하는 적외선 영상 처리 장치.
【청구항 7】
제 5 항 또는 제 6 항에 있어서，제 1 해상도를 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자에 있어서， 상기 제 1 방향 스 케일링 인자는 상기 제 2 방향 스케일링 인자와 동일한 것을 특징으로 하는 적외선 영상 처리 장치 .
[청구항 8】
제 5 항 또는 제 6 항에 있어서，제 1 해상도를 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자에 있어서， 상기 제 1 방향 스 케일링 인자는 상기 제 2 방향 스케일링 인자와는 다른 것올 특징으로 하는 적외선 영상 처리 장치. "
【청구항 9】
제 5 항에 있어서， 상기 보간 처리부는， 상기 제 1 해상도의 감지 데이터를 저장하는 제 1 메모리부;
상기 제 1 메모리부로부터 상기 제 1 해상도의 감지 데이터를 입력 받아 보 간 연산을 수행하여 보간 감지 데이터를 생성하는 연산부;
상기 제 1 해상도의 감지 데이터 및 상기 보간 감지 데이터를 상기 제 2 해 상도의 감지 데이터로서 저장하는 제 2 메모리부; 및
상기 제 1 메모리부， 상기 제 2 메모리부 및 상기 연산부를 제어하는 제어부 를 포함하는 것을 특징으로 하는 적외선 영상 처리 장치.
【청구항 10】
제 6 항에 있어서, 상기 보간 처리부는, 상기 제 1 해상도의 영상 데이터를 저장하는 제 1 메모리부; 상기 제 1 메모리부로부터 상기 제 1 해상도의 영상 데이터를 입력 받아 보 간 연산을 수행하여 보간 영상 데이터를 생성하는 연산부;
상기 제 1 해상도의 영상 데이터 및 상기 보간 영상 데이터를 상기 제 2 해 상도의 영상 데이터로서 저장하는 제 2 메모리부; 및
상기 제 1 메모리부， 상기 제 2 메모리부 및 상기 연산부를 제어하는 제어부 를 포함하는 것을 특징으로 하는 적외선 영상 처리 장치.
【청구항 11】
제 5 항 또는 제 6 항에 있어서，상기 제 2 해상도의 영상 데이터를 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 적외선 영상 처리 장치.
【청구항 12】
제 5 항 또는 제 6 항에 있어서， 상기 제 1 해상도의 감지 데이터는 디지털 형태의 데이터이며， 상기 적외선 감지부는 감지된 적외선 신호를 디지털 형태로 변 환하여 상기 제 1 해상도의 감지 데이터를 생성하는 아날로그ᅳ디지털 변환기 (Analog-Digital Converter; ADC)를 포함하는 것을 특징으로 하는 적외선 영상 처 리 장치 .
【청구항 13]
제 12 항에 있어서， 상기 제 2 해상도의 영상 데이터는 아날로그 데이터이 며， 상기 출력부는 상기 제 2 해상도의 영상 데이터를 아날로그 형태로 변환하는 디지털-아날로그 변환기 (Digital-Analog Converter; DAC)를 포함하는 것을 특징으 로 하는 적외선 영상 처리 장치.
PCT/KR2012/001603 2012-01-17 2012-03-05 적외선 영상 처리 방법 및 적외선 영상 처리 장치 WO2013108955A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020147023004A KR101531879B1 (ko) 2012-01-17 2012-03-05 적외선 영상 처리 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0005433 2012-01-17
KR20120005433 2012-01-17

Publications (1)

Publication Number Publication Date
WO2013108955A1 true WO2013108955A1 (ko) 2013-07-25

Family

ID=48799367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/001603 WO2013108955A1 (ko) 2012-01-17 2012-03-05 적외선 영상 처리 방법 및 적외선 영상 처리 장치

Country Status (2)

Country Link
KR (1) KR101531879B1 (ko)
WO (1) WO2013108955A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220011164A1 (en) * 2019-03-26 2022-01-13 Abb Schweiz Ag Apparatus for hot spot sensing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101649317B1 (ko) * 2014-12-31 2016-08-18 인천대학교 산학협력단 화질 개선 및 소형 적외선 이미지에 대한 확대 알고리즘
KR102110399B1 (ko) 2018-06-19 2020-05-13 전주대학교 산학협력단 검사 대상체의 내부 또는 표면 결함을 측정하기 위한 적외선 열화상 보정 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040367A (ja) * 1996-07-22 1998-02-13 Nippon Avionics Co Ltd 熱画像の歪み補正方法とその装置
KR20010101290A (ko) * 1999-10-19 2001-11-14 마츠시타 덴끼 산교 가부시키가이샤 컬러 촬상 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI115942B (fi) * 2002-10-14 2005-08-15 Nokia Corp Menetelmä kuvien interpoloimiseksi ja terävöittämiseksi
JP2006154759A (ja) * 2004-10-29 2006-06-15 Fujitsu Ten Ltd 画像補間装置、および表示装置
KR100613662B1 (ko) * 2006-05-23 2006-08-22 (주)메쉬 열적외선 센서를 이용한 적외선 체열영상 진단장치
KR20090087229A (ko) * 2008-02-12 2009-08-17 주식회사 씨알테크놀러지 적외선 체열영상 진단장치 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040367A (ja) * 1996-07-22 1998-02-13 Nippon Avionics Co Ltd 熱画像の歪み補正方法とその装置
KR20010101290A (ko) * 1999-10-19 2001-11-14 마츠시타 덴끼 산교 가부시키가이샤 컬러 촬상 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220011164A1 (en) * 2019-03-26 2022-01-13 Abb Schweiz Ag Apparatus for hot spot sensing

Also Published As

Publication number Publication date
KR101531879B1 (ko) 2015-06-26
KR20140120918A (ko) 2014-10-14

Similar Documents

Publication Publication Date Title
EP3136339B1 (en) Edge enhancement for thermal-visible combined images and cameras
US10057510B2 (en) Systems and methods for enhanced infrared imaging
US10422741B2 (en) Wavelength band based passive infrared gas imaging
CN110476416B (zh) 多个成像模式下红外成像的系统和方法
US10848725B2 (en) Color display modes for a thermal imaging system
US20020015536A1 (en) Apparatus and method for color image fusion
US10803559B2 (en) Fused image optimization systems and methods
US10477120B2 (en) System and method for acquiring visible and near infrared images by means of a single matrix sensor
KR102048369B1 (ko) 영상융합 알고리즘이 적용된 lwir 및 swir를 이용한 융합 듀얼 ir 카메라
TW200926796A (en) Solid-state imaging element and imaging device using the same
US20190014300A1 (en) Selective color display of a thermal image
US11276152B2 (en) Adaptive gain adjustment for histogram equalization in an imaging system
WO2016182961A1 (en) Isothermal image enhancement systems and methods
JP4941482B2 (ja) 擬似カラー画像生成装置、及びプログラム
WO2013108955A1 (ko) 적외선 영상 처리 방법 및 적외선 영상 처리 장치
EP3662654A1 (en) Color display modes for a thermal imaging system
Gao et al. Gradient based interpolation for division of focal plane polarization imaging sensors
JP4985264B2 (ja) 物体識別装置
JP6094333B2 (ja) 補正データ生成装置、補正データ生成プログラム及び色補正装置
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
US11249016B2 (en) Wavelength band based passive infrared gas imaging
JP2001157214A (ja) 撮像システム
CN108182698A (zh) 一种机载光电红外图像和可见光图像的融合方法
Müller et al. Real-time image processing and fusion for a new high-speed dual-band infrared camera
Kim Full channel color restoration approach using directional interpolation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12865962

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12865962

Country of ref document: EP

Kind code of ref document: A1