KR101531879B1 - Infrared image processing apparatus - Google Patents
Infrared image processing apparatus Download PDFInfo
- Publication number
- KR101531879B1 KR101531879B1 KR1020147023004A KR20147023004A KR101531879B1 KR 101531879 B1 KR101531879 B1 KR 101531879B1 KR 1020147023004 A KR1020147023004 A KR 1020147023004A KR 20147023004 A KR20147023004 A KR 20147023004A KR 101531879 B1 KR101531879 B1 KR 101531879B1
- Authority
- KR
- South Korea
- Prior art keywords
- resolution
- data
- image
- infrared
- interpolation
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 124
- 238000003672 processing method Methods 0.000 abstract description 15
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 53
- 101000621427 Homo sapiens Wiskott-Aldrich syndrome protein Proteins 0.000 description 45
- 102100023034 Wiskott-Aldrich syndrome protein Human genes 0.000 description 45
- 230000008569 process Effects 0.000 description 23
- 101000864342 Homo sapiens Tyrosine-protein kinase BTK Proteins 0.000 description 20
- 102100029823 Tyrosine-protein kinase BTK Human genes 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000003331 infrared imaging Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229910000661 Mercury cadmium telluride Inorganic materials 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004148 unit process Methods 0.000 description 2
- 229910000673 Indium arsenide Inorganic materials 0.000 description 1
- 229910012463 LiTaO3 Inorganic materials 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229910003781 PbTiO3 Inorganic materials 0.000 description 1
- QAOWNCQODCNURD-UHFFFAOYSA-L Sulfate Chemical compound [O-]S([O-])(=O)=O QAOWNCQODCNURD-UHFFFAOYSA-L 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- -1 flash Substances 0.000 description 1
- XKUKSGPZAADMRA-UHFFFAOYSA-N glycyl-glycyl-glycine Natural products NCC(=O)NCC(=O)NCC(O)=O XKUKSGPZAADMRA-UHFFFAOYSA-N 0.000 description 1
- 108010067216 glycyl-glycyl-glycine Proteins 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- WPYVAWXEWQSOGY-UHFFFAOYSA-N indium antimonide Chemical compound [Sb]#[In] WPYVAWXEWQSOGY-UHFFFAOYSA-N 0.000 description 1
- RPQDHPTXJYYUPQ-UHFFFAOYSA-N indium arsenide Chemical compound [In]#[As] RPQDHPTXJYYUPQ-UHFFFAOYSA-N 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- MGFYIUFZLHCRTH-UHFFFAOYSA-N nitrilotriacetic acid Chemical compound OC(=O)CN(CC(O)=O)CC(O)=O MGFYIUFZLHCRTH-UHFFFAOYSA-N 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 229910021653 sulphate ion Inorganic materials 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
적외선 영상 처리 방법은 복수의 픽셀에서 감지되는 적외선 검출값에 대응하는 제 1 해상도의 데이터를 생성하는 단계, 제 1 해상도의 데이터를 보간 처리하여 제 2 해상도의 데이터를 생성하는 단계 및 제 2 해상도의 데이터를 출력하는 단계를 포함한다.An infrared image processing method includes generating data of a first resolution corresponding to an infrared detection value sensed by a plurality of pixels, interpolating data of a first resolution to generate data of a second resolution, And outputting the data.
Description
본 발명은 영상 처리에 관한 것으로, 보다 상세하게는 적외선 영상 처리 방법 및 적외선 영상 처리 장치에 관한 것이다.The present invention relates to image processing, and more particularly, to an infrared image processing method and an infrared image processing apparatus.
일반적인 적외선 카메라는 물체에서 방사되는 적외선 방사 에너지를 검지기에 의해 검출하고, 물체의 방사 온도를 전기 신호로서 꺼내어 2차원의 가시상으로 표시하는 방식에 의해 적외선 영상을 생성한다. 이를 위해 적외선의 감지 결과를 2차원 상의 데이터로 변환하는 촬상 소자가 필요하다. 종래의 적외선 카메라 시스템에 관한 기술은 한국공개특허공보 공개번호 특2002-0053262 등에 개시되어 있다.A general infrared camera generates an infrared image by detecting infrared radiation energy radiated from an object by a detector, extracting the radiation temperature of the object as an electric signal, and displaying the infrared radiation image in a two-dimensional visual image. To this end, there is a need for an imaging device that converts infrared detection results into two-dimensional data. BACKGROUND ART [0002] A technique related to a conventional infrared camera system is disclosed in Korean Patent Laid-Open Publication No. 2002-0053262.
적외선은 가시광선이나 자외선에 비해 강한 열작용을 가지고 있는 것이 특징이며, 이 때문에 열선이라고도 한다. 태양이나 발열체로부터 공간으로 전달되는 복사열은 주로 적외선에 의한 것이다. 공업용이나 의료용으로 사용하기 위한 것으로, 강한 적외선을 방출하는 적외선 전구가 있다. 적외선이 강한 열효과를 가지고 있는 것은 적외선의 주파수가 물질을 구성하고 있는 분자의 고유진동수와 거의 같은 정도의 범위에 있기 때문에, 물질에 적외선이 부딪치면 전자기적 공진현상을 일으켜 적외광파의 에너지가 효과적으로 물질에 흡수되는 것에 기인한다. 적외선은 파장이 길기 때문에 자외선이나 가시광선에 비하여 미립자에 의한 산란효과가 적어서 공기 중에 비교적 잘 투과한다.Infrared rays are characterized by having a stronger heat effect than visible light or ultraviolet rays, and are therefore referred to as heat rays. Radiation heat transferred from the sun or heating element to space is mainly due to infrared rays. For use in industrial or medical applications, there is an infrared bulb that emits strong infrared rays. Infrared rays have a strong thermal effect because the frequency of infrared rays is in the range of about the same as the natural frequencies of the molecules constituting the material. Therefore, when an infrared ray hits the material, electromagnetic resonance phenomenon occurs. It is due to being absorbed into the material. Since infrared rays have a long wavelength, they have less scattering effect due to fine particles than ultraviolet rays or visible rays, so they transmit relatively well in air.
적외선 촬상 소자는 적외광의 2차원 패턴을 전기 신호로 변환하는 기능의 소자로 파악할 수 있다. 적외선 영상 검출의 중요한 파장 대역인 2~12㎛의 파장에 감도를 가진 재료로서는 불순물 도프 Ge, InAs, InSb, HgCdTe, PbS 등이 있지만 모두 냉각을 요한다. 이에 대하여 TGS(triglycine sulphate), LiTaO3, PbTiO3 등의 초전(焦電)결정은 응답속도는 늦지만 상온에서 사용할 수 있다. 적외선 촬상 장치는 주사방식에 따라 광학주사(회전거울 등), 전자 빔 주사(적외선 비디콘), 자기주사(고체화 컬러) 등으로 분류될 수 있다. 실용화되어 있는 적외선 촬상 소자의 다수는 HgCdTe 등의 단일 센서와 광학 주사를 조합한 것이다. 이중에는 기상 위성에 탑재되어 지구를 관측하는 센서인 가시 적외 복사계(visible and infrared spin scan radiometer; VISSR)와 같이 일상 생활에 밀접한 관계를 가진 센서도 있다.The infrared imaging device can be understood as an element that converts a two-dimensional pattern of infrared light into an electric signal. Impurity dopes such as Ge, InAs, InSb, HgCdTe, and PbS, which are sensitive to wavelengths of 2 to 12 μm, which are important wavelength bands for infrared image detection, On the other hand, pyroelectric crystals such as triglycine sulphate (TGS), LiTaO3, and PbTiO3 can be used at room temperature although their response speed is slow. The infrared imaging device can be classified into an optical scanning (rotating mirror or the like), an electron beam scanning (infrared ray video), a self-scanning (solidified color), or the like according to a scanning method. Most infrared ray imaging devices that have been put into practical use are a combination of a single sensor such as HgCdTe and optical scanning. Some of these sensors are closely related to daily life, such as the visible and infrared spin scan radiometer (VISSR), which are sensors mounted on meteorological satellites and used to monitor the Earth.
한편, 적외선 촬상 소자는 가시광선 영역의 촬상 소자로 폭넓게 사용되는 전하 결합 소자(charge-coupled device; CCD) 또는 상보형 금속 산화막 반도체(complementary metal-oxide semiconductor; CMOS)와 비교하여 볼 때, 집적도를 높이기 위해서 높은 비용이 수반된다. 이와 관련하여, 많은 응용 분야에서 적외선 촬상 소자로부터 얻어진 영상 데이터를 실시간으로, 혹은 이를 저장하여 디스플레이 장치에 표시하는 경우가 있다. 상술한 바와 같이, 적외선 촬상 소자의 화소 집적도를 높이는 데에는 기술적 난이도 또는 고비용이 수반되며, 상용의 적외선 영상 시스템에 있어서 일반적인 디스플레이 장치의 해상도보다 낮은 해상도의 적외선 영상 데이터를 출력하는 경우가 있다.On the other hand, in comparison with a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) widely used as an imaging device in a visible light region, the infrared imaging device has a high degree of integration There is a high cost to increase. In this regard, in many applications, image data obtained from an infrared image pickup device may be displayed in real time or on a display device by storing the image data in real time. As described above, in order to increase the pixel density of the infrared image pickup device, technical difficulty or high cost is involved, and in some commercial infrared image systems, infrared image data having a resolution lower than that of a general display device may be output.
예를 들어, 적외선 감지부에서 감지되는 데이터는 384×288 픽셀 사이즈의 데이터일 수 있다. 또한, 통상적으로 많이 사용되는 디스플레이 시스템은 미국 및 한국에서 주로 사용되는 텔레비전 방송의 규격인 NTSC 방식, 또는 대부분의 유럽 국가들에서 사용되는 PAL 방식을 채택할 수 있다. NTSC 방식 또는 PAL 방식은 720×480 또는 720×576 규격의 출력 해상도를 지원할 수 있으며, 이에 따라 디스플레이 시스템의 해상도 또한 720×480 또는 720×576 규격을 갖는 경우가 많다.For example, the data sensed by the infrared sensor may be 384 x 288 pixels in size. In addition, a commonly used display system can adopt the NTSC system, which is a standard of television broadcasting used mainly in the United States and Korea, or the PAL system, which is used in most European countries. The NTSC or PAL system can support an output resolution of 720 x 480 or 720 x 576 standard, and thus the resolution of the display system is also often 720 x 480 or 720 x 576 standard.
상기와 같은 디스플레이 시스템에 384×288 크기의 적외선 데이터를 영상으로 출력하기 위해서는 디스플레이 시스템의 표시 영역의 일부 면적을 활용하여 384×288 규격의 영상을 표시하거나, 또는 384×288 크기의 데이터 또는 384×288 규격의 영상을 확대하여 전체 디스플레이 영역에 표시하는 방법이 있다. 디스플레이 시스템의 일부 표시 영역에만 적외선 영상을 표시하는 것은 디스플레이 시스템 성능의 일부만 사용하는 것으로 비효율적이다. 384×288 크기의 데이터 또는 384×288 규격의 영상을 확대하여 전체 디스플레이 영역에 표시하는 경우, 픽셀 자체가 블록과 같이 확대되어 보이는 현상이 발생할 수 있다. 따라서, 전체적인 영상의 크기는 증가하지만 시각적으로 영상의 품질이 저하되는 것처럼 인식될 수 있다.In order to output 384 x 288 infrared data to the display system as described above, a 384 x 288 image is displayed using a part of the display area of the display system, or 384 x 288 data or 384 x 288 288 standard image is enlarged and displayed in the entire display area. It is inefficient to use only a part of the performance of a display system to display an infrared image on only a part of the display area of the display system. When the 384 × 288 size data or the 384 × 288 standard image is enlarged and displayed in the entire display area, the pixel itself may appear enlarged like a block. Therefore, although the size of the entire image increases, it can be perceived as if the quality of the image is deteriorated visually.
적외선을 센싱하여 영상을 생성하는 적외선 카메라는 주로 야간 감시 카메라로서 사용된다. 또한 군사 목적 또는 선박 항해시 물체의 식별 등에 이용될 수 있고, 비파괴 검사의 분야에도 사용될 수 있다. 한편, 적외선 영상의 일 분야에서, 물체의 유무 여부 뿐만 아니라 물체의 형상을 식별하는 것이 중요할 수 있다. 예를 들어, 군사 목적의 야간 감시 카메라에서는 경계 지역에 존재하는 물체의 유무 여부를 식별 하는 것도 중요하나, 구체적인 물체의 형상을 식별하여 인간인지 또는 동물이나 기타 물체를 식별하는 것 또한 중요할 수 있다. 이런 측면에서 파악할 때, 적외선 카메라의 해상도를 높이는 것은 적외선 영상의 특성 등과 관련되어 중요한 목적이 될 수 있다. 즉, 낮은 해상도의 적외선 영상으로는 물체의 유무 식별 또는 물체의 위치 식별 등은 가능하지만, 구체적인 형상의 식별에는 어려움이 있을 수 있다. 또한, 적외선 영상의 해상도를 높이기 위해 촬상 소자의 물리적인 화소 집적도를 높이는 것은 기술적으로 어려움이 있으며 높은 비용을 수반하게 된다. 예를 들어, 적외선 영상의 해상도를 직접적으로 높이기 위해 적외선 촬상 소자의 화소 집적도를 2배 높이는 경우에 비용은 3~4배로 증가할 수 있다.Infrared cameras that generate images by sensing infrared rays are mainly used as night-time surveillance cameras. It can also be used for military purposes or for identification of objects during ship navigation, and can also be used in the field of nondestructive testing. On the other hand, in one field of infrared imaging, it may be important to identify the shape of an object as well as the presence or absence of an object. For example, it is important to identify the presence or absence of an object in a boundary area in a military-purpose night surveillance camera, but it may also be important to identify the shape of a specific object to identify a human being or an animal or other object . In this regard, increasing the resolution of the infrared camera can be an important goal in relation to the characteristics of the infrared image. That is, it is possible to identify the presence or absence of an object or the position of an object with a low-resolution infrared image, but it may be difficult to identify a specific shape. In addition, it is technically difficult to increase the physical pixel density of the image pickup device in order to increase the resolution of the infrared image, and it involves a high cost. For example, if the pixel density of the infrared imaging device is doubled to directly increase the resolution of the infrared image, the cost may increase by three to four times.
본 발명의 일 목적은 적은 비용 상승폭으로 확대된 적외선 영상의 품질을 개선시킬 수 있는 적외선 영상 처리 방법을 제공하는 데 있다.It is an object of the present invention to provide an infrared image processing method capable of improving the quality of an infrared image enlarged by a small increase in cost.
본 발명의 다른 일 목적은 품질이 개선된 확대된 적외선 영상을 생성하는 적외선 영상 처리 장치를 제공하는 데 있다.It is another object of the present invention to provide an infrared image processing apparatus that generates an enlarged infrared image with improved quality.
다만, 본 발명의 해결하고자 하는 과제는 상기 언급된 과제에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.It is to be understood, however, that the present invention is not limited to the above-described embodiments and various modifications may be made without departing from the spirit and scope of the invention.
상기 일 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적외선 영상 처리 방법에서는, 복수의 픽셀에서 감지되는 적외선 검출값에 대응하는 제 1 해상도의 데이터를 생성하고, 상기 제 1 해상도의 데이터를 보간 처리하여 제 2 해상도의 데이터를 생성하며, 상기 제 2 해상도의 데이터를 출력한다.According to an aspect of the present invention, there is provided an infrared image processing method for generating data of a first resolution corresponding to an infrared detection value sensed by a plurality of pixels, interpolating data of the first resolution, Generates data of a second resolution, and outputs data of the second resolution.
일 실시예에서, 상기 제 1 해상도의 데이터는 제 1 해상도의 영상 데이터이고, 상기 제 1 해상도의 데이터를 생성하는 단계는, 상기 복수의 픽셀에서 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 단계 및 상기 제 1 해상도의 감지 데이터를 영상 처리하여 상기 제 1 해상도의 영상 데이터를 생성하는 단계를 포함할 수 있다.In one embodiment, the data of the first resolution is image data of the first resolution, and the step of generating the data of the first resolution includes generating the sensing data of the first resolution by sensing the infrared rays at the plurality of pixels And generating image data of the first resolution by image processing the sensed data of the first resolution.
일 실시예에서, 상기 제 1 해상도의 데이터 및 상기 제 2 해상도의 데이터는 각각 제 1 해상도의 감지 데이터 및 제 2 해상도의 감지 데이터이고, 상기 출력된 제 2 해상도의 감지 데이터를 영상 데이터로 변환하는 단계를 더 포함할 수 있다.In one embodiment, the data of the first resolution and the data of the second resolution are sensing data of a first resolution and sensing data of a second resolution, respectively, and converting the sensed data of the output second resolution into image data Step < / RTI >
일 실시예에서, 상기 보간 처리는 선형 보간 (Linear interpolation), 다항 보간 (Polynomial interpolation), 스플라인 보간 (Spline interpolation) 중 어느 하나의 방식을 따를 수 있다.In one embodiment, the interpolation process may be performed by any one of linear interpolation, polynomial interpolation, and spline interpolation.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적외선 영상 처리 장치는 적외선 감지부, 보간 처리부, 영상 처리부 및 출력부를 포함한다. 상기 적외선 감지부는 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성한다. 상기 보간 처리부는 상기 제 1 해상도의 감지 데이터를 보간 처리하여 제 2 해상도의 감지 데이터를 생성한다. 상기 영상 처리부는 상기 제 2 해상도의 감지 데이터를 영상 처리하여 제 2 해상도의 영상 데이터를 생성한다. 상기 출력부는 상기 제 2 해상도의 영상 데이터를 출력한다.According to another aspect of the present invention, there is provided an infrared ray image processing apparatus including an infrared ray sensing unit, an interpolation processing unit, an image processing unit, and an output unit. The infrared sensing unit senses infrared rays and generates sensing data of a first resolution. The interpolation processing unit interpolates the sensing data of the first resolution to generate sensing data of the second resolution. The image processing unit processes the sensed data of the second resolution to generate image data of the second resolution. And the output unit outputs the image data of the second resolution.
일 실시예에서, 상기 상기 보간 처리부는 제 1 메모리부, 연산부, 제 2 메모리부 및 제어부를 포함할 수 있다. 상기 제 1 메모리부는 상기 제 1 해상도의 감지 데이터를 저장할 수 있다. 상기 연산부는 상기 제 1 메모리부로부터 상기 제 1 해상도의 감지 데이터를 입력 받아 보간 연산을 수행하여 보간 감지 데이터를 생성할 수 있다. 상기 제 2 메모리부는 상기 제 1 해상도의 감지 데이터 및 상기 보간 감지 데이터를 상기 제 2 해상도의 감지 데이터로서 저장할 수 있다. 상기 제어부는 상기 제 1 메모리부, 상기 제 2 메모리부 및 상기 연산부를 제어할 수 있다.In one embodiment, the interpolation processing unit may include a first memory unit, an operation unit, a second memory unit, and a control unit. The first memory unit may store sensing data of the first resolution. The operation unit may receive the sensing data of the first resolution from the first memory unit and may perform an interpolation operation to generate interpolation sensing data. The second memory unit may store the sensing data of the first resolution and the interpolation sensing data as sensed data of the second resolution. The control unit may control the first memory unit, the second memory unit, and the operation unit.
상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 적외선 영상 처리 장치는 적외선 감지부, 영상 처리부, 보간 처리부 및 출력부를 포함한다. 상기 적외선 감지부는 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성한다. 상기 영상 처리부는 상기 제 1 해상도의 감지 데이터를 영상 처리하여 제 1 해상도의 영상 데이터를 생성한다. 상기 보간 처리부는 상기 제 1 해상도의 영상 데이터를 보간 처리하여 제 2 해상도의 영상 데이터를 생성한다. 상기 출력부는 상기 제 2 해상도의 영상 데이터를 출력한다.According to another aspect of the present invention, there is provided an infrared ray image processing apparatus including an infrared ray sensing unit, an image processing unit, an interpolation processing unit, and an output unit. The infrared sensing unit senses infrared rays and generates sensing data of a first resolution. The image processing unit processes the sensed data of the first resolution and generates image data of the first resolution. The interpolation processing unit interpolates the image data having the first resolution to generate image data having the second resolution. And the output unit outputs the image data of the second resolution.
일 실시예에서, 상기 보간 처리부는 제 1 메모리부, 연산부, 제 2 메모리부 및 제어부를 포함할 수 있다. 상기 제 1 메모리부는 상기 제 1 해상도의 영상 데이터를 저장할 수 있다. 상기 연산부는 상기 제 1 메모리부로부터 상기 제 1 해상도의 영상 데이터를 입력 받아 보간 연산을 수행하여 보간 영상 데이터를 생성할 수 있다. 상기 제 2 메모리부는 상기 제 1 해상도의 영상 데이터 및 상기 보간 영상 데이터를 상기 제 2 해상도의 영상 데이터로서 저장하할 수 있다. 상기 제어부는 상기 제 1 메모리부, 상기 제 2 메모리부 및 상기 연산부를 제어할 수 있다.In one embodiment, the interpolation processing unit may include a first memory unit, an operation unit, a second memory unit, and a control unit. The first memory unit may store image data of the first resolution. The operation unit receives the image data of the first resolution from the first memory unit, and performs interpolation operation to generate interpolated image data. The second memory unit may store the image data of the first resolution and the interpolated image data as the image data of the second resolution. The control unit may control the first memory unit, the second memory unit, and the operation unit.
일 실시예에서, 제 1 해상도를 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자에 있어서, 상기 제 1 방향 스케일링 인자는 상기 제 2 방향 스케일링 인자와 동일할 수 있다.In one embodiment, for a first directional scaling factor and a second directional scaling factor for converting a first resolution to a second resolution, the first directional scaling factor may be equal to the second directional scaling factor.
일 실시예에서, 제 1 해상도를 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자에 있어서, 상기 제 1 방향 스케일링 인자는 상기 제 2 방향 스케일링 인자와는 다를 수 있다.In one embodiment, for a first directional scaling factor and a second directional scaling factor for converting a first resolution to a second resolution, the first directional scaling factor may be different from the second directional scaling factor.
일 실시예에서, 상기 적외선 영상 처리 장치는 상기 제 2 해상도의 영상 데이터를 표시하는 디스플레이부를 더 포함할 수 있다.In one embodiment, the infrared image processing apparatus may further include a display unit for displaying the image data having the second resolution.
일 실시예에서, 상기 제1 해상도의 감지 데이터는 디지털 형태의 데이터이며, 상기 적외선 감지부는 감지된 적외선 신호를 디지털 형태로 변환하여 상기 제 1 해상도의 감지 데이터를 생성하는 아날로그-디지털 변환기(Analog-Digital Converter; ADC)를 포함할 수 있다.In one embodiment, the sensing data of the first resolution is digital type data, and the infrared sensing unit is an analog-to-digital converter (ADC) for converting the sensed infrared signal into a digital form and generating sensed data of the first resolution, Digital Converter (ADC).
실시예에 따라, 상기 제 2 해상도의 영상 데이터는 아날로그 데이터일 수 있다. 상기 출력부는 상기 제 2 해상도의 영상 데이터를 아날로그 형태로 변환하는 디지털-아날로그 변환기(Digital-Analog Converter; DAC)를 포함할 수 있다.According to an embodiment, the image data of the second resolution may be analog data. The output unit may include a digital-analog converter (DAC) for converting the image data having the second resolution into an analog form.
본 발명에 따른 적외선 영상 처리 방법 또는 적외선 영상 처리 장치에 의하면, 적외선 영상의 특성에 따라 영상의 스케일링 시에 화질을 개선할 수 있다.According to the infrared image processing method or the infrared image processing apparatus according to the present invention, the image quality can be improved at the time of scaling the image according to the characteristics of the infrared image.
도 1은 적외선 카메라에서 영상을 얻기 위해 사용되는 전자기파의 파장대를 나타내는 도면이다.
도 2a 내지 2c는 적외선 영상의 확대에 따른 해상도 변화를 나타내는 도면이다.
도 3a 및 3b는 적외선 영상의 확대 및 보간을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 적외선 영상 처리 장치를 나타내는 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 적외선 영상 처리 장치를 나타내는 블록도이다.
도 6은 도 5의 보간 처리부의 일 실시예를 나타내는 도면이다.
도 7a 및 7b는 제 1 방향 스케일링 인자가 제 2 방향 스케일링 인자와 다른 경우의 적외선 영상의 확대 및 보간을 설명하기 위한 도면이다.
도 8a 내지 8e는 적외선 영상의 확대 및 보간 방식을 예시하기 위한 그래프들이다.
도 9는 본 발명의 일 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.
도 10은 본 발명의 다른 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.
도 11은 본 발명의 또다른 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.
도 12a 및 도 12b는 본 발명의 일 실시예에 따라 확대된 적외선 영상의 품질을 비교하기 위한 도면이다.1 is a view showing a wavelength band of an electromagnetic wave used for obtaining an image from an infrared camera.
Figs. 2A to 2C are diagrams showing a resolution change due to expansion of an infrared image. Fig.
FIGS. 3A and 3B are views for explaining enlargement and interpolation of an infrared image.
4 is a block diagram showing an infrared ray image processing apparatus according to an embodiment of the present invention.
5 is a block diagram showing an infrared ray image processing apparatus according to another embodiment of the present invention.
6 is a diagram showing an embodiment of the interpolation processing unit of FIG.
Figs. 7A and 7B are views for explaining magnification and interpolation of an infrared image when the first direction scaling factor is different from the second direction scaling factor. Fig.
8A to 8E are graphs for illustrating an enlargement and interpolation method of an infrared image.
9 is a flowchart illustrating an infrared image processing method according to an embodiment of the present invention.
10 is a flowchart illustrating an infrared image processing method according to another embodiment of the present invention.
11 is a flowchart showing an infrared image processing method according to another embodiment of the present invention.
12A and 12B are diagrams for comparing quality of an enlarged infrared image according to an embodiment of the present invention.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.For the embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and it is to be understood that the embodiments of the invention may be practiced in various forms, The present invention should not be construed as limited to the embodiments described in Figs.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprise", "having", and the like are intended to specify the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined in the present application .
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.
도 1은 적외선 카메라에서 영상을 얻기 위해 사용되는 전자기파의 파장대를 나타내는 도면이다. 도 1을 참조하면, 가시광선 영역보다 파장이 긴 적외선 영역이 도시되어 있다. 가시광선 영역은 가장 파장이 짧은 보라(V)에서부터, 파랑(B), 초록(G), 노랑(Y), 주황(O) 및 빨강(R) 영역의 파장 대역을 포함한다.1 is a view showing a wavelength band of an electromagnetic wave used for obtaining an image from an infrared camera. Referring to FIG. 1, an infrared region having a longer wavelength than a visible light region is shown. The visible light region includes the wavelength bands of blue (B), green (G), yellow (Y), orange (O) and red (R) regions from the lowest wavelength V (V).
한편, 적외선은 가시광선의 파장보다 긴 750nm에서 1mm의 대역의 전자기파를 말하는 것으로서, 이러한 적외선 대역 중에서도 근적외선(Near Infrared Ray; NIR)의 빛은 700nm에서 1400nm의 파장을 말한다. 상기 근적외선 대역의 빛은 사람의 눈에는 보이지 않지만 CCD나 CMOS 소자로도 감지가 가능하다. 이에 비해, 원적외선(Far Infrared Fay; FIR) 대역은 장파 적외선(Long Wavelength Infrared Ray; LWIR)이라고도 하며 적외선은 빛의 파장 중 8μm에서 15μm의 대역을 나타낸다. 특히 원적외선 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있는 장점이 있다.On the other hand, an infrared ray refers to an electromagnetic wave having a band of 750 nm to 1 mm, which is longer than the wavelength of visible light. Among these infrared bands, the light of Near Infrared Ray (NIR) refers to a wavelength of 700 to 1400 nm. The near-infrared light is not visible to the human eye but can be detected by a CCD or a CMOS device. In contrast, the far infrared ray (FIR) band is also referred to as Long Wavelength Infrared Ray (LWIR), and infrared rays indicate a band of 8 to 15 μm in wavelength of light. In particular, the far-infrared band has the advantage of distinguishing the temperature because the wavelength varies with temperature.
또한, 에너지 방출 특성 측면에서 볼 때 파장에 따른 복사 에너지는 3μm ~ 5μm 의 파장 대역보다 8μm ~ 12μm 파장 대역에서 크게 나타나고, 모래먼지, 섬광, 연막 등에 대한 투과 특성이 우수하여 8μm ~ 12μm 파장 대역이 적외선 카메라 또는 적외선 탐지 장치에 널리 이용된다.From the viewpoint of energy emission characteristics, the radiant energy according to the wavelength is larger in a wavelength band of 8 μm to 12 μm than in a wavelength band of 3 μm to 5 μm and excellent in transmission characteristics for sand dust, flash, and smoke, It is widely used in infrared cameras or infrared detectors.
이 경우에 감지된 데이터는 온도 데이터로서, 상기 온도 데이터를 영상 데이터로서 변환 처리하여 디스플레이 장치로 출력할 수 있다. 디스플레이 장치는 입력된 영상 데이터를 화면에 표시할 수 있다.In this case, the sensed data may be temperature data, and the temperature data may be converted into image data and output to the display device. The display device can display the input image data on the screen.
도 2a 내지 2c는 적외선 영상의 확대에 따른 해상도 변화를 나타내는 도면이다.Figs. 2A to 2C are diagrams showing a resolution change due to expansion of an infrared image. Fig.
도 2a를 참조하면, 6×6 픽셀 크기의 영상이 도시되어 있다. 적외선 카메라 또는 적외선 영상 시스템에서, 적외선 영상은 적외선의 강도(intensity)에 따라 밝기를 표현할 수 있다. 통상적인 가시광선을 감지하는 영상 시스템에서 필터를 사용하여 컬러 영상을 나타내는 것과 달리, 적외선 영상은 기본적으로 흑백 영상을 표현할 수 있다. 응용에 있어서, 적외선의 강도에 따라 색상을 다르게 표현하는 방법을 채용할 수도 있다.Referring to FIG. 2A, an image having a size of 6x6 pixels is shown. In an infrared camera or an infrared image system, an infrared image can express brightness according to the intensity of an infrared ray. In an image system that senses a normal visible light, unlike a color image using a filter, an infrared image can basically express a monochrome image. In applications, a method of expressing colors differently depending on the intensity of infrared rays may be employed.
도 2b는 도 2a의 영상을 확대하여 12×12 픽셀 크기의 영역에 도시한 것이다. 도 2a와 도 2b를 같이 참조하면, 도 2b에서 픽셀 면적이 도 2a의 픽셀 면적의 4배임을 알 수 있다. 도 2b의 영상 영역에서는 픽셀들의 개수가 네 배가 되었으며, 원본 영상의 각 픽셀에 대응하는 값이 네 개의 픽셀에 동일하게 배정되어 네 개의 픽셀이 하나의 블록과 같이 표현되어 있다. 도 2b에 도시된 바와 같이, 낮은 해상도의 영상을 단순히 확대하는 경우에 픽셀들도 확대되어 블록과 같이 인식될 수 있다.FIG. 2B is an enlarged view of the image of FIG. 2A in the region of 12 × 12 pixels. Referring to FIGS. 2A and 2B, it can be seen that the pixel area in FIG. 2B is four times the pixel area in FIG. 2A. In the image region of FIG. 2B, the number of pixels is quadrupled, and a value corresponding to each pixel of the original image is equally allocated to four pixels, so that four pixels are represented as one block. As shown in FIG. 2B, when the image of low resolution is simply enlarged, the pixels may be enlarged and recognized as a block.
도 2c는 도 2a의 영상을 확대하여 보간 처리한 결과 영상이다. 도 2c의 영상 영역은 도 2b와 마찬가지로 12×12 픽셀 크기의 영상 영역을 갖는다. 그러나 도 2b의 영상과는 달리 네 개의 픽셀 단위에 서로 다른 화소 값이 배정되어 있음을 알 수 있다. 상기 서로 다른 화소 값의 배정은 보간 처리를 통해 수행할 수 있다. 도 2b와 도 2c를 함께 참조하면, 도 2b에 비애 도 2c의 영상이 해상도가 더욱 높아 보임을 알 수 있다.FIG. 2C is a result image obtained by enlarging and interpolating the image of FIG. 2A. The image area of FIG. 2C has an image area of 12 × 12 pixels as in FIG. 2B. However, unlike the image of FIG. 2B, it can be seen that different pixel values are assigned in units of four pixels. The assignment of the different pixel values may be performed through an interpolation process. Referring to FIG. 2B and FIG. 2C together, FIG. 2B shows that the image of FIG. 2C has a higher resolution.
보간 처리는 픽셀의 수를 증가시키는 경우에 외관상 해상도를 올리는 처리를 의미할 수 있다. 신호 처리의 관점에서는 샘플링 레이트가 낮은 데이터를 업샘플링한 효과를 만들기 위해 샘플링 데이터들 사이에 새로운 데이터를 생성하는 과정을 의미할 수 있다. 적외선 영상 처리 장치에서, 영상 신호의 해상도를 변환하는 경우, 특히 해상도를 향상시키는 경우 원래 영상의 픽셀들 외에 해상도 상승에 따라 생성되는 픽셀들의 계산하는 방식을 의미할 수 있다.The interpolation process may mean a process of increasing the apparent resolution in the case of increasing the number of pixels. From the viewpoint of signal processing, it may mean a process of generating new data between sampling data to create an effect of upsampling data having a low sampling rate. In the infrared image processing apparatus, in the case of converting the resolution of a video signal, in particular, in the case of improving the resolution, it may mean a method of calculating pixels generated according to the resolution increase in addition to the pixels of the original image.
적외선 영상 데이터는 가시광선 영역에 의한 영상 데이터와 달리 열선의 감지에 의해 영상이 얻어지게 된다. 적외선 영상과 일반적인 가시광선 영상 데이터는 영상 처리에 있어서 차이점이 있을 수 있다. 예를 들어, 가시광선 영상 데이터의 경우, 물체의 색상 변화에 따라 반사되는 가시광선의 파장이 달라지므로, 각각의 색상 필터를 통해 유입되는 가시광선의 강도가 변화하게 된다. 상기 서로 다른 파장의 가시광선 강도의 조합에 따라 색상이 나타나게 된다. 한편, 적외선 영상의 경우, 유입되는 적외선의 파장대는 색상을 나타낼 수 있는 가시광선의 파장대와 다르므로, 생성되는 영상에 색상 정보는 포함되지 않는다. 응용에 따라 적외선 영상에 색상 처리를 하는 경우가 있으나, 상기 경우는 적외선의 강도에 따라 구분을 쉽게 하기 위해 인위적으로 색상 처리를 하는 것이고, 실제 물체의 색상 정보를 반영하는 것은 아니다.Unlike the image data by the visible ray region, the infrared image data is obtained by sensing the hot line. Infrared images and general visible light image data may have differences in image processing. For example, in the case of visible light image data, the wavelength of a visible light line reflected by a color change of an object changes, and thus the intensity of a visible light line flowing through each color filter changes. The colors are displayed according to the combinations of the visible light intensities of the different wavelengths. On the other hand, in the case of an infrared image, since the wavelength band of the infra-red rays is different from the wavelength band of the visible ray capable of displaying colors, the generated image does not include color information. In some cases, the infrared image is subjected to color processing depending on the application. In this case, the color processing is artificially performed to easily distinguish the infrared ray according to the intensity of the infrared ray, and does not reflect the color information of the actual object.
상기 차이점은 보간 처리를 함에 있어서도 나타날 수 있다. 예를 들어, 일반적인 가시광선 영상의 보간 처리에 있어서, 미세하고 복잡한 패턴의 색상을 포함하는 물체를 낮은 해상도의 촬상 장치로 촬영한 후에 보간 처리를 하여 확대하는 경우, 보간을 통해 확대된 영상과 실제 높은 해상도로 촬영된 영상은 많은 차이가 있을 수 있다. 색상이 변화하는 부분에서 해당 파장대의 가시광선 강도가 급격히 변화하기 때문이다. 한편, 적외선 영상의 경우, 열 영상의 특징 상 동일한 물체 표면에서 적외선 강도가 급격히 변화하는 경우는 많지 않고, 적외선 영상은 실제의 색상 정보를 반영하지 않으므로, 보간을 통해 확대된 영상과 실제 높은 해상도로 촬영된 영상 사이에는 상대적으로 차이가 적게 나타날 수 있다. 상기 차이점은 영상의 보간 처리에 대한 효용성에 영향을 줄 수 있다. 가시광선 영상의 경우 보간 처리를 통해 확대한 영상이 높은 해상도로 촬영한 영상과 차이가 크므로 보간을 통한 영상 확대의 품질에 한계가 있을 수 있다. 한편, 적외선 영상의 경우 보간 처리를 통해 확대한 영상이 높은 해상도로 촬영한 영상과 차이가 상대적으로 작으므로, 보간을 통해 확대된 영상은 가시광선 영상의 경우와 비교할 때 상대적으로 나은 영상 품질을 나타낼 수 있다. 즉, 적외선 영상은 가시광선 영상에 비해 상대적으로 보간 처리에 더욱 높은 적응성을 가질 수 있다. 이에 따라 보간으로 인해 생성된 영상이 적외선 영상의 경우가 가시광선 영상의 경우보다 더욱 우수할 수 있다.The difference may also appear in interpolation processing. For example, in an interpolation process of a general visible light image, when an object including a color of a fine and complex pattern is photographed by a low resolution imaging device and then enlarged by interpolation processing, There are many differences in the images taken at high resolution. This is because the visible light intensity of the corresponding wavelength band rapidly changes at the portion where the color changes. On the other hand, in the case of an infrared image, infrared light intensity does not change rapidly at the same object surface due to the characteristic of the thermal image, and since the infrared image does not reflect actual color information, There may be a relatively small difference between the captured images. The difference may affect the utility of the interpolation process of the image. In case of the visible ray image, there is a limit to the quality of the image enlargement through interpolation because the image enlarged through the interpolation processing is different from the image taken with high resolution. On the other hand, in the case of infrared image, since the image enlarged through the interpolation processing is relatively smaller than the image captured with the high resolution, the image enlarged through the interpolation exhibits relatively better image quality as compared with the case of the visible ray image . That is, the infrared image can have higher adaptability to the interpolation process than the visible light image. Accordingly, the image generated by the interpolation can be more excellent than that of the visible light image in the case of the infrared image.
도 3a 및 3b는 적외선 영상의 확대 및 보간을 설명하기 위한 도면이다.FIGS. 3A and 3B are views for explaining enlargement and interpolation of an infrared image.
도 3a를 참조하면, 4×4 픽셀 크기의 영상(10)이 도시되어 있다. 도 3b를 참조하면, 4×4 픽셀 크기의 영상(10)이 8×8 픽셀 크기의 영상(13)으로 확대된 상태가 도시되어 있다. 도 3a에서 각 픽셀의 위치는 원문자 1 내지 16으로 참조되어 표시되어 있다. 도 3b를 참조하면, 도 3a의 각 픽셀들이 각각 제 1 방향(D1) 및 제 2 방향(D2)으로 한 픽셀씩 건너뛰어 배치되어 있다. 예를 들어, 도 3a의 원문자 7에 상응하는 픽셀(107)은 도 3b의 픽셀(137)에 대응한다. 이에 따라, 도 3b의 영상(13)에 포함되는 64개의 픽셀 중 도 3a의 영상(10)의 픽셀들에 대응하는 16개의 픽셀에는 도 3a의 픽셀 데이터 값들이 배정될 수 있다.Referring to FIG. 3A, an
도 3a의 영상(10)을 도 3b(13)의 영상(13)으로 확대함에 따라, 픽셀 수는 네 배가 되고, 따라서 48개의 픽셀들의 데이터 값들은 미지정된 상태이다. 상기 48개의 미지정된 픽셀들에 지정하는 데이터 값들을 생성하는 방식에 따라 확대된 영상(13)의 품질이 달리질 수 있다. 예를 들어, 도 2b에서 예시된 도면과 같이, 48개의 미지정된 픽셀들에, 상응하는 16개의 픽셀들의 데이터 값을 일괄적으로 지정할 수 있다. 예를 들어, 픽셀(131)과 함께 하나의 정사각형 블록을 형성하는 세 개의 픽셀들(132, 139, 140)에 픽셀(131)의 데이터 값이 동일하게 지정될 수 있다. 이러한 방식으로 48개의 픽셀들의 데이터 값을 지정하는 경우 도 2b의 영상과 같이 픽셀 자체의 크기가 확대된 것과 같은 영상을 얻을 수 있다. 이 경우 확대된 영상의 품질은 향상되지 않는다.As the
한편, 본 발명에 따라 적외선 영상을 확대하기 위해, 보간 처리가 적용될 수 있다. 상기 보간 처리를 위해 다양한 보간 방법이 사용될 수 있다. 예를 들어, 선형 보간 (Linear interpolation), 다항 보간 (Polynomial interpolation) 및 스플라인 보간 (Spline interpolation) 중 어느 하나의 방식에 따라 보간 처리하여 적외선 영상을 확대할 수 있다.On the other hand, in order to expand the infrared image according to the present invention, interpolation processing may be applied. Various interpolation methods may be used for the interpolation process. For example, an infrared image can be enlarged by interpolation processing according to any one of linear interpolation, polynomial interpolation, and spline interpolation.
예를 들어, 도 3b의 영상(13)에서, 선형 보간에 따라 영상을 확대하는 경우, 픽셀(166)의 데이터 값은 픽셀(165) 및 픽셀(167)의 두 개의 픽셀 데이터 값의 평균으로 지정할 수 있다. 또한, 픽셀(173)의 데이터 값은 픽셀(165) 및 픽셀(181)의 두 개의 픽셀 데이터 값의 평균으로 지정할 수 있다. 그리고, 픽셀(174)의 데이터 값은 픽셀(165), 픽셀(167), 픽셀(181) 및 픽셀(183)의 네 개의 픽셀 데이터 값의 평균으로 지정할 수 있다. 이 외에도, 다양한 방식의 보간 방식을 통해 적외선 영상의 확대에 따른 픽셀 데이터를 생성할 수 있다.For example, in the
상술한 선형 보간 이외에도 다양한 보간 방법이 적외선 영상의 확대를 위해 사용될 수 있으며, 본 발명은 특정한 보간 방법에 제한되지 않는다. 예를 들어, 다항 보간 (Polynomial interpolation) 또는 스플라인 보간 (Spline interpolation)에 의해 적외선 영상을 확대할 수 있다.In addition to the above-described linear interpolation, various interpolation methods can be used for enlarging the infrared image, and the present invention is not limited to a specific interpolation method. For example, the infrared image can be enlarged by polynomial interpolation or spline interpolation.
도 4는 본 발명의 일 실시예에 따른 적외선 영상 처리 장치를 나타내는 블록도이다. 도 4를 참조하면, 영상 처리 장치(20)는 적외선 감지부(21), 보간 처리부(22), 영상 처리부(23) 및 출력부(24)를 포함한다.4 is a block diagram showing an infrared ray image processing apparatus according to an embodiment of the present invention. 4, the
적외선 감지부(21)는 적외선(IR)을 감지하여 제 1 해상도의 감지 데이터(ISD1)를 생성한다. 보간 처리부(22)는 제 1 해상도의 감지 데이터(ISD1)를 보간 처리하여 제 2 해상도의 감지 데이터(ISD2)를 생성한다. 영상 처리부(23)는 제 2 해상도의 감지 데이터(ISD2)를 영상 처리하여 제 2 해상도의 영상 데이터(IMD2)를 생성한다. 출력부(24)는 제 2 해상도의 영상 데이터(IMD2)를 출력한다. 제 2 해상도의 영상 데이터(IMD2)는 디스플레이 장치 등으로 출력될 수 있다.The
적외선 감지부(21)는 다양한 형태의 적외선 촬상 소자를 포함할 수 있다. 한편, 적외선 감지부(21)에 포함되는 상기 적외선 촬상 소자는 복수의 픽셀에 대응하는 복수의 단위 화소를 포함할 수 있으며, 적외선(IR)을 감지하여 제 1 해상도의 감지 데이터(ISD1)를 생성할 수 있다. 이 경우에 상기 적외선 촬상 소자의 단위 화소들의 집약도는 상기 제 1 해상도와 동일할 수 있다. 제 1 해상도의 감지 데이터(ISD1)는 복수의 단위 화소들 각각으로부터 센싱된 데이터일 수 있으며, 상기 단위 화소들이 각각 센싱한 값에 상응하는 값을 가질 수 있다.The infrared
일 실시예에서, 제 1 해상도의 감지 데이터(ISD1)은 아날로그 데이터일 수 있다. 이 경우 보간 처리부(22)는 신호 처리를 위한 아날로그-디지털 변환기(Analog-Digital Converter; ADC)를 포함할 수 있다. 다른 실시예에서, 적외선 감지부(21)의 복수의 단위 화소들에서 센싱되는 아날로그 데이터가 디지털로 변환되어 보간 처리부(22)로 입력될 수 있다. 이 경우, 적외선 감지부(21)는 적어도 하나의 아날로그-디지털 변환기를 포함할 수 있으며, 제 1 해상도의 감지 데이터(ISD1)는 디지털 데이터일 수 있다.In one embodiment, the sensing data ISD1 of the first resolution may be analog data. In this case, the interpolation processing unit 22 may include an analog-to-digital converter (ADC) for signal processing. In another embodiment, analog data to be sensed in a plurality of unit pixels of the infrared
보간 처리부(22)는 아날로그 데이터 혹은 디지털 데이터로 입력되는 제 1 해상도의 감지 데이터(ISD1)를 제 2 해상도의 감지 데이터(ISD2)로 변환할 수 있다. 상기 제 2 해상도는 상기 제 1 해상도보다 클 수 있다. 이 경우, 보간 처리부(22)는 다양한 보간 방식에 기초하여 제 2 해상도의 감지 데이터(ISD2)를 생성할 수 있다. 예를 들어, 보간 처리부(22)는 선형 보간 (Linear interpolation), 다항 보간 (Polynomial interpolation) 및 스플라인 보간 (Spline interpolation) 중 어느 하나의 방식을 통해 제 1 해상도의 감지 데이터(ISD1)를 확대하여 제 2 해상도의 감지 데이터(ISD2)를 생성할 수 있다. 또한, 구체적인 스플라인 보간의 예로써, 큐빅 스플라인 보간 (Cubit spline interpolation) 또는 카디널 스플라인 보간 (Cardinal spline interpolation) 등이 사용될 수 있다. 예시적인 보간의 방식에 대하여는 도 8a 내지 도 8e를 참조하여 후술하기로 한다.The interpolation processing unit 22 may convert the sensing data ISD1 of the first resolution, which is input as analog data or digital data, to the sensing data ISD2 of the second resolution. The second resolution may be greater than the first resolution. In this case, the interpolation processing unit 22 can generate the sensing data ISD2 of the second resolution based on various interpolation methods. For example, the interpolation processing unit 22 may enlarge the sensing data ISD1 of the first resolution through one of linear interpolation, polynomial interpolation, and spline interpolation, 2 resolution of the sensing data ISD2. As an example of specific spline interpolation, cubic spline interpolation or cardinal spline interpolation may be used. An exemplary method of interpolation will be described later with reference to Figs. 8A to 8E.
보간 처리부(22)는 스케일링 제어 신호(SCS)에 기초하여 보간 처리를 수행할 수 있다. 일 실시예에서, 스케일링 제어 신호(SCS)는 보간과 관련된 상기 제 1 해상도 및 제 2 해상도와 관련된 정보를 포함할 수 있다. 다른 실시예에서, 스케일링 제어 신호(SCS)는 상기 제 1 해상도 및 제 2 해상도에 기초하여 생성될 수 있다.The interpolation processing unit 22 can perform interpolation processing based on the scaling control signal SCS. In one embodiment, the scaling control signal SCS may comprise information associated with the first and second resolutions associated with interpolation. In another embodiment, a scaling control signal SCS may be generated based on the first resolution and the second resolution.
일 실시예에서, 상기 제 2 해상도는 상기 제 1 해상도보다 높은 해상도를 가질 수 있다. 상기 제 1 해상도는 적외선 감지부(21)의 물리적인 센싱 집적도에 대응되는 해상도일 수 있으며, 예를 들어 상기 제 1 해상도는 384×288 크기의 해상도일 수 있다. 이 경우, 상기 제 2 해상도는 384×288 보다 높은 해상도일 수 있다. 예를 들어, 상기 제 2 해상도는 720×480 또는 720×576 규격의 해상도를 가질 수 있다.In one embodiment, the second resolution may have a higher resolution than the first resolution. The first resolution may be a resolution corresponding to the physical sensing density of the
일 실시예에서, 상기 제 1 해상도에서 제 2 해상도로 확장되는 비율인 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 서로 같을 수 있다. 제 1 방향 스케일링 인자는 제 1 해상도와 제 2 해상도의 제 1 방향의 비(ratio)일 수 있다. 제 2 방향 스케일링 인자는 제 1 해상도와 제 2 해상도의 제 2 방향의 비(ratio)일 수 있다. 예를 들어, 상기 제 1 해상도가 360×240 의 해상도이고, 상기 제 2 해상도가 720×480 의 해상도인 경우, 제 1 해상도 및 제 2 해상도는 각각 360 및 720의 제 1 방향 해상도를 가질 수 있다. 이 경우 제 1 방향 스케일링 인자는 2로 결정될 수 있다. 또한, 상기 예에서 상기 제 1 해상도 및 제 2 해상도는 각각 240 및 480의 제 2 방향 해상도를 가질 수 있다. 이 경우 제 2 방향 스케일링 인자는 2로 결정될 수 있다. 일 실시예에서, 상술한 바와 같이 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 동일할 수 있다. 이 경우에 확대되는 영상의 가로 및 세로 비율은 동일하게 유지된다. 후술하는 바와 같이, 다른 실시예에서 상기 제 1 방향 스케일링 인자 및 제 2 방향 스케일링 인자는 서로 다를 수 있다.In one embodiment, the first direction scaling factor and the second direction scaling factor, which are ratios that extend from the first resolution to the second resolution, may be equal to each other. The first direction scaling factor may be a ratio of the first resolution to the first direction of the second resolution. The second direction scaling factor may be a ratio of a first resolution to a second direction of the second resolution. For example, if the first resolution is a resolution of 360 x 240 and the second resolution is a resolution of 720 x 480, the first resolution and the second resolution may have a first directional resolution of 360 and 720, respectively . In this case, the first direction scaling factor may be determined to be 2. Also, in the above example, the first resolution and the second resolution may have a second direction resolution of 240 and 480, respectively. In this case, the second direction scaling factor may be determined to be 2. In one embodiment, the first direction scaling factor and the second direction scaling factor may be the same, as described above. In this case, the horizontal and vertical ratios of the enlarged image are kept the same. As described below, in other embodiments, the first direction scaling factor and the second direction scaling factor may be different.
영상 처리부(23)는 제 2 해상도의 감지 데이터(ISD2)를 제 2 해상도의 영상 데이터(IMD2)로 변환할 수 있다. 영상 처리부(23)는 제 2 해상도의 영상 데이터(IMD2)를 생성하는 데 있어서, 다양한 기능의 영상 처리 기능을 수행할 수 있다. 예를 들어, 영상 처리부(23)는 제 2 해상도의 감지 데이터(ISD2)의 값에 따라 대응되는 픽셀에 색상을 부여하는 컬러 맵핑(Color Mapping) 기능을 수행할 수 있다. 그 이외에도 영상 처리부(23)는 인버스(Inverse), 플립-에이치/브이 (Flip-H/V) 및 프리즈(Freeze) 등의 기능을 수행할 수 있다.The image processing unit 23 may convert the sensing data ISD2 having the second resolution to the image data IMD2 having the second resolution. The image processing unit 23 can perform image processing functions of various functions in generating the image data IMD2 having the second resolution. For example, the image processing unit 23 may perform a color mapping function of assigning a color to a corresponding pixel according to the value of the sensing data ISD2 of the second resolution. In addition, the image processing unit 23 may perform functions such as Inverse, Flip-H / V, and Freeze.
일 실시예에서, 영상 처리부(23)에서 출력되는 영상 데이터(IMD2)는 아날로그 데이터일 수 있다. 이 경우, 영상 처리부(23)는 신호 처리를 위한 디지털-아날로그 변환기(Digital-Analog Converter; DAC)를 포함할 수 있다. 영상 처리부(23)에서 출력되는 영상 데이터(IMD2)가 아날로그 데이터인 경우, 영상 데이터(IMD2)를 표시하는 디스플레이 장치는 아날로그 디스플레이 장치일 수 있다.In one embodiment, the image data IMD2 output from the image processing unit 23 may be analog data. In this case, the image processing unit 23 may include a digital-analog converter (DAC) for signal processing. When the image data IMD2 output from the image processing unit 23 is analog data, the display device for displaying the image data IMD2 may be an analog display device.
다른 실시예에서, 영상 처리부(23)에서 출력되는 영상 데이터(IMD2)는 디지털 데이터일 수 있다. 이 경우, 영상 처리부(23) 내에서 디지털 형태로 처리된 데이터는 디지털-아날로그 변환을 거치지 않고 출력될 수 있다. 영상 처리부(23)에서 출력되는 영상 데이터(IMD2)가 디지털 데이터인 경우, 영상 데이터(IMD2)를 표시하는 디스플레이 장치는 디지털 디스플레이 장치일 수 있다. 실시예에 따라서, 적외선 영상 처리 장치(20)의 영상 처리부(23)는 영상 데이터(IMD2)를 선택적으로 아날로그 형태 또는 디지털 형태로 출력할 수 있다. 이 경우 영상 처리부(23)가 출력하는 영상 데이터(IMD2)의 형태는 디스플레이 장치의 형태에 따라 선택될 수 있다. 예시적으로, 영상 데이터(IMD2)는 아날로그 CVBS 또는 ITU-BT656 등의 포맷으로 출력될 수 있다. 영상 처리부(23)는 영상 데이터(IMD2)를 특정 포맷으로 출력하기 위하여 적어도 하나의 변환기를 포함할 수 있다.In another embodiment, the image data IMD2 output from the image processing unit 23 may be digital data. In this case, the data processed in the digital form in the image processing unit 23 can be output without going through the digital-analog conversion. When the image data IMD2 output from the image processing unit 23 is digital data, the display device for displaying the image data IMD2 may be a digital display device. According to the embodiment, the image processing unit 23 of the infrared ray
출력부(24)는 영상 데이터(IMD2)를 디스플레이 장치로 출력한다. 이 경우 상기 출력부(24)는 하나의 프레임 단위로 영상 데이터(IMD2)를 일시적으로 저장하기 위한 메모리 장치를 포함할 수 있으며, 영상 데이터(IMD2)의 형태에 따라 저장되는 데이터 또는 디스플레이 장치로 출력되는 데이터를 변환하기 위한 디지털-아날로그 변환기 또는 아날로그-디지털 변환기를 포함할 수 있다. 출력부(25)는 영상 데이터(IMD2)를 표시하는 디스플레이 장치와 통신하기 위한 인터페이스 장치를 포함할 수 있다.The output unit 24 outputs the image data IMD2 to the display device. In this case, the output unit 24 may include a memory device for temporarily storing the image data IMD2 on a frame-by-frame basis. The output unit 24 may output data stored in accordance with the type of the image data IMD2, And a digital-to-analog converter or an analog-to-digital converter for converting the data to be converted. The output unit 25 may include an interface device for communicating with a display device displaying the image data IMD2.
도 5는 본 발명의 다른 실시예에 따른 적외선 영상 처리 장치를 나타내는 블록도이다. 도 5를 참조하면, 영상 처리 장치(30)는 적외선 감지부(31), 영상 처리부(32), 보간 처리부(33) 및 출력부(34)를 포함한다.5 is a block diagram showing an infrared ray image processing apparatus according to another embodiment of the present invention. 5, the image processing apparatus 30 includes an infrared
적외선 감지부(31)는 적외선(IR)을 감지하여 제 1 해상도의 감지 데이터(ISD1)를 생성한다. 영상 처리부(32)는 제 1 해상도의 감지 데이터(ISD1)를 영상 처리하여 제 1 해상도의 영상 데이터(IMD1)를 생성한다. 보간 처리부(33)는 제 1 해상도의 영상 데이터(IMD1)를 보간 처리하여 제 2 해상도의 영상 데이터(IMD2)를 생성한다. 출력부(34)는 제 2 해상도의 영상 데이터(IMD2)를 출력한다. 제 2 해상도의 영상 데이터(IMD2)는 디스플레이 장치 등으로 출력될 수 있다.The
도 4의 영상 처리 장치(20)는 적외선 감지부(21)에서 생성된 제 1 해상도의 감지 데이터(ISD1)를 먼저 보간 처리부(22)에서 보간 처리하여 높은 해상도를 갖는 제 2 해상도의 감지 데이터(ISD2)를 생성하고, 영상 처리부(23)에서 제 2 해상도의 영상 데이터(IMD2)를 생성한다. 이와는 달리, 도 5의 영상 처리 장치(30)는 적외선 감지부(31)에서 생성된 제 1 해상도의 감지 데이터(ISD1)를 먼저 영상 처리부(32)에서 영상 처리하여 제 1 해상도의 영상 데이터(IMD1)로 변환하고, 보간 처리부(33)에서 보간 처리하여 높은 해상도를 갖는 제 2 해상도의 영상 데이터(IMD2)를 생성한다.The
적외선 감지부(31)는 다양한 형태의 적외선 촬상 소자를 포함할 수 있다. 전술한 바와 같이, 제 1 해상도의 감지 데이터(ISD1)은 아날로그 데이터일 수 있다. 이 경우 영상 처리부(32)는 신호 처리를 위한 아날로그-디지털 변환기(Analog-Digital Converter; ADC)를 포함할 수 있다. 다른 실시예에서, 적외선 감지부(31)의 복수의 단위 화소들에서 센싱되는 아날로그 데이터가 디지털로 변환되어 영상 처리부(32)로 입력될 수 있다. 이 경우, 적외선 감지부(21)는 적어도 하나의 아날로그-디지털 변환기를 포함할 수 있으며, 제 1 해상도의 감지 데이터(ISD1)는 디지털 데이터일 수 있다.The infrared
영상 처리부(32)는 아날로그 데이터 혹은 디지털 데이터로 입력되는 제 1 해상도의 감지 데이터(ISD1)를 제 1 해상도의 영상 데이터(IMD1)로 변환할 수 있다. 영상 처리부(32)는 제 1 해상도의 영상 데이터(IMD1)를 생성하는 데 있어서, 다양한 기능의 영상 처리 기능을 수행할 수 있다. 예를 들어, 영상 처리부(32)는 제 1 해상도의 감지 데이터(ISD1)의 값에 따라 대응되는 픽셀에 색상을 부여하는 컬러 맵핑(Color Mapping) 기능을 수행할 수 있다. 그 이외에도 영상 처리부(32)는 인버스(Inverse), 플립-에이치/브이 (Flip-H/V) 및 프리즈(Freeze) 등의 기능을 수행할 수 있다.The
보간 처리부(33)는 제 1 해상도의 영상 데이터(IMD1)를 제 2 해상도의 영상 데이터(IMD2)로 변환할 수 있다. 상기 제 2 해상도는 상기 제 1 해상도보다 클 수 있다. 이 경우, 보간 처리부(33)는 다양한 보간 방식에 기초하여 제 2 해상도의 영상 데이터(IMD2)를 생성할 수 있다. 예를 들어, 보간 처리부(33)는 선형 보간 (Linear interpolation), 다항 보간 (Polynomial interpolation) 및 스플라인 보간 (Spline interpolation) 중 어느 하나의 방식을 통해 제 1 해상도의 감지 데이터(ISD1)를 확대하여 제 2 해상도의 영상 데이터(IMD2)를 생성할 수 있다. 또한, 구체적인 스플라인 보간의 예로써, 큐빅 스플라인 보간 (Cubit spline interpolation) 또는 카디널 스플라인 보간 (Cardinal spline interpolation) 등이 사용될 수 있다. 예시적인 보간의 방식에 대하여는 도 8a 내지 도 8e를 참조하여 후술하기로 한다.The
보간 처리부(33)는 스케일링 제어 신호(SCS)에 기초하여 보간 처리를 수행할 수 있다. 일 실시예에서, 스케일링 제어 신호(SCS)는 보간과 관련된 상기 제 1 해상도 및 제 2 해상도와 관련된 정보를 포함할 수 있다. 다른 실시예에서, 스케일링 제어 신호(SCS)는 상기 제 1 해상도 및 제 2 해상도에 기초하여 생성될 수 있다.The
일 실시예에서, 상기 제 2 해상도는 상기 제 1 해상도보다 높은 해상도를 가질 수 있다. 상기 제 1 해상도는 적외선 감지부(31)의 물리적인 센싱 집적도에 대응되는 해상도일 수 있으며, 예를 들어 상기 제 1 해상도는 384×288 크기의 해상도일 수 있다. 이 경우, 상기 제 2 해상도는 384×288 보다 높은 해상도일 수 있다. 예를 들어, 상기 제 2 해상도는 720×480 또는 720×576 규격의 해상도를 가질 수 있다.In one embodiment, the second resolution may have a higher resolution than the first resolution. The first resolution may be a resolution corresponding to a physical sensing density of the
일 실시예에서, 상기 제 1 해상도에서 제 2 해상도로 확장되는 비율인 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 서로 같을 수 있다. 제 1 방향 스케일링 인자는 제 1 해상도와 제 2 해상도의 제 1 방향의 비(ratio)일 수 있다. 제 2 방향 스케일링 인자는 제 1 해상도와 제 2 해상도의 제 2 방향의 비(ratio)일 수 있다. 예를 들어, 상기 제 1 해상도가 360×240 의 해상도이고, 상기 제 2 해상도가 720×480 의 해상도인 경우, 제 1 해상도 및 제 2 해상도는 각각 360 및 720의 제 1 방향 해상도를 가질 수 있다. 이 경우 제 1 방향 스케일링 인자는 2로 결정될 수 있다. 또한, 상기 예에서 상기 제 1 해상도 및 제 2 해상도는 각각 240 및 480의 제 2 방향 해상도를 가질 수 있다. 이 경우 제 2 방향 스케일링 인자는 2로 결정될 수 있다. 일 실시예에서, 상술한 바와 같이 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 동일할 수 있다. 이 경우에 확대되는 영상의 가로 및 세로 비율은 동일하게 유지된다. 후술하는 바와 같이, 다른 실시예에서 상기 제 1 방향 스케일링 인자 및 제 2 방향 스케일링 인자는 서로 다를 수 있다.In one embodiment, the first direction scaling factor and the second direction scaling factor, which are ratios that extend from the first resolution to the second resolution, may be equal to each other. The first direction scaling factor may be a ratio of the first resolution to the first direction of the second resolution. The second direction scaling factor may be a ratio of a first resolution to a second direction of the second resolution. For example, if the first resolution is a resolution of 360 x 240 and the second resolution is a resolution of 720 x 480, the first resolution and the second resolution may have a first directional resolution of 360 and 720, respectively . In this case, the first direction scaling factor may be determined to be 2. Also, in the above example, the first resolution and the second resolution may have a second direction resolution of 240 and 480, respectively. In this case, the second direction scaling factor may be determined to be 2. In one embodiment, the first direction scaling factor and the second direction scaling factor may be the same, as described above. In this case, the horizontal and vertical ratios of the enlarged image are kept the same. As described below, in other embodiments, the first direction scaling factor and the second direction scaling factor may be different.
일 실시예에서, 보간 처리부(33)에서 출력되는 제 2 해상도의 영상 데이터(IMD2)는 아날로그 데이터일 수 있다. 이 경우, 보간 처리부(33)는 신호 처리를 위한 디지털-아날로그 변환기(Digital-Analog Converter; DAC)를 포함할 수 있다. 보간 처리부(33)에서 출력되는 영상 데이터(IMD2)가 아날로그 데이터인 경우, 영상 데이터(IMD2)를 표시하는 디스플레이 장치는 아날로그 디스플레이 장치일 수 있다.In one embodiment, the image data IMD2 of the second resolution output from the
다른 실시예에서, 보간 처리부(33)에서 출력되는 영상 데이터(IMD2)는 디지털 데이터일 수 있다. 이 경우, 보간 처리부(33) 내에서 디지털 형태로 처리된 데이터는 디지털-아날로그 변환을 거치지 않고 출력될 수 있다. 보간 처리부(33)에서 출력되는 영상 데이터(IMD2)가 디지털 데이터인 경우, 보간 데이터(IMD2)를 표시하는 디스플레이 장치는 디지털 디스플레이 장치일 수 있다. 실시예에 따라서, 적외선 영상 처리 장치(30)의 보간 처리부(33)는 제 2 해상도의 영상 데이터(IMD2)를 선택적으로 아날로그 형태 또는 디지털 형태로 출력할 수 있다. 이 경우 보간 처리부(33)가 출력하는 제 2 해상도의 영상 데이터(IMD2)의 형태는 디스플레이 장치의 형태에 따라 선택될 수 있다. 예시적으로, 제 2 해상도의 영상 데이터(IMD2)는 아날로그 CVBS 또는 ITU-BT656 등의 포맷으로 출력될 수 있다. 보간 처리부(33)는 영상 데이터(IMD2)를 특정 포맷으로 출력하기 위하여 적어도 하나의 변환기를 포함할 수 있다.In another embodiment, the image data IMD2 output from the
출력부(34)는 제 2 해상도의 영상 데이터(IMD2)를 출력한다. 일 실시예에서, 출력부(34)는 제 2 해상도의 영상 데이터(IMD2)를 디스플레이 장치로 출력할 수 있다. 이 경우 상기 출력부(34)는 하나의 프레임 단위로 제 2 해상도의 영상 데이터(IMD2)를 일시적으로 저장하기 위한 메모리 장치를 포함할 수 있으며, 제 2 해상도의 영상 데이터(IMD2)의 형태에 따라 저장되는 데이터 또는 디스플레이 장치로 출력되는 데이터를 변환하기 위한 디지털-아날로그 변환기 또는 아날로그-디지털 변환기를 포함할 수 있다. 출력부(34)는 제 2 해상도의 영상 데이터(IMD2)를 표시하는 디스플레이 장치와 통신하기 위한 인터페이스 장치를 포함할 수 있다.The
도 6은 도 5의 보간 처리부의 일 실시예를 나타내는 도면이다.6 is a diagram showing an embodiment of the interpolation processing unit of FIG.
도 6을 참조하면,보간 처리부(33)는 제 1 메모리부(310), 제 2 메모리부(320), 연산부(330) 및 제어부(340)를 포함할 수 있다. 제 1 메모리부(310)는 제 1 해상도의 영상 데이터(IMD1)를 저장한다. 연산부(330)는 제 1 메모리부(310)로부터 제 1 해상도의 영상 데이터(IMD1)를 입력 받아 보간 연산을 수행하여 보간 영상 데이터(IIMD)를 생성한다. 제 2 메모리부(320)는 제 1 해상도의 영상 데이터(IMD1) 및 보간 영상 데이터(IIMD)를 제 2 해상도의 영상 데이터(IMD2)로서 저장한다. 제어부(340)는 제 1 메모리부(310), 제 2 메모리부(320) 및 연산부(330)를 제어한다.Referring to FIG. 6, the
제 1 메모리부(310)는 영상 처리부(235)로부터 입력되는 제 1 해상도의 영상 데이터(IMD1)를 임시 저장하는 임의의 기억장치일 수 있다. 일 실시예에서, 제 1 메모리부(310)는 레지스터로 구성될 수 있다. 제 1 메모리부(310)는 제어부(340)로부터 입력되는 제 1 제어 신호(CS1)에 의해 제어될 수 있다. 유사하게, 제 2 메모리부(320)는 제어부(340)로부터 입력되는 제 2 제어 신호(CS2)에 의해 제어될 수 있다. 제 1 메모리부(310)는 제 1 제어 신호(CS1)에 기초하여 제 1 해상도의 영상 데이터(IMD1)를 제 2 메모리부(320) 및 연산부(330)로 출력할 수 있다.The
연산부(330)는 제 1 해상도의 영상 데이터(IMD1)를 입력 받아 보간 연산하여 보간 영상 데이터(IIMD)를 생성할 수 있다. 보간 영상 데이터(IMD)는 보간 전 원본 데이터들 사이에 삽입될 데이터일 수 있다. 예를 들어, 도 3a 및 도 3b의 예에서, 제 1 해상도의 영상 데이터(IMD1)는 도 3a의 원본 픽셀 데이터에 상응할 수 있고, 보간 영상 데이터(IIMD)는 도 3b에서 원본 데이터들 사이에 삽입되는 픽셀 데이터들일 수 있다. 즉, 도 3a 및 도 3b의 예에서, 제 1 해상도의 영상 데이터(IMD1)는 원문자 1 내지 16으로 표시된 픽셀 데이터에 상응할 수 있고, 보간 영상 데이터(IIMD)는 도 3b에서 원문자로 표시된 픽셀 이외의 픽셀 데이터들에 상응할 수 있다. 연산부(330)는 제어부(340)로부터 입력되는 제 3 제어 신호(CS3)에 의해 제어될 수 있다.The
제 2 메모리부(320)는 제 1 메모리부(310)로부터 입력되는 제 1 해상도의 영상 데이터(IMD1) 및 연산부(330)로부터 입력되는 보간 영상 데이터(IIMD)를 저장할 수 있다. 이 경우, 제 1 해상도의 영상 데이터 (IMD1) 및 보간 영상 데이터(IIMD)는 제 2 해상도의 영상 데이터(IMD2)로써 제 2 메모리부(320)에 저장될 수 있다. 도 3a 및 도 3b의 예에서, 제 2 해상도의 영상 데이터(IMD2)는 도 3b의 전체 픽셀 데이터들에 상응할 수 있다. 이 경우 제 2 메모리부(320)에 저장되는 제 1 해상도의 영상 데이터(DIMD1) 및 보간 영상 데이터(IIMD)는 주의 깊게 저장 주소가 지정되어야 할 필요가 있을 수 있다.The
예를 들어, 도 3b에 도시된 바와 같이, 영상(13)의 제 1 행(line)은 원문자 1 내지 4로 표시된 픽셀들과 원문자로 표시되지 않은 픽셀들이 교대로 표시되어 있다. 이는 영상(13)의 제 1 행을 이루는 픽셀 데이터로서 제 1 해상도의 영상 데이터(IMD1) 및 보간 영상 데이터(IIMD)가 교번적으로 제 2 메모리부(320)에 저장됨을 의미할 수 있다. 한편, 도 3b의 영상(13)의 제 2 행은 원문자로 표시되지 않은 픽셀들만이 지정되어 있다. 이는 영상(13)의 제 2 행을 이루는 픽셀 데이터로서 보간 영상 데이터(IIMD)만이 제 2 메모리부(320)에 저장됨을 의미할 수 있다. 보간 처리부(33)의 제어부(340)는 상술한 내용에 기초하여 제 2 메모리부(320)에 저장되는 제 1 해상도의 영상 데이터(IMD1) 및 보간 영상 데이터(IIMD)의 순서들을 제어할 수 있다. 이 경우, 제 2 메모리부(320)는 제어부(340)의 제 2 제어 신호(CS2)에 기초하여 제 1 해상도의 영상 데이터(IMD1) 및 보간 영상 데이터(IIMD)를 저장할 수 있다.For example, as shown in FIG. 3B, the first line of the
제어부(340)는 보간 처리부(33)의 제 1 메모리부(310), 제 2 메모리부(320) 및 연산부(330)를 제어할 수 있다. 제어부(340)는 제 1 제어 신호 (CS1), 제 2 제어 신호(CS2) 및 제 3 제어 신호(CS3)에 기초하여 제 1 메모리부(310), 제 2 메모리부(320) 및 연산부(330)를 제어할 수 있다. 일 실시예에서, 제 1 제어 신호(CS1), 제 2 제어 신호(CS2) 및 제 3 제어 신호 (CS3) 는 스케일링 제어 신호(SCS)에 기초하여 제어부(340)에서 생성될 수 있다.The
상기 도 4 내지 도 6의 각각의 장치들 또는 구성요소들은 하나의 칩 상에서 구현될 수 있다. 전술한 바와 같이, 해상도를 높이기 위해 적외선 촬상 소자의 물리적인 화소 집적도를 높이는 데에는 높은 비용이 필요한 반면, 상기 기능들을 포함하는 칩을 구현하는 비용은 상대적으로 적은 금액일 수 있다. 따라서, 본 발명에 따르면, 촬상 소자의 소자 집적도를 높이기 위해 필요한 추가적인 비용 상승 없이도 적외선 영상의 해상도를 향상시킬 수 있다.Each of the devices or components of FIG. 4 to FIG. 6 may be implemented on one chip. As described above, a high cost is required to increase the physical pixel density of the infrared image pickup device in order to increase the resolution, while the cost of implementing the chip including the functions may be relatively small. Therefore, according to the present invention, the resolution of the infrared image can be improved without increasing the cost required for increasing the device integration degree of the image pickup device.
도 6에는 도 5의 보간 처리부(33)가 도시되어 있으나, 제 1 해상도의 감지 데이터(ISD1)를 입력 받아 제 2 해상도의 감지 데이터(ISD2)를 생성하는 도 4의 보간 처리부(22) 또한 동일한 방식으로 구현할 수 있다. 이 경우 도 4의 보간 처리부(22)는 영상 데이터가 아닌 감지 데이터를 보간 처리하게 된다.The
도 7a 및 7b는 제 1 방향 스케일링 인자가 제 2 방향 스케일링 인자와 다른 경우의 적외선 영상의 확대 및 보간을 설명하기 위한 도면이다.Figs. 7A and 7B are views for explaining magnification and interpolation of an infrared image when the first direction scaling factor is different from the second direction scaling factor. Fig.
도 7a를 참조하면, 보간 처리를 통한 확대 이전의 영상(40)이 도시되어 있고, 도 7b를 참조하면, 보간 처리를 통해 확대된 영상(45)이 도시되어 있다. 도 3a와 유사하게, 도 7a에 도시된 영상(40)은 4×4 픽셀 크기이다. 도 3b와는 달리, 도 7b에 도시된 영상(45)은 12×8 픽셀 크기이다.Referring to FIG. 7A, an
도 3a 및 도 3b를 다시 참조하면, 도 3a의 제 1 해상도의 영상(10)을 도 3b의 제 2 해상도의 영상(13)으로 변환하기 위한 제 1 방향(D1) 스케일링 인자 및 제 2 방향(D2) 스케일링 인자는 모두 2로서 동일하다. 이 경우, 영상(10)은 가로 및 세로 방향으로 동일한 비율로 확대된다.3A and 3B, a first direction (D1) scaling factor for converting the
이와는 달리, 도 7a 및 도 7b에서, 제 1 방향(D1) 스케일링 인자는 3이고, 제 2 방향(D2) 스케일링 인자는 2이다. 이 경우, 원본 영상(40)이 확대되는 가로 및 세로 비율은 서로 다르다. 즉, 본 발명의 일 실시예에 따른 적외선 영상 처리 방법에서는, 제 1 해상도를 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자에 있어서, 상기 제 1 방향 스케일링 인자는 상기 제 2 방향 스케일링 인자와 다를 수 있다. 이 경우 확대 전 원본 영상(40)의 제 1 방향(D1) 및 제 2 방향(D2) 비율은 확대를 통해 변화하게 된다. 상기 방법은, 원본 영상 데이터 또는 원본 감지 데이터를 얻기 위한 적외선 감지 소자의 제 1 방향 및 제 2 방향 집적 해상도의 비율이 적외선 영상 데이터를 표시하기 위한 디스플레이 장치의 제 1 방향 및 제 2 방향 해상도 비율과 다른 경우에 사용될 수 있다.7A and 7B, the scaling factor in the first direction D1 is 3 and the scaling factor in the second direction D2 is 2. In this case, the horizontal and vertical ratios of the
도 8a 내지 8e는 적외선 영상의 확대 및 보간 방식을 예시하기 위한 그래프들이다. 영상 데이터는 2차원의 위치 정보를 갖는 데이터이지만, 설명의 편의를 위해 1차원의 위치 정보를 갖는 데이터가 도시되어 있다. 보간 이전의 원본 데이터는 점(dot)으로 표시되어 있고, 보간에 의해 새롭게 생성되는 데이터는 상기 점들 사이의 선으로 표시되어 있다. 도 8a 내지 8e에서, 수평축은 데이터의 위치 정보이고, 수직축은 각 위치에 지정된 데이터의 값을 의미할 수 있다.8A to 8E are graphs for illustrating an enlargement and interpolation method of an infrared image. The image data is data having two-dimensional position information, but for convenience of explanation, data having position information of one dimension is shown. The original data before interpolation is indicated by dots, and the data newly generated by interpolation is indicated by a line between the points. 8A to 8E, the horizontal axis represents the positional information of data, and the vertical axis represents the value of data designated at each position.
도 8a를 참조하면, 보간 되기 이전의 데이터 도시되어 있다. 보간 이전의 데이터이므로 점(dot)들 사이의 선은 도시되지 않았다.Referring to FIG. 8A, data before interpolation is shown. Since the data is before interpolation, lines between dots are not shown.
도 8b를 참조하면, 원본 데이터들 사이에 지정되는 데이터가 가장 근방의 데이터와 동일한 특징을 갖는 데이터가 도시되어 있다. 상기 도 8b에 따른 방식으로 영상을 확대하는 경우, 전술한 바와 같이 픽셀들이 단순히 확대되어 블록과 같이 인식될 수 있다.Referring to FIG. 8B, data designated between original data is shown having the same characteristics as nearest data. When the image is enlarged in the manner shown in FIG. 8B, the pixels can be simply enlarged and recognized as a block as described above.
도 8c를 참조하면, 선형 보간(Linear interpolation)에 따라 보간된 데이터가 도시되어 있다. 선형 보간은 보간법 중 가장 간단한 방법 중 하나이다. 보간 이전의 데이터에 상응하는 점들 사이의 데이터는 도 8c의 그래프와 같이 선형 계산에 의해 생성된다. 선형 보간은 보간에 필요한 연산량이 적어 계산이 빠르다는 장점이 있다.Referring to FIG. 8C, interpolated data is shown in accordance with linear interpolation. Linear interpolation is one of the simplest methods of interpolation. The data between the points corresponding to the data before interpolation is generated by the linear calculation as shown in the graph of Fig. 8C. Linear interpolation has an advantage that calculation is fast because of a small amount of computation required for interpolation.
도 8d를 참조하면, 다항 보간(Polynomial interpolation)에 따라 보간된 데이터가 도시되어 있다. 다항 보간 보간법은 선형 보간법을 일반화 시킨 것과 같다. 선형 보간법은 1차 다항식인 반면 다항식 보간법은 2차 이상의 다항식을 가질 수 있다. 도 8d에 도시된 바와 같이, 보간 이전에 주어진 원본 데이터가 7개인 경우, 다항 보간법은 6차 다항식을 따르는 곡선을 생성하여 보간을 수행할 수 있다. 일반적으로 n개의 데이터가 있는 경우 n개의 데이터를 전부 통과해야 하는 곡선을 선택해야 하기 때문에 다항 보간에 필요한 다항식의 차수는 n-1차가 될 수 있다. 다항 보간법의 특징 중 하나로, 선형 보간법과 달리 원본 데이터의 위치에서 미분이 가능할 수 있다. 한편, 다항 보간법은 선형 보간법과 비교하여 원본 데이터가 많을수록 다항식의 차수가 높아지므로 계산 복잡성(computational complexity)이 커질 수 있으며, Runge 현상(Runge's phenomenon)이 발생할 수 있다. 상기 문제점을 피하려는 경우, 스플라인 보간(Spline interpolation)을 이용할 수 있다.Referring to FIG. 8D, interpolated data is shown according to polynomial interpolation. The polynomial interpolation interpolation method is the same as the linear interpolation method. The linear interpolation method is a first order polynomial, while the polynomial interpolation method can have a second order or higher polynomial. As shown in FIG. 8D, when the original data given before the interpolation is 7, the polynomial interpolation can perform the interpolation by generating a curve that follows the sixth-order polynomial. In general, when n data is present, the polynomial order required for polynomial interpolation can be n-1 order because a curve must pass through all n data. One of the features of the polynomial interpolation method is that, unlike the linear interpolation method, it is possible to differentiate the position of the original data. On the other hand, in the polynomial interpolation method, since the degree of the polynomial is higher as the number of the original data increases as compared with the linear interpolation method, the computational complexity may become larger and a runge phenomenon may occur. In order to avoid the above problem, spline interpolation can be used.
도 8e를 참조하면, 스플라인 보간(Spline interpolation)에 따라 보간된 데이터가 도시되어 있다. 스플라인 보간법에서는 각 구간에서 낮은 차원(low-degree)의 다항식을 사용할 수 있다. 이 다항식은 전후 구간의 다항식들과 자연스럽게 연결될 수 있는 것으로 선택할 수 있다. 이렇게 각 구간마다 선택된 함수들을 스플라인(spline)이라고 한다. 다항식 보간법와 같이 스플라인 보간법은 선형 보간법보다 작은 오차를 낸다. 또한 보간식도 구간에 걸쳐 자연스럽게 연결되지만 다항식 보간법보다 더 적은 계산량을 필요로 한다. 앞에서 언급한 Runge현상이 다항식 보간법에 비해 크게 개선이 되긴 했지만 스플라인 보간법만 가지고는 아직 충분하지는 않다. 스플라인 보간의 종류로, 큐빅 스플라인 보간 (Cubit spline interpolation) 또는 카디널 스플라인 보간 (Cardinal spline interpolation) 등이 사용될 수 있다. 그 이외에도 다른 여러 형태의 스플라인 보간 방법 중 하나가 본 발명에 사용될 수 있다.Referring to FIG. 8E, interpolated data is shown according to spline interpolation. In the spline interpolation method, low-degree polynomials can be used in each section. This polynomial can be chosen to be naturally associated with the polynomials of the preceding and following sections. The functions selected for each section are called splines. Like polynomial interpolation, spline interpolation gives less error than linear interpolation. Also, the interpolation equation is naturally connected over the interval, but requires less computational complexity than polynomial interpolation. Although the Runge phenomenon mentioned above has been greatly improved over polynomial interpolation, spline interpolation alone is not enough. Cubit spline interpolation or cardinal spline interpolation may be used as the kind of spline interpolation. In addition, one of various other types of spline interpolation methods may be used in the present invention.
도 9는 본 발명의 일 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.9 is a flowchart illustrating an infrared image processing method according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 일 실시예에 따른 적외선 영상 처리 방법에서는, 적외선 검출값에 대응하는 제 1 해상도의 데이터를 생성하고(단계 S10), 상기 제 1 해상도의 데이터를 보간 처리하여 제 2 해상도의 데이터를 생성하며(단계 S30), 상기 제 2 해상도의 데이터를 출력한다(단계 S50).Referring to FIG. 9, in the infrared image processing method according to an embodiment of the present invention, data of a first resolution corresponding to an infrared detection value is generated (step S10) 2 resolution data (step S30), and outputs the data of the second resolution (step S50).
적외선 검출값에 대응하는 제 1 해상도의 데이터를 생성하는 단계(S10)에서는 적외선 감지 장치의 각 픽셀에서 감지되는 값에 각각 대응하는 데이터인 제 1 해상도의 데이터를 생성할 수 있다. 상기 제 1 해상도의 데이터는 아날로그 데이터일 수 있다. 따라서, 상기 제 1 해상도의 데이터는 아날로그-디지털 변환되어 처리될 수 있다.In the step S10 of generating the data of the first resolution corresponding to the infrared detection values, data of the first resolution corresponding to the values sensed by the respective pixels of the infrared sensor may be generated. The data of the first resolution may be analog data. Therefore, the data of the first resolution can be processed by analog-to-digital conversion.
제 1 해상도의 데이터를 보간 처리하여 제 2 해상도의 데이터를 생성하는 단계(S30)에서는, 보간 과정을 통해 제 1 해상도의 데이터를 제 2 해상도의 데이터로 확대할 수 있다. 이 과정에서 감지 데이터가 영상 데이터로 변환되기 전에 보간 처리 과정을 수행할 수도 있고, 감지 데이터를 영상 데이터로 변환한 이후에 보간 처리 과정을 수행할 수도 있다. 감지 데이터가 영상 데이터로 변환되기 전에 보간 처리 과정을 수행하는 경우, 상기 보간 처리되는 제 1 해상도의 데이터 및 제 2 해상도의 데이터는 각각 감지 데이터일 수 있다. 감지 데이터가 영상 데이터로 변환된 이후에 보간 처리 과정을 수행하는 경우, 상기 보간 처리되는 제 1 해상도의 데이터 및 제 2 해상도의 데이터는 각각 영상 데이터일 수 있다. 상기 보간 처리 과정은 디지털 신호 처리에 의해 수행될 수 있다.In the step S30 of generating the data of the second resolution by interpolating the data of the first resolution, the data of the first resolution can be expanded to the data of the second resolution through the interpolation process. In this process, the interpolation process may be performed before the sensing data is converted into the image data, or the interpolation process may be performed after the sensing data is converted into the image data. When the interpolation process is performed before the sensing data is converted into the image data, the interpolated data of the first resolution and the data of the second resolution may be sensed data. When the interpolation process is performed after the sensing data is converted into the image data, the interpolated data of the first resolution and the data of the second resolution may be image data, respectively. The interpolation process may be performed by digital signal processing.
제 2 해상도의 데이터를 출력하는 단계(S50)에서는, 보간 처리되어 확대된 제 2 해상도의 데이터를 다른 후속적인 신호 처리를 위해, 또는 디스플레이 장치에 표시하기 위해 출력할 수 있다.In the step of outputting the data of the second resolution (S50), the data of the interpolated and expanded second resolution may be output for another subsequent signal processing or for display on the display device.
도 10은 본 발명의 다른 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.10 is a flowchart illustrating an infrared image processing method according to another embodiment of the present invention.
도 10을 참조하면, 본 발명의 다른 실시예에 따른 적외선 영상 처리 방법은, 복수의 픽셀에서 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 단계(S110), 상기 제 1 해상도의 감지 데이터를 영상 처리하여 제 1 해상도의 영상 데이터를 생성하는 단계(S130), 상기 제 1 해상도의 영상 데이터를 보간 처리하여 제 2 해상도의 영상 데이터를 생성하는 단계(S150) 및 상기 제 2 해상도의 영상 데이터를 출력하는 단계(S170)를 포함한다. 도 10의 방법에서는, 먼저 제 1 해상도의 감지 데이터를 제 1 해상도의 영상 데이터로 변환한 후, 상기 제 1 해상도의 영상 데이터를 보간 처리하여 제 2 해상도로 확대하는 과정이 수행될 수 있다.Referring to FIG. 10, an infrared image processing method according to another embodiment of the present invention includes: generating sensing data having a first resolution by sensing infrared rays from a plurality of pixels (S110) (S150) of generating image data of a first resolution by interpolating the image data of the first resolution (S150), generating image data of the first resolution (Step S170). In the method of FIG. 10, first, the sensing data of the first resolution is converted into the image data of the first resolution, and then the image data of the first resolution is interpolated and enlarged to the second resolution.
도 11은 본 발명의 또다른 실시예에 따른 적외선 영상 처리 방법을 나타내는 순서도이다.11 is a flowchart showing an infrared image processing method according to another embodiment of the present invention.
도 11을 참조하면, 본 발명의 또다른 실시예에 따른 적외선 영상 처리 방법은, 복수의 픽셀에서 적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 단계(S210), 상기 제 1 해상도의 감지 데이터를 보간 처리하여 제 2 해상도의 감지 데이터를 생성하는 단계(S230), 상기 제 2 해상도의 감지 데이터를 출력하는 단계(S250) 및 상기 출력된 제 2 해상도의 감지 데이터를 영상 처리하여 제 2 해상도의 영상 데이터를 생성하는 단계(S270)를 포함한다. 도 11의 방법에서는, 먼저 제 1 해상도의 감지 데이터를 보간 처리를 통해 제 2 해상도의 감지 데이터로 확대한 후, 상기 제 2 해상도의 감지 데이터를 영상 데이터로 변환하는 과정이 수행될 수 있다. 확대된 제 2 해상도의 감지 데이터가 영상 데이터로 변환된 후에, 기타 다른 영상 처리 과정을 수행할 수 있다. 상기 영상 처리 과정은 예를 들어 컬러 맵핑(Color Mapping), 인버스(Inverse), 플립-에이치/브이 (Flip-H/V) 및 프리즈(Freeze) 등의 기능을 포함할 수 있다. 도 9 내지 도 11의 방법들은 컴퓨터 프로그램으로 구현되어 소프트웨어적으로 수행될 수 있다.Referring to FIG. 11, an infrared image processing method according to another exemplary embodiment of the present invention includes generating (S210) sensing data having a first resolution by sensing infrared rays from a plurality of pixels, (S230) of outputting the sensed data of the second resolution by interpolating the sensed data of the second resolution (S230), outputting the sensed data of the second resolution And generating image data (S270). In the method of FIG. 11, the sensing data of the first resolution may be enlarged to the sensing data of the second resolution through the interpolation process, and then the sensed data of the second resolution may be converted into the image data. After the sensing data of the enlarged second resolution is converted into the image data, other image processing processes can be performed. The image processing process may include, for example, functions such as color mapping, inverse, flip-H / V, and freeze. The methods of FIGS. 9 through 11 may be implemented as a computer program and performed in software.
도 12a 및 도 12b는 본 발명의 일 실시예에 따라 확대된 적외선 영상의 품질을 비교하기 위한 도면이다.12A and 12B are diagrams for comparing quality of an enlarged infrared image according to an embodiment of the present invention.
도 12a에는 적외선 영상을 본 발명에 따른 영상 처리 없이 확대한 영상이 도시되어 있다. 도 12a를 참조하면, 영상의 확대에 따라 픽셀이 블록 모양으로 확대되어 나타남을 알 수 있다. 한편, 도 12b에는 적외선 영상을 본 발명의 일 실시예에 따른 영상 처리를 통해 확대한 영상이 도시되어 있다. 도 12b를 참조하면, 도 12a와는 달리 영상이 확대되어도 픽셀이 블록 모양으로 확대되어 나타나는 현상이 완화되어 표시됨을 알 수 있다. 따라서, 본 발명에 따르면, 촬상 소자의 소자 집적도를 높이기 위해 필요한 추가적인 비용 상승 없이도 적외선 영상의 해상도를 향상시킬 수 있다.12A shows an image obtained by enlarging an infrared image without image processing according to the present invention. Referring to FIG. 12A, it can be seen that the pixels are enlarged in a block shape according to the enlargement of the image. On the other hand, FIG. 12B shows an image obtained by enlarging an infrared image through image processing according to an embodiment of the present invention. Referring to FIG. 12B, unlike FIG. 12A, a phenomenon in which a pixel is enlarged in a block shape is alleviated and displayed even though the image is enlarged. Therefore, according to the present invention, the resolution of the infrared image can be improved without increasing the cost required for increasing the device integration degree of the image pickup device.
Claims (13)
적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 적외선 감지부;
상기 제 1 해상도의 감지 데이터를 보간 처리하여 제 2 해상도의 감지 데이터를 생성하는 보간 처리부;
상기 제 2 해상도의 감지 데이터를 영상 처리하여 제 2 해상도의 영상 데이터를 생성하는 영상 처리부; 및
상기 제 2 해상도의 영상 데이터를 디스플레이 장치로 출력하는 출력부;
를 포함하고,
상기 제 2 해상도는 상기 제 1 해상도보다 크고;
상기 제 1 해상도를 상기 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 서로 동일한 것을 특징으로 하는, 적외선 영상 처리 장치.An infrared image processing apparatus for increasing the resolution of an infrared image, comprising:
An infrared ray sensing unit for sensing infrared rays to generate sensing data of a first resolution;
An interpolation processing unit interpolating the sensing data of the first resolution to generate sensed data of a second resolution;
An image processor for processing the sensed data of the second resolution to generate image data of a second resolution; And
An output unit for outputting image data of the second resolution to a display device;
Lt; / RTI >
The second resolution being greater than the first resolution;
Wherein the first direction scaling factor and the second direction scaling factor for converting the first resolution to the second resolution are equal to each other.
적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 적외선 감지부;
상기 제 1 해상도의 감지 데이터를 영상 처리하여 제 1 해상도의 영상 데이터를 생성하는 영상 처리부;
상기 제 1 해상도의 영상 데이터를 보간 처리하여 제 2 해상도의 영상 데이터를 생성하는 보간 처리부; 및
상기 제 2 해상도의 영상 데이터를 출력하는 출력부;
를 포함하고,
상기 제 2 해상도는 상기 제 1 해상도보다 크고;
상기 제 1 해상도를 상기 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 서로 동일한 것을 특징으로 하는, 적외선 영상 처리 장치.An infrared image processing apparatus for increasing the resolution of an infrared image, comprising:
An infrared ray sensing unit for sensing infrared rays to generate sensing data of a first resolution;
An image processor for processing the sensed data of the first resolution to generate image data of a first resolution;
An interpolation processing unit for interpolating image data of the first resolution to generate image data of a second resolution; And
An output unit for outputting the image data of the second resolution;
Lt; / RTI >
The second resolution being greater than the first resolution;
Wherein the first direction scaling factor and the second direction scaling factor for converting the first resolution to the second resolution are equal to each other.
적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 적외선 감지부;
상기 제 1 해상도의 감지 데이터를 보간 처리하여 제 2 해상도의 감지 데이터를 생성하는 보간 처리부;
상기 제 2 해상도의 감지 데이터를 영상 처리하여 제 2 해상도의 영상 데이터를 생성하는 영상 처리부; 및
상기 제 2 해상도의 영상 데이터를 디스플레이 장치로 출력하는 출력부;
를 포함하고,
상기 제 2 해상도는 상기 제 1 해상도보다 크고;
상기 제 1 해상도를 상기 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 서로 다른 것을 특징으로 하는, 적외선 영상 처리 장치.An infrared image processing apparatus for increasing the resolution of an infrared image, comprising:
An infrared ray sensing unit for sensing infrared rays to generate sensing data of a first resolution;
An interpolation processing unit interpolating the sensing data of the first resolution to generate sensed data of a second resolution;
An image processor for processing the sensed data of the second resolution to generate image data of a second resolution; And
An output unit for outputting image data of the second resolution to a display device;
Lt; / RTI >
The second resolution being greater than the first resolution;
Wherein the first direction scaling factor and the second direction scaling factor for converting the first resolution to the second resolution are different from each other.
적외선을 감지하여 제 1 해상도의 감지 데이터를 생성하는 적외선 감지부;
상기 제 1 해상도의 감지 데이터를 영상 처리하여 제 1 해상도의 영상 데이터를 생성하는 영상 처리부;
상기 제 1 해상도의 영상 데이터를 보간 처리하여 제 2 해상도의 영상 데이터를 생성하는 보간 처리부; 및
상기 제 2 해상도의 영상 데이터를 출력하는 출력부;
를 포함하고,
상기 제 2 해상도는 상기 제 1 해상도보다 크고;
상기 제 1 해상도를 상기 제 2 해상도로 변환하기 위한 제 1 방향 스케일링 인자와 제 2 방향 스케일링 인자는 서로 다른 것을 특징으로 하는, 적외선 영상 처리 장치.An infrared image processing apparatus for increasing the resolution of an infrared image, comprising:
An infrared ray sensing unit for sensing infrared rays to generate sensing data of a first resolution;
An image processor for processing the sensed data of the first resolution to generate image data of a first resolution;
An interpolation processing unit for interpolating image data of the first resolution to generate image data of a second resolution; And
An output unit for outputting the image data of the second resolution;
Lt; / RTI >
The second resolution being greater than the first resolution;
Wherein the first direction scaling factor and the second direction scaling factor for converting the first resolution to the second resolution are different from each other.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20120005433 | 2012-01-17 | ||
| KR1020120005433 | 2012-01-17 | ||
| PCT/KR2012/001603 WO2013108955A1 (en) | 2012-01-17 | 2012-03-05 | Infrared image processing method and infrared image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140120918A KR20140120918A (en) | 2014-10-14 |
| KR101531879B1 true KR101531879B1 (en) | 2015-06-26 |
Family
ID=48799367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147023004A KR101531879B1 (en) | 2012-01-17 | 2012-03-05 | Infrared image processing apparatus |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101531879B1 (en) |
| WO (1) | WO2013108955A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190142825A (en) | 2018-06-19 | 2019-12-30 | 전주대학교 산학협력단 | Method for compensating the infrared deterioration to measure internal or surface defects of the subject body |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101649317B1 (en) * | 2014-12-31 | 2016-08-18 | 인천대학교 산학협력단 | Picture enhancement and enlargement algorithm on a small infrared images |
| EP3716205B1 (en) * | 2019-03-26 | 2022-02-23 | ABB Schweiz AG | An apparatus for hot spot sensing |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050055011A (en) * | 2002-10-14 | 2005-06-10 | 노키아 코포레이션 | A method for interpolation and sharpening of images |
| KR100613662B1 (en) * | 2006-05-23 | 2006-08-22 | (주)메쉬 | Infrared thermographic imaging system using thermopile sensor |
| KR20070083592A (en) * | 2004-10-29 | 2007-08-24 | 후지쓰 텐 가부시키가이샤 | Image interpolation device and display device |
| KR20090087229A (en) * | 2008-02-12 | 2009-08-17 | 주식회사 씨알테크놀러지 | Infrared thermographic imaging system and control method thereof |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1040367A (en) * | 1996-07-22 | 1998-02-13 | Nippon Avionics Co Ltd | Method and device for correcting distortion of thermal image |
| JP3458080B2 (en) * | 1999-10-19 | 2003-10-20 | 松下電器産業株式会社 | Color imaging device |
-
2012
- 2012-03-05 WO PCT/KR2012/001603 patent/WO2013108955A1/en active Application Filing
- 2012-03-05 KR KR1020147023004A patent/KR101531879B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050055011A (en) * | 2002-10-14 | 2005-06-10 | 노키아 코포레이션 | A method for interpolation and sharpening of images |
| KR20070083592A (en) * | 2004-10-29 | 2007-08-24 | 후지쓰 텐 가부시키가이샤 | Image interpolation device and display device |
| KR100613662B1 (en) * | 2006-05-23 | 2006-08-22 | (주)메쉬 | Infrared thermographic imaging system using thermopile sensor |
| KR20090087229A (en) * | 2008-02-12 | 2009-08-17 | 주식회사 씨알테크놀러지 | Infrared thermographic imaging system and control method thereof |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190142825A (en) | 2018-06-19 | 2019-12-30 | 전주대학교 산학협력단 | Method for compensating the infrared deterioration to measure internal or surface defects of the subject body |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140120918A (en) | 2014-10-14 |
| WO2013108955A1 (en) | 2013-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10872448B2 (en) | Edge enhancement for thermal-visible combined images and cameras | |
| US10422741B2 (en) | Wavelength band based passive infrared gas imaging | |
| US10057510B2 (en) | Systems and methods for enhanced infrared imaging | |
| US20020015536A1 (en) | Apparatus and method for color image fusion | |
| CN110476416A (en) | The system and method for infrared imaging under multiple imaging patterns | |
| CN106161890A (en) | Imaging device, imaging system and signal processing method | |
| JP2010183357A (en) | Solid state imaging element, camera system, and method of driving solid state imaging element | |
| US10212401B2 (en) | Image generation device and imaging device | |
| WO2016182961A1 (en) | Isothermal image enhancement systems and methods | |
| CN106534723A (en) | Environment detection device used for vehicle and method of detecting image with help of environment detection device | |
| KR101531879B1 (en) | Infrared image processing apparatus | |
| KR20180094029A (en) | Systems and methods for obtaining visible and near infrared images by a single matrix sensor | |
| US20210310941A1 (en) | Gas lens filter systems and methods | |
| Aggarwal et al. | Multi-spectral demosaicing technique for single-sensor imaging | |
| JP4985264B2 (en) | Object identification device | |
| US11249016B2 (en) | Wavelength band based passive infrared gas imaging | |
| JP5036524B2 (en) | Image processing apparatus, image processing method, program, and imaging apparatus | |
| JP2001157214A (en) | Image pickup system | |
| Akçören | A low-cost uncooled infrared detector array and its camera electronics | |
| US10687000B1 (en) | Cross-eyed sensor mosaic | |
| US11882356B2 (en) | Palette and infrared image generation systems and methods | |
| Verhoeven | Pixels: so basic but so confusing | |
| Müller et al. | Real-time image processing and fusion for a new high-speed dual-band infrared camera | |
| US20040264804A1 (en) | System and method for augmented thermal imagery | |
| WO2022245558A1 (en) | Stray light mitigation systems and methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180621 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190624 Year of fee payment: 5 |