KR102207650B1 - Method for temperature calibration in thermal camera system - Google Patents
Method for temperature calibration in thermal camera system Download PDFInfo
- Publication number
- KR102207650B1 KR102207650B1 KR1020200061180A KR20200061180A KR102207650B1 KR 102207650 B1 KR102207650 B1 KR 102207650B1 KR 1020200061180 A KR1020200061180 A KR 1020200061180A KR 20200061180 A KR20200061180 A KR 20200061180A KR 102207650 B1 KR102207650 B1 KR 102207650B1
- Authority
- KR
- South Korea
- Prior art keywords
- temperature
- image
- thermal
- image processing
- face
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 73
- 238000001931 thermography Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000010438 heat treatment Methods 0.000 claims description 3
- 238000001816 cooling Methods 0.000 claims description 2
- 230000036760 body temperature Effects 0.000 description 79
- 238000001514 detection method Methods 0.000 description 28
- 210000000887 face Anatomy 0.000 description 17
- 230000001815 facial effect Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 6
- 238000009529 body temperature measurement Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002631 hypothermal effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 208000025370 Middle East respiratory syndrome Diseases 0.000 description 1
- 201000003176 Severe Acute Respiratory Syndrome Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000006229 carbon black Substances 0.000 description 1
- 239000003575 carbonaceous material Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 208000021760 high fever Diseases 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 201000010740 swine influenza Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G01J2005/0048—
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radiation Pyrometers (AREA)
Abstract
Description
본 발명은 열상 카메라에 관한 것으로, 보다 상세하게는, 실상 카메라와 열상 카메라를 이용하여 인체의 체온을 측정하고 발열을 감시하는 방법 및 장치에 관한 것이다. The present invention relates to a thermal camera, and more particularly, to a method and apparatus for measuring body temperature of a human body and monitoring heat generation using a real camera and a thermal camera.
최근 사스(중증 급성 호흡기 증후군), 신종플루, 메르스, 코로나 바이러스 등의 호흡기성 전염병이 빈번하게 발생하고 있으며 이러한 전염병의 유증상자를 발견하고 추적하기 위해 열상 카메라를 이용하여 체온을 측정하는 장비가 널리 사용되고 있다. Recently, respiratory infectious diseases such as SARS (severe acute respiratory syndrome), swine flu, MERS, and coronavirus are frequently occurring.In order to detect and track the symptoms of these infectious diseases, equipment that measures body temperature using a thermal imaging camera is available. It is widely used.
열상 카메라를 이용한 종래의 체온 측정 방법에는 통행로에 열상 카메라를 설치하여 통행로를 지나는 통행자의 체온을 측정하여 고열이 나는 사람을 식별하는 방법이 있다. 또한 실상 카메라와 열상 카메라를 동시에 이용하여 통행자를 촬영하고 실상 이미지 및/또는 열상 이미지를 화면에 표시하여 각 통행자들과 그들의 체온을 용이하게 표시하고 식별하기도 한다. In a conventional method of measuring body temperature using a thermal camera, there is a method of identifying a person with high fever by installing a thermal camera on a passageway to measure the body temperature of a person passing through the passageway. In addition, by using a real camera and a thermal camera at the same time, people are photographed and a real image and/or a thermal image are displayed on the screen to easily display and identify each passenger and their body temperature.
이러한 체온 측정용 열상 카메라의 경우 체온을 정확히 측정하는 것이 중요하므로 열상 카메라의 온도 측정 결과를 자주 교정할 필요가 있다. 그러나 온도 교정을 위해 흑체와 같은 온도 교정수단을 별도로 구비해야 하고 온도 교정을 하는 동안 통행자의 온도 측정을 하지 못하는 불편함이 있다. 또한 종래 열상 카메라의 경우 다수의 사람을 한번에 촬영하여 각자의 체온 정보를 한 화면에 표시할 경우 화면이 너무 복잡해지고 체온 정보를 식별하기가 곤란하므로 이상 체온을 가진 사람을 식별하기 어려운 경우가 많다. In the case of such a thermal imaging camera for measuring body temperature, since it is important to accurately measure body temperature, it is necessary to frequently calibrate the temperature measurement results of the thermal imaging camera. However, for temperature calibration, a temperature calibration means such as a black body must be separately provided, and there is an inconvenience in that it is not possible to measure the temperature of a passenger during temperature calibration. In addition, in the case of conventional thermal imaging cameras, when a plurality of people are photographed at once and their body temperature information is displayed on one screen, the screen becomes too complicated and it is difficult to identify the body temperature information, so it is often difficult to identify a person with an abnormal body temperature.
본 발명은 상기 문제점을 해결하기 위한 것으로, 열상 카메라가 온도 교정 수단을 자동으로 인식하여 온도 교정을 수행할 수 있는 기술을 제공하는 것을 목적으로 한다. An object of the present invention is to solve the above problem, and an object of the present invention is to provide a technology capable of performing temperature calibration by automatically recognizing a temperature calibration means by a thermal camera.
또한 본 발명은 열상 카메라로 촬영하여 획득한 각 사람의 체온 정보를 보다 적절한 방식으로 화면에 디스플레이 함으로써 많은 수의 사람을 한번에 촬영하더라도 체온 정보를 적절히 화면에 표시하여 이상 체온을 가진 사람을 쉽게 식별할 수 있는 기술을 제공하는 것을 목적으로 한다. In addition, the present invention displays the body temperature information of each person acquired by shooting with a thermal camera on the screen in a more appropriate manner, so that even if a large number of people are photographed at once, the body temperature information is appropriately displayed on the screen so that a person with abnormal body temperature can be easily identified. It aims to provide technology that can be used.
본 발명의 일 실시예에 따르면, 영상 처리장치에 의해 열상 카메라의 온도를 교정하는 온도교정 방법으로서, 상기 영상 처리장치가, 온도 교정기를 촬영한 이미지에서 상기 온도 교정기를 인식하는 단계; 상기 영상 처리장치가, 상기 인식된 온도 교정기의 이미지에서 적외선 방사체를 인식하는 단계; 및 상기 영상 처리장치가, 상기 적외선 방사체의 온도를 기준온도로 하여, 상기 열상 카메라가 출력하는 열상 이미지의 온도정보를 교정하는 단계;를 포함하는 것을 특징으로 하는 열상 카메라의 온도 교정방법을 개시한다. According to an embodiment of the present invention, there is provided a temperature calibration method for calibrating a temperature of a thermal imager by an image processing device, the image processing device comprising: recognizing the temperature calibrator from an image photographed by the temperature calibrator; Recognizing, by the image processing apparatus, an infrared emitter from the recognized image of the temperature calibrator; And calibrating, by the image processing apparatus, the temperature information of the thermal image output from the thermal imaging camera by using the temperature of the infrared emitter as a reference temperature. .
본 발명의 일 실시예에 따르면, 소정 주기마다 또는 소정 이벤트 발생시 열상 카메라가 온도 교정 수단을 자동으로 인식하고 온도 교정 절차를 수행할 수 있으며, 또한 열상 카메라로 촬영하여 획득한 각 사람의 체온 정보를 소정 기준에 따라 전체표시 모드와 선별표시 모드로 구분하여 디스플레이 함으로써 많은 수의 사람을 촬영할 경우에도 체온 정보를 적절히 표시할 수 있고 이상 체온을 가진 사람을 쉽게 식별하고 추적할 수 있다. According to an embodiment of the present invention, the thermal imaging camera can automatically recognize the temperature calibration means and perform the temperature calibration procedure at a predetermined period or when a predetermined event occurs, and the body temperature information of each person acquired by photographing with the thermal imaging camera By dividing and displaying the whole display mode and the selection display mode according to a predetermined standard, even when a large number of people are photographed, body temperature information can be appropriately displayed, and people with abnormal body temperatures can be easily identified and tracked.
도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 설명하기 위한 도면,
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도,
도3은 일 실시예에 따라 실상 또는 열상 이미지를 디스플레이하는 방법의 흐름도,
도4는 일 실시예에 따라 이미지에서 얼굴을 검출하는 방법의 흐름도,
도5는 일 실시예에 따라 실상 이미지와 열상 이미지를 합성하는 예시적 방법의 흐름도,
도6 및 도7은 일 실시예에 따라 열상 또는 실상 이미지에 체온을 표시하는 방법을 설명하는 도면,
도8은 일 실시예에 따라 온도 교정기를 자동으로 인식하고 온도 교정을 수행하기 위한 예시적인 흐름도이다. 1 is a view for explaining a thermal camera system according to an embodiment of the present invention;
2 is a block diagram of a thermal camera system according to an embodiment;
3 is a flowchart of a method of displaying a real image or a thermal image according to an exemplary embodiment;
4 is a flowchart of a method of detecting a face in an image according to an embodiment;
5 is a flow chart of an exemplary method for synthesizing a real image and a thermal image according to an embodiment.
6 and 7 are diagrams for explaining a method of displaying body temperature on a thermal image or a real image according to an exemplary embodiment;
Fig. 8 is an exemplary flowchart for automatically recognizing a temperature calibrator and performing temperature calibration according to an embodiment.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. The above objects, other objects, features, and advantages of the present invention will be easily understood through the following preferred embodiments related to the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제3의 구성요소가 개재될 수도 있다는 것을 의미한다. 이와 유사하게, 본 명세서에서 어떤 구성요소가 다른 구성요소에 연결(또는 결합, 체결, 부착 등)된다고 언급하는 경우 그것은 다른 구성요소에 직접적으로 연결(또는 결합, 체결, 부착 등)되거나 또는 그들 사이에 제 3의 구성요소를 개재하여 간접적으로 연결(또는 결합, 체결, 부착 등)될 수 있다는 것을 의미한다. 또한 본 명세서의 도면들에 있어서 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 또한 본 명세서의 도면들에 있어서 구성요소들의 길이, 넓이, 부피, 크기, 또는 두께 등은 기술적 내용의 효과적인 설명을 위해 과장된 것이다.In the present specification, when a component is referred to as being on another component, it means that it may be formed directly on the other component or that a third component may be interposed between them. Similarly, when the specification refers to a component being connected (or coupled, fastened, attached, etc.) to another component, it is directly connected (or coupled, fastened, attached, etc.) to the other component or between them. It means that it can be indirectly connected (or coupled, fastened, attached, etc.) through a third component. In addition, the thickness of the components in the drawings of the present specification is exaggerated for effective description of the technical content. In addition, in the drawings of the present specification, the length, width, volume, size, or thickness of the components are exaggerated for effective description of technical content.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.In the present specification, when terms such as first and second are used to describe components, these components should not be limited by these terms. These terms are only used to distinguish one component from another component. The embodiments described and illustrated herein also include complementary embodiments thereof.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '~를 포함한다'', '~로 구성된다', 및 '~으로 이루어진다'라는 표현은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.In this specification, the singular form also includes the plural form unless specifically stated in the phrase. The expressions'including,''consisting of', and'consisting of' used in the specification do not exclude the presence or addition of one or more other elements other than the mentioned elements.
본 명세서에서 용어 '소프트웨어'는 컴퓨터에서 하드웨어를 움직이는 기술을 의미하고, 용어 '하드웨어'는 컴퓨터를 구성하는 유형의 장치나 기기(CPU, 메모리, 입력 장치, 출력 장치, 주변 장치 등)를 의미하고, 용어 '단계'는 소정의 목을 달성하기 위해 시계열으로 연결된 일련의 처리 또는 조작을 의미하고, 용어 '컴퓨터 프로그램' 또는 '프로그램'은 컴퓨터로 처리하기에 합한 명령의 집합을 의미하고, 용어 '프로그램 기록 매체'는 프로그램을 설치하고 실행하거나 유통하기 위해 사용되는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 의미한다. In this specification, the term'software' refers to a technology that moves hardware in a computer, and the term'hardware' refers to a type of device or device (CPU, memory, input device, output device, peripheral device, etc.) constituting a computer. , The term'step' refers to a series of processing or manipulations connected in a time series to achieve a predetermined neck, the term'computer program' or'program' refers to a set of instructions combined to be processed by a computer, and the term ' 'Program recording medium' means a computer-readable recording medium recording programs used to install, execute, or distribute programs.
본원 명세서에서, 용어 데이터나 정보의 '관리'는 데이터나 정보의 수신, 송신, 저장, 수정, 및 삭제 중 적어도 하나의 동작을 포함하는 의미로 사용될 수 있다. 본 명세서에서 발명의 구성요소를 지칭하기 위해 사용된 '~부', '~모듈', '~유닛', '~블록', '~보드' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 물리적, 기능적, 또는 논리적 단위를 의미할 수 있고 이는 하나 이상의 하드웨어나 소프트웨어 또는 펌웨어로 구현되거나 또는 하나 이상의 하드웨어, 소프트웨어, 및/또는 펌웨어의 결합으로 구현될 수 있다. In the present specification, the term'management' of data or information may be used to include at least one operation of receiving, transmitting, storing, modifying, and deleting data or information. Terms such as'~ unit','~ module','~ unit','~ block', and'~ board' used to refer to the constituent elements of the invention herein are used to process at least one function or operation. It may mean a physical, functional, or logical unit, which may be implemented as one or more hardware, software, or firmware, or a combination of one or more hardware, software, and/or firmware.
본원 명세서에서, '처리장치', '컴퓨터' 또는 '컴퓨팅 장치'는 윈도우, 맥, 또는 리눅스와 같은 운영체제, 컴퓨터 프로세서, 메모리, 응용프로그램들, 기억장치(예를 들면, HDD, SDD), 및 모니터를 구비한 장치일 수 있다. 컴퓨터는 예를 들면, 데스크탑 컴퓨터나 노트북과 같은 것일 수 있으나, 이들은 예시적인 것으로 본원 발명은 데스크탑 컴퓨터나 노트북에만 한정되는 것이 아니다. 모바일 단말기는 스마트폰, 태블릿 PC, 또는 PDA와 같은 모바일 무선통신기기 중 하나일 수 있다. In the present specification,'processing device','computer', or'computing device' refers to an operating system such as Windows, Mac, or Linux, computer processor, memory, application programs, storage devices (eg, HDD, SDD), and It may be a device with a monitor. The computer may be, for example, a desktop computer or a notebook computer, but these are exemplary, and the present invention is not limited to a desktop computer or a notebook computer. The mobile terminal may be one of a mobile wireless communication device such as a smart phone, a tablet PC, or a PDA.
이하 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.Hereinafter, the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, a number of specific contents have been prepared to explain the invention in more detail and to aid understanding. However, readers who have knowledge in this field to the extent that they can understand the present invention can recognize that it can be used without these various specific contents. In some instances, it should be noted in advance that parts that are commonly known in describing the invention and are not significantly related to the invention are not described in order to avoid confusion in describing the invention.
도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 개략적으로 나타낸다. 도면을 참조하면, 일 실시예에 따른 열상 카메라 시스템은 카메라 모듈(10), 영상처리장치(20), 및 디스플레이(30)를 포함한다. 본 발명의 열상 카메라 시스템은 임의의 촬영대상(피사체)(S)의 온도를 측정하고 디스플레이 하는데 사용될 수 있으며 본 명세서에서는 일 예로서 사람의 체온을 측정하는 경우를 가정하고 본 발명을 설명하기로 한다. 1 schematically shows a thermal camera system according to an embodiment of the present invention. Referring to the drawings, a thermal camera system according to an embodiment includes a
일 실시예에서 카메라 모듈(10)은 실상 카메라와 열상 카메라를 포함한다. 실상 카메라는 촬영대상의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성하는 카메라이다. 열상 카메라는 촬영대상에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 촬영대상의 온도 데이터를 생성하는 카메라이다. 도면에서는 카메라 모듈(10) 내에 실상 카메라와 열상 카메라가 모두 구비된 것으로 도시하였지만 실상 카메라와 열상 카메라가 각기 독립적으로 설치될 수도 있음은 물론이다. In one embodiment, the
영상 처리장치(20)는 카메라 모듈(10)에서 촬영한 영상 데이터를 처리한다. 예를 들어 영상 처리장치(20)는 카메라 모듈(10)로부터 수신한 실상 이미지 및/또는 열상 이미지에 대한 전처리(예컨대 노이즈 제거, 필터링, 동기화, 정합 등)하고 실상 또는 열상 이미지에서 하나 이상의 촬영대상(S)의 얼굴을 검출하고, 각 촬영대상(S)에 대한 온도 정보를 실상 또는 열상 이미지에 오버랩하는 등의 영상 처리를 수행할 수 있고, 이렇게 처리된 실상 데이터, 열상 데이터, 및/또는 실상과 열상의 합성 데이터를 디스플레이(30)로 출력할 수 있다. 영상 처리장치(20)의 구체적 동작에 대해서는 도2를 참조하여 후술하기로 한다. The
디스플레이(30)는 영상 처리장치(20)에서 처리된 영상 데이터를 사용자에게 표시하는 장치로서, 예컨대 LCD 디스플레이, LED 디스플레이 등의 임의의 영상 출력장치로 구현될 수 있다. 일 실시예에서 영상 처리장치(20)는 다양한 방식으로 실상 이미지와 열상 이미지를 디스플레이(30)로 출력할 수 있다. 예를 들어 실상 이미지나 열상 이미지 중 하나만 디스플레이(30)로 출력할 수도 있고, 실상 이미지와 열상 이미지를 서로 오버랩한 합성 이미지를 출력할 수도 있고, 예컨대 PIP (Picture-In-Picture) 기능과 같이 화면을 분할하여 실상 이미지와 열상 이미지를 각각 병렬적으로 출력할 수도 있다.The
일 실시예에서 본 발명의 열상 카메라 시스템은 온도 교정기(40)를 더 포함할 수 있다. 온도 교정기(40)는 열상 카메라의 온도 보정에 사용되는 장비로서, 일 실시예에서 적외선 방사체(41) 및 이를 수용하는 케이스(42)로 구성될 수 있다. 적외선 방사체(41)는 적외선을 방출하는 물체이며 바람직하게는 흑체(black body)가 사용된다. 이상적인 흑체는 외부로부터 오는 빛을 모두 흡수하여 반사하지 않고 자신이 가진 에너지에 해당하는 파장의 빛만을 방출하는 물체이다. 따라서 물체를 적외선 촬영하여 이 물체의 정확한 온도를 측정하는 적외선 카메라(열상 카메라)의 온도 보정에 흑체를 사용할 수 있으며, 일 실시예에서 예컨대 카본블랙 등 탄소 재질로 흑체를 만들 수 있다. 적외선 방사체(41)는 임의의 가열/냉각 장치에 연결되어 있고 이에 의해 기설정된 온도로 유지될 수 있도록 구성된다. In one embodiment, the thermal camera system of the present invention may further include a
적외선 방사체(41)는 케이스(42) 내에 수용되어 있으며 케이스(42)의 일면의 관통구를 통해 외부에서 적외선 방사체(41)를 볼 수 있도록 구성되어 있다. 본 발명의 일 실시예에서, 케이스(42)는 육면체 등 소정 형상을 가지며 케이스의 전방 면을 통해 적외선 방사체(41)를 볼 수 있도록 구성된다. 이 때 방사체(41)를 둘러싸는 케이스(42) 전방 면의 나머지 영역은 기설정된 소정 색상(예컨대 빨간색)으로 칠해져 있거나 또는 소정 패턴이 형성되어 있다. The
일 실시예에서 온도 교정기(40)는 촬영대상(S)을 촬영하기 위한 카메라 시야각 내에 위치하도록 배치되며, 따라서 카메라 모듈(10)의 열상 카메라가 촬영대상(S)을 촬영하면서 동시에 온도 교정기(40)도 촬영할 수 있다. 온도 교정기(40)를 이용한 열상 카메라의 온도 교정에 대해서는 도2를 참조하여 후술하기로 한다. In one embodiment, the
한편, 위에서 열상 카메라로 촬영한 이미지를 '열상 이미지'라고 칭하였으나 본 명세서에서는 이와 동일한 의미로 '열영상 이미지', '열화상 이미지', 또는 '적외선 이미지'라고 부르기도 한다. 또한 본 명세서에서 '영상 데이터'는 단순히 '영상' 또는 '이미지'라고 부르기도 한다. Meanwhile, the image captured by the thermal camera above is referred to as'thermal image', but in this specification, it is also referred to as'thermal image','thermal image', or'infrared image' in the same meaning. In addition, in this specification,'image data' is also simply referred to as'image' or'image'.
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도이다. 도2에서 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)는 각각 도1의 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)에 대응한다. 2 is a block diagram of a thermal camera system according to an embodiment. In FIG. 2, the
카메라 모듈(10)은 실상 카메라(11)와 열상 카메라(12)를 구비할 수 있다. 실상 카메라(11)는 촬영대상(S)의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 일 실시예에서 실상 카메라(11)는 렌즈, CCD, 및 아날로그-디지털(A/D) 컨버터 등의 하드웨어 및/또는 소프트웨어로 구현된다. 렌즈를 통해 들어온 빛은 CCD에 의해 빛의 강약이 전기적 신호로 변환되고, 이 신호가 A/D 컨버터에서 디지털 신호인 영상 데이터로 변환된다. 이러한 실상 카메라(11)의 구성과 동작은 공지기술이므로 이하에서는 구체적 설명을 생략한다. The
열상 카메라(12)는 촬영대상(S)에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 촬영대상의 온도 데이터를 생성할 수 있다. 일 실시예에서 열상 카메라(12)는 적외선을 통과시키는 적외선 렌즈, 적외선 렌즈로 입사되는 적외선을 검출하여 전기적 신호로 변환하는 검출소자 어레이, 및 전기적 신호를 디지털 신호인 온도 데이터로 변환하는 아날로그-디지털(A/D) 컨버터를 포함한다. The thermal camera 12 may detect infrared rays naturally radiated from the photographing object S and convert the amount of infrared rays into heat to generate temperature data of the photographing object. In one embodiment, the thermal camera 12 includes an infrared lens that passes infrared rays, an array of detection elements that detects infrared rays incident on the infrared lens and converts them into electrical signals, and an analog-digital converter that converts the electrical signal into temperature data, which is a digital signal. Includes (A/D) converter.
적외선 렌즈는 적외선을 투과시키는 렌즈이며, 검출소자 어레이는 적외선 렌즈로 입사된 적외선을 검출하여 전기적 신호로 변환한다. 검출소자 어레이는 예컨대 다수의 픽셀이 2차원 배열로 구성된 초점면 배열(FPA: Focal Plane Array) 구조를 가질 수 있으나 이러한 구조에 제한되는 것은 아니다. A/D 컨버터는 검출소자 어레이에서 생성된 아날로그 신호인 전기적 신호를 디지털 신호인 온도 데이터로 변환한다. 열상 카메라(12)는 A/D 컨버터에서 변환된 온도 데이터에 대한 불균일 보정(NUC)과 데드픽셀 처리를 추가적으로 더 수행할 수 있다. 불균일 보정과 데드픽셀 처리에 관한 기술은 열상 카메라 분야에서 공지되었으로 구체적 설명을 생략한다.The infrared lens is a lens that transmits infrared rays, and the detection element array detects infrared rays incident on the infrared lens and converts them into electrical signals. The detection element array may have, for example, a Focal Plane Array (FPA) structure in which a plurality of pixels is a two-dimensional array, but is not limited thereto. The A/D converter converts an electrical signal, which is an analog signal generated by the detection element array, into temperature data, which is a digital signal. The thermal camera 12 may additionally perform non-uniformity correction (NUC) and dead pixel processing on the temperature data converted by the A/D converter. Techniques related to non-uniformity correction and dead pixel processing are well known in the field of thermal imaging cameras, and detailed descriptions thereof will be omitted.
카메라 모듈(10)의 실상 카메라(11)와 열상 카메라(12)에서 생성된 실상 이미지와 열상 이미지는 영상 처리장치(20)로 전달되어 처리된다. 일 실시예에서 영상 처리장치(20)는 영상 처리부(21), 얼굴 검출부(22), 흑체 인식부(23), 및 온도 교정부(24)를 포함할 수 있다. The real image and the thermal image generated by the
영상 처리부(21)는 카메라 모듈(10)로부터 수신한 실상 이미지 및/또는 열상 이미지에 대한 노이즈 제거, 필터링, 동기화, 영상 정합과 합성 등의 이미지 처리 동작을 수행하며 예를 들어 다음과 같은 기능들 중 하나 이상을 포함한다. The
(1) 노이즈 제거 및 영상 개선: 영상 처리부(21)는 실상 이미지 및/또는 열상 이미지의 화질향상, 콘트라스트 개선 등 영상 개선을 위한 처리를 수행할 수 있다. 예를 들어 영상 처리부(21)는 저역통과 필터링, 이미지 블러링(blurring), 이미지 스무딩(smoothing) 등의 처리를 하여 노이즈나 불균일을 제거할 수 있다. (1) Noise removal and image improvement: The
또한 영상 처리부(21)는 이미지에 대한 고역통과 필터링도 수행할 수 있다. 예컨대 실상 이미지에 대해 공간 필터를 이용하여 고역통과 필터링을 하여 실상 이미지의 고공간 주파수 성분(즉 촬영대상의 윤곽이나 경계선 부분)을 추출할 수 있다. 이미지에서 고공간 주파수 성분을 추출하는 다른 방법으로서, 영상 처리부(21)는 시간적으로 연속적인 두 이미지 간의 차이를 추출하는 방법을 사용할 수 있다. 즉 연속 이미지 시퀀스에서 제1 시간의 이미지와 제2 시간의 이미지 사이의 차이를 구하여 촬영대상의 가장자리나 윤곽을 나타내는 고공간 주파수 성분을 추출할 수 있다. In addition, the
(2) 이미지 동기화: 영상 처리부(21)는 실상 카메라(11)와 열상 카메라(12)에서 동일 시각에 각각 촬영한 실상 및 열상 이미지를 시간적으로 동기화시킴으로써 동일 시각에 대응하는 실상 이미지와 열상 이미지를 얻을 수 있다. 일반적으로 실상 카메라(11)와 열상 카메라(12)는 CCD, 검출소자 어레이, A/D 컨버터 등 하드웨어/소프트웨어의 차이로 인해 영상 촬영 속도가 다르기 때문에 동일 시점의 실상 이미지와 열상 이미지를 획득할 수 있도록 실상 카메라(11)와 열상 카메라(12)의 출력을 동기화한다. (2) Image synchronization: The
(3) 이미지 정합: 영상 처리부(21)는 실상 카메라(11)와 열상 카메라(12)가 동일 촬영대상을 동일 시야각으로 촬영하여 동일한 크기로 출력되도록 실상 이미지와 열상 이미지를 정합할 수 있다. 또한 영상 처리부(21)는 실상 및 열상 이미지의 정합을 위해 두 이미지 중 하나의 해상도를 변경하여 동일 해상도를 갖도록 처리할 수 있다. (3) Image matching: The
(4) 컬러 열영상 변환: 영상 처리부(21)는 열상 이미지에 대해 각 픽셀을 해당 픽셀의 온도 데이터에 따른 컬러 색으로 변환하여 출력할 수 있다. 즉 각 픽셀의 온도 데이터를 온도 대역에 따라 매칭된 색으로 변환하여 컬러의 열화상 데이터를 생성한다. 예를 들어 영상 처리부(21)는 각 픽셀의 온도 데이터의 각 온도값에 매칭된 RGB 값을 적용하여 컬러의 열 영상(thermal image)을 생성한다. 이에 따라, 예컨대 높은 온도를 빨간색 계열로 표시하고 낮은 온도를 파란색 계열로 표시한 컬러 열영상을 생성할 수 있다. (4) Color thermal image conversion: The
또한 영상 처리부(21)는 특정 픽셀에 대한 온도 검출 및 그에 따른 응용처리를 수행할 수 있다. 예를 들어 전체 픽셀들 중 최고 온도를 갖는 픽셀을 검출하거나 기설정된 소정 온도 범위 내의 온도를 갖는 픽셀들을 검출할 수 있다. In addition, the
(5) 이미지 합성: 영상 처리부(21)는 동일 촬영대상에 대해 실상 카메라(11)와 열상 카메라(12)가 촬영한 실상 및 열상 이미지를 합성하여 하나의 합성 이미지를 생성할 수 있다. 이미지 합성을 위해 상술한 이미지 동기화 및 정합 처리를 먼저 수행하고 그 후 예컨대 실상 이미지에 대해 열상 이미지의 일부나 전부를 오버랩하여 합성 이미지를 생성할 수 있다. 또는 실상 이미지나 열상 이미지 위에 특정 픽셀이나 특정 픽셀 영역의 온도를 나타내는 정보를 오버랩하여 합성 이미지를 생성할 수도 있다. (5) Image synthesis: The
이상 설명한 영상 처리부(21)의 일부 기능에 대해서는 다른 도면을 참조하여 더 후술하기로 한다. Some functions of the
영상 처리장치(20)에서 얼굴 검출부(22)는 실상 이미지 및/또는 열상 이미지에서 촬영대상의 얼굴 영역을 검출하고 검출된 얼굴 영역의 좌표를 포함하는 검출영역 정보를 산출할 수 있다. 일 실시예에서 얼굴 검출부(22)는 기정의된 얼굴의 특징점(feature)을 이용하여 얼굴을 검출할 수 있다. 예를 들어 얼굴의 특징 성분(예컨대 눈, 코, 입, 외곽선, 명암도 등)의 크기와 모양, 상호 연관성, 얼굴의 색상과 질감 정보 등을 이용하여 얼굴을 검출할 수 있다. 대안적으로, 얼굴 검출부(22)는 얼굴의 특징점 뿐만 아니라 얼굴외 특징점도 이용할 수도 있다. 예를 들어 촬영대상이 모자나 썬글라스 또는 마스크를 쓴 경우에 대응하여, 다양한 종류와 크기의 모자, 썬글라스, 마스크에 대한 특정점을 미리 정의해두고 이를 이용할 수 있다. 또한 이미지 상에서 사람을 먼저 검출하고 그 후 얼굴 영역을 검출하기 위해 인체의 전체 또는 상반신에 관한 특징점(예컨대 인체의 각 관절과 골격 등)을 이용할 수 있다. In the
일 실시예에서 얼굴 검출부(22)는 얼굴의 외형에 기반한 패턴 인식을 이용하여 얼굴을 검출할 수 있다. 즉 다양한 얼굴 포즈의 학습 영상 집합에 대한 패턴 인식으로 얼굴 패턴을 학습하고 학습된 모델을 이용하여 얼굴을 검출하는 방법이다. 예를 들어 주성분 분석(PCA)에 의해 생성되는 고유 얼굴(eigenface), 선형판별식 해석(LDA), 인공 신경망(ANN), 아다부스트(Adaboost), 서포트 벡터 머신(SVM)을 이용하는 방법 등이 있다.In an exemplary embodiment, the
일 실시예에서 얼굴 검출부(22)는 사람의 손이나 팔 등의 피부와 얼굴을 구별하기 위해 피부의 질감이나 색조를 검출하고 이 정보를 바탕으로 얼굴을 판별할 수 있다. 예를 들어 얼굴 검출부(22)는 국부이진패턴(Local binary patterns: LBP) 방식을 이용하여 이미지의 질감(texture)을 검출하고 얼굴 검출에 활용할 수 있다. 또한 대안적으로 얼굴 검출부(22)는 HSV(색조, 채도, 명도) 방식의 색표현을 이용하여 HSV 컬러 공간에서 소정의 임계값을 기준으로 이미지 전체의 색상 및 밝기에 따라 임계값을 적용하여 이미지에서 얼굴 영역을 검출할 수도 있다. In an exemplary embodiment, the
얼굴 검출부(22)는 이상 설명한 얼굴 검출 방법 외에도 공지된 다양한 방식과 알고리즘을 이용하여 실상 및/또는 열상 이미지에서 얼굴을 검출할 수 있다. In addition to the face detection method described above, the
흑체 인식부(23)와 온도 교정부(24)는 촬영하는 이미지 내에서 온도 교정기(40)를 인식하고 이에 기초하여 촬영대상의 온도를 교정하는 기능부이다. 온도 교정기(40)를 인식하고 온도 교정 동작을 수행하는 예시적 실시예에 대해서는 도8을 참조하여 후술하기로 한다. The
상술한 영상 처리장치(20)의 각 기능부인 영상 처리부(21), 얼굴 검출부(22), 흑체 인식부(23), 및 온도 교정부(24)는 해당 기능을 수행하도록 프로그램된 소프트웨어 및 필요에 따라 이를 지원하는 하드웨어로 구성될 수 있다. 또한 이들 기능부(21,22,23,24)는 각기 독립적인 소프트웨어로 구현될 수도 있고 하나의 통합된 소프트웨어로 구현될 수도 있으며 이 기능부들 중 적어도 일부가 영상 처리장치(20) 외부의 임의의 처리장치에 설치되어 실행될 수도 있다. The
도3은 일 실시예에 따라 실상 또는 열상 이미지를 디스플레이하는 방법의 흐름도이다. 3 is a flowchart of a method of displaying a real image or a thermal image according to an exemplary embodiment.
도면을 참조하면, 우선 단계(S10)에서 실상 카메라(11)와 열상 카메라(12)로 촬영대상(S)을 촬영하여 실상 이미지와 열상 이미지를 각각 생성하고 이를 영상 처리장치(20)로 전달한다. 단계(S20)에서, 영상 처리장치(20)는 전달받은 실상 및 열상 이미지에 대한 전처리를 수행할 수 있다. 예컨대 이미지의 노이즈 제거, 고대역/저대역 필터링 등의 처리를 하여 영상 개선을 하고 실상 및 열상 이미지의 동기화 및 정합 처리를 수행할 수 있다. Referring to the drawings, first, in step S10, a real image and a thermal image are generated by photographing a photographing object S with the
그 후 단계(S30)에서, 영상 처리장치(20)의 얼굴 검출부(22)가 이미지에서 하나 이상의 얼굴을 검출한다. 이와 관련하여 도4는 얼굴 검출부(22)가 이미지에서 얼굴을 검출하는 예시적 방법을 나타낸다. Thereafter, in step S30, the
도4를 참조하면, 단계(S31,S32)에서 얼굴 검출부(22)는 실상 이미지에서 얼굴 형상을 추출한다. 이 단계(S31)에서 얼굴 검출부(22)는 예컨대 도2를 참조하여 설명한 얼굴 특징점을 이용한 방법 또는 인공신경망 등의 패턴 인식 방법에 의해 얼굴 형상을 추출할 수 있다. 이 때 본 명세서에서 '얼굴 형상'은 실제의 '얼굴'과 구별되는 의미로서, 실제 얼굴이 아닐 수도 있지만 얼굴 형태를 갖는 형상을 의미한다. 즉 단계(S31)에서 추출된 '얼굴 형상'은 실제 얼굴일 수도 있고 얼굴과 유사한 형상의 물체일 수도 있다. Referring to FIG. 4, in steps S31 and S32, the
또한 이 단계(S31)에서, 실상 이미지에서 얼굴 전체의 형상을 추출할 수도 있지만 얼굴의 일부분과 유사한 형상도 얼굴 형상으로서 추출할 수도 있다. 예컨대 도2에서 설명한 것처럼 얼굴 특징점 뿐만 아니라 모자나 썬글라스, 마스크, 인체의 상반신 등 얼굴외 특징점도 이용할 경우 얼굴의 일부분도 얼굴 형상으로 인식하여 추출할 수 있다. Further, in this step S31, the shape of the entire face may be extracted from the actual image, but a shape similar to a part of the face may also be extracted as the face shape. For example, as described in FIG. 2, when using not only facial feature points, but also features other than facial features such as hats, sunglasses, masks, and upper body of a human body, a part of the face may be recognized and extracted as a face shape.
단계(S31)와 동시에 또는 순차적으로, 단계(S32)에서 얼굴 검출부(22)는 열상 이미지에서 체온 영역을 추출한다. 예를 들어 체온 영역을 섭씨 35.5도 내지 39도 등과 같이 소정 온도범위로 설정하고 이 설정된 온도범위의 온도 값을 나타내는 픽셀 영역을 체온 영역으로서 추출할 수 있다. Simultaneously or sequentially with step S31, in step S32, the
다음으로 단계(S33)에서, 앞 단계(S31,S32)에서 추출한 얼굴 형상 및 체온 영역에 기초하여 얼굴을 추정한다. 얼굴을 추정하는 예시적 방법으로, 실상 이미지에서 추출한 얼굴 형상과 열상 이미지에서 추출한 체온 영역을 OR 조건으로 하여 얼굴을 추정할 수 있다. 이 경우 얼굴 전체 뿐만 이나라 얼굴의 일부분만 보이는 경우에도 얼굴로 추정되고 저체온의 얼굴이나 체온과 비슷한 온도의 물체도 얼굴로서 추정되므로 가능한 한 모든 상황에서 최대한 많은 얼굴을 검출할 수 있다. Next, in step S33, a face is estimated based on the facial shape and body temperature region extracted in the previous steps S31 and S32. As an exemplary method of estimating a face, the face may be estimated by using a face shape extracted from a real image and a body temperature region extracted from a thermal image as an OR condition. In this case, even if not only the entire face is visible, but only a part of the face is assumed to be a face, and a hypothermic face or an object with a temperature similar to that of the body temperature is assumed as a face, as many faces as possible can be detected in all situations.
그 후 단계(S34)에서, 추정된 얼굴에 대해 피부 질감이나 색조 등 추가 정보를 획득한다. 예를 들어 실상 이미지에서 질감 정보나 색조 정보 등의 정보를 추가로 획득할 수 있다. 대안적 실시예에서, 열상 이미지에서 얼굴의 열점을 검출할 수도 있다. 즉 열상 이미지 상에서 얼굴의 혈류(血流)에 생기는 열점을 검출하여 이를 추가 정보로 이용할 수 있다. Thereafter, in step S34, additional information such as skin texture or color tone is acquired for the estimated face. For example, information such as texture information or color tone information may be additionally obtained from a real image. In an alternative embodiment, hot spots of the face may be detected in the thermal image. That is, hot spots occurring in the blood flow of the face on the thermal image can be detected and used as additional information.
일 실시예에서, 추가 정보 획득에 소요되는 데이터 처리량을 줄이기 위해, 열상 이미지에서 체온 영역으로 추출된 픽셀 영역에 대해서만 이러한 추가 정보를 추출할 수 있다. 또한 이 단계(S34)는 얼굴 추정 단계(S33) 이후에 실행될 수도 있지만, 대안적으로, 얼굴 추정 단계(S33) 이전에 실행될 수도 있다. In an embodiment, in order to reduce the amount of data processing required to acquire additional information, such additional information may be extracted only for a pixel area extracted from a thermal image as a body temperature area. Also, this step (S34) may be executed after the face estimating step (S33), but alternatively, it may be executed before the face estimating step (S33).
그 후 단계(S35)에서, 질감 또는 색조 등 추가 정보에 기초하여, 상기 추정된 얼굴이 실제 얼굴인지 여부를 판단하여 얼굴을 검출한다. 얼굴의 질감이나 색조 등 피부와 얼굴을 구별하는 이러한 추가 정보를 이용함으로써 얼굴이 아닌 팔이나 손 등의 피부를 추정 얼굴에서 제외시킬 수 있으므로 얼굴 검출의 정확도를 높일 수 있다. Then, in step S35, based on additional information such as texture or color tone, it is determined whether the estimated face is a real face, and the face is detected. By using this additional information that distinguishes the skin from the face, such as the texture or tone of the face, it is possible to exclude skin such as arms or hands, not the face, from the estimated face, thereby increasing the accuracy of face detection.
또한 상술한 얼굴 검출 방법에 의하면 저체온의 얼굴도 검출할 수 있다. 열상 카메라에 의한 온도 측정을 피하기 위해 일부 사람들이 온도 측정 직전에 찬물에 세수를 하거나 얼굴에 물을 뿌리거나 차가운 곳에 오랫동안 있다가 카메라 앞에 도착하는 경우가 있는데, 이러한 경우 얼굴의 온도가 일반적인 체온 범위보다 낮게 나온다. 지금까지의 발열자 감시는 온도가 높은 사람을 감지하는 것을 목표로 했기 때문에 이러한 저체온 경우는 무시했지만, 본 발명에 따르면 저체온자도 검출할 수 있으므로 온도 측정을 피하려는 다양한 시도를 방지할 수 있다. In addition, according to the above-described face detection method, a hypothermic face can also be detected. In order to avoid temperature measurement by thermal imaging cameras, some people wash their faces in cold water immediately before the temperature measurement, spray water on their faces, or have been in a cold place for a long time before arriving in front of the camera. It comes out low. Until now, the heating element monitoring has been aimed at detecting a person with a high temperature, so the hypothermia case has been neglected, but according to the present invention, a hypothermic person can also be detected, thereby preventing various attempts to avoid temperature measurement.
다시 도3을 참조하면, 상술한 것과 같이 이미지에서 얼굴을 검출하면(S30), 그 후 선택적으로 단계(S40)에서 실상 이미지와 열상 이미지를 합성할 수 있다. 일 실시예에서 실상 이미지나 열상 이미지 중 하나에만 체온 정보를 부가하여 합성 이미지를 만들 수도 있고, 이 경우 실상 이미지와 열상 이미지를 합성할 필요가 없으면 단계(S40)를 생략해도 무방하다. 그러나 실상 이미지의 적어도 일부와 열상 이미지의 적어도 일부를 합성하여 출력해야 할 경우 단계(S40)를 실행할 수 있다. 또한 열상 이미지만 디스플레이로 출력하는 경우에도 열상 이미지를 영상 개선을 위해 실상 이미지의 일부를 열상 이미지에 합성하는 것이 필요할 수도 있다. 이와 관련하여 도5는 열상 이미지에 실상 이미지의 일부를 합성하는 예시적 방법을 나타낸 것으로, 열상 이미지를 디스플레이(30)로 출력하는 경우 열상 이미지에 나타나는 얼굴이나 신체의 윤곽을 보다 선명하게 표시하는 전처리 동작을 예시적으로 나타내었다. Referring back to FIG. 3, when a face is detected in the image as described above (S30), thereafter, the real image and the thermal image may be selectively combined in step S40. In an embodiment, a composite image may be created by adding body temperature information to only one of the real image or the thermal image. In this case, if there is no need to combine the real image and the thermal image, step S40 may be omitted. However, when at least a part of the real image and at least a part of the thermal image are to be combined and outputted, step S40 may be executed. In addition, even when only the thermal image is output to the display, it may be necessary to combine a part of the real image with the thermal image to improve the image of the thermal image. In this regard, FIG. 5 shows an exemplary method of synthesizing a part of a real image with a thermal image. When the thermal image is output to the
도5를 참조하면, 단계(S110)에서, 실상 이미지에 대한 고대역 필터링을 수행한다. 이미지에 고대역 필터링을 하면 피사체의 윤곽(에지)이나 경계선을 추출할 수 있다. 따라서 이 단계(S110)에 의해 촬영대상의 얼굴 전체나 일부 또는 신체의 전체나 일부의 에지(윤곽)를 추출할 수 있다. Referring to Fig. 5, in step S110, high-band filtering is performed on an actual image. By performing high-band filtering on an image, the outline (edge) or boundary of the subject can be extracted. Accordingly, in this step (S110), the entire or part of the face to be photographed, or the edge (contour) of the entire or part of the body may be extracted.
그리고 단계(S110)와 동시에 또는 순차적으로 단계(S120)를 실행할 수 있다. 즉 단계(S120)에서 열상 이미지를 저대역 필터링할 수 있고, 이에 의해 열상 이미지에서 노이즈를 제거할 수 있다. 그 후 단계(S130)에서 상기 추출된 실상 이미지의 에지를 열상 이미지에 오버랩한다. 촬영대상의 에지를 열상 이미지에 오버랩하여 합성하면 열상 이미지 내에서 촬영대상의 윤곽이 보다 선명하게 나타나므로 촬영대상의 형태를 보다 쉽게 인식할 수 있다. 따라서 열상 이미지 내에 다수의 얼굴이 촬영되는 경우에도 얼굴간 식별을 신속하게 수행할 수 있다. And it is possible to execute step (S120) simultaneously or sequentially with step (S110). That is, in step S120, the thermal image may be low-band filtered, thereby removing noise from the thermal image. Thereafter, the edge of the extracted real image is overlapped with the thermal image in step S130. When the edges of the subject to be photographed are overlapped and combined with the thermal image, the outline of the subject to be photographed appears more clearly in the thermal image, so that the shape of the photographing subject can be recognized more easily. Therefore, even when multiple faces are photographed in a thermal image, it is possible to quickly identify faces.
다시 도3을 참조하면, 단계(S30) 또는 단계(S40)를 실행한 후 단계(S50)에서 실상 이미지 및.또는 열상 이미지에 체온 정보를 부가하여 이를 디스플레이(30)로 전송하여 출력한다. 실상 및/또는 열상 이미지에 체온 정보를 부가함으로써 도6 또는 도7과 같이 체온 정보를 화면상에서 표시할 수 있다. Referring back to FIG. 3, after executing step S30 or step S40, body temperature information is added to the real image and/or thermal image in step S50, and then transmitted to the
도6 및 도7은 일 실시예에 따라 열상 또는 실상 이미지에 체온을 표시하는 방법을 나타낸 것으로, 도6은 실상 이미지 또는 열상 이미지의 화면(31)에 체온 정보를 태그 형태로 표시하는 방식을 개략적으로 도시하였다. 6 and 7 illustrate a method of displaying body temperature on a thermal or real image according to an embodiment, and FIG. 6 schematically illustrates a method of displaying body temperature information on a
도6을 참조하면, 디스플레이(30)의 출력 화면(31)에 한 명 이상의 사람이 촬영될 때, 각 촬영대상(S1,S2)에 대해 이들의 체온 정보를 각 촬영대상(S1,S2)의 얼굴에서 소정 거리, 즉 소정 픽셀 거리 이내의 위치에 태그(T1,T2) 형태로 표시할 수 있다. 이 때 체온 정보는 예컨대 도시한 것처럼 체온을 아라비아 숫자로 나타낸 정보일 수 있으나 이에 제한되지 않는다. Referring to FIG. 6, when more than one person is photographed on the
일 실시예에서 각 촬영대상의 체온은 얼굴의 특징점 중 미리 결정된 특징점에서의 체온을 나타낸다. 상기 미리 결정된 특정점은 예를 들어 미간 또는 이마 중앙 중 하나일 수 있다. 종래에는 열상 이미지에서 얼굴을 검출한 후 얼굴 전체의 온도를 평균내거나 가장 온도가 가장 높은 픽셀의 온도를 해당 얼굴의 체온으로 결정하여 표시하였다. 그러나 촬영대상자가 모자나 안경, 마스크 등을 쓰거나 화장이 진한 경우 얼굴 전체를 평균내면 체온 값이 실제 체온을 반영하지 못할 가능성이 있고, 얼굴 내에서 온도 최고점을 체온으로 표시하게 되면 체온 정보를 표시하는 태그의 꼬리표의 위치가 계속 바뀌게 되어 사용자가 체온 정보를 읽기 불편한 문제가 있다. In one embodiment, the body temperature of each subject is a body temperature at a predetermined feature point among facial feature points. The predetermined specific point may be, for example, one of the forehead or the middle of the forehead. Conventionally, after detecting a face in a thermal image, the temperature of the entire face was averaged or the temperature of the pixel with the highest temperature was determined and displayed as the body temperature of the corresponding face. However, if the subject is wearing a hat, glasses, mask, etc., or if the makeup is dark, the body temperature value may not reflect the actual body temperature if the entire face is averaged, and if the maximum temperature within the face is displayed as body temperature, the body temperature information is displayed. There is a problem in that the position of the tag of the tag is constantly changed, so that the user is inconvenient to read the body temperature information.
그러나 본 발명에서와 같이 얼굴 내에서 미간이나 이마 중앙점 등과 같이 특정 특징점을 설정하고 이 지점의 픽셀의 온도값을 체온으로 결정하면 해당 촬영대상자의 정확한 체온을 일정 위치에서 안정적으로 보여줄 수 있다. 한편 이 때 사용되는 특징점은 예컨대 도3의 얼굴 검출 단계(S30)에서 사용된 얼굴 특징점을 이용할 수 있다. 즉 단계(S30)에서 얼굴 특징점을 사용하여 얼굴을 검출한 경우 이 때 사용된 얼굴 특징점 중 미간을 나타내는 특징점에 대응하는 픽셀의 온도 값을 해당 촬영대상자의 체온 값으로 추출해 둘 수 있다. However, as in the present invention, if a specific feature point, such as a glabellar or forehead center point, is set within the face, and the temperature value of the pixel at this point is determined as the body temperature, the correct body temperature of the subject can be stably displayed at a predetermined position. Meanwhile, as the feature point used in this case, for example, the facial feature point used in the face detection step S30 of FIG. 3 may be used. That is, when a face is detected using the facial feature points in step S30, the temperature value of the pixel corresponding to the feature point representing the eyebrow among the facial feature points used at this time may be extracted as the body temperature value of the subject.
도7은 실상 이미지 또는 열상 이미지의 화면(31)에서 일부 촬영대상의 체온 정보만 선별하여 태그로 표시하는 방식을 개략적으로 도시하였다. 7 schematically shows a method of selecting only body temperature information of a part of the subject to be photographed on the
도7을 참조하면, 일 실시예에서 디스플레이(30)의 출력 화면(31)에 복수의 사람이 촬영될 때 체온을 선별표시 모드로 나타낸다. 여기서 체온의 “선별표시 모드”는 복수의 촬영대상 중 일부의 사람에 대해서만 체온 정보를 태그(T)로 나타내고 나머지 사람의 체온 정보는 영상에 나타내지 않거나 태그가 아닌 다른 방식으로 나타내는 이미지 표시 모드이다. Referring to FIG. 7, when a plurality of people are photographed on the
도7의 실시예에 따른 선별표시 모드에서, 복수의 얼굴 중 기설정된 기준에 따른 하나 이상의 얼굴의 체온 정보를 각 얼굴에 인접한 위치(예컨대 각 촬영대상(S)의 얼굴에서 소정 픽셀 거리 이내의 위치)에 태그(T)로 선별하여 표시하고 상기 기준에 따른 나머지 얼굴의 체온 정보를 열상 이미지로 표시할 수 있다. In the selection display mode according to the embodiment of FIG. 7, body temperature information of one or more faces according to a preset criterion among a plurality of faces is located adjacent to each face (e.g., a position within a predetermined pixel distance from the face of each photographing object S). ) On the tag (T) and display the body temperature information of the remaining faces according to the above criteria as a thermal image.
이 실시예에 따르면, 우선 카메라(11,12)로 촬영하여 검출된 복수의 얼굴의 각각의 체온이 기설정된 온도 대역에 속하는지 여부를 판단한다. 이 때 기설정된 온도 대역은 예컨대 정상 체온 대역 또는 섭씨 35.8도 내지 37.2도의 온도 범위일 수 있다. According to this embodiment, it is first determined whether the body temperature of each of a plurality of faces detected by photographing with the
검출된 얼굴의 각각의 체온이 이 기설정된 온도 대역에 속하지 않는 경우, 즉 기설정된 온도보다 높거나 낮은 경우 해당 얼굴의 체온을 도7에 표시한 것처럼 태그(T) 형태로 표시한다. 이 때 태그(T)는 해당 얼굴에서 소정 픽셀 이내의 위치에 숫자로 표시할 수 있다. When each body temperature of the detected face does not belong to this preset temperature band, that is, when it is higher or lower than the preset temperature, the body temperature of the face is displayed in the form of a tag (T) as shown in FIG. 7. In this case, the tag T may be displayed as a number at a position within a predetermined pixel of the corresponding face.
얼굴의 체온이 이 온도 대역에 속하는 경우에는 해당 얼굴의 체온 정보를 나타내지 않거나 태그가 아닌 방식으로 나타낸다. 예를 들어, 이 얼굴의 온도를 컬러 열상 이미지로 해당 얼굴에 오버랩하여 표시할 수 있다. 즉, 해당 얼굴에 대해 상기 기설정된 온도 대역 내에서 높은 온도를 빨간색 계열로 표시하고 낮은 온도를 파란색 계열로 표시한 컬러 열영상을 얼굴에 오버랩시킬 수 있다. If the body temperature of the face falls within this temperature range, the body temperature information of the face is not displayed or is displayed in a manner other than a tag. For example, the temperature of the face can be displayed by overlapping the face as a color thermal image. That is, a color thermal image in which a high temperature is displayed in a red series and a low temperature is displayed in a blue series within the preset temperature band for a corresponding face may be overlapped on the face.
이 때 디스플레이 되는 이미지 중에서 얼굴을 제외한 신체 및 배경(B)을 흑백의 실상 이미지나 열상 이미지로 표시하고 얼굴에 대해서만 컬러 열영상으로 표시할 수 있으며, 이 경우 기설정된 온도 대역의 컬러 분해능을 높일 수 있다. 따라서 이 실시예에 따르면, 많은 사람들이 하나의 촬영 영상 내에서 촬영되는 경우에도 온도가 기설정된 온도 대역보다 높거나 낮은 사람은 이상 체온자로 분류하여 태그(T)로 표시되므로 쉽게 식별할 수 있고 또한 기설정된 온도 대역에 속하는 사람들에 대해서도 얼굴마다 높은 컬러 해상도의 열영상으로 표시되므로 체온이 높은 사람과 낮은 사람을 쉽게 식별하여 추적할 수 있다. Among the displayed images, the body and background (B) excluding the face can be displayed as a black and white real image or thermal image, and only the face can be displayed as a color thermal image. In this case, the color resolution of the preset temperature range can be increased. have. Therefore, according to this embodiment, even when many people are photographed within one photographed image, people whose temperature is higher or lower than a preset temperature band are classified as abnormal body temperature and displayed as a tag (T), so that they can be easily identified. Even people belonging to a preset temperature range are displayed as thermal images of high color resolution for each face, so people with high and low body temperatures can be easily identified and tracked.
또한 본 발명에 따르면 태그(T)로 선별 표시되는 조건을 다양하게 설정할 수 있다. 예를 들어 온도가 가장 높은 사람의 체온 정보만 태그(T)로 표시하고 나머지 사람들에 대해서는 각 사람의 얼굴을 컬러 열영상으로 표시할 수 있고, 다른 예로서, 최대 온도와 최소 온도의 사람만 태그(T)로 표시할 수도 있다. 또한 구체적 실시 형태에 따라 온도 범위를 다르게 설정할 수 있으므로 본 발명이 실시되는 구체적 상황에 맞게 적정 체온의 사람과 그렇지 못한 사람을 정확히 분류하여 추적할 수 있다. In addition, according to the present invention, it is possible to set various conditions for selectively displaying the tag T. For example, only the body temperature information of the person with the highest temperature can be displayed as a tag (T), and each person's face can be displayed as a color thermal image for the rest. As another example, only people with the maximum and minimum temperatures can be tagged. It can also be indicated by (T). In addition, since the temperature range may be set differently according to specific embodiments, it is possible to accurately classify and track a person with an appropriate body temperature and a person who does not have an appropriate body temperature according to a specific situation in which the present invention is practiced.
본 발명의 또 다른 실시예에서, 카메라로 촬영되는 사람의 인원수에 따라 전체표시 모드와 선별표시 모드 사이를 전환하면서 체온 정보를 표시할 수 있다. 이 실시예에 따르면, 예컨대 실상 카메라(11) 및/또는 열상 카메라(12)로 촬영한 이미지에서 복수의 얼굴을 검출한 후 검출된 얼굴의 개수가 기설정된 수 이하인 경우 복수의 얼굴의 각각의 체온 정보를 전체표시 모드에 따라 디스플레이로 출력하고, 검출된 얼굴의 개수가 상기 기설정된 수를 초과할 경우 상기 복수의 얼굴의 각각의 체온 정보를 체온 선별표시 모드에 따라 디스플레이로 출력한다. In another embodiment of the present invention, body temperature information may be displayed while switching between the all display mode and the selection display mode according to the number of people photographed by the camera. According to this embodiment, for example, when the number of faces detected after detecting a plurality of faces in an image photographed by the
이 때 '전체표시 모드'는 예컨대 도6과 같이 이미지 내의 모든 얼굴에 대해 체온 정보를 각 얼굴에서 소정 픽셀 거리 이내의 위치에서 태그(T1,T2)로 표시하는 방식이고, '선별표시 모드'는 이미지 내의 복수의 얼굴 중 소정 기준에 따른 일부의 사람에 대해서만 체온 정보를 태그(T)로 표시하고 나머지 사람들의 체온 정보는 표시하지 않거나 태그가 아닌 다른 방식으로 표시하는 것이다. In this case, the'all display mode' is a method of displaying body temperature information for all faces in the image as tags (T1, T2) within a predetermined pixel distance from each face as shown in FIG. 6, and the'selection display mode' Among the plurality of faces in the image, body temperature information is displayed as a tag T for only some people according to a predetermined standard, and body temperature information of other people is not displayed or is displayed in a manner other than tags.
카메라로 촬영되는 사람이 예컨대 두 세 명인 경우 도6과 같이 모든 사람에 대해 체온 정보를 태그(T1,T2)로 표시하여도 화면(31) 내에서 체온 정보를 쉽게 식별할 수 있으므로 이 경우에는 모든 사람의 체온 정보를 태그로 표시하는 전체표시 모드로 사용하는 것이 바람직하다. 그러나 예컨대 기설정된 인원수(예컨대 5명 또는 6명 등) 이상의 사람을 동시에 촬영하여 각각의 체온을 나타낼 경우 모든 사람의 체온 정보를 전부 태그로 나타내면 오히려 화면(31)이 복잡하고 각 사람의 체온을 식별하기 어렵기 때문에, 이 경우에는 도7과 같이 선별표시 모드로 전환하여 기설정된 조건에 따른 일부 사람에 대해서만 태그(T)로 체온 정보를 표시하고 나머지 사람에 대해서는 체온 정보를 표시하지 않거나 컬러 열영상 등 다른 방식으로 표시하는 것이 바람직하다. In the case where, for example, two or three people are photographed by the camera, body temperature information can be easily identified within the
이제 도8을 참조하여 일 실시예에 따라 온도 교정기를 자동으로 인식하고 온도 교정을 수행하는 예시적 실시예를 설명하기로 한다. An exemplary embodiment of automatically recognizing a temperature calibrator and performing temperature calibration according to an embodiment will now be described with reference to FIG. 8.
우선 단계(S210)에서 온도 교정기(40)를 카메라 촬영 영역 내에 설치한다. 열상 카메라(12)의 시야각 내에 온도 교정기(40)를 설치하면 되며 설치 위치는 특별히 제한되지 않는다. 예를 들어 측정대상인 사람들이 많이 다니는 통행로에 온도 교정기(40)를 설치할 수 있다.First, in step S210, the
그 후 단계(S220)에서, 흑체 인식부(23)가 이미지 내에서 온도 교정기(40)를 인식할 수 있도록, 온도 교정기(40)의 형상 정보 및/또는 색상 정보를 영상 처리장치(20)에 등록한다. Thereafter, in step S220, the shape information and/or color information of the
예를 들어, 온도 교정기(40)를 실상 카메라(11) 및/또는 열상 카메라(12)로 촬영하고 이 촬영 이미지에서 온도 교정기(40)를 포함하는 픽셀 영역을 선택하면 흑체 인식부(23)가 이 지정된 픽셀 영역 내에서 온도 교정기(40)의 케이스(42)의 에지 라인(윤곽선), 적외선 방사체(41)와 케이스(42) 사이의 경계선, 및 케이스(42) 전면의 색상이나 패턴 등을 인식하고 이 인식된 에지 라인, 경계선, 색상, 및/또는 패턴 등에 관한 정보를 영상 처리장치(20)에 등록한다. 이 때 바람직하게는 실상 카메라(11)가 촬영한 실상 이미지로부터 상기 에지, 경계선, 색상, 및/또는 패턴 등을 인식하는 것이 바람직할 것이다. For example, if the
이 때 영상 처리장치(20)는, 이렇게 실상 이미지에서 인식된 정보에 따라 적외선 방사체(41) 영역을 인식하고, 이에 기초하여, 실상 이미지에 대응하는 열상 이미지에서의 적외선 방사체(41)에 대응하는 픽셀 영역을 인식할 수 있고, 추가적으로, 이 때의 적외선 방사체(41)의 온도를 측정하여 기준 온도로 등록할 수도 있다. At this time, the
그 후 온도 교정을 수행해야 할 때, 단계(S230)에서 실상 카메라(11) 및/또는 열상 카메라(12)를 이용하여 실제 촬영시 촬영대상과 함께 온도 교정기를 촬영하고, 온도 교정상기 등록된 온도 교정기 정보에 기초하여 촬영 이미지에서 온도 교정기(40)를 인식한다. 예를 들어 실상 이미지에서 온도 교정기(40)의 케이스(42)의 윤곽이나 색상 또는 패턴을 인식하여 온도 교정기(40)를 식별할 수 있다. Then, when it is necessary to perform temperature calibration, in step S230, a temperature calibrator is photographed together with the object to be photographed using the
그 후 영상 처리장치(20)는 열상 이미지에서 온도 교정기(40)의 적외선 방사체(41)를 식별할 수 있다(단계 S240). 이 때 적외선 방사체(41)가 기설정된 소정 온도로 유지되고 있는 경우, 영상 처리장치(20)는 열상 카메라(12)에 의해 적외선 방사체(41)로부터 측정하는 온도 값을 상기 기설정된 소정 온도라고 판단할 수 있다. After that, the
그 후 단계(S250)에서 영상 처리장치(20)는 이 소정 온도를 기준온도로 하여 열상 이미지의 온도 정보를 교정한다. 예를 들어 적외선 방사체(41)에 해당하는 픽셀의 온도 값이 적외선 방사체(41)의 실제 온도와 차이가 있을 경우 이 온도 차이값 만큼을 전체 픽셀에 적용하여 열상 이미지의 온도를 보정할 수 있고, 그 외에도 공지된 다른 온도 교정 방법이 사용될 수 있다. After that, in step S250, the
이상과 같은 온도 교정기(40)의 자동 인식 및 온도 교정 동작은 기설정된 소정 시간주기마다 실행될 수 있고, 대안적으로, 온도 교정을 수행할지 여부를 영상 처리장치(20)가 자동으로 판단하여 실행할 수도 있다. 예를 들어, 열상 카메라(12)가 소정 시간 동안 촬영하여 측정한 촬영대상의 체온의 평균값을 산출하고 이 평균값이 기설정된 온도 범위를 벗어나는 경우 영상 처리장치(20)가 상술한 온도 교정 방법을 실행하도록 구성할 수 있다. The automatic recognition and temperature calibration operation of the
또한 일 실시예에서, 이러한 온도 교정기 인식 및 온도 교정 동작은 촬영대상(S)의 촬영, 얼굴 검출, 및 체온 측정 동작과 동시에 수행될 수 있다. 즉 열상 카메라(12)의 시야각에 촬영대상(S)과 온도 교정기(40)가 동시에 노출되어 열상 카메라(12)가 이들을 촬영하는 경우 영상 처리장치(20)는 촬영대상(S)에 대한 체온 측정과 온도 교정기(40)를 이용한 온도 교정을 동시에 수행할 수 있다. In addition, in one embodiment, the temperature corrector recognition and temperature correction operation may be performed simultaneously with the photographing, face detection, and body temperature measurement operation of the object S. That is, when the photographing target (S) and the
이상과 같이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 수 있다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, those of ordinary skill in the field to which the present invention belongs can understand that various modifications and variations are possible from the description of this specification. Therefore, the scope of the present invention is limited to the described embodiments and should not be defined, and should be defined by the claims and equivalents to the claims to be described later.
10: 카메라 모듈 11: 실상 카메라
12: 열상 카메라 20: 영상 처리장치
21: 영상 처리부 22: 얼굴 검출부
23: 흑체 인식부 24: 온도 교정부
30: 디스플레이 40: 온도 교정기
41: 적외선 방사체 42: 케이스 10: camera module 11: real camera
12: thermal camera 20: image processing device
21: image processing unit 22: face detection unit
23: blackbody recognition unit 24: temperature calibration unit
30: display 40: temperature calibrator
41: infrared emitter 42: case
Claims (5)
상기 영상 처리장치가, 기설정된 소정 온도를 방사하는 적외선 방사체를 구비한 온도 교정기의 케이스의 형상과 케이스 전면의 색상 또는 패턴을 영상 처리장치에 등록하는 단계;
상기 영상 처리장치가, 상기 온도 교정기를 촬영한 실상 이미지와 열상 이미지를 수신하고 상기 등록된 케이스의 형상과 색상 또는 패턴에 기초하여 상기 실상 이미지에서 온도 교정기를 식별하는 단계;
상기 영상 처리장치가, 상기 실상 이미지에서 식별된 온도 교정기의 위치에 기초하여 열상 이미지에서 상기 적외선 방사체를 식별하는 단계; 및
상기 영상 처리장치가, 상기 열상 이미지에서 식별한 적외선 방사체의 온도를 온도교정을 위한 기준온도로 설정하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 온도 교정을 위한 기준온도 설정 방법. An image processing unit that processes a real image and a thermal image captured by a real image and a thermal image respectively photographed by the same subject, a black recognition unit that recognizes an infrared emitter from the thermal image, and a thermal image based on the temperature of the infrared emitter. In an image processing apparatus having a temperature correction unit for calibrating a temperature, as a method of setting a reference temperature for temperature calibration of a thermal imager,
Registering, by the image processing apparatus, a shape of a case of a temperature calibrator including an infrared radiator emitting a predetermined temperature and a color or pattern of the front surface of the case in the image processing apparatus;
Receiving, by the image processing apparatus, a real image and a thermal image photographed by the temperature calibrator, and identifying a temperature calibrator in the real image based on a shape and color or pattern of the registered case;
Identifying, by the image processing apparatus, the infrared emitter in the thermal image based on the position of the temperature corrector identified in the real image; And
And setting, by the image processing apparatus, a temperature of the infrared emitter identified in the thermal image as a reference temperature for temperature calibration.
상기 온도 교정기가 상기 적외선 방사체의 주위를 둘러싸는 소정 형상의 케이스를 포함하고, 상기 케이스의 전면이 기설정된 색상 또는 패턴을 갖는 것을 특징으로 하는, 열상 카메라의 온도 교정을 위한 기준온도 설정 방법. The method of claim 1,
The temperature calibrator includes a case of a predetermined shape surrounding the infrared radiator, and the front surface of the case has a predetermined color or pattern.
상기 적외선 방사체가 가열장치 또는 냉각장치에 연결된 것을 특징으로 하는, 열상 카메라의 온도 교정을 위한 기준온도 설정 방법. The method of claim 1,
A method of setting a reference temperature for temperature calibration of a thermal camera, characterized in that the infrared radiator is connected to a heating device or a cooling device.
실상 카메라로 촬영한 실상 이미지 상에서 상기 온도 교정기를 포함하는 픽셀 영역을 선택하는 단계;
상기 선택된 픽셀 영역 내에서 상기 온도 교정기의 케이스의 에지 라인 및 케이스의 색상 또는 패턴을 인식하는 단계; 및
상기 인식한 에지 라인에 관한 정보 및 상기 색상 또는 패턴에 관한 정보를 상기 영상 처리장치에 저장하는 단계;를 포함하는 것을 특징으로 하는, 열상 카메라의 온도 교정을 위한 기준온도 설정 방법. The method of claim 1, wherein the step of registering the shape and color or pattern of the case of the temperature calibrator comprises:
Selecting a pixel area including the temperature corrector on a real image taken with a real camera;
Recognizing an edge line of the case of the temperature calibrator and a color or pattern of the case within the selected pixel area; And
And storing the information on the recognized edge line and the information on the color or pattern in the image processing apparatus, comprising: a reference temperature setting method for temperature calibration of a thermal imaging camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200061180A KR102207650B1 (en) | 2020-05-21 | 2020-05-21 | Method for temperature calibration in thermal camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200061180A KR102207650B1 (en) | 2020-05-21 | 2020-05-21 | Method for temperature calibration in thermal camera system |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102207650B1 true KR102207650B1 (en) | 2021-01-27 |
Family
ID=74238921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200061180A KR102207650B1 (en) | 2020-05-21 | 2020-05-21 | Method for temperature calibration in thermal camera system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102207650B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220080812A (en) * | 2020-12-07 | 2022-06-15 | 주식회사 콕스 | Method for auto-recognition of temperature calibrator in thermal camera system |
WO2022131420A1 (en) * | 2020-12-17 | 2022-06-23 | 주식회사 콕스 | Method for measuring temperature of infrared radiator for correcting temperature of thermal image camera |
KR20220157687A (en) * | 2021-05-21 | 2022-11-29 | 강호열 | System for detecting temperature using thermal imaging camera |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150129937A (en) * | 2014-05-12 | 2015-11-23 | (주)유틸리온 | System and Method for Determining Health Status of Object |
KR101729327B1 (en) | 2015-11-10 | 2017-04-21 | 홍미선 | A monitoring system for body heat using the dual camera |
KR20180123900A (en) | 2017-05-10 | 2018-11-20 | 수원대학교산학협력단 | Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner |
-
2020
- 2020-05-21 KR KR1020200061180A patent/KR102207650B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150129937A (en) * | 2014-05-12 | 2015-11-23 | (주)유틸리온 | System and Method for Determining Health Status of Object |
KR101729327B1 (en) | 2015-11-10 | 2017-04-21 | 홍미선 | A monitoring system for body heat using the dual camera |
KR20180123900A (en) | 2017-05-10 | 2018-11-20 | 수원대학교산학협력단 | Method and apparatus for alarming thermal heat detection results obtained by monitoring heat from human using thermal scanner |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220080812A (en) * | 2020-12-07 | 2022-06-15 | 주식회사 콕스 | Method for auto-recognition of temperature calibrator in thermal camera system |
KR102581989B1 (en) | 2020-12-07 | 2023-09-26 | 주식회사 콕스 | Method for auto-recognition of temperature calibrator in thermal camera system |
WO2022131420A1 (en) * | 2020-12-17 | 2022-06-23 | 주식회사 콕스 | Method for measuring temperature of infrared radiator for correcting temperature of thermal image camera |
KR20220087593A (en) * | 2020-12-17 | 2022-06-27 | 주식회사 콕스 | Method for measuring temperature of infrared radiator for thermal camera calibration |
KR102593382B1 (en) | 2020-12-17 | 2023-10-26 | 주식회사 콕스 | Method for measuring temperature of infrared radiator for thermal camera calibration |
KR20220157687A (en) * | 2021-05-21 | 2022-11-29 | 강호열 | System for detecting temperature using thermal imaging camera |
KR102642733B1 (en) * | 2021-05-21 | 2024-03-04 | 주식회사 나무기술 | System for detecting temperature using thermal imaging camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102207650B1 (en) | Method for temperature calibration in thermal camera system | |
US11068700B2 (en) | Polarization imaging for facial recognition enhancement system and method | |
JP5567853B2 (en) | Image recognition apparatus and method | |
JP6564271B2 (en) | Imaging apparatus, image processing method, program, and storage medium | |
WO2016159523A1 (en) | Biometric information acquisition method and device for same | |
JP6157165B2 (en) | Gaze detection device and imaging device | |
KR102205605B1 (en) | Method for display temperature in thermal image | |
JP2008226194A (en) | Pupil color correction device and program | |
CN111144169A (en) | Face recognition method and device and electronic equipment | |
KR101854991B1 (en) | System and method for correcting color of digital image based on the human sclera and pupil | |
JP2004219277A (en) | Method and system, program, and recording medium for detection of human body | |
KR102251307B1 (en) | Thermal camera system with distance measuring function | |
JP7207520B2 (en) | Interest determination device, interest determination system, interest determination method and program | |
JP4148903B2 (en) | Image processing apparatus, image processing method, and digital camera | |
KR102487590B1 (en) | Method for measuring of object based on face-recognition | |
KR102581989B1 (en) | Method for auto-recognition of temperature calibrator in thermal camera system | |
JP2017157043A (en) | Image processing device, imaging device, and image processing method | |
KR101049409B1 (en) | Apparatus and method for color correction in image processing system | |
KR102580362B1 (en) | Method for body temperature by using temperature measuring apparatus with thermal camera | |
KR102593382B1 (en) | Method for measuring temperature of infrared radiator for thermal camera calibration | |
KR20220087595A (en) | Method for calibrating temperature of thermal camera by image processing apparatus | |
CN113405674B (en) | Body temperature measuring method and camera equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |