KR20220079753A - 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법 - Google Patents
얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법 Download PDFInfo
- Publication number
- KR20220079753A KR20220079753A KR1020200168670A KR20200168670A KR20220079753A KR 20220079753 A KR20220079753 A KR 20220079753A KR 1020200168670 A KR1020200168670 A KR 1020200168670A KR 20200168670 A KR20200168670 A KR 20200168670A KR 20220079753 A KR20220079753 A KR 20220079753A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- temperature
- thermal
- photographed
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims description 42
- 238000012937 correction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 16
- 238000009529 body temperature measurement Methods 0.000 description 10
- 230000005484 gravity Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000036760 body temperature Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 8
- 238000001931 thermography Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001444 catalytic combustion detection Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 208000025370 Middle East respiratory syndrome Diseases 0.000 description 1
- 241000127282 Middle East respiratory syndrome-related coronavirus Species 0.000 description 1
- 201000003176 Severe Acute Respiratory Syndrome Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000006229 carbon black Substances 0.000 description 1
- 239000003575 carbonaceous material Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 208000021760 high fever Diseases 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 201000010740 swine influenza Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6844—Monitoring or controlling distance between sensor and tissue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0271—Thermal or temperature sensors
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Radiation Pyrometers (AREA)
Abstract
본 발명의 일 실시예에 따르면, 실상 카메라가 촬영한 실상 이미지와 열상 카메라로 촬영한 열상 이미지를 수신하여 각각의 이미지에서 얼굴을 검출하는 단계; 상기 실상 이미지와 열상 이미지에서 각각 얼굴을 검출하는 단계; 및 상기 실상 이미지에서 검출된 얼굴과, 상기 열상 이미지에서 검출된 얼굴에 기초하여 상기 촬영대상까지의 거리를 측정하는 단계;를 포함하는 것을 특징으로 하는 촬영 대상의 온도를 측정하는 방법이 개시된다.
Description
본 발명은 얼굴 인식이 가능한 열상 카메라 시스템 및 촬영 대상의 온도를 측정하는 방법에 관한 것이다.
최근 사스(중증 급성 호흡기 증후군), 신종플루, 메르스, 코로나 바이러스 등의 호흡기성 전염병이 빈번하게 발생하고 있으며 이러한 전염병의 유증상자를 발견하고 추적하기 위해 열상 카메라를 이용하여 체온을 측정하는 장비가 널리 사용되고 있다.
열상 카메라를 이용한 현재 체온 측정 방법은 통행로에 열상 카메라를 설치하여 통행로를 지나는 통행자의 체온을 측정하여 고열이 나는 사람을 식별하는 것이다. 또한 실상 카메라와 열상 카메라로 통행자를 동시에 촬영하여 실상 이미지 및/또는 열상 이미지를 화면에 동시에 표시하기도 한다.
이러한 체온 측정용 열상 카메라 시스템의 경우 체온을 정확히 측정하는 것이 중요하다. 그러나 기존 열상 카메라는 동일 온도의 측정대상이라도 주변의 온도, 바람, 습도 등 다양한 원인에 의해 촬영대상까지의 거리에 따라 온도를 다르게 출력하는 문제가 있다. 예를 들어 섭씨 50도의 물체를 촬영하는 경우 거리가 1미터, 2미터, 3미터로 각각 달라질 경우 해당 물체의 온도가 50도, 49도, 48도 등으로 다르게 인식하게 되며, 따라서 통행로를 지나가는 사람들의 경우 촬영대상의 거리가 시시각각 변하기 때문에 측정대상의 체온을 정확히 측정하기 어려운 문제가 발생한다.
이를 해결하기 위해 레이저, 라이다, 레이더, 또는 초음파 등 각종 측정 방식의 거리측정 기기를 추가로 장착하여 촬영대상까지의 거리를 측정하고 거리를 반영하여 온도를 보정할 수도 있지만, 이러한 방식의 거리측정기로는 한번에 여러 사람을 탐지하여 각각의 거리를 측정할 수 없고 열상 카메라 시스템에 별도의 거리측정 장비를 장착해야 하는 번거로움이 있다.
본 발명은 상기 문제점을 해결하기 위한 것으로, 기존의 열상 카메라 시스템에 구비된 실상 카메라와 열상 카메라를 이용하여 촬영대상까지의 거리를 산출하고 이 산출된 거리에 따라 온도를 보상하여 촬영대상의 온도를 정확히 측정할 수 있는 열상 카메라 시스템과 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따르면, 실상 카메라와 열상 카메라로 각각 촬영한 이미지를 처리하는 영상 처리장치로서, 촬영대상을 실상 카메라로 촬영한 실상 이미지와 열상 카메라로 촬영한 열상 이미지를 수신하여 각각의 이미지에서 얼굴을 검출하는 얼굴인식부; 및 상기 실상 이미지와 열상 이미지에서 각각 검출된 얼굴의 위치에 기초하여 상기 촬영대상까지의 거리를 측정하는 거리측정부;를 포함하는 것을 특징으로 하는 영상 처리장치를 개시한다.
본 발명의 다른 실시예에 따르면, 실상 카메라와 열상 카메라로 각각 촬영한 이미지를 처리하는 영상 처리장치를 구비한 열상 카메라 시스템에서 촬영 대상의 온도를 측정하는 방법에 있어서,
실상 카메라가 촬영한 실상 이미지와 열상 카메라로 촬영한 열상 이미지를 수신하여 각각의 이미지에서 얼굴을 검출하는 단계; 상기 실상 이미지와 열상 이미지에서 각각 얼굴을 검출하는 단계; 및 상기 실상 이미지에서 검출된 얼굴과, 상기 열상 이미지에서 검출된 얼굴에 기초하여 상기 촬영대상까지의 거리를 측정하는 단계;를 포함하는 것을 특징으로 하는 촬영 대상의 온도를 측정하는 방법을 개시한다.
본 발명의 일 실시예에 따르면, 촬영대상까지의 거리를 산출하고 이 산출된 거리에 따른 온도 보상을 적용하여 촬영대상의 온도를 정확히 측정할 수 있다. 또한 본 발명에 따르면 기존의 열상 카메라 시스템에 이미 구비되어 있는 실상 카메라와 열상 카메라를 이용하여 촬영대상까지의 거리를 측정하기 때문에 별도의 거리측정 장비를 추가로 장착할 필요가 없으며 시스템 설치 및 운용이 용이하고 비용을 줄이는 이점이 있다.
또한 본 발명의 일 실시예에 따르면 촬영 영역 내에 설치된 온도 교정기를 자동으로 인식하여 온도를 보정할 수 있으므로 촬영대상에 대해 더욱 더 정확한 온도 측정을 할 수 있다.
도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 설명하기 위한 도면,
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도,
도3은 일 실시예에 따라 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 산출하는 방법을 설명하는 도면,
도4는 일 실시예에 따른 영상 처리장치의 블록도,
도5는 일 실시예에 따라 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법의 흐름도, 및
도6은 일 실시예에 따라 온도 교정기를 자동으로 인식하여 온도를 교정하는 방법의 흐름도이다.
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도,
도3은 일 실시예에 따라 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 산출하는 방법을 설명하는 도면,
도4는 일 실시예에 따른 영상 처리장치의 블록도,
도5는 일 실시예에 따라 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법의 흐름도, 및
도6은 일 실시예에 따라 온도 교정기를 자동으로 인식하여 온도를 교정하는 방법의 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서 제1, 제2 등의 용어가 구성요소들을 기술하기 위해서 사용된 경우, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '~를 포함한다', ‘~로 구성된다', 및 ‘~으로 이루어진다’라는 표현은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 용어 '소프트웨어'는 컴퓨터에서 하드웨어를 움직이는 기술을 의미하고, 용어 '하드웨어'는 컴퓨터를 구성하는 유형의 장치나 기기(CPU, 메모리, 입력 장치, 출력 장치, 주변 장치 등)를 의미하고, 용어 '단계'는 소정의 목을 달성하기 위해 시계열로 연결된 일련의 처리 또는 조작을 의미하고, 용어 '컴퓨터 프로그램' 또는 '프로그램‘은 컴퓨터로 처리하기에 합한 명령의 집합을 의미하고, 용어 '프로그램 기록 매체'는 프로그램을 설치하고 실행하거나 유통하기 위해 사용되는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 의미한다.
본 명세서에서 발명의 구성요소를 지칭하기 위해 사용된 '~부', '~모듈', '~유닛', '~블록', '~보드' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 물리적, 기능적, 또는 논리적 단위를 의미할 수 있고 이는 하나 이상의 하드웨어나 소프트웨어 또는 펌웨어로 구현되거나 또는 하나 이상의 하드웨어, 소프트웨어, 및/또는 펌웨어의 결합으로 구현될 수 있다.
본 명세서에서, '처리장치', '컴퓨터' 또는 '컴퓨팅 장치'는 윈도우, 맥, 또는 리눅스와 같은 운영체제, 컴퓨터 프로세서, 메모리, 응용프로그램들, 기억장치(예를 들면, HDD, SDD), 및 모니터를 구비한 장치일 수 있다. 컴퓨터는 예를 들면, 데스크탑 컴퓨터나 노트북과 같은 것일 수 있으나, 이들은 예시적인 것으로 본원 발명은 데스크탑 컴퓨터나 노트북에만 한정되는 것이 아니다. 모바일 단말기는 스마트폰, 태블릿 PC, 또는 PDA와 같은 모바일 무선통신기기 중 하나일 수 있다.
이하 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도1은 본 발명의 일 실시예에 따른 열상 카메라 시스템을 개략적으로 나타낸다. 도면을 참조하면 일 실시예에 따른 열상 카메라 시스템은 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)를 포함한다. 본 발명의 열상 카메라 시스템은 임의의 촬영대상(피사체)(S)의 온도를 측정하고 디스플레이 하는데 사용될 수 있으며 본 명세서에서는 일 예로서 사람의 체온을 측정하는 경우를 가정하고 본 발명을 설명하기로 한다.
일 실시예에서 카메라 모듈(10)은 실상 카메라와 열상 카메라를 포함한다. 실상 카메라는 촬영대상의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성하는 카메라이다. 열상 카메라는 촬영대상에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 열상 이미지(당업계에서 '열영상 이미지', '열화상 이미지', 또는 '적외선 이미지'라고 부르기도 함)를 생성한다. 도면에서는 카메라 모듈(10) 내에 실상 카메라와 열상 카메라가 모두 구비된 것으로 도시하였지만 실상 카메라와 열상 카메라가 각기 독립적으로 설치될 수도 있음은 물론이다.
영상 처리장치(20)는 카메라 모듈(10)에서 촬영한 영상 데이터를 처리한다. 예를 들어 영상 처리장치(20)는 카메라 모듈(10)로부터 수신한 실상 이미지 및/또는 열상 이미지에 대한 전처리(예컨대 노이즈 제거, 필터링, 동기화, 정합 등)하고 실상 또는 열상 이미지에서 하나 이상의 촬영대상(S)의 얼굴을 검출하고, 촬영대상(S)의 온도를 산출하고 이 온도 정보를 실상 또는 열상 이미지에 오버랩하는 등의 영상 처리를 수행할 수 있고, 이렇게 처리된 실상 데이터, 열상 데이터, 및/또는 실상과 열상의 합성 데이터를 디스플레이(30)로 출력할 수 있다. 또한 일 실시예에서 영상 처리장치(20)는 카메라 모듈(10)에서부터 촬영대상(S)까지의 거리를 산출하고 이 산출된 거리에 기초하여 촬영대상(S)의 온도를 보정할 수 있다. 이러한 영상 처리장치(20)의 구체적 동작에 대해서는 도2를 참조하여 후술하기로 한다.
디스플레이(30)는 영상 처리장치(20)에서 처리된 영상 데이터를 사용자에게 표시하는 장치로서, 예컨대 LCD 디스플레이, LED 디스플레이 등의 임의의 영상 출력장치로 구현될 수 있다. 일 실시예에서 영상 처리장치(20)는 다양한 방식으로 실상 이미지와 열상 이미지를 디스플레이(30)로 출력할 수 있다. 예를 들어 실상 이미지나 열상 이미지 중 하나만 디스플레이(30)로 출력할 수도 있고, 실상 이미지와 열상 이미지를 서로 오버랩한 합성 이미지를 출력할 수도 있고, 예컨대 PIP (Picture-In-Picture) 기능과 같이 화면을 분할하여 실상 이미지와 열상 이미지를 각각 병렬적으로 출력할 수도 있다.
일 실시예에서 본 발명의 열상 카메라 시스템은 온도 교정기(40)를 더 포함할 수 있다. 온도 교정기(40)는 열상 카메라의 온도 보정에 사용되는 장비로서, 일 실시예에서 적외선 방사체(41) 및 이를 수용하는 케이스(42)로 구성될 수 있다. 적외선 방사체(41)는 적외선을 방출하는 물체이며 바람직하게는 흑체(black body)가 사용된다. 이상적인 흑체는 외부로부터 오는 빛을 모두 흡수하여 반사하지 않고 자신이 가진 에너지에 해당하는 파장의 빛만을 방출하는 물체이다. 따라서 물체를 적외선 촬영하여 이 물체의 정확한 온도를 측정하는 적외선 카메라(열상 카메라)의 온도 보정에 흑체를 사용할 수 있으며, 일 실시예에서 예컨대 카본블랙 등 탄소 재질로 흑체를 만들 수 있다. 적외선 방사체(41)는 임의의 가열/냉각 장치에 연결되어 있고 이에 의해 기설정된 온도로 유지될 수 있도록 구성된다.
적외선 방사체(41)는 케이스(42) 내에 수용되어 있으며 케이스(42)의 일면의 관통구를 통해 외부에서 적외선 방사체(41)를 볼 수 있도록 구성되어 있다. 본 발명의 일 실시예에서, 케이스(42)는 육면체 등 소정 형상을 가지며 케이스의 전방 면을 통해 적외선 방사체(41)를 볼 수 있도록 구성된다. 이 때 방사체(41)를 둘러싸는 케이스(42) 전방 면의 나머지 영역은 기설정된 소정 색상(예컨대 빨간색)으로 칠해져 있거나 또는 소정 패턴이 형성되어 있다.
일 실시예에서 온도 교정기(40)는 촬영대상(S)을 촬영하기 위한 카메라 시야각 내에 위치하도록 배치되며, 따라서 카메라 모듈(10)의 열상 카메라가 촬영대상(S)을 촬영하면서 동시에 온도 교정기(40)도 촬영할 수 있다. 온도 교정기(40)를 이용한 열상 카메라의 온도 교정에 대해서는 도6을 참조하여 후술하기로 한다.
도2는 일 실시예에 따른 열상 카메라 시스템의 블록도이다. 도2에서 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)는 각각 도1의 카메라 모듈(10), 영상 처리장치(20), 및 디스플레이(30)에 대응한다.
카메라 모듈(10)은 실상 카메라(11)와 열상 카메라(12)를 구비할 수 있다. 실상 카메라(11)는 촬영대상(S)의 가시광선 영역의 이미지를 촬영하여 영상 데이터를 생성할 수 있다. 일 실시예에서 실상 카메라(11)는 렌즈, CCD, 및 아날로그-디지털(A/D) 컨버터 등의 하드웨어 및/또는 소프트웨어로 구현된다. 렌즈를 통해 들어온 빛은 CCD에 의해 빛의 강약이 전기적 신호로 변환되고, 이 신호가 A/D 컨버터에서 디지털 신호인 영상 데이터로 변환된다. 이러한 실상 카메라(11)의 구성과 동작은 공지기술이므로 이하에서는 구체적 설명을 생략한다.
열상 카메라(12)는 촬영대상(S)에서 자연적으로 방사하는 적외선을 감지하고 적외선의 양을 열로 환산하여 촬영대상의 온도 데이터를 생성할 수 있다. 일 실시예에서 열상 카메라(12)는 적외선을 통과시키는 적외선 렌즈, 적외선 렌즈로 입사되는 적외선을 검출하여 전기적 신호로 변환하는 검출소자 어레이, 및 전기적 신호를 디지털 신호인 온도 데이터로 변환하는 아날로그-디지털(A/D) 컨버터를 포함한다.
적외선 렌즈는 적외선을 투과시키는 렌즈이며, 검출소자 어레이는 적외선 렌즈로 입사된 적외선을 검출하여 전기적 신호로 변환한다. 검출소자 어레이는 예컨대 다수의 픽셀이 2차원 배열로 구성된 초점면 배열(FPA: Focal Plane Array) 구조를 가질 수 있으나 이러한 구조에 제한되는 것은 아니다. A/D 컨버터는 검출소자 어레이에서 생성된 아날로그 신호인 전기적 신호를 디지털 신호인 온도 데이터로 변환한다. 열상 카메라(12)는 A/D 컨버터에서 변환된 온도 데이터에 대한 불균일 보정(NUC)과 데드 픽셀 처리를 추가적으로 더 수행할 수 있다. 불균일 보정과 데드 픽셀 처리에 관한 기술은 열상 카메라 분야에서 공지기술이므로 구체적 설명을 생략한다.
카메라 모듈(10)의 실상 카메라(11)와 열상 카메라(12)에서 생성된 실상 이미지와 열상 이미지는 영상 처리장치(20)로 전달되어 처리된다. 일 실시예에서 영상 처리장치(20)는 얼굴인식부(21), 매칭 포인트 검출부(22), 해상도 조절부(23), 거리측정부(24), 온도측정부(25), 및 흑체인식부(26)를 포함할 수 있다.
얼굴인식부(21)는 촬영대상(S)을 실상 카메라(11)로 촬영한 실상 이미지와 열상 카메라(12)로 촬영한 열상 이미지를 각각 수신하여 각각의 이미지에서 하나 이상의 얼굴을 검출한다. 일 실시예에서 얼굴인식부(21)는 실상 이미지와 열상 이미지의 각각에서 촬영대상(S)의 얼굴 영역을 검출하고 검출된 얼굴 영역의 좌표를 포함하는 검출영역 정보를 산출할 수 있다.
이미지에서 얼굴을 검출하기 위해 공지의 기술을 이용할 수 있다. 예를 들어 얼굴인식부(21)는 얼굴의 외형에 기반한 패턴 인식을 이용하여 얼굴을 검출한다. 다양한 얼굴 포즈의 학습영상 집합에 대한 패턴 인식으로 얼굴 패턴을 학습하고 학습된 모델을 이용하여 얼굴을 검출할 수 있으며, 예를 들어 주성분 분석(PCA)에 의해 생성되는 고유 얼굴(eigenface), 선형판별식 해석(LDA), 인공 신경망(ANN), 아다부스트(Adaboost), Haar 특징 필터, 서포트 벡터 머신(SVM) 등의 방법이 사용될 수 있다. 그러나 얼굴인식부(21)는 이러한 얼굴 검출 방식에 한정되지 않고 공지된 다양한 방식과 알고리즘을 이용하여 실상 이미지와 열상 이미지에서 얼굴을 인식하고 검출할 수 있다.
매칭 포인트 검출부(22)는 실상 이미지와 열상 이미지의 각각에서 매칭 포인트를 검출한다. 본 발명의 일 실시예에서 매칭 포인트는 실상 이미지와 열상 이미지에 기초하여 촬영대상(S)까지의 거리를 산출할 때 기준이 되는 특징점 또는 특징 영역으로서, 실상 이미지와 열상 이미지의 각각에서 동일한 특징점을 각각 검출한다.
일 실시예에서, 얼굴인식부(21)가 실상 이미지와 열상 이미지의 각각에서 검출한 얼굴 영역에서 눈동자, 코, 미간 등 임의의 특징점을 선정하여 이를 매칭 포인트로서 검출할 수 있다. 바람직하게는, 일 실시예에서 얼굴의 두 눈 사이의 중심점을 매칭 포인트로서 설정하며, 이 경우 각 이미지에서 두 눈동자의 무게중심을 계산하여 매칭 포인트를 검출할 수 있다. 무게중심 계산은 일반적인 2차원 형상 면적이나 픽셀 영역에서 무게 중심점을 계산하는 공지의 알고리즘을 이용하여 계산할 수 있다. 또한 바람직한 일 실시예에서, 예컨대 촬영대상(S)이 안경이나 선글라스를 쓰고 있는 경우 안경이나 선글라스(이하 간단히 '안경'이라 함)의 형상 전체에 대한 무게중심을 구하고 이 무게중심점을 매칭 포인트로서 이용할 수 있다.
특히 촬영대상(S)이 안경을 쓴 경우, 실상 이미지에서는 눈동자를 식별할 수 있지만 열상 이미지에서는 적외선이 유리를 통과하지 못하므로 안경이 전체적으로 검은색으로 표시되어 눈동자를 식별할 수 없는 문제가 있다. 따라서 본 발명의 일 실시예에 따른 매칭 포인트 검출부(22)는, 실상 이미지와 열상 이미지의 각각에서 눈동자를 식별한 경우 두 눈동자의 무게중심점을 계산하여 이를 매칭 포인트로서 설정하고 눈동자를 식별하지 못하는 경우 안경 형상 전체의 무게중심을 계산하여 이를 매칭 포인트로서 각각 설정한다.
해상도 조절부(23)는 실상 이미지와 열상 이미지 중 적어도 하나의 해상도 조정하여 두 이미지가 동일한 해상도를 갖도록 하는 기능부이다. 일반적으로 사용되는 카메라 모듈(10)의 경우 열상 카메라의 가격이 상대적으로 매우 고가이기 때문에 실상 이미지에 비해 열상 이미지의 해상도가 떨어지는 카메라를 사용하는 것이 보통이다. 예를 들어 카메라 모듈(10)의 실상 카메라가 HD급(예컨대 1280*720) 또는 FHD급(예컨대 1920*1080) 화질을 가질 경우 열상 카메라(12)는 VGA급(예컨대 640*480) 또는 384*288의 화질의 카메라를 사용한다. 그러나 실상 이미지에서 산출한 매칭 포인트와 열상 이미지에서 산출한 매칭 포인트가 동일한 지점(픽셀)을 가리키기 위해 두 이미지의 해상도를 일치시키는 것이 바람직하며 본 발명의 일 실시예에서 해상도 조절부(23)에서 두 이미지의 해상도를 동일하게 일치시킬 수 있다.
일 실시예에서 해상도 조절부(23)는 이미지의 해상도를 변경하는 공지의 알고리즘을 이용하여 실상 이미지의 해상도를 낮춰서 열상 이미지의 해상도에 맞추거나 열상 이미지의 해상도를 높여서 실상 이미지에 맞출 수 있다. 또는 대안적으로, 실상 이미지와 열상 이미지의 해상도를 각각 조절하여 제3의 해상도로 일치시킬 수 있다.
거리측정부(24)는 실상 이미지와 열상 이미지에서 각각 검출된 매칭 포인트에 기초하여 카메라 모듈(10)에서부터 촬영대상(S)까지의 거리를 산출한다. 일 실시예에서 거리측정부(24)는 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 측정할 수 있다.
이와 관련하여 도3은 일 실시예에 따라 실상 이미지와 열상 이미지를 정합하여 촬영대상까지의 거리를 산출하는 예시적 방법을 나타낸다.
도3을 참조하면, 카메라 모듈(10)의 실상 카메라(11)와 열상 카메라(12)가 각각 동일한 시야각으로 각 카메라의 정면을 바라보도록 설치되어 촬영대상(S)을 촬영한다. 이 때 두 카메라(11,12)는 소정 거리(D)만큼 이격되어 설치된다. 따라서 예컨대 촬영대상(S)이 도3에 도시한 위치에 있을 경우, 실상 카메라(11)가 촬영한 실상 이미지에서 촬영대상(S)의 매칭 포인트와 실상 이미지의 중심 사이의 각도가 제1 각도(θ1)로 측정되는 반면 열상 카메라(12)가 촬영한 열상 이미지에서는 촬영대상(S)의 매칭 포인트와 열상 이미지의 중심 사이의 각도는 제2 각도(θ2)로 측정된다. 따라서 거리측정부(24)는 각 이미지에서 제1 각도(θ1)와 제2 각도(θ2)를 각각 산출하고 이 각도 및 카메라 사이의 거리(D)에 기초하여 카메라 모듈(10)에서부터 촬영대상(S)까지의 거리를 계산할 수 있다.
다시 도2를 참조하면, 온도측정부(25)는 열상 이미지로부터 촬영대상(S)의 온도를 계산하고, 바람직하게는, 거리측정부(24)에서 산출한 측정대상(S)까지의 거리에 기초하여 온도를 보정한 후 최종적으로 촬영대상(S)의 온도를 산출할 수 있다. 예를 들어 카메라 모듈(10)에서부터 소정 거리에 따른 온도 보정값을 룩업 테이블 등의 형태로 미리 저장해두고 거리측정부(24)에서 산출한 거리에 상기 룩업 테이블을 적용하여 온도 보정값을 계산할 수 있다. 또는 대안적으로, 카메라 모듈(10)로부터의 거리에 따라 온도 보정 수식을 미리 정의해두고 거리측정부(24)가 측정한 거리를 이 수식에 입력하여 온도 보정값을 계산할 수도 있으며, 이렇게 계산된 온도 보정값을 열상 이미지로부터 산출한 온도에 더함으로써 촬영대상(S)의 보정된 온도를 산출할 수 있다.
흑체 인식부(26)는 촬영하는 이미지 내에서 온도 교정기(40)를 인식할 수 있다. 일 실시예에서 온도 교정기(40)의 형상과 색채에 대한 정보를 미리 저장해둔 경우 흑체 인식부(26)가 실상 이미지에서 온도 교정기(40)를 인식할 수 있고 열상 이미지에서 온도 교정기(40)의 적외선 방사체(41)의 온도를 산출한 후 이 온도 정보를 온도측정부(25)로 전달하며, 온도측정부(25)는 적외선 방사체(41)의 온도 정보에 기초하여 온도를 추가로 보정할 수 있다. 온도 교정기(40)를 인식하고 온도 교정 동작을 수행하는 예시적 실시예에 대해서는 도8을 참조하여 후술하기로 한다.
상술한 영상 처리장치(20)의 각 기능부인 얼굴인식부(21), 매칭 포인트 검출부(22), 해상도 조절부(23), 거리측정부(24), 온도측정부(25), 및 흑체인식부(26)는 해당 기능을 수행하도록 프로그램된 소프트웨어 및/또는 필요에 따라 이를 지원하는 하드웨어로 구성될 수 있다. 예를 들어 도4는 일 실시예에 따른 영상 처리장치의 블록도이다. 도4를 참조하면, 일 실시예에 따른 영상 처리장치(20)는 임의의 컴퓨터 장치일 수 있고, 도시한 것처럼 프로세서(110), 메모리(120), 및 저장장치(130)를 포함할 수 있다.
저장장치(130)는 하드 디스크 드라이브 또는 플래시 메모리 등과 같이 데이터를 반영구적으로 저장할 수 있는 저장매체이며 예컨대 얼굴인식 알고리즘(210), 매칭 포인트 검출 알고리즘(220), 해상도 조절 알고리즘(230), 거리측정 알고리즘(240), 온도측정 알고리즘(250), 흑체인식 알고리즘(260)등의 소프트웨어를 저장할 수 있다. 이 때 얼굴인식 알고리즘(210)은 예컨대 얼굴인식부(21)의 적어도 일부 기능을 수행하는 소프트웨어이고, 매칭 포인트 검출 알고리즘(220)은 예컨대 매칭 포인트 검출부(22)의 적어도 일부 기능을 수행하는 소프트웨어이고, 해상도 조절 알고리즘(230)은 예컨대 해상도 조절부(23)의 적어도 일부 기능을 수행하는 소프트웨어이고, 거리측정 알고리즘(240)은 예컨대 거리측정부(24)의 적어도 일부 기능을 수행하는 소프트웨어이고, 온도측정 알고리즘(250)은 예컨대 온도측정부(25)의 적어도 일부 기능을 수행하는 소프트웨어이고, 그리고 흑체인식 알고리즘(260)은 예컨대 온도측정부(26)의 적어도 일부 기능을 수행하는 소프트웨어일 수 있다.
이 구성에서 이러한 각종 소프트웨어나 알고리즘이 저장장치(130)에 저장되어 있다가 프로세서(110)의 제어 하에 메모리(120)에 로딩되어 실행될 수 있다. 대안적으로, 이러한 기능부(210,220,230,240,250,260)는 각기 독립적인 소프트웨어로 구현될 수도 있고 둘 이상의 기능부가 통합된 소프트웨어로 구현될 수도 있으며 이 기능부들 중 적어도 일부가 영상 처리장치(20) 외부의 임의의 처리장치에 설치되어 실행될 수도 있다.
도5는 일 실시예에 따라 촬영대상의 온도를 측정하는 방법의 흐름도이다. 도면을 참조하면, 본 방법은 촬영대상(S)에 대하여 실상 이미지와 열상 이미지를 촬영하는 단계(S10), 실상 이미지와 열상 이미지에서 각각 얼굴을 인식하는 단계(S20), 거리를 측정하는 단계, 및 거리별 온도 보정하는 단계(S60)를 포함할 수 있다. 여기서, 거리를 측정하는 단계는, 실상 이미지와 열상 이미지의 각각에서 매칭 포인트를 검출하는 단계(S30), 실상 이미지와 열상 이미지의 각각의 해상도를 조정하는 단계(S40), 및 실상 이미지와 열상 이미지를 정합하여 거리를 산출하는 단계(S50)를 포함할 수 있다.
이하, 본 방법을 보다 상세히 설명하면, 우선 단계(S10)에서 실상 카메라(11)와 열상 카메라(12)로 촬영대상(S)을 촬영하여 실상 이미지와 열상 이미지를 각각 생성하고 이를 영상 처리장치(20)로 전달한다. 영상 처리장치(20)는 전달받은 실상 이미지와 열상 이미지에 대한 전처리를 수행할 수 있다. 예컨대 이미지의 노이즈 제거, 고대역/저대역 필터링 등의 처리를 하여 영상 개선을 하고 실상 및 열상 이미지의 동기화 처리를 수행할 수 있다.
그 후 단계(S20)에서 영상 처리장치(20)의 얼굴인식부(21)가 실상 이미지와 열상 이미지의 각각에서 얼굴을 검출하고, 단계(S30)에서 매칭 포인트 검출부(22)가 실상 이미지와 열상 이미지의 각 검출된 얼굴에서 매칭 포인트를 각각 검출한다. 예를 들어 매칭 포인트 검출부(22)는 검출된 얼굴 영역에서 두 눈동자의 무게중심점 또는 안경의 무게중심점을 계산하여 이 무게중심점을 매칭 포인트로서 설정한다.
그 후 단계(S40)에서 영상 처리장치(20)의 해상도 조절부(23)가 실상 이미지와 열상 이미지 중 적어도 하나의 이미지의 해상도를 변경하여 두 이미지의 해상도를 일치시킨다. 해상도 조절부(23)는 두 이미지의 해상도를 완전히 동일하게 일치시킬 수도 있지만, 두 이미지의 해상도 차이가 기설정된 소정 범위 내에 속할 정도로 두 이미지 중 적어도 하나의 해상도를 조절할 수도 있다. 해상도를 조절하는 단계(S40)는 실상 이미지와 열상 이미지의 각각을 촬영한 직후(예컨대 단계(S10) 직후) 수행될 수도 있지만 바람직하게는 두 이미지를 정합하기 직전에 수행한다. 실상 이미지와 열상 이미지의 각각에서 매칭 포인트를 검출하는 동작을 원 해상도의 이미지를 대상으로 수행함으로써 각 이미지에서 매칭 포인트를 보다 정확히 검출할 수 있다.
다음으로 단계(S50)에서 영상 처리장치(20)의 거리측정부(24)는 실상 이미지와 열상 이미지를 정합하여 촬영대상(S)까지의 거리를 산출한다. 예를 들어 거리측정부(24)는 도3을 참조하여 설명한 것처럼 실상 이미지에서의 매칭 포인트의 위치, 열상 이미지에서의 매칭 포인트의 위치, 및 실상 카메라와 열상 카메라 사이의 거리(D)에 기초하여 촬영대상까지의 거리를 측정할 수 있다.
다음으로, 단계(S60)에서 온도측정부(25)는 열상 이미지로부터 산출한 촬영대상의 온도와 촬영대상까지의 거리에 따른 기설정된 온도 보정값을 더하여 상기 촬영대상의 보정된 온도를 산출할 수 있으며, 따라서 본 발명의 실시예에 따르면 촬영대상(S)의 거리에 따른 온도 보상이 가능하여 촬영대상의 온도를 보다 정확히 측정할 수 있는 기술적 효과를 가진다.
이제 도6을 참조하여 일 실시예에 따라 온도 교정기를 자동으로 인식하고 온도 교정을 수행하는 예시적 실시예를 설명하기로 한다.
온도를 교정하는 예시적 방법으로, 우선 흑체인식부(26)가 이미지 내에서 온도 교정기(40)를 인식할 수 있도록 온도 교정기(40)의 형상 및/또는 색상 등의 정보를 영상 처리장치(20)에 등록할 수 있다. 예컨대 온도 교정기(40)를 실상 카메라(11) 및/또는 열상 카메라(12)로 촬영하고 이 촬영 이미지에서 온도 교정기(40)를 포함하는 픽셀 영역을 지정하면 흑체인식부(26)가 이 지정된 픽셀 영역 내에서 온도 교정기(40)의 케이스(42)의 에지 라인(윤곽선) 및 케이스(42) 전면의 색상이나 패턴을 인식하고 이 인식된 에지 라인, 색상, 및/또는 패턴 정보를 영상 처리장치(20)에 등록한다.
그 후 실상 및/또는 열상 카메라(11,12)를 이용하여 실제 촬영시 촬영대상과 함께 온도 교정기를 촬영하고, 상기 등록된 온도 교정기 정보에 기초하여 촬영 이미지에서 온도 교정기(40)를 인식한다. 예를 들어 실상 이미지에서 온도 교정기(40)의 케이스(42)의 윤곽이나 색상 또는 패턴을 인식하여 온도 교정기(40)를 식별할 수 있다. 그 후 흑체인식부(26)는 열상 이미지에서 온도 교정기(40)의 적외선 방사체(41)를 식별하고 적외선 방사체(41)의 온도를 측정할 수 있다. 예컨대 흑체인식부(26)는 실상 이미지에서 식별된 온도 교정기(40)의 외관(케이스)(42)의 중심 영역이 적외선 방사체(41) 영역이라고 판단하고 이 중심 영역의 온도를 적외선 방사체(41)의 온도라고 판단할 수 있다.
그 후 흑체인식부(46)는 적외선 방사체(41)의 측정 온도에 관한 정보를 온도측정부(25)로 전달하고, 온도측정부(25)는 적외선 방사체(41)의 온도를 기준온도로 하여 열상 이미지의 온도 정보를 교정할 수 있다. 예를 들어 적외선 방사체(41)에 해당하는 픽셀의 온도 값이 적외선 방사체(41)의 실제 온도와 차이가 있을 경우 이 온도 차이값 만큼을 전체 픽셀에 적용하여 열상 이미지의 온도를 보정할 수 있고, 그 외에도 공지된 다른 온도 교정 방법이 사용될 수 있다.
이러한 온도 교정기(40)를 이용한 온도 교정 동작은 기설정된 소정 시간주기마다 실행될 수 있고, 대안적으로, 온도 교정을 수행할지 여부를 영상 처리장치(20)가 자동으로 판단하여 실행할 수도 있다. 예컨대 열상 카메라(12)가 소정 시간 동안 촬영하여 측정한 촬영대상의 체온의 평균값을 산출하고 이 평균값이 기설정된 온도 범위를 벗어나는 경우 영상 처리장치(20)가 상술한 온도 교정 방법을 실행하도록 구성할 수 있다.
또한 일 실시예에서, 이러한 온도 교정기 인식 및 온도 교정 동작은 도5를 참조하여 설명한 촬영대상(S)까지의 거리를 측정하고 온도를 측정하는 동작과 동시에 또는 순차적으로 수행될 수 있다. 즉, 카메라모듈(10)로 촬영대상(S)을 촬영하고 거리를 측정하고 이에 기초하여 촬영대상의 온도를 산출하고 이 산출된 온도를 온도 교정기(40)를 이용하여 교정할 수 있다.
이상과 같이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 수 있다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 카메라 모듈
11: 실상 카메라
12: 열상 카메라 20: 영상 처리장치
21: 얼굴인식부 22: 매칭 포인트 검출부
23: 해상도 조절부 24: 거리측정부
25: 온도측정부 26: 흑체인식부
30: 디스플레이 40: 온도 교정기
41: 적외선 방사체 42: 케이스
12: 열상 카메라 20: 영상 처리장치
21: 얼굴인식부 22: 매칭 포인트 검출부
23: 해상도 조절부 24: 거리측정부
25: 온도측정부 26: 흑체인식부
30: 디스플레이 40: 온도 교정기
41: 적외선 방사체 42: 케이스
Claims (6)
- 실상 카메라와 열상 카메라로 각각 촬영한 이미지를 처리하는 영상 처리장치를 구비한 열상 카메라 시스템에서 촬영 대상의 온도를 측정하는 방법에 있어서,
실상 카메라가 촬영한 실상 이미지와 열상 카메라로 촬영한 열상 이미지를 수신하여 각각의 이미지에서 얼굴을 검출하는 단계;
상기 실상 이미지와 열상 이미지에서 각각 얼굴을 검출하는 단계; 및
상기 실상 이미지에서 검출된 얼굴과, 상기 열상 이미지에서 검출된 얼굴에 기초하여 상기 촬영대상까지의 거리를 측정하는 단계;를 포함하는 것을 특징으로 하는 촬영 대상의 온도를 측정하는 방법. - 제 1 항에 있어서,
상기 거리를 측정하는 단계는,
상기 실상 이미지에서 검출한 얼굴에서 제1 매칭 포인트를 검출하고 상기 열상 이미지에서 검출한 얼굴에서 제2 매칭 포인트를 검출하는 단계를 포함하는 것을 특징으로 하는 촬영 대상의 온도를 측정하는 방법. - 제 2 항에 있어서,
상기 거리를 측정하는 단계는,
상기 실상 이미지와 상기 열상 이미지를 정합하여 촬영대상까지의 거리를 측정하는 단계를 더 포함하는 것을 특징으로 하는 촬영 대상의 온도를 측정하는 방법. - 제 3 항에 있어서,
상기 실상 이미지와 상기 열상 이미지를 정합하여 촬영대상까지의 거리를 측정하는 단계는, 상기 실상 이미지에서의 제1 매칭 포인트의 위치, 상기 열상 이미지에서의 제2 매칭 포인트의 위치, 및 상기 실상 카메라와 열상 카메라 사이의 거리에 기초하여 촬영대상까지의 거리를 측정하는 것을 특징으로 하는 촬영 대상의 온도를 측정하는 방법. - 제 3 항에 있어서,
열상 이미지로부터 상기 촬영대상의 온도를 산출하고 상기 측정된 촬영대상까지의 거리에 기초하여 상기 촬영대상의 온도를 보정하는 단계를 더 포함하는 것을 특징으로 하는 촬영 대상의 온도를 측정하는 방법. - 제 5 항에 있어서,
상기 온도를 보정하는 단계는, 상기 열상 이미지로부터 산출한 촬영대상의 온도와 촬영대상까지의 거리에 따른 기설정된 온도 보정값을 더하여 상기 촬영대상의 온도를 산출하는 것을 특징으로 하는 촬영 대상의 온도를 측정하는 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200168670A KR102487590B1 (ko) | 2020-12-04 | 2020-12-04 | 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200168670A KR102487590B1 (ko) | 2020-12-04 | 2020-12-04 | 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220079753A true KR20220079753A (ko) | 2022-06-14 |
| KR102487590B1 KR102487590B1 (ko) | 2023-01-13 |
Family
ID=81980210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200168670A KR102487590B1 (ko) | 2020-12-04 | 2020-12-04 | 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102487590B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102577564B1 (ko) * | 2022-11-21 | 2023-09-12 | 한화시스템 주식회사 | 열화상 온도 측정장치 및 열화상 온도 측정방법 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002188914A (ja) * | 2000-12-20 | 2002-07-05 | Mitsubishi Electric Corp | 赤外線撮像装置 |
| KR20110128574A (ko) * | 2010-05-24 | 2011-11-30 | 주식회사 다음커뮤니케이션 | 이미지내 생체 얼굴 인식 방법 및 인식 장치 |
| KR20120070320A (ko) * | 2010-12-21 | 2012-06-29 | 엘지디스플레이 주식회사 | 스테레오 카메라를 포함하는 디스플레이 시스템 및 이를 이용한 위치검출 방법 |
| KR20130054767A (ko) * | 2011-11-17 | 2013-05-27 | 주식회사 에스원 | 다중 생체 인식 장치 및 방법 |
| KR20190063671A (ko) | 2017-11-30 | 2019-06-10 | (주)코어센스 | 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치 |
| KR20190125682A (ko) * | 2018-04-30 | 2019-11-07 | 주식회사 허브테크 | 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법 |
| JP6732902B2 (ja) * | 2016-06-03 | 2020-07-29 | マクセル株式会社 | 撮像装置および撮像システム |
| KR20200095918A (ko) * | 2019-02-01 | 2020-08-11 | 엘지전자 주식회사 | 공간정보 인식장치 |
-
2020
- 2020-12-04 KR KR1020200168670A patent/KR102487590B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002188914A (ja) * | 2000-12-20 | 2002-07-05 | Mitsubishi Electric Corp | 赤外線撮像装置 |
| KR20110128574A (ko) * | 2010-05-24 | 2011-11-30 | 주식회사 다음커뮤니케이션 | 이미지내 생체 얼굴 인식 방법 및 인식 장치 |
| KR20120070320A (ko) * | 2010-12-21 | 2012-06-29 | 엘지디스플레이 주식회사 | 스테레오 카메라를 포함하는 디스플레이 시스템 및 이를 이용한 위치검출 방법 |
| KR20130054767A (ko) * | 2011-11-17 | 2013-05-27 | 주식회사 에스원 | 다중 생체 인식 장치 및 방법 |
| JP6732902B2 (ja) * | 2016-06-03 | 2020-07-29 | マクセル株式会社 | 撮像装置および撮像システム |
| KR20190063671A (ko) | 2017-11-30 | 2019-06-10 | (주)코어센스 | 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치 |
| KR20190125682A (ko) * | 2018-04-30 | 2019-11-07 | 주식회사 허브테크 | 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법 |
| KR20200095918A (ko) * | 2019-02-01 | 2020-08-11 | 엘지전자 주식회사 | 공간정보 인식장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102577564B1 (ko) * | 2022-11-21 | 2023-09-12 | 한화시스템 주식회사 | 열화상 온도 측정장치 및 열화상 온도 측정방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102487590B1 (ko) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5636116B2 (ja) | 赤外線アレイセンサーを利用した携帯用温度測定装置 | |
| US7430365B2 (en) | Safe eye detection | |
| JP5567853B2 (ja) | 画像認識装置および方法 | |
| US11068700B2 (en) | Polarization imaging for facial recognition enhancement system and method | |
| US9813643B2 (en) | Thermal recognition systems and methods | |
| KR102227284B1 (ko) | 디스플레이 장치 및 그 제어 방법 | |
| US20160180169A1 (en) | Iris recognition device, iris recognition system including the same and method of operating the iris recognition system | |
| US7137707B2 (en) | Projector-camera system with laser pointers | |
| KR102207650B1 (ko) | 열상 카메라 시스템의 온도 교정 방법 | |
| KR102251307B1 (ko) | 거리측정 기능을 갖는 열상 카메라 시스템 | |
| CN108605087A (zh) | 终端的拍照方法、拍照装置和终端 | |
| US20230079693A1 (en) | Elevated temperature screening systems and methods | |
| CN109683698B (zh) | 支付验证方法、装置、电子设备和计算机可读存储介质 | |
| US20230054197A1 (en) | Dual-band temperature detection systems and methods | |
| US11218650B2 (en) | Image processing method, electronic device, and computer-readable storage medium | |
| KR102205605B1 (ko) | 열상 이미지의 온도 표시 방법 | |
| KR102487590B1 (ko) | 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법 | |
| KR102351496B1 (ko) | 영상 처리 장치 및 그 동작 방법 | |
| US10970539B2 (en) | Binding of selfie face image to iris images for biometric identity enrollment | |
| KR102580362B1 (ko) | 열상 카메라를 구비한 체온 측정장치에 의한 체온 측정 방법 | |
| KR102593382B1 (ko) | 열상 카메라 온도 교정용 적외선 방사체의 온도 측정 방법 | |
| KR102581989B1 (ko) | 열상 카메라 시스템에서 온도 교정기를 자동으로 인식하는 방법 | |
| KR20220087595A (ko) | 영상 처리장치에 의한 열상 카메라의 온도 보정 방법 | |
| KR20100125983A (ko) | 얼굴밝기 측정에 의한 카메라의 노출과 셔터스피드 제어방법 및 그 제어방법에 의한 카메라 장치 | |
| AU2020271607A1 (en) | Biometrics imaging device and biometrics imaging method for capturing image data of a body part of a person which enable improved image data quality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |