KR20190125682A - 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법 - Google Patents

멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법 Download PDF

Info

Publication number
KR20190125682A
KR20190125682A KR1020180049787A KR20180049787A KR20190125682A KR 20190125682 A KR20190125682 A KR 20190125682A KR 1020180049787 A KR1020180049787 A KR 1020180049787A KR 20180049787 A KR20180049787 A KR 20180049787A KR 20190125682 A KR20190125682 A KR 20190125682A
Authority
KR
South Korea
Prior art keywords
distance
temperature
thermal
camera
unit
Prior art date
Application number
KR1020180049787A
Other languages
English (en)
Other versions
KR102085625B1 (ko
Inventor
서봉균
Original Assignee
주식회사 허브테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 허브테크 filed Critical 주식회사 허브테크
Priority to KR1020180049787A priority Critical patent/KR102085625B1/ko
Publication of KR20190125682A publication Critical patent/KR20190125682A/ko
Application granted granted Critical
Publication of KR102085625B1 publication Critical patent/KR102085625B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/027Constructional details making use of sensor-related data, e.g. for identification of sensor parts or optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80Calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • G01J2005/0048

Abstract

멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법을 개시한다.
일정한 간격을 두고 설치되는 복수개의 적외선 이미지 센서를 포함하며, 각각의 적외선 이미지 센서를 통해 열화상 이미지를 획득하는 열화상 카메라부; 상기 열화상 카메라부로부터 입력받은 각각의 이미지 데이터에서 적어도 하나 이상의 피측정체를 검출한 후, 카메라와 각각의 피측정체 간의 거리를 측정하고, 피측정체별로 측정된 거리에 따라 피측정체별로 온도를 보정하는 열화상 데이터 처리부; 및 상기 열화상 데이터 처리부에서 보정된 온도 데이터를 출력 장치에 전송하는 열화상 데이터 모니터링부;를 포함하여 이루어지는 것이 바람직하다.

Description

멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법{THERMAL IMAGE CAMERA HAVING MULTI-POINT TEMPERATURE COMPENSATING FUNCTION AND TEMPERATURE COMPENSATING METHOD USING THE SAME}
본 발명은 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법에 관한 것으로, 보다 상세하게는 복수의 적외선 이미지 센서를 이용하여 피측정체와의 거리를 측정한 후, 다수의 피측정체별로 측정된 거리에 따라 온도를 보정하여 화면에 표시할 수 있도록 하는 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법에 관한 것이다.
일반적으로 열화상 카메라는 촬영되는 물체에서 나오는 적외선 에너지를 감지하여 온도를 측정하고, 측정된 온도를 이미지 또는 영상으로 출력하여 모니터링 할 수 있도록 하는 장치로, 가시광선을 이용하여 색을 표현하는 일반적인 카메라와 달리 온도 측정에 중점을 둔 장치이다.
이와 같이 열화상 카메라는 온도 측정에 중점을 둔 장치이므로, 열화상 카메라에서 측정되는 온도 값은 가장 중요한 요소 중의 하나이다.
열화상 카메라에서 입력되는 데이터는 디지털 데이터이며, 이 입력 데이터는 절대적인 온도 값이 아니므로, 실제 온도에 맞게 보정해야 하는 작업이 요구된다.
이러한 보정 과정에는 여러 가지 입력 인자(Parameter)가 이용되는데, 입력 인자로는 도 1에 도시하는 바와 같이 방사율, 대기 투과율, 창 투과율, 창 반사율 등이 포함될 수 있다.
보정 과정에 영향을 미치는 대표적인 입력 인자에 대한 특성을 살펴보면 표 1과 같다.
입력 인자 특성
방사율 피측정체 표면에서의 열 방출율표면 재질에 따라 0.3~1까지의 값(고정값)
대기 투과율 피측정체와 열화상 센서 사이의 변동인자먼지, 습도, 거리, 반사 등이 있으며, 가장 큰 인자는 거리임. 거리는 계산식의 이득(Gain) 값으로 작용
창 투과율 열화상 센서 앞의 렌즈 및 보호창을 열원이 통과하는 비율(고정값)
열화상 카메라를 이용하여 온도를 측정하기 위해서는 표 1의 3가지 입력 인자를 카메라에서 설정하여야 신뢰성 있는 온도 데이터를 얻을 수 있다.여기서, 방사율은 피측정체의 표면 재질에 따라 특성을 미리 입력할 수 있고, 창 투과율은 카메라 제작시 케리브레이션에 의하여 설정이 가능하다.
그러나 대기 투과율은 다수의 피측정체가 서로 다른 거리에 위치해 있으면, 각각의 거리마다 별도의 설정을 해야 한다.
즉, 다수의 피측정체가 서로 동일한 온도를 갖고 있다 하더라도 열화상 카메라와 피측정체 간의 거리가 달라지면 측정되는 온도 값이 달라지면서, 피측정체가 서로 동일한 온도를 갖고 있다 하더라도 카메라와 가까운 피측정체는 온도 값이 높게 표시되고, 카메라와 멀리 떨어진 피측정체는 온도 값이 낮게 표시된다.
그 이유는 열화상 카메라와 피측정체 간의 거리에 따라 빛(적외선)이 투과해야 하는 대기의 양이 달라질 수 있고, 빛(적외선)이 투과해야 하는 대기의 양에 따라 방사 및 반사되는 크기가 달라질 수 있기 때문이다.
따라서, 종래에는 도 2에 도시하는 바와 같이 다수의 피측정체가 서로 다른 거리에 위치해 있는 경우, 각각의 거리마다 별도로 대기 투과율을 설정 받아 온도를 보정하게 되는 번거로운 문제점이 있다.
한국등록특허공보 제10-0200672호(공고일 1999.06.15.) 한국공개특허공보 제10-2014-0117745호(공개일 2014.10.08.) 한국등록특허공보 제101833137호(공고일 2018.02.28.)
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로, 복수의 적외선 이미지 센서를 스테레오 방식으로 설치하여 카메라와 피측정체 간의 거리를 측정하고, 피측정체별로 측정된 거리에 따라 개별 온도 보정을 수행할 수 있도록 하는 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법을 제공함에 그 목적이 있다.
본 발명의 다른 목적은 피측정체별로 측정된 거리에 따라 개별 온도 보정이 이루어지면, 보정된 온도에 대응하는 온도 값으로 피측정체를 화면에 표시할 수 있도록 하는 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치는, 일정한 간격을 두고 설치되는 복수개의 적외선 이미지 센서를 포함하며, 각각의 적외선 이미지 센서를 통해 열화상 이미지를 획득하는 열화상 카메라부; 상기 열화상 카메라부로부터 입력받은 각각의 이미지 데이터에서 적어도 하나 이상의 피측정체를 검출한 후, 카메라와 각각의 피측정체 간의 거리를 측정하고, 피측정체별로 측정된 거리에 따라 온도를 보정하는 열화상 데이터 처리부; 및 상기 열화상 데이터 처리부에서 보정된 온도 데이터를 출력 장치에 전송하는 열화상 데이터 모니터링부;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 열화상 데이터 처리부는, 상기 각각의 적외선 이미지 센서를 통해 획득한 이미지 데이터를 상기 열화상 카메라부로부터 입력받아 각 화소에 대한 온도 값을 검출하고, 검출된 온도 값을 이용하여 적어도 하나 이상의 피측정체를 검출하는 피측정체 검출부; 상기 피측정체 검출부에서 검출된 각각의 피측정체에 대해 어느 한 좌표를 특정 좌표로 선정하고, 선정된 특정 좌표를 이용하여 카메라와 각각의 피측정체 간의 거리를 측정하는 거리 측정부; 및 상기 거리 측정부에서 피측정체별로 측정된 거리에 따라 피측정체별로 보정 계수를 추출하고, 피측정체별로 추출된 보정 계수를 이용하여 피측정체별로 온도를 보정하는 온도 보정부;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 피측정체 검출부는, 상기 검출된 온도 값을 이용하여 적어도 하나 이상의 피측정체를 검출하되, 배경의 온도 값과 다른 온도 값의 데이터가 입력되면 이를 배경과 분리하여 피측정체로 검출하는 배경 제거 기법, 지속적으로 움직이는 물체가 발생하면, 그 물체를 피측정체로 검출하는 모션 감지 기법 중에서 어느 하나를 이용하여 피측정체를 검출하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 거리 측정부는, 상기 선정된 특정 좌표를 삼각측량기법에 적용시켜 카메라와 각각의 피측정체 간의 거리를 측정하는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 거리 측정부는, 정면을 바라보게 설치된 복수의 적외선 이미지 센서에서 획득한 이미지에 나타난 피측정체의 위치 차이와 적외선 이미지 센서 간의 거리를 이용하여 거리를 측정하는 평행식 기법, 피측정체가 중심에 나타나도록 각도가 조정되는 복수의 적외선 이미지 센서의 각도를 이용하여 거리를 측정하는 교차식 기법 중에서 어느 하나를 이용하여 카메라와 각각의 피측정체 간의 거리를 측정하는 것이 바람직하다.
한편, 본 발명의 일 실시예에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치를 이용한 온도 보정 방법은, 열화상 카메라부가 일정한 간격을 두고 설치되는 복수개의 적외선 이미지 센서를 이용하여 열화상 이미지를 획득하는 단계; 열화상 데이터 처리부에서 상기 열화상 카메라부로부터 입력받은 각각의 이미지 데이터에서 적어도 하나 이상의 피측정체를 검출한 후, 카메라와 각각의 피측정체 간의 거리를 측정하고, 피측정체별로 측정된 거리에 따라 피측정체별로 온도를 보정하는 단계; 및 열화상 데이터 모니터링부에서 상기 열화상 데이터 처리부에서 보정된 온도 데이터를 화면에 출력하는 단계;를 포함하여 이루어지는 것이 바람직하다.
본 발명의 일 실시예에서, 상기 온도를 보정하는 단계는, 상기 열화상 데이터 처리부의 피측정체 검출부에서 상기 각각의 적외선 이미지 센서로부터 획득한 이미지 데이터를 상기 열화상 카메라부로부터 입력받아 각 화소에 대한 온도 값을 검출하고, 검출된 온도 값을 이용하여 적어도 하나 이상의 피측정체를 검출하는 단계; 상기 열화상 데이터 처리부의 거리 측정부에서 상기 검출된 각각의 피측정체에 대해 어느 한 좌표를 선정하고, 선정된 좌표를 이용하여 카메라와 각각의 피측정체 간의 거리를 측정하는 단계; 및 상기 열화상 데이터 처리부의 온도 보정부에서 상기 피측정체별로 측정된 거리에 따라 피측정체별로 보정 계수를 추출하고, 피측정체별로 추출된 보정 계수를 이용하여 피측정체별로 온도를 보정하는 단계;를 포함하여 이루어지는 것이 바람직하다.
본 발명에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법은, 복수의 열화상 카메라를 스테레오 방식으로 설치하여 카메라와 피측정체 간의 거리를 측정하고, 피측정체별로 측정된 거리에 따라 개별 온도 보정을 수행함으로써, 신뢰성 있는 온도 데이터를 얻을 수 있게 된다.
또한, 개별 온도 보정된 온도 값으로 피측정체를 화면에 표시할 수 있게 된다.
도 1은 열화상 카메라 장치의 온도 보정에 이용되는 입력 인자를 예시적으로 보인 도면이다.
도 2는 열화상 카메라와 피측정체 간의 거리에 따른 대기 투과율을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치의 구성을 개략적으로 보인 도면이다.
도 4는 본 발명에 적용되는 열화상 카메라 간의 설치 간격과 거리 측정 범위의 상관 관계를 설명하기 위한 도면이다.
도 5는 본 발명에 적용되는 피측정체 검출 기법 중에서 배경 제거 기법을 설명하기 위한 도면이다.
도 6은 본 발명에 적용되는 피측정체 검출 기법 중에서 모션 감지 기법을 설명하기 위한 도면이다.
도 7은 본 발명에 적용되는 피측정체의 특정 좌표를 예시적으로 보인 도면이다.
도 8은 본 발명에 적용되는 거리 검출 기법 중에서 삼각측량기법을 설명하기 위한 도면이다.
도 9는 본 발명에 적용되는 거리 검출 기법 중에서 평행식 기법을 설명하기 위한 도면이다.
도 10은 본 발명에 적용되는 열화상 데이터 처리부에서 가공, 출력되는 정보를 개략적으로 보인 도면이다.
도 11은 본 발명의 일 실시예에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치를 이용한 온도 보정 방법을 설명하기 위한 처리도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 하정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법에 대해서 상세하게 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치의 구성을 개략적으로 보인 도면이다.
도 3에 도시하는 바와 같이, 본 발명의 일 실시예에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치(100)는, 열화상 카메라부(110), 데이터 송수신부(120), 열화상 데이터 처리부(130), 열화상 데이터 모니터링부(140)를 포함하여 이루어질 수 있다.
열화상 카메라부(110)는 피측정체가 발산하는 적외선 에너지를 측정하여 표면 온도의 화상을 특정 범위의 값(예를 들어, 0~255 사이의 값)으로 이미지화하여 출력하는 것으로, 복수의 적외선 이미지 센서(바람직하게는 두 대의 적외선 이미지 센서)(111), 열화상 센서(113), A/D 컨버터(115)를 포함하여 이루어질 수 있다.
각각의 적외선 이미지 센서(111)는 피측정체로부터 방사되는 적외선을 통과시켜 열화상 이미지를 획득한다.
복수의 적외선 이미지 센서(111)는 좌, 우 사이에 일정한 거리를 두고 설치될 수 있다.
전술한 바와 같이, 적외선 이미지 센서(111)를 일정 거리를 두고 설치하게 되면, 두 적외선 이미지 센서(111)가 동일한 피측정체를 바라보았을 때 입력된 이미지(또는 영상)에서 적외선 이미지 센서(111) 간의 거리 때문에 피측정체의 위치가 서로 다르게 되고, 이와 같이 발생하게 되는 위치의 차이 값을 이용하여 적외선 이미지 센서(111)와 피측정체 간의 거리를 측정한다.
즉, 적외선 이미지 센서(111)와 피측정체 간의 거리가 가까워질수록 두 적외선 이미지 센서(111)에 입력되는 피측정체의 위치 차이 값이 커지게 되고, 적외선 이미지 센서(111)와 피측정체 간의 거리가 멀어질수록 두 적외선 이미지 센서(111)에 입력되는 피측정체의 위치 차이 값이 작아지게 되며, 이를 이용하여 적외선 이미지 센서(111)와 피측정체 간의 거리를 측정한다.
복수의 적외선 이미지 센서(111)의 설치 간격에 따라 거리를 측정할 수 있는 범위가 달라질 수 있다.
도 4에 나타내는 바와 같이, 동일한 시야각을 갖는 적외선 이미지 센서(111) 간의 설치 간격 a보다 설치 간격 b가 거리 측정 범위가 좁은 것을 알 수 있다(설치 간격 a < 설치 간격 b).
따라서, 적외선 이미지 센서(111) 간의 설치 간격이 매우 중요하다.
또한, 거리를 측정할 수 있는 범위는 렌즈의 시야각에 의해서도 달라질 수 있으며, 렌즈의 시야각이 좁을수록 거리 측정 범위도 좁아지게 되고, 렌즈의 시야각이 넓을수록 거리 측정 범위도 넓어지게 된다.
전술한 바와 같이 적외선 이미지 센서(111) 간의 설치 간격은 변수로 작용할 수 있으므로, 한번 설정된 적외선 이미지 센서(111) 간의 간격은 변경하지 않는 것이 바람직하며, 만약 변경해야 하는 경우에는 변경 여부에 따라 계산 값이 달라지므로, 거리 연산에 대한 계수 값도 반드시 변경되어야 한다.
열화상 센서(113)는 복수의 적외선 이미지 센서(111)에서 획득된 열화상 영상에서 적외선을 검출하여 전기적 신호로 변환한다.
본 발명의 일 실시예에서 열화상 센서(113)는 다수의 픽셀(화소)이 2차원 배열로 구성된 초점면배열(FPA:Focal Plane Array) 구조를 가질 수 있으나 이러한 구조에 제한되는 것은 아니다.
이와 같이 열화상 센서(113)가 FPA 구조로 이루어질 경우, 열화상 센서(113)는 FPA의 해상도에 따라 결정되는 각 화소별로 적외선 에너지의 크기를 감지하고, 그에 대응하는 값을 출력한다.
A/D 컨버터(115)는 열화상 센서(113)에서 출력하는 전기적 신호의 출력 값을 디지털 신호로 변환하고, 이렇게 디지털 신호로 변환된 출력 값을 데이터 송수신부(120)로 전달한다.
여기서, 열화상 센서(113)와 A/D 컨버터(115)는 각각의 적외선 이미지 센서(111) 별로 별개의 장비 하우징에 따로따로 탑재되어 구현될 수도 있고, 하나의 장비 하우징 안에 각 적외선 이미지 센서(111)에 대한 열화상 센서(113)와 A/D 컨버터(115)가 모두 탑재되어 구현될 수도 있다.
데이터 송수신부(120)는 열화상 카메라부(110)로부터 데이터를 전달받아 버퍼에 저장하거나, MPU(MicroProcessor Unit)로부터 전달받은 각종 명령을 열화상 카메라부(110)로 전달한다. 여기서 데이터 송수신에는 주로 시리얼 통신이 이용되나, 경우에 따라 병렬 통신이 이용될 수도 있다.
열화상 카메라부(110)로부터 전달받은 데이터는 주로 이미지(또는 영상) 데이터이므로, 상당히 큰 패킷(Packet) 또는 페이로드(Payload) 단위로 구성된다.
따라서, 적절한 버퍼 크기와 처리 속도를 갖는 통신 장치 또는 MPU를 선정하는 것이 바람직하다.
열화상 데이터 처리부(130)는 열화상 카메라부(110)로부터 입력받은 이미지 데이터에서 적어도 하나 이상의 피측정체를 검출한 후, 열화상 카메라 장치(100)와 피측정체 간의 거리를 측정하고, 측정된 거리에 따라 피측정체별로 온도를 보정한다.
열화상 데이터 처리부(130)는 피측정체 검출부(131), 거리 측정부(133), 온도 보정부(135)를 포함하여 이루어질 수 있다.
피측정체 검출부(131)는 각각의 적외선 이미지 센서(111)를 통해 획득한 이미지 데이터를 열화상 카메라부(110)로부터 입력받아 각 화소에 대한 온도 값을 검출하고, 검출된 온도 값을 이용하여 적어도 하나 이상의 피측정체를 검출한다. 여기서, 피측정체 검출에 이용되는 온도 값은 가공되지 않은 원(原) 온도 데이터 또는 온도 보정 공식에 의해 보정된 온도 결과 값이 될 수 있다.
피측정체 검출부(131)는 검출된 온도 값을 이용하여 피측정체를 검출하되, 배경 제거 기법 또는 모션 감지 기법을 이용하여 피측정체를 검출한다.
배경 제거 기법은 도 5에 도시하는 바와 같이 기설정된 임계값 범위에서 누적되는 데이터를 배경으로 처리하고, 배경의 온도 값과 다른 온도 값의 데이터가 입력되면 이를 배경과 분리하여 피측정체로 검출한다.
모션 감지 기법은 도 6에 도시하는 바와 같이 지속적으로 움직이는 블록 형태의 물체가 발생하면, 그 물체를 피측정체로 검출한다.
거리 측정부(133)는 피측정체 검출부(131)에서 적어도 하나 이상의 피측정체가 검출되면, 검출된 각각의 피측정체에 대해 어느 한 좌표를 특정 좌표로 선정하고, 선정된 특정 좌표를 이용하여 카메라와 각 피측정체 간의 거리를 측정한다.
여기서 특정 좌표를 선정하는 방법으로는 도 7에 도시하는 바와 같이 피측정체를 블록화한 후, 해당 블록의 중심좌표 또는 네 모서리 중에서 어느 한 모서리의 좌표와 같은 특정 위치의 좌표를 특정 좌표로 선정할 수 있다.
또한, 검출된 피측정체의 최대 온도점(온도 보정이 잘 이루어졌다면, 최대 온도점의 위치가 거의 동일할 것이므로)을 특정 좌표로 선정할 수 있다.
여기서 특정 좌표 대신에 특정 좌표를 포함하는 작은 화소 단위(예를 들어, 2×2)의 특정 블록을 이용할 수도 있다.
특정 좌표(또는 특정 블록)가 선정되면, 거리 측정부(133)는 선정된 특정 좌표(또는 특정 블록)를 이용하여 도 8에 도시하는 바와 같이 삼각측량기법을 적용하여 열화상 카메라 장치(100)와 각 피측정체(목표) 간의 거리를 측정한다. 즉, 두 적외선 이미지 센서(111)의 거리 간격, 두 적외선 이미지 센서(111)에서 획득한 이미지에서의 피측정체 위치를 이용하여 산출된 각 적외선 이미지 센서(111)와 피측정체 사이의 각도를 이용하여 열화상 카메라 장치(100)와 피측정체 간의 거리를 측정한다.
거리 측정부(133)는 카메라 설치 방식에 따라 평행식 기법 또는 교차식 기법을 이용하여 열화상 카메라 장치(100)와 피측정체 간의 거리를 측정할 수도 있다.
평행식 기법은 도 9에 도시하는 바와 같이 복수의 적외선 이미지 센서(111)를 나란히 정면을 바라보게 설치하고, 적외선 이미지 센서(111) 간의 거리와 위치를 고정하여 두 적외선 이미지 센서(111)의 이미지에 나타난 피측정체(목표)의 위치 차이와 두 적외선 이미지 센서(111)의 거리 등을 이용하여 일련의 계산을 통해 열화상 카메라 장치(100)와 피측정체 간의 거리를 측정한다. 이와 같이 평행식 기법을 통해 열화상 카메라 장치(100)와 피측정체 간의 거리를 측정할 때, 상황에 따라 적외선 이미지 센서(111)의 설치 각도를 비스듬히 두어 설치할 수도 있다. 적외선 이미지 센서(111)의 설치 각도 기준은 원하는 피측정체의 감시 범위가 좁을 경우 적외선 이미지 센서(111)가 나란히 정면을 바라보게 설치하는 것이 바람직하고, 감시 범위가 넓을 경우 적외선 이미지 센서(111)각도를 안쪽으로 비스듬하게 설치하는 것이 바람직하다.
교차식 기법은 평행식 기법과 달리 적외선 이미지 센서(111)의 각도를 물리적으로 조정하여 피측정체가 항상 이미지 중심에 나타나도록 하는 방식으로, 물리적으로 조정된 적외선 이미지 센서(111)의 각도를 이용해 열화상 카메라 장치(100)와 피측정체 간의 거리를 측정한다.
온도 보정부(135)는 방사율, 대기 투과율, 창 투과율 등을 입력 인자를 온도 보정 공식에 적용시켜 온도를 보정하는데, 거리 측정부(133)에서 측정된 거리에 따라 피측정체별로 보정 계수를 추출하고, 피측정체별로 추출된 보정 계수를 이용하여 피측정체별로 온도를 보정한다.
전술한 열화상 데이터 처리부(130)는 도 10에 도시하는 바와 같이 데이터 송수신부(120)를 통해 열화상 카메라부(110)로부터 수신한 이미지 데이터에서 각각의 화소별로 온도를 검출하고, 온도 보정에 이용되는 카메라와 피측정체 간의 거리를 측정하며, 출력 장치에 출력하기 위한 각종 정보(예를 들어, 이미지(또는 영상) 데이터, 최대 온도 값을 갖는 좌표, 최소 온도 값을 갖는 좌표 등)를 추출하기 위한 연산 처리를 수행한다.
이러한 열화상 데이터 처리부(130)는 큰 저장 공간과 이미지 데이터 처리, 카메라와 피측정체 간의 거리 측정을 위한 실시간 연산 등을 위해 높은 처리 속도를 지원하는 것이 바람직하다.
열화상 데이터 모니터링부(140)는 열화상 데이터 처리부(130)에서 보정된 온도 데이터와 열화상 데이터 처리부(130)에서 처리된 이미지(또는 영상) 데이터를 출력 장치에 전송한다.
여기서, 출력 장치가 모니터 화면인 경우 하나의 화면에 검출된 피측정체를 표시하되, 열화상 데이터 처리부(130)에서 피측정체별로 보정된 온도 값으로 피측정체를 표시한다. 이에 따라, 다수의 피측정체가 서로 동일한 온도를 갖고 있는 경우, 각각의 피측정체가 카메라와 서로 다른 거리에 위치해 있더라도 화면에서 동일한 온도 값(색체)으로 표시된다.
출력 장치의 인터페이스에 따라 데이터 패킷(또는 페이로드)의 형식이 달라질 수 있으며, 제공되는 사용자 인터페이스(UI)를 이용할 수도 있다.
도 11은 본 발명의 일 실시예에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치를 이용한 온도 보정 방법을 설명하기 위한 처리도로, 본 발명의 일 실시예에 따른 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치를 이용한 온도 보정 방법은 도 3에 도시된 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치(100)와 실질적으로 동일한 구성 상에서 진행되므로, 도 3의 열화상 카메라 장치(100)와 동일한 구성 요소에 대해 동일한 도면 부호를 부여하고, 반복되는 설명은 생략하기로 한다.
우선, 열화상 카메라부(110)는 일정한 간격을 두고 설치되는 복수의 적외선 이미지 센서(바람직하게는 두 대의 적외선 이미지 센서)(111)를 통해 열화상 이미지를 획득한다(S10).
상기한 단계 S10에서 획득된 열화상 이미지는 2차원 이미지 데이터로 구현될 수 있다.
상기한 단계 S10을 통해 획득된 열화상 이미지는 데이터 송수신부(120)를 통해 열화상 데이터 처리부(130)로 인가된다.
이와 같이 데이터 송수신부(120)를 통해 열화상 이미지를 인가받은 열화상 데이터 처리부(130)의 피측정체 검출부(131)에서는 각 화소에 대한 온도 값을 검출한다(S20).
그리고 검출된 온도 값을 이용하여 피측정체를 검출한다(S30).
상기한 단계 S30에서 피측정체 검출부(131)는 기설정된 임계값 범위에서 누적되는 데이터를 배경으로 처리하고, 배경의 온도 값과 다른 온도 값의 데이터가 입력되면 이를 배경과 분리하여 피측정체로 검출하는 배경 제거 기법 또는 지속적으로 움직이는 블록 형태의 물체가 발생하면, 그 물체를 피측정체로 검출하는 모션 감지 기법 중에서 어느 한 기법을 이용하여 피측정체를 검출할 수 있다.
상기한 단계 S30을 통해 적어도 하나 이상의 피측정체가 검출되면, 열화상 데이터 처리부(130)의 거리 측정부(133)에서는 상기한 단계 S30을 통해 검출된 각각의 피측정체에 대해 어느 한 좌표를 특정 좌표로 선정하고, 선정된 특정 좌표를 이용하여 카메라와 각각의 피측정체 간의 거리를 측정한다(S40).
상기한 단계 S40에서 거리 측정부(133)는 검출된 피측정체를 블록화한 후, 해당 블록의 중심좌표 또는 네 모서리 중에서 어느 한 모서리의 좌표와 같은 특정 위치의 좌표를 특정 좌표로 선정하거나, 검출된 피측정체의 최대 온도점을 특정 좌표로 선정할 수 있다.
또한, 거리 측정부(133)는 특정 좌표 대신에 특정 좌표를 포함하는 작은 화소 단위(예를 들어, 2×2)의 특정 블록을 이용할 수도 있다.
이와 같이 특정 좌표(또는 특정 블록)가 선정되면, 거리 측정부(133)는 선정된 특정 좌표(또는 특정 블록)를 이용하여 삼각측량기법을 적용하여 카메라(111)와 피측정체 간의 거리를 측정하거나, 카메라 설치 방식에 따라 평행식 기법 또는 교차식 기법을 이용하여 카메라(111)와 피측정체 간의 거리를 측정한다.
상기한 단계 S40을 통해 카메라(111)와 각각의 피측정체 간의 거리가 측정되면, 열화상 데이터 처리부(130)의 온도 보정부(135)는 상기한 단계 S40에서 측정된 거리에 따라 피측정체별로 보정 계수를 추출하고, 추출된 보정 계수를 이용하여 피측정체별로 온도를 보정한다(S50).
상기한 단계 S50을 통해 피측정체별로 온도가 보정되면, 열화상 데이터 모니터링부(140)는 보정된 온도 데이터와 이미지(또는 영상) 데이터를 출력 장치에 출력한다(S60).
상기한 단계 S60에서, 출력 장치가 모니터 화면인 경우, 모니터 화면에 피측정체별로 보정된 온도 값으로 피측정체를 표시한다. 이에 따라, 다수의 피측정체가 서로 동일한 온도를 갖고 있는 경우, 각각의 피측정체가 카메라와 서로 다른 거리에 위치해 있더라도 피측정체별로 온도가 보정되어 모니터 화면에는 복수의 피측정체가 동일한 온도 값(색체)으로 표시된다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100. 열화상 카메라 장치, 110. 열화상 카메라부,
111. 적외선 이미지 센서, 113. 열화상 센서,
115. A/D 컨버터, 120. 데이터 송수신부,
130. 열화상 데이터 처리부, 131. 피측정체 검출부,
133. 거리 측정부, 135. 온도 보정부,
140. 열화상 데이터 모니터링부

Claims (7)

  1. 일정한 간격을 두고 설치되는 복수개의 적외선 이미지 센서를 포함하며, 각각의 적외선 이미지 센서를 통해 열화상 이미지를 획득하는 열화상 카메라부;
    상기 열화상 카메라부로부터 입력받은 각각의 이미지 데이터에서 적어도 하나 이상의 피측정체를 검출한 후, 카메라와 각각의 피측정체 간의 거리를 측정하고, 피측정체별로 측정된 거리에 따라 온도를 보정하는 열화상 데이터 처리부; 및
    상기 열화상 데이터 처리부에서 보정된 온도 데이터를 출력 장치에 전송하는 열화상 데이터 모니터링부;를 포함하여 이루어지는, 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치.
  2. 제1항에 있어서,
    상기 열화상 데이터 처리부는,
    상기 각각의 적외선 이미지 센서를 통해 획득한 이미지 데이터를 상기 열화상 카메라부로부터 입력받아 각 화소에 대한 온도 값을 검출하고, 검출된 온도 값을 이용하여 적어도 하나 이상의 피측정체를 검출하는 피측정체 검출부;
    상기 피측정체 검출부에서 검출된 각각의 피측정체에 대해 어느 한 좌표를 특정 좌표로 선정하고, 선정된 특정 좌표를 이용하여 카메라와 각각의 피측정체 간의 거리를 측정하는 거리 측정부; 및
    상기 거리 측정부에서 피측정체별로 측정된 거리에 따라 피측정체별로 보정 계수를 추출하고, 피측정체별로 추출된 보정 계수를 이용하여 피측정체별로 온도를 보정하는 온도 보정부;를 포함하여 이루어지는, 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치.
  3. 제2항에 있어서,
    상기 피측정체 검출부는,
    상기 검출된 온도 값을 이용하여 적어도 하나 이상의 피측정체를 검출하되, 배경의 온도 값과 다른 온도 값의 데이터가 입력되면 이를 배경과 분리하여 피측정체로 검출하는 배경 제거 기법, 지속적으로 움직이는 물체가 발생하면, 그 물체를 피측정체로 검출하는 모션 감지 기법 중에서 어느 하나를 이용하여 피측정체를 검출하는, 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치.
  4. 제2항에 있어서,
    상기 거리 측정부는,
    상기 선정된 특정 좌표를 삼각측량기법에 적용시켜 카메라와 각각의 피측정체 간의 거리를 측정하는, 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치.
  5. 제2항에 있어서,
    상기 거리 측정부는,
    정면을 바라보게 설치된 복수의 적외선 이미지 센서에서 획득한 이미지에 나타난 피측정체의 위치 차이와 적외선 이미지 센서 간의 거리를 이용하여 거리를 측정하는 평행식 기법, 피측정체가 중심에 나타나도록 각도가 조정되는 복수의 적외선 이미지 센서의 각도를 이용하여 거리를 측정하는 교차식 기법 중에서 어느 하나를 이용하여 카메라와 각각의 피측정체 간의 거리를 측정하는, 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치.
  6. 열화상 카메라부가 일정한 간격을 두고 설치되는 복수개의 적외선 이미지 센서를 이용하여 열화상 이미지를 획득하는 단계;
    열화상 데이터 처리부에서 상기 적외선 이미지 센서로부터 입력받은 각각의 이미지 데이터에서 적어도 하나 이상의 피측정체를 검출한 후, 카메라와 각각의 피측정체 간의 거리를 측정하고, 피측정체별로 측정된 거리에 따라 피측정체별로 온도를 보정하는 단계; 및
    열화상 데이터 모니터링부에서 상기 열화상 데이터 처리부에서 피측정체별로 보정된 온도 데이터를 화면에 출력하는 단계;를 포함하여 이루어지는, 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치를 이용한 온도 보정 방법.
  7. 제6항에 있어서,
    상기 온도를 보정하는 단계는,
    상기 열화상 데이터 처리부의 피측정체 검출부에서 상기 각각의 적외선 이미지 센서로부터 획득한 이미지 데이터를 상기 열화상 카메라부로부터 입력받아 각 화소에 대한 온도 값을 검출하고, 검출된 온도 값을 이용하여 적어도 하나 이상의 피측정체를 검출하는 단계;
    상기 열화상 데이터 처리부의 거리 측정부에서 상기 검출된 각각의 피측정체에 대해 어느 한 좌표를 선정하고, 선정된 좌표를 이용하여 카메라와 각각의 피측정체 간의 거리를 측정하는 단계; 및
    상기 열화상 데이터 처리부의 온도 보정부에서 상기 피측정체별로 측정된 거리에 따라 피측정체별로 보정 계수를 추출하고, 피측정체별로 추출된 보정 계수를 이용하여 피측정체별로 온도를 보정하는 단계;를 포함하여 이루어지는, 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치를 이용한 온도 보정 방법.
KR1020180049787A 2018-04-30 2018-04-30 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법 KR102085625B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180049787A KR102085625B1 (ko) 2018-04-30 2018-04-30 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180049787A KR102085625B1 (ko) 2018-04-30 2018-04-30 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법

Publications (2)

Publication Number Publication Date
KR20190125682A true KR20190125682A (ko) 2019-11-07
KR102085625B1 KR102085625B1 (ko) 2020-03-06

Family

ID=68578834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049787A KR102085625B1 (ko) 2018-04-30 2018-04-30 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법

Country Status (1)

Country Link
KR (1) KR102085625B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323133A (zh) * 2020-02-14 2020-06-23 西安盛赛尔电子有限公司 感温传感器温度补偿方法、装置、电子设备及存储介质
KR102161477B1 (ko) * 2020-07-02 2020-10-05 (주)큐브이미징시스템즈 안면인식을 이용한 열화상 카메라의 온도 정확도 개선방법
KR102251307B1 (ko) * 2020-09-10 2021-05-13 주식회사 콕스 거리측정 기능을 갖는 열상 카메라 시스템
KR20220079753A (ko) * 2020-12-04 2022-06-14 주식회사 콕스 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법
US11467034B2 (en) 2020-06-30 2022-10-11 Ilooda Co., Ltd. Temperature measuring device for tracked subject target region
KR20220141976A (ko) * 2021-04-14 2022-10-21 주식회사 위트콘 열화상 카메라를 이용한 온도 측정 장치 및 그 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220027626A (ko) 2020-08-27 2022-03-08 (주)컴버스테크 체온측정 대상자 추적기능이 구비되는 체온감지시스템
KR20220089473A (ko) 2020-12-21 2022-06-28 주식회사 피엔에이 열화상을 이용한 원거리 발화점 정밀 온도 측정 시스템 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200672B1 (ko) 1996-01-20 1999-06-15 윤종용 적외선 카메라의 온도 보상 장치
KR101012691B1 (ko) * 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
KR20110035335A (ko) * 2009-09-30 2011-04-06 주식회사 케이티 열화상 카메라를 이용한 모니터링 방법 및 시스템
KR20130101873A (ko) * 2012-03-06 2013-09-16 (주)유디피 열화상 카메라를 이용한 산불 감시 장치 및 그 방법
KR20130101922A (ko) * 2012-03-06 2013-09-16 충남대학교산학협력단 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법
KR20140001766A (ko) * 2012-06-26 2014-01-07 한라비스테온공조 주식회사 입체 열화상을 이용한 차량 내 온도계측 장치
KR20140117745A (ko) 2013-03-26 2014-10-08 조선대학교산학협력단 Ir카메라를 이용한 온도측정장치
KR101833137B1 (ko) 2016-08-24 2018-02-28 한림대학교 산학협력단 마커를 이용한 카메라의 온도 측정을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100200672B1 (ko) 1996-01-20 1999-06-15 윤종용 적외선 카메라의 온도 보상 장치
KR20110035335A (ko) * 2009-09-30 2011-04-06 주식회사 케이티 열화상 카메라를 이용한 모니터링 방법 및 시스템
KR101012691B1 (ko) * 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
KR20130101873A (ko) * 2012-03-06 2013-09-16 (주)유디피 열화상 카메라를 이용한 산불 감시 장치 및 그 방법
KR20130101922A (ko) * 2012-03-06 2013-09-16 충남대학교산학협력단 열화상 내에서 특정부위 추적이 가능한 열상시스템 및 이를 이용한 특정부위의 추적방법
KR20140001766A (ko) * 2012-06-26 2014-01-07 한라비스테온공조 주식회사 입체 열화상을 이용한 차량 내 온도계측 장치
KR20140117745A (ko) 2013-03-26 2014-10-08 조선대학교산학협력단 Ir카메라를 이용한 온도측정장치
KR101833137B1 (ko) 2016-08-24 2018-02-28 한림대학교 산학협력단 마커를 이용한 카메라의 온도 측정을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111323133A (zh) * 2020-02-14 2020-06-23 西安盛赛尔电子有限公司 感温传感器温度补偿方法、装置、电子设备及存储介质
US11467034B2 (en) 2020-06-30 2022-10-11 Ilooda Co., Ltd. Temperature measuring device for tracked subject target region
KR102161477B1 (ko) * 2020-07-02 2020-10-05 (주)큐브이미징시스템즈 안면인식을 이용한 열화상 카메라의 온도 정확도 개선방법
KR102251307B1 (ko) * 2020-09-10 2021-05-13 주식회사 콕스 거리측정 기능을 갖는 열상 카메라 시스템
KR20220079753A (ko) * 2020-12-04 2022-06-14 주식회사 콕스 얼굴 인식에 기초하여 촬영 대상의 온도를 측정하는 방법
KR20220141976A (ko) * 2021-04-14 2022-10-21 주식회사 위트콘 열화상 카메라를 이용한 온도 측정 장치 및 그 방법

Also Published As

Publication number Publication date
KR102085625B1 (ko) 2020-03-06

Similar Documents

Publication Publication Date Title
KR102085625B1 (ko) 멀티 포인트 온도 보정 기능을 갖는 열화상 카메라 장치 및 이를 이용한 온도 보정 방법
JP6446329B2 (ja) カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
EP3300351B1 (en) Imaging device with alignment analysis
EP3332387B1 (en) Method for calibration of a stereo camera
TW201601536A (zh) 紅外線焦平面陣列模組的性能參數量測方法及壞點偵測方法
WO2020000369A1 (en) Multimodal imaging sensor calibration method for accurate image fusion
CN108731819B (zh) 热像检测装置
US20090196324A1 (en) Real-Time Line Scan Extraction from Infrared Images Using the Wedge Method in Industrial Environments
JP2007510152A (ja) 凝結の危険度を決めるための赤外線カメラの方法、使用法およびシステム
WO2014173464A1 (en) Noise correction in an infra-red imaging system
US20150355030A1 (en) Equipment and method for intensity-temperature transformation of imaging system
CN112577439A (zh) 基于红外和光学图像的微电子基板翘曲测量方法和系统
KR101213670B1 (ko) 픽셀 중간값을 이용하는 nuc 처리 장치 및 방법
KR20170017401A (ko) 이미지 처리 장치
KR20220089473A (ko) 열화상을 이용한 원거리 발화점 정밀 온도 측정 시스템 및 방법
JP6985872B2 (ja) 車両の周辺監視装置と周辺監視方法
KR101630408B1 (ko) 스캐닝 시스템 및 그 방법
JP6750672B2 (ja) ガス観測方法
JP2003254832A (ja) 2次元放射温度計
KR101918761B1 (ko) 적외선 열상 검출기의 불량 화소 처리 방법 및 장치
KR20180119934A (ko) 적외선 검출기의 불량 화소 검출 방법
KR20220087595A (ko) 영상 처리장치에 의한 열상 카메라의 온도 보정 방법
JP2019060830A (ja) 温度検出用赤外線カメラ
JP3201902B2 (ja) 目標角度測定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant