KR102087500B1 - 직교합성 열화상 처리 장치 및 방법 - Google Patents
직교합성 열화상 처리 장치 및 방법 Download PDFInfo
- Publication number
- KR102087500B1 KR102087500B1 KR1020180056261A KR20180056261A KR102087500B1 KR 102087500 B1 KR102087500 B1 KR 102087500B1 KR 1020180056261 A KR1020180056261 A KR 1020180056261A KR 20180056261 A KR20180056261 A KR 20180056261A KR 102087500 B1 KR102087500 B1 KR 102087500B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- general
- thermal
- color
- contrast value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000000203 mixture Substances 0.000 title description 5
- 238000001757 thermogravimetry curve Methods 0.000 title 1
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 239000002131 composite material Substances 0.000 claims description 34
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000001931 thermography Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 4
- 238000004132 cross linking Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000009826 distribution Methods 0.000 abstract description 7
- 238000003860 storage Methods 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 244000144972 livestock Species 0.000 abstract description 2
- 239000000284 extract Substances 0.000 description 14
- 238000003672 processing method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000012141 concentrate Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241000935974 Paralichthys dentatus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H04N5/225—
-
- H04N5/335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
본 발명은 농축산물의 생산/저장/유통 과정에서 온도정보와 형상 또는 온도정보와 색상을 동시에 모니터링 하기 위해, 형상정보와 온도정보를 동일 영상에 출력하면서도 각각의 정보를 독립적으로 해석이 가능한 가장 선진적인 다중스펙트럼 영상 합성기술에 관한 것이다.
Description
본 발명은 농축산물의 생산/저장/유통 과정에서 온도정보와 형상 또는 온도정보와 색상을 동시에 모니터링 하기 위해, 형상정보와 온도정보를 동일 영상에 출력하면서도 각각의 정보를 독립적으로 해석이 가능한 가장 선진적인 다중스펙트럼 영상 합성기술에 관한 것이다.
열화상 영상처리 분야에서 다중스펙트럼 기술은 원적외선 기반 열화상과 가시광선에 의한 일반화상을 결합하여 표시하는 기술이다.
현재 열화상 카메라에 적용되는 대부분의 다중스펙트럼 기술은 열화상과 일반화상을 단순 중첩하여 표시한다.
열화상 카메라 제조사인 FLUKE를 포함하는 대부분의 열화상 기업 역시 다중스펙트럼 기술을 채용하고 있으나, 열화상 영상과 가시광선 영상을 단순 중첩하는 초보적인 수준에 머물러 있다.
근래 다중스펙트럼 기술은 영상을 단순히 중첩하기 때문에 일발화상의 색상정보에 의해 열화상의 온도 정보가 왜곡되는 문제가 발생한다.
이러한 문제를 보완하고자 열화상카메라 제조사인 FLIR는 다중스펙트럼 기술을 응용하여 열화상 영상에 가시광선 이미지 상의 경계선을 추출하고 합성하는 MSX(Multi Spectral Dynamic Image) 기술을 선보이고 있다.
그러나, FLIR의 기술은 가시광선 이미지의 형상정보의 일부분만을 제공하기 때문에, 피사체의 윤곽 정보만 파악 가능한 정도여서 대상 식별력이 크게 제한된다.
본 발명은 가시광선 이미지의 휘도와, 열화상의 칼라를 직교합성(Orthogonal Composition)하여 가시광선 이미지의 형상정보와 열화상의 온도정보를 동일영상에서 독립적으로 판단 가능한 직교합성 다중스펙트럼 영상을 구현하는 것을 목적으로 한다.
본 발명은 다중스펙트럼 화상에 대한 품질을 개선하는 것을 목적으로 한다.
본 발명은 농축산물의 생산/저장/유통 과정에서 온도정보와 형상(또는 색상) 정보를 동일 영상에 출력하면서도 각각의 정보를 독립적으로 해석하는 것을 목적으로 한다.
본 발명은 열화상 영상과 가시광선 영상을 단순 중첩함으로써 발생하는 온도정보 왜곡을 방지하는 것을 목적으로 한다.
일실시예에 따른 직교합성 열화상 처리장치는 피사체에서 반사되는 가시광선을 수집하여 일반화상을 생성하는 일반화상 카메라, 상기 피사체에서 발생하는 온도에 기초하여 열화상을 생성하는 열화상 카메라, 및 상기 일반화상에서 추출한 명암 값 및 색상 값 중에서 어느 하나를 상기 열화상에 합성하여 합성화상을 생성하는 영상 처리부를 포함할 수 있다.
일실시예에 따른 상기 영상 처리부는, 상기 일반화상에서 명암 값을 추출하고, 상기 열화상의 명암에 상기 추출한 명암 값을 반영하여 합성 처리할 수 있다.
일실시예에 따른 상기 영상 처리부는, 상기 일반화상에서 색상 값을 추출하고, 상기 열화상에 상기 추출한 색상 값을 반영하여 합성 처리할 수 있다.
일실시예에 따른 상기 영상 처리부는, 제1축으로 명암을 구분하고, 제2축으로 색상을 구분하는 2차원 칼라바를 생성하여 상기 합성화상에 반영할 수 있다.
일실시예에 따른 직교합성 열화상 처리장치는 수집된 일반화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출하는 일반화상 처리부, 수집된 열화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출하는 열화상 처리부, 및 상기 추출된 값들 중에서 일부를 직교 합성하여 합성화상을 생성하는 직교합성 처리부를 포함할 수 있다.
일실시예에 따른 상기 직교합성 처리부는, 상기 일반화상에서 추출한 명암 값을 상기 열화상에서 추출한 색상 값에 반영하여 합성화상을 생성할 수 있다.
일실시예에 따른 상기 직교합성 처리부는, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 상기 열화상의 색상 값에 반영하여 상기 합성화상을 생성할 수 있다.
일실시예에 따른 상기 직교합성 처리부는, 상기 열화상에서 추출한 명암 값을 상기 일반화상에서 추출한 색상 값에 반영하여 합성화상을 생성할 수 있다.
일실시예에 따른 상기 직교합성 처리부는, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 상기 일반화상의 색상 값에 반영하여 상기 합성화상을 생성할 수 있다.
일실시예에 따른 직교합성 열화상 처리방법은 수집된 일반화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출하는 단계, 수집된 열화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출하는 단계, 및 상기 추출된 값들 중에서 일부를 직교 합성하여 합성화상을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 상기 직교 합성하여 합성화상을 생성하는 단계는, 상기 일반화상에서 추출한 명암 값을 상기 열화상에서 추출한 색상 값에 반영하여 합성화상을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 상기 직교 합성하여 합성화상을 생성하는 단계는, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 계산하는 단계, 및 상기 계산된 비율을 상기 열화상의 색상 값에 반영하여 상기 합성화상을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 상기 직교 합성하여 합성화상을 생성하는 단계는, 상기 열화상에서 추출한 명암 값을 상기 일반화상에서 추출한 색상 값에 반영하여 합성화상을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 상기 직교 합성하여 합성화상을 생성하는 단계는, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 계산하는 단계, 및 상기 일반화상의 색상 값에 반영하여 상기 합성화상을 생성하는 단계를 포함할 수 있다.
일실시예에 따르면, 가시광선 이미지의 휘도와, 열화상의 칼라를 직교합성(Orthogonal Composition)하여 가시광선 이미지의 형상정보와 열화상의 온도정보를 동일영상에서 독립적으로 판단 가능한 직교합성 다중스펙트럼 영상을 구현할 수 있다.
일실시예에 따르면, 다중스펙트럼 화상에 대한 품질을 개선할 수 있다.
일실시예에 따르면, 농축산물의 생산/저장/유통 과정에서 온도정보와 형상(또는 색상) 정보를 동일 영상에 출력하면서도 각각의 정보를 독립적으로 해석할 수 있다.
일실시예에 따르면, 열화상 영상과 가시광선 영상을 단순 중첩함으로써 발생하는 왜곡을 방지할 수 있다.
도 1은 일실시예에 따른 직교합성 열화상 처리장치를 설명하는 도면이다.
도 2는 다른 일실시예에 따른 직교합성 열화상 처리장치를 설명하는 도면이다.
도 3은 일실시예에 따른 직교합성 열화상의 종류를 설명하는 도면이다.
도 4는 기존 기술대비 본 발명의 일실시예에 따른 직교합성 열화상의 특징을 설명하는 도면이다.
도 5는 일실시예에 따른 직교합성 열화상에 사용되는 컬러바를 설명하는 도면이다.
도 6은 일실시예에 따른 직교합성 열화상 처리방법을 설명하는 도면이다.
도 2는 다른 일실시예에 따른 직교합성 열화상 처리장치를 설명하는 도면이다.
도 3은 일실시예에 따른 직교합성 열화상의 종류를 설명하는 도면이다.
도 4는 기존 기술대비 본 발명의 일실시예에 따른 직교합성 열화상의 특징을 설명하는 도면이다.
도 5는 일실시예에 따른 직교합성 열화상에 사용되는 컬러바를 설명하는 도면이다.
도 6은 일실시예에 따른 직교합성 열화상 처리방법을 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 직교합성 열화상 처리장치(100)를 설명하는 도면이다.
직교합성 열화상 처리장치(100)는 가시광선 이미지의 휘도와, 열화상의 칼라를 직교합성(Orthogonal Composition)하여 가시광선 이미지의 형상정보와 열화상의 온도정보를 동일영상에서 독립적으로 판단 가능한 직교합성 다중스펙트럼 영상을 구현할 수 있다.
이를 위해, 일실시예에 따른 직교합성 열화상 처리장치(100)는 일반화상 카메라(110), 열화상 카메라(120), 및 영상 처리부(130)를 포함할 수 있다.
일실시예에 따른 일반화상 카메라(110)는 피사체에서 반사되는 가시광선을 수집하여 일반화상을 생성할 수 있다.
한편, 일실시예에 따른 열화상 카메라(120)는 피사체에서 발생하는 온도에 기초하여 열화상을 생성할 수 있다.
열화상 카메라(120)는 열을 추적, 탐지하여 화면으로 표시하도록 열화상을 생성하는 장치로서, 일반화상 카메라(110)가 사람의 눈과 같은 구조를 하고 있어 우리 눈이 보는 것과 유사한 모습을 담아내지만 열화상 카메라(120)는 오직 열을 이용해서 피사체를 촬영한다.
일실시예에 따른 영상 처리부(130)는 일반화상에서 추출한 명암 값 및 색상 값 중에서 어느 하나를 열화상에 합성하여 합성화상을 생성할 수 있다.
종래의 합성화상은 열화상과 일반화상을 단순 결합하여 생성되었다. 이 과정에서 일반화상의 색상이 열화상의 색상에 영항을 주게 되어 화상의 왜곡이 발생하였다.
그러나, 일실시예에 따른 영상 처리부(130)는 화상으로부터 명암이나 색상을 분리하고 분리한 명암 또는 색상 중에서 어느 하나를 다른 화상에 반영함으로써 왜곡 없는 합성화상을 생성할 수 있다.
구체적인 예로, 일실시예에 따른 영상 처리부(130)는 일반화상에서 명암 값을 추출하고, 열화상의 명암에 추출한 명암 값을 반영하여 합성 처리할 수 있다.
본 명세서에서는 이렇게 생성되는 합성화상(일반화상의 명암과 열화상의 색상을 합성한 화상)을 일반음영방식의 합성영상으로 정의할 수 있다.
한편, 일실시예에 따른 영상 처리부(130)는 일반화상에서 색상 값을 추출하고, 열화상에 추출한 색상 값을 반영하여 합성 처리할 수 있다. 이때 열화상은 흑백형태의 화상으로서, 색상을 일반화상으로부터 추출해서 반영하기 때문에 피부의 반점이나 과일의 색상분포 등을 정확하게 인식할 수 있다.
본 명세서에서는 이렇게 생성되는 합성화상(일반화상의 색상과 열화상의 명암을 합성한 화상)을 온도음영방식의 합성영상으로 정의할 수 있다.
일실시예에 따른 영상 처리부(130)는 제1축으로 명암을 구분하고, 제2축으로 색상을 구분하는 2차원 칼라바를 생성하여 합성화상에 반영할 수 있다.
도 2는 다른 일실시예에 따른 직교합성 열화상 처리장치(200)를 설명하는 도면이다.
일실시예에 따른 직교합성 열화상 처리장치(200)는 일반화상 처리부(210), 열화상 처리부(220), 및 직교합성 처리부(230)를 포함할 수 있다.
일실시예에 따른 일반화상 처리부(210)는 수집된 일반화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출할 수 있다.
또한, 일실시예에 따른 열화상 처리부(220)는 수집된 열화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출할 수 있다.
직교합성 열화상 처리장치(200)가 일반음영방식의 합성영상을 생성하는 경우라면, 일반화상 처리부(210)는 수집된 일반화상에서 명암을 추출할 수 있다. 이 경우 열화상 처리부(220)는 수집된 열화상에서 색상을 추출할 수 있다.
한편, 직교합성 열화상 처리장치(200)가 온도음영방식의 합성영상을 생성하는 경우라면, 일반화상 처리부(210)는 수집된 일반화상에서 색상을 추출할 수 있다. 이 경우 열화상 처리부(220)는 수집된 열화상에서 명암을 추출할 수 있다.
직교합성 처리부(230)는 추출된 값들 중에서 일부를 직교 합성하여 합성화상을 생성할 수 있다.
구체적으로, 직교합성 처리부(230)는 일반음영방식의 합성영상을 생성하기 위해 일반화상에서 추출한 명암 값을 열화상에서 추출한 색상 값에 반영하여 합성화상을 생성할 수 있다.
예를 들어, 직교합성 처리부(230)는 일반화상의 명암 값과 열화상의 명암 값의 비율을 열화상의 색상 값에 반영하여 합성화상을 생성할 수 있다.
보다 구체적으로, 일반화상이 RGB로 표현되고 컬러가 표시된 열화상이 R'G'B'이라고 가정하면, 일반화상의 밝기와 열화상의 밝기는 다음과 같이 표현될 수 있다.
일반화상의 밝기(Y) = aR+bG+cB+d
열화상의 밝기(Y') =aR'+bG'+cB'+d
이때, 합성상수(k)는 [수학식 1]과 같이 일반화상의 밝기와 열화상의 밝기 간 비율로 계산될 수 있다.
[수학식 1]
수학식 1에 따라 산출된 합성상수(k)를 열화상(R'G'B')에 반영하면 아래 수학식 2와 같은 일반음영방식의 합성영상(R''G''B'')을 생성할 수 있다.
[수학식 2]
즉, 열화상의 색을 유지하면서, 일반화상의 밝기를 가지는 합성영상을 생성할 수 있다.
이때, 각 색상의 성분에 곱해지는 a, b, c, d는 실험치에 의해서 결정되며, 열화상의 왜곡을 최소화할 수 있는 수치들로 결정될 수 있다.
다른 예로, 직교합성 처리부(230)는 온도음영방식의 합성영상을 생성하기 위해 흑백형태의 열화상에서 추출한 명암 값을 일반화상에서 추출한 색상 값에 반영하여 합성화상을 생성할 수 있다.
예를 들어, 직교합성 처리부(230)는 일반화상의 명암 값과 열화상의 명암 값의 비율을 일반화상의 색상 값에 반영하여 합성화상을 생성할 수 있다.
보다 구체적으로, 일반화상이 RGB로 표현된다고 가정하면, 일반화상의 밝기는 다음과 같이 표현될 수 있다.
일반화상의 밝기(Y) = aR+bG+cB
이때, 합성상수(k)는 [수학식 3]과 같이 일반화상의 밝기와 열화상의 밝기 간 비율로 계산될 수 있다.
[수학식 3]
수학식 3에 따라 산출된 합성상수(k)를 일반화상에 아래 수학식 4와 같이 반영하면, 온도음영방식의 합성영상(R''G''B'')을 생성할 수 있다.
[수학식 4]
즉, 일반화상의 색을 유지하면서, 열화상의 밝기를 가지는 합성영상을 생성할 수 있다.
이렇게 생성되는 온도음영방식의 합성영상은 색상을 일반화상으로부터 추출해서 반영하기 때문에 피부의 반점이나 과일의 색상분포 등을 정확하게 인식할 수 있다.
이때, 각 색상의 성분에 곱해지는 a, b, c, d는 실험치에 의해서 결정되며, 열화상의 왜곡을 최소화할 수 있는 수치들로 결정될 수 있다.
도 3은 일실시예에 따른 직교합성 열화상의 종류를 설명하는 도면(300)이다.
먼저, 도면부호 310은 일반음영방식의 합성영상으로서, 일반화상의 명암과 열화상의 색상을 직교합성하여 생성되는 형태로서, 기존 합성영상에 비해서 선명도가 향상될 수 있다.
다음으로, 도면부호 320은 온도음영방식의 합성영상으로서, 일반화상의 색상과 열화상의 명암을 직교합성하여 생성되는 형태로서, 색상을 일반화상으로부터 수집하여 표시 함으로써 실제 색상에 대한 식별이 가능하다.
도 4는 기존 기술대비 본 발명의 일실시예에 따른 직교합성 열화상의 특징을 설명하는 도면(400)이다.
도면부호 410은 일반적인 열화상으로서, 피사체로부터 측정되는 온도레벨에 색깔을 반영하여 표시하는 화상으로서 피사체에 대한 식별력이 상당히 떨어지는 문제가 있다.
한편, 도면부호 420은 윤곽선을 일반화상으로부터 추출하여 합성영상을 생성하는 화상으로서, 열화상에 비해 상대적으로 피사체에 대한 식별력이 우수하나 온도 정보의 왜곡 문제가 발생할 수 있다.
도면부호 430에서 보는 바와 같이 기존에는 열화상과 일반화상을 단순 결합하여 합성영상을 생성했다. 그러나, 이와 같은 방법은 색상의 왜곡뿐만 아니라 명암의 왜곡도 야기시킬 수 있다.
도면부호 440은 본 발명에 따른 합성화상으로서, 수집된 일반화상의 명암과 열화상의 색상과 반영하여 합성함으로써, 명암이나 색상의 왜곡을 방지할 수 있다.
도 5는 일실시예에 따른 직교합성 열화상에 사용되는 2차원 컬러바를 설명하는 도면이다.
직교합성 열화상에 사용되는 2차원 컬러바는 제1축으로 명암을 구분하고, 제2축으로 색상을 구분할 수 있다.
먼저, 도면부호 510에서는 일반음영방식의 합성영상에서 사용되는 2차원 컬러바로서 세로축에서는 동일한 명암을 표현할 수 있다. 또한, 도면부호 520에서는 온도음영방식의 합성영상에서 사용되는 2차원 컬러바로서 가로축에서는 동일한 명암을 표현할 수 있다.
도 6은 일실시예에 따른 직교합성 열화상 처리방법을 설명하는 도면이다.
일실시예에 따른 직교합성 열화상 처리방법은 수집된 일반화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출할 수 있다(단계 601). 또한, 직교합성 열화상 처리방법은 수집된 열화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출할 수 있다(단계 602).
일실시예에 따른 직교합성 열화상 처리방법은 추출된 값들 중에서 일부를 직교 합성하여 합성화상을 생성할 수 있다(단계 603).
일반음영방식의 합성화상을 생성하기 위해, 일실시예에 따른 직교합성 열화상 처리방법은 일반화상에서 추출한 명암 값을 열화상에서 추출한 색상 값에 반영하여 합성화상을 생성할 수 있다.
구체적으로, 일실시예에 따른 직교합성 열화상 처리방법은 일반화상의 명암 값과 열화상의 명암 값의 비율을 계산하고, 계산된 비율을 열화상의 색상 값에 반영하여 합성화상을 생성할 수 있다.
한편, 온도음영방식의 합성화상을 생성하기 위해, 열화상에서 추출한 명암 값을 일반화상에서 추출한 색상 값에 반영하여 합성화상을 생성할 수 있다.
구체적으로는, 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 계산하고, 일반화상의 색상 값에 반영하여 합성화상을 생성할 수 있다.
결국, 본 발명을 이용하는 경우 가시광선 이미지의 휘도와, 열화상의 칼라를 직교합성(Orthogonal Composition)하여 가시광선 이미지의 형상정보와 열화상의 온도정보를 동일영상에서 독립적으로 판단 가능한 직교합성 다중스펙트럼 영상을 구현할 수 있다.
또한, 다중스펙트럼 화상에 대한 품질을 개선할 수 있고, 농축산물의 생산/저장/유통 과정에서 온도정보와 형상(또는 색상) 정보를 동일 영상에 출력하면서도 각각의 정보를 독립적으로 해석할 수 있다.
뿐만 아니라, 본 발명을 이용하면 열화상 영상과 가시광선 영상을 단순 중첩함으로써 발생하는 왜곡을 방지할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (14)
- 피사체에서 반사되는 가시광선을 수집하여 일반화상을 생성하는 일반화상 카메라;
상기 피사체에서 발생하는 온도에 기초하여 열화상을 생성하는 열화상 카메라; 및
상기 일반화상에서 추출한 명암 값 및 색상 값 중에서 어느 하나를 상기 열화상에 합성하여 합성화상을 생성하는 영상 처리부를 포함하고,
상기 영상 처리부는,
상기 일반화상에서 명암 값을 추출하고, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 상기 열화상의 색상 값에 반영하여 일반음영방식의 합성화상을 생성하고,
상기 일반화상에서 색상 값을 추출하고, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 상기 일반화상의 색상 값에 반영하여 온도음영방식의 합성화상을 생성하는 직교합성 열화상 처리장치. - 삭제
- 삭제
- 제1항에 있어서,
상기 영상 처리부는,
제1축으로 명암을 구분하고, 제2축으로 색상을 구분하는 2차원 칼라바를 생성하여 상기 합성화상에 반영하는 직교합성 열화상 처리장치. - 수집된 일반화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출하는 일반화상 처리부;
수집된 열화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출하는 열화상 처리부; 및
상기 추출된 값들 중에서 일부를 직교 합성하여 합성화상을 생성하는 직교합성 처리부를 포함하고,
상기 직교합성 처리부는,
상기 일반화상에서 명암 값을 추출하고, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 상기 열화상의 색상 값에 반영하여 일반음영방식의 합성화상을 생성하고,
상기 일반화상에서 색상 값을 추출하고, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 상기 일반화상의 색상 값에 반영하여 온도음영방식의 합성화상을 생성하는 직교합성 열화상 처리장치. - 제5항에 있어서,
제1축으로 명암을 구분하고, 제2축으로 색상을 구분하는 2차원 칼라바를 생성하여 상기 합성화상에 반영하는 영상 처리부를 더 포함하는,직교합성 열화상 처리장치. - 삭제
- 삭제
- 삭제
- 일반화상 처리부에서, 수집된 일반화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출하는 단계;
열화상 처리부에서, 수집된 열화상에서 명암 값 및 색상 값 중에서 어느 하나를 분리하여 추출하는 단계; 및
직교합성 처리부에서, 상기 추출된 값들 중에서 일부를 직교 합성하여 합성화상을 생성하는 단계를 포함하고,
상기 직교 합성하여 합성화상을 생성하는 단계는,
상기 일반화상에서 명암 값을 추출하고, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 상기 열화상의 색상 값에 반영하여 일반음영방식의 합성화상을 생성하고,
상기 일반화상에서 색상 값을 추출하고, 상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 상기 일반화상의 색상 값에 반영하여 온도음영방식의 합성화상을 생성하는 직교합성 열화상 처리방법. - 삭제
- 제10항에 있어서,
상기 직교 합성하여 합성화상을 생성하는 단계는,
상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 계산하는 단계; 및
상기 계산된 비율을 상기 열화상의 색상 값에 반영하여 상기 일반음영방식의 합성화상을 생성하는 단계를 포함하는 직교합성 열화상 처리방법. - 삭제
- 제10항에 있어서,
상기 직교 합성하여 합성화상을 생성하는 단계는,
상기 일반화상의 명암 값과 상기 열화상의 명암 값의 비율을 계산하는 단계; 및
상기 계산된 비율을 상기 일반화상의 색상 값에 반영하여 상기 온도음영방식의 합성화상을 생성하는 단계를 포함하는 직교합성 열화상 처리방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180056261A KR102087500B1 (ko) | 2018-05-17 | 2018-05-17 | 직교합성 열화상 처리 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180056261A KR102087500B1 (ko) | 2018-05-17 | 2018-05-17 | 직교합성 열화상 처리 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190131646A KR20190131646A (ko) | 2019-11-27 |
| KR102087500B1 true KR102087500B1 (ko) | 2020-03-10 |
Family
ID=68729728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180056261A KR102087500B1 (ko) | 2018-05-17 | 2018-05-17 | 직교합성 열화상 처리 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102087500B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230071244A (ko) * | 2021-11-16 | 2023-05-23 | 한화비전 주식회사 | 온도 정보 제공 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101683195B1 (ko) | 2015-04-17 | 2016-12-08 | (주)보강하이텍 | 다중 카메라를 이용한 영상 진단 장치 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4541859B2 (ja) * | 2004-12-08 | 2010-09-08 | サムスン・デジタル・イメージング・カンパニー・リミテッド | カメラ及び輝度分布表示方法 |
| KR101128946B1 (ko) | 2009-10-23 | 2012-03-27 | (주)이지템 | 감시용 카메라의 열화상 촬영 장치 및 방법 |
| JP5990004B2 (ja) * | 2012-02-08 | 2016-09-07 | キヤノン株式会社 | 撮像装置 |
| KR101339026B1 (ko) | 2013-10-14 | 2013-12-09 | (주)유디피 | 열화상 카메라 가시성 개선 방법 및 장치 |
| KR101829415B1 (ko) * | 2016-07-25 | 2018-02-19 | 국민대학교 산학협력단 | 가시광 영상 및 비가시광 영상의 입체 영상 생성방법 및 이를 위한 장치 |
-
2018
- 2018-05-17 KR KR1020180056261A patent/KR102087500B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101683195B1 (ko) | 2015-04-17 | 2016-12-08 | (주)보강하이텍 | 다중 카메라를 이용한 영상 진단 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190131646A (ko) | 2019-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9654704B2 (en) | Apparatus and method for multispectral imaging with three dimensional overlaying | |
| Oh et al. | Do it yourself hyperspectral imaging with everyday digital cameras | |
| JP6371553B2 (ja) | 映像表示装置および映像表示システム | |
| US20210342578A1 (en) | Polarization Imaging for Facial Recognition Enhancement System and Method | |
| JP6635799B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US9135726B2 (en) | Image generation apparatus, image generation method, and recording medium | |
| JP6501452B2 (ja) | 画像処理装置及びシステム、画像処理方法、並びにプログラム | |
| CN106488215A (zh) | 图像处理方法和设备 | |
| JP7144678B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| KR102087500B1 (ko) | 직교합성 열화상 처리 장치 및 방법 | |
| JP6977483B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
| CN113808054A (zh) | 用于对眼底图像的视盘区域进行修复的方法和相关产品 | |
| US8971636B2 (en) | Image creating device, image creating method and recording medium | |
| JP6826277B2 (ja) | 画像処理システム、画像処理方法、および画像処理プログラム | |
| KR101718309B1 (ko) | 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법 | |
| JP7265825B2 (ja) | 生成装置、生成方法およびプログラム | |
| TWI721288B (zh) | 影像處理裝置、影像處理方法及程式記錄媒體 | |
| JP7182915B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
| JP5799859B2 (ja) | 画像処理方法、プログラム及び装置 | |
| JP5265058B1 (ja) | 商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラム | |
| JP5539561B2 (ja) | 画像処理装置およびその方法 | |
| JP7012457B2 (ja) | 画像処理装置、画像処理方法 | |
| KR20160091220A (ko) | 다중 스펙트럼 영상 생성을 위한 카메라, 장치 및 방법 | |
| JP6598828B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR101957417B1 (ko) | 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |