KR20200028082A - 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법 - Google Patents

이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법 Download PDF

Info

Publication number
KR20200028082A
KR20200028082A KR1020180106279A KR20180106279A KR20200028082A KR 20200028082 A KR20200028082 A KR 20200028082A KR 1020180106279 A KR1020180106279 A KR 1020180106279A KR 20180106279 A KR20180106279 A KR 20180106279A KR 20200028082 A KR20200028082 A KR 20200028082A
Authority
KR
South Korea
Prior art keywords
image
thermal
real
module
thermal image
Prior art date
Application number
KR1020180106279A
Other languages
English (en)
Inventor
송지우
김재윤
김경우
Original Assignee
송지우
김경우
김재윤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송지우, 김경우, 김재윤 filed Critical 송지우
Priority to KR1020180106279A priority Critical patent/KR20200028082A/ko
Publication of KR20200028082A publication Critical patent/KR20200028082A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 휴대성과 처리 속도 및 품질이 개선된 이미지 합성 장치, 이미지 처리 시스템 및 이미지 처리 방법에 관한 것으로, 본 발명의 일 측면은, 장면(scene)의 열화상 이미지(thermal image)와 실화상 이미지(real image)를 각각 획득하도록 구성된 촬영 모듈과, 촬영 모듈로부터 열화상 이미지 및 실화상 이미지를 수신하며 열화상 이미지와 열화상 이미지에 동기화된 실화상 이미지로 이루어진 이미지 세트를 생성 및 전송하도록 구성된 동기화 모듈과, 동기화 모듈로부터 이미지 세트를 수신하며 수신된 이미지 세트의 열화상 이미지와 실화상 이미지를 합성하도록 구성된 처리 모듈 및 합성된 이미지를 디스플레이하도록 구성된 표시 모듈을 포함하는 이미지 처리 시스템을 제공한다.

Description

이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법 {IMAGE SYNTHESIS DEVICE, IMAGE PROCESSING SYSTEM AND METHOD FOR PROCESSING IMAGE}
본 발명은 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법에 관한 것이다.
열화상 카메라는 피사체에서 방사되는 적외선을 감지하여 시각적으로 나타내는 장치로서 야간이나 화재 현장 등 시계(視界)가 열악한 상황에서 물체를 식별하기 위한 용도로 사용되고 있다. 그러나, 열화상 카메라는 물체의 엣지(edge)를 선명하게 나타내지 못하는 단점이 있으며, 이를 개선하기 위해 열화상 이미지에 필터링을 거쳐 엣지를 개선하는 방법 등이 개발된바 있다.
한편, 열화상 카메라가 연기로 가득 찬 화재 현장 등에서 이용될 경우, 투입된 소방관의 구조 작업에 방해되지 않을 정도의 경량화 및 휴대성이 요구되며, 소방관이 현장 상황을 빠르고 정확하게 인지할 수 있도록 높은 속도와 품질의 영상 처리를 제공할 수 있어야 한다. 반면, 이제까지 알려진 이미지의 개선 기법들이 적용된 열화상 장비는 제작 시 많은 비용이 소요되어 고가일 뿐만 아니라, 휴대성이 열악하고 엣지가 개선되는 정도 및 처리 속도에 있어서도 만족스럽지 못하다는 문제가 있었다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 개선된 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법을 제공한다.
본 발명의 일 실시예가 이루고자 하는 기술적 과제 중 하나는, 휴대성이 개선되며, 이미지 처리 속도 및 품질 또한 개선된 이미지 합성 장치, 이미지 처리 시스템 및 이미지 처리 방법을 제공하는 것이다.
예를 들어, 화재 현장 속에서도 물체, 구조물, 발화점을 정확하고 신속하게 구별할 수 있도록 하고, 작업자의 양 손이 자유로울 수 있을 정도의 휴대성이 개선된 이미지 합성 장치, 이미지 처리 시스템 및 이미지 처리 방법이 제공될 수 있다. 또 다른 예로서, 안개가 짙은 현장이나 수중 환경 등에서의 경비용 또는 군사용 카메라와 같이, 시계가 열악환 환경에서의 개선된 이미지 합성 장치, 이미지 처리 시스템 및 이미지 처리 방법이 제공될 수 있다.
다만, 본 발명의 목적이 이에 제한되는 것은 아니며, 명시적으로 언급되지 않더라도 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 것을 포함한다.
본 발명의 일 측면은, 장면(scene)의 열화상 이미지(thermal image)와 실화상 이미지(real image)를 각각 획득하도록 구성된 촬영 모듈과, 촬영 모듈로부터 열화상 이미지 및 실화상 이미지를 수신하며 열화상 이미지와 열화상 이미지에 동기화된 실화상 이미지로 이루어진 이미지 세트를 생성 및 전송하도록 구성된 동기화 모듈과, 동기화 모듈로부터 이미지 세트를 수신하며 수신된 이미지 세트의 열화상 이미지와 실화상 이미지를 합성하도록 구성된 처리 모듈 및 합성된 이미지를 디스플레이하도록 구성된 표시 모듈을 포함하는 이미지 처리 시스템을 제공한다.
여기서, 촬영 모듈은 시계열적으로 장면에 대한 복수의 열화상 이미지와 복수의 실화상 이미지를 획득하도록 구성되고, 동기화 모듈은 시계열적으로 수신되는 복수의 열화상 이미지에 각각 대응하는 실화상 이미지를 선택하여, 복수의 이미지 세트를 생성 및 전송하도록 구성될 수 있다.
처리 모듈은, 수신된 이미지 세트의 열화상 이미지와 실화상 이미지 각각에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하고, 가우시안 피라미드와 라플라시안 피라미드를 이용하여 열화상 이미지와 실화상 이미지를 합성하도록 구성될 수 있다.
아울러, 본 발명의 일 측면은, 장면의 열화상 이미지와 실화상 이미지를 각각 촬영하여 동기화 모듈에 전송하는 단계와, 동기화 모듈로부터, 열화상 이미지와 열화상 이미지에 동기화된 실화상 이미지로 이루어진 이미지 세트를 수신하여 수신된 이미지 세트의 열화상 이미지와 실화상 이미지를 합성하는 단계 및 합성된 이미지를 디스플레이하기 위해 표시 모듈로 출력하는 단계를 포함하고, 여기서 합성하는 단계는, 수신된 이미지 세트의 열화상 이미지와 실화상 이미지 각각에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하고, 가우시안 피라미드와 라플라시안 피라미드를 이용하여 열화상 이미지와 실화상 이미지를 합성하는 단계를 포함하는 이미지 처리 방법을 제공한다.
또한, 본 발명의 일 측면은, 장면의 열화상 이미지와 실화상 이미지를 포함하는 이미지 세트를 수신하도록 구성된 수신부와, 수신된 이미지 세트의 열화상 이미지와 실화상 이미지를 합성하도록 구성된 합성부 및 합성된 이미지를 이미지 표시 장치에 출력하도록 구성된 출력부를 포함하고, 이미지 세트는 열화상 이미지에 대해 동기화된 실화상 이미지로 이루어지며, 합성부는 수신된 이미지 세트의 열화상 이미지와 실화상 이미지 각각에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하고, 가우시안 피라미드와 라플라시안 피라미드를 이용하여 열화상 이미지와 실화상 이미지를 합성하도록 구성된 이미지 합성 장치를 제공한다.
덧붙여, 상기한 과제의 해결 수단은 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 휴대성이 개선되며 이미지 처리 속도 및 품질 또한 개선된 이미지 합성 장치, 이미지 처리 시스템 및 이미지 처리 방법이 제공될 수 있다.
다만, 본 발명의 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 언급되지 않은 다른 기술적 효과는 아래의 기재로부터 당업자에게 보다 쉽게 이해될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템을 나타내는 개략도이다.
도 2는 촬영 모듈의 동작을 구체적으로 설명하기 위한 개념도이다.
도 3 및 도 4는 동기화 모듈의 동작을 구체적으로 설명하기 위한 순서도 및 개념도이다.
도 5는 이미지 세트를 생성하여 전송하는 방식의 이점을 설명하기 위한 개념도이다.
도 6은 처리 모듈의 동작을 구체적으로 설명하기 위한 개념도이다.
도 7은 본 발명의 이미지 처리 시스템에 의한 이미지 처리 결과를 설명하기 위한 사진이다.
도 8은 본 발명의 이미지 처리 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시 형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시 형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아울러, 본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위해 사용된 것이며, 본 발명을 한정하기 위한 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 지적하는 것이 아니라면, 복수의 표현을 포함한다. 본 명세서에서 사용되는 경우 "포함하다", "구비하다", 또는 "가지다" 등과 같은 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합이 존재함을 특정하려는 것이며, 하나 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합의 존재 또는 부가 가능성을 배제하지 않는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서 사용되는 '일 실시예'라는 표현은 서로 동일한 실시예를 의미하지 않으며, 각각 서로 다른 고유한 특징을 강조하여 설명하기 위해서 제공되는 것이다. 아래 설명에서 제시된 실시예들은 다른 실시예의 특징과 결합되어 구현되는 것을 배제하지 않는다. 예를 들어, 특정한 실시예에서 설명된 사항이 다른 실시예에서 설명되어 있지 않더라도, 다른 실시예에서 그 사항과 반대되거나 모순되는 설명이 없는 한, 다른 실시예에 관련된 설명으로 이해될 수 있다.
이하, 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 시스템(100)을 나타내는 개략도이다.
도 1을 참조하면, 본 실시예에 따른 이미지 처리 시스템(100)은 촬영 모듈(10)과, 동기화 모듈(20), 처리 모듈(30) 및 표시 모듈(40)을 포함한다.
촬영 모듈(10)은 장면(scene)의 열화상 이미지(thermal image; TH)와 실화상 이미지(real image; RL)를 각각 획득하도록 구성될 수 있다. 장면은 촬영이 수행되는 현장에서의 피사체 및 배경을 포함할 수 있으며, 이에 제한되는 것은 아니지만, 상기 현장은 연기가 자욱한 화재 현장이나 안개가 짙은 현장, 수중 환경, 야간 등 시계(視界)가 열악한 환경일 수 있다.
촬영 모듈(10)은 열화상 이미지(TH)를 획득할 수 있도록 구성된 적외선 카메라와, 실화상 이미지(RL)를 획득할 수 있도록 구성된 가시광 카메라를 포함할 수 있다. 적외선 카메라는 적외선 센서, 열화상 카메라 등의 개념을 포함하는 용어로 이해될 수 있을 것이며, 가시광 카메라는 가시광 센서 또는 실화상 카메라 등의 개념을 포함하는 용어로 이해될 수 있을 것이다.
동기화 모듈(20)은 촬영 모듈(10)로부터 열화상 이미지(TH)와 실화상 이미지(RL)를 수신하고, 열화상 이미지(TH)와 실화상 이미지(RL)를 포함하는 이미지 세트(S)를 생성하도록 구성된다. 이미지 세트(S)는 열화상 이미지(TH)와 상기 열화상 이미지(TH)에 동기화된 실화상 이미지(RL)로 이루어질 수 있다.
동기화 모듈(20)은 이미지 세트(S)를 처리 모듈(30)에 전송하도록 구성되며, 필요에 따라, 통합 관제센터(21)에도 전송할 수 있도록 구성될 수 있다.
일 실시예에서, 동기화 모듈(20)은 촬영 모듈(10) 및 처리 모듈(30)과 물리적으로 분리되고 탈착 가능한 별개의 기기 장치, 예를 들면 스마트폰과 같은 모바일 기기로 구현될 수 있다. 이때, 모바일 기기는 탈착 가능한 케이블을 통해 촬영 모듈(10)과 연결되되, 처리 모듈(30)과는 무선 통신을 통해 연결될 수 있다. 촬영 모듈(10)과 모바일 기기(동기화 모듈) 간에 송수신되는 정보는 촬영 모듈(10)에서 획득된 복수의 열화상 및 실화상 이미지(TH, RL)로서 전송량이 비교적 많기 때문에 케이블을 이용한 유선 연결 방식을 이용한 반면에, 모바일 기기(동기화 모듈)와 처리 모듈(30) 간에 송수신되는 정보는 열화상 이미지와 그에 대응하는 실화상 이미지의 세트(이미지 세트(S))만으로 이루어져 있으므로 전송량이 비교적 적어 무선 통신 방식을 이용한 것으로 이해될 수 있다. 그러나, 이에 제한되는 것은 아니므로 모바일 기기(동기화 모듈)와 촬영 모듈(10) 및 처리 모듈(30)의 연결은 모두 유선 또는 무선 통신 방식으로 구현될 수도 있다.
처리 모듈(30)은 도 1에 도시되어 있는 바와 같이 수신부, 합성부 및 출력부를 포함하며, 본 명세서에서 "이미지 합성 장치"로 지칭되기도 한다. 수신부는 동기화 모듈(20)에서 생성된 이미지 세트(S)를 수신하도록 구성되고, 합성부는 수신된 이미지 세트(S)의 열화상 이미지(TH)와 실화상 이미지(RL)를 합성하도록 구성된다. 출력부는 합성부에서 합성된 결과 이미지를 표시 모듈에 출력하도록 구성된다.
표시 모듈(40)은 처리 모듈(30)에 의해 생성된 결과 이미지를 디스플레이하도록 구성되며, 본 명세서에서 "표시 장치"로 지칭되기도 한다. 일 실시예에서, 동기화 모듈(20)로서 스마트폰과 같은 모바일 기기를 채용하는 경우, 상기 표시 모듈(40)은 스마트폰에 구비된 디스플레이를 이용하여 구현될 수도 있다. 다만, 이에 제한되는 것은 아니므로, 표시 모듈(40)은 예를 들면 별도의 LCD 디스플레이, 액정 디스플레이 등의 이미지 표시 장치로 구현될 수 있다.
이하에서는, 도 2 내지 도 6을 참조하여 본 발명의 이미지 처리 시스템(100)의 각 구성에 대해 더욱 상세하게 설명하기로 한다.
도 2는 촬영 모듈(10)의 동작을 구체적으로 설명하기 위한 개념도이다.
일 실시예에서, 촬영 모듈(10)은 장면의 시계열적인 열화상 이미지(TH) 및 실화상 이미지(RL)를 복수 획득할 수 있다. 일반적으로 열화상 이미지(TH)와 실화상 이미지(RL)는 데이터 처리에 요구되는 시간이 서로 다르기 때문에 서로 다른 시간 간격을 두고 획득될 수 있다. 예를 들면, 열화상 이미지(TH)는 0.3초 단위로 획득되고 실화상 이미지(RL)는 0.05초 단위로 획득될 수 있다. 따라서, 촬영 모듈(10)은 같은 시구간 동안 각각 복수의 열화상 이미지(TH)와 복수의 실화상 이미지(RL)를 얻게 되는데, 이때 얻어진 실화상 이미지(RL)의 개수는 열화상 이미지(TH)의 개수보다 많을 수 있다.
도 2를 참조하여 보다 구체적으로 설명하면, 촬영 모듈(10)은 제1 내지 제3 열화상 이미지(T1~T3)를 시계열적으로 생성하고, 제1 내지 제18 실화상 이미지(R1~R18)를 시계열적으로 생성할 수 있다.
상기 열화상 이미지들(TH)은 촬영 모듈(10)의 적외선 센서로부터 감지된 로우 데이터(예를 들면, Radiometric Kelvin Data)를 열화상 이미지로 변환함으로써 생성되고, 상기 실화상 이미지들(RL)은 가시광 센서로부터 감지된 로우 데이터를 실화상 이미지로 변환함으로써 생성될 수 있다.
일 실시예에서, 촬영 모듈(10)에서 생성되는 열화상/실화상 이미지들(TH, RL)은 적외선/가시광 센서에 의해 감지되어 생성되되 별도의 추가적인 분석 및 계산이 수행되지 않은 이미지 데이터일 수 있다. 일 예로서, 일반적으로 열화상 카메라는 감지한 열을 온도 매트릭스를 이용하여 열화상의 픽셀 값으로 표현함으로써 열화상 이미지를 생성하는데, 그 외에 No-uniformity Correction 기법 등, 센서 오차에 기한 노이즈를 보정하고 불연속적인 데이터의 스무딩 효과 등을 보정하기 위한 추가적인 분석 및 계산을 수행하여 이미지 데이터를 생성한다. 그러나, 이러한 추가적인 분석 및 계산이 촬영 모듈(10)에서 수행되도록 하는 것은 이미지 처리 속도와 장치의 경량화를 저해하는 요인이 될 수 있다.
따라서, 이에 제한되는 것은 아니지만, 본 발명의 일 실시예는 보다 신속한 이미지 처리 시스템(100)을 구현하기 위해, 이미지의 획득과 동기화 및 처리 작업이 각 모듈에 효율적으로 분산처리 되도록 하였다. 다시 말해, 이미지 획득을 위한 수단(촬영 모듈(10))은 적외선 센서에서 얻어진 값을 온도 매트릭스로부터 열화상 이미지(TH)로 생성하는 기술과, 가시광 센서로부터 실화상 이미지(RL)를 생성하는 기술만 구현하여 동기화 모듈(20)로 전송하도록 구성될 수 있다. 이미지 데이터의 추가적인 분석 및 계산은 필요 시에 처리 모듈(30)에서 수행되도록 하며, 따라서 동기화 모듈(20)은 별도의 추가적인 분석 및 계산이 수행되지 않은 열화상 및 실화상 이미지(TH, RL)를 수신하게 된다.
여기서 이미지의 추가적인 분석 및 계산이라 함은, 적외선/가시광 센서에서 감지된 값으로부터 열화상/실화상 이미지(TH, RL)를 생성하는 것 이외에 추가적으로 부가될 수 있는 이미지 보정 작업으로서, 열화상 이미지를 예로 들면, 상술한 No-uniformity Correction 기법 뿐만 아니라, 감지된 온도에 따른 컬러를 열화상 이미지에 입히는 이른바 컬러 마킹 기법도 포함하는 개념이며, 따라서 촬영 모듈(10)에서 획득되어 동기화 모듈(20)로 전송되는 이미지는 컬러 마킹이 수행되지 않은 그레이 스케일(gray scale)의 열화상 이미지(TH)일 수 있다. 참고로, 화재 현장 등에서 물체 경계의 용이한 식별을 위해서는 그레이 스케일의 출력 이미지가 컬러 이미지보다 더욱 효과적이다.
그 다음, 동기화 모듈(20)은 시계열적으로 관련된 복수의 열화상 이미지(TH)와 복수의 실화상 이미지(RL)를 촬영 모듈(10)로부터 수신하고, 이들을 동기화시킨 이미지 세트(S)를 생성하도록 구성되고 프로그램될 수 있다. 또한, 생성된 이미지 세트(S)를 처리 모듈(30)에 전송하고, 필요에 따라 통합 관제센터(21)에도 전송하도록 구성될 수 있으며, 따라서 동기화 모듈(20)은 유선 및/또는 무선 통신 기능을 기본적으로 탑재하고 있는 장치 개념(예를 들면 모바일 기기)으로 이해될 수 있다. 이하에서는 도 3과 도 4를 참조하여 동기화 모듈(20)을 더욱 상세하게 설명하기로 한다.
도 3 및 도 4는 동기화 모듈(20)의 동작을 구체적으로 설명하기 위한 순서도 및 개념도이다.
촬영 모듈(10)로부터 복수의 열화상 이미지(TH)와 복수의 실화상 이미지(RL)가 동기화 모듈(20)에 전송된다. 도 3을 참조하면, 동기화 모듈(20)은 전송되는 이미지들 중에서 열화상 이미지(TH)가 존재하는지를 판단한다(단계 S11). 열화상 이미지(TH)가 존재한다고 판단되면, 상기 열화상 이미지(TH)에 대응되는 실화상 이미지(RL)를 결정한다(단계 S12). 예를 들어, 상기 열화상 이미지(TH)와 동일한 시간에 전송된 실화상 이미지(RL)를 결정할 수 있다. 그 다음, 상기 열화상 이미지(TH)와 그에 대응되는 실화상 이미지(RL)로 이루어진 이미지 세트(S)를 생성하고(단계 S13), 처리 모듈(30)로 전송한다(단계 S14).
보다 구체적인 사항은 도 4를 참조하여 설명하기로 한다.
도 4에 도시된 바와 같이, 촬영 모듈(10)에서 제1 내지 제3 열화상 이미지(T1~T3)와 제1 내지 제18 실화상 이미지(R1~R18)가 생성되어 동기화 모듈(20)로 실시간 전송된다.
동기화 모듈(20)은 전송된 이미지들 중에서 열화상 이미지(TH)가 존재하는지를 실시간으로 판단한다. 도 4를 참조하면, 시구간 t1 내지 t5에서는 전송된 열화상 이미지(TH)가 존재하지 않았다가 t6에서 제1 열화상 이미지(T1)가 존재하는 것을 확인할 수 있다. 이때, 동기화 모듈(20)은 제1 열화상 이미지(T1)에 대응되는 실화상 이미지를 결정한다. 제1 열화상 이미지(T1)에 대응되는 실화상 이미지는 상기 제1 열화상 이미지(T1)와 동일한 시간(t6)에 전송된 실화상 이미지인 제6 실화상 이미지(R6)로 결정될 수 있다. 열화상 이미지와 그에 대응하는 실화상 이미지가 결정되면, 동기화 모듈(20)은 이들을 하나의 이미지 세트(S)로 생성할 수 있다. 이에 제한되는 것은 아니지만, 예컨대 N1×M 픽셀의 열화상 이미지(TH)와 N2×M 픽셀의 실화상 이미지(RL)는 (N1+N2)×M 픽셀을 갖는 하나의 이미지 세트(S)로 묶어질 수 있다. 본 발명의 실시예에서는, 480×640 픽셀의 제1 열화상 이미지(T1)와 480×640 픽셀의 제6 실화상 이미지(R6)가 960×640 픽셀을 갖는 하나의 제1 이미지 세트(S1)로 병합된 것으로 가정하기로 한다. 제1 열화상 이미지(T1)와 제6 실화상 이미지(R6)로 이루어진 제1 이미지 세트(S1)가 생성되면, 동기화 모듈(20)은 이를 처리 모듈(30)로 전송할 수 있다.
그 다음, 동기화 모듈(20)은 제2 열화상 이미지(T2)가 존재하는지를 판단한다. 예컨대 t12에서 제2 열화상 이미지(T2)가 존재하는 것으로 판단되면 t12에 입력된 제12 실화상 이미지(R12)를 상기 제2 열화상 이미지(T2)에 대응하는 실화상 이미지로 결정하고, 제2 열화상 이미지(T2)와 제 12 실화상 이미지(R12)로 이루어진 제2 이미지 세트(S2)를 생성하여 처리 모듈(30)로 전송할 수 있다. 만일, t12와 동일한 시간에 입력된 실화상 이미지가 존재하지 않을 경우, t12와 가장 인접한 시간대 또는 소정의 시구간 내에 입력된 실화상 이미지를 대응하는 실화상 이미지로 결정할 수 있다. 그 외에, 동기화 모듈(20)은 열화상 이미지의 전송 직전 또는 직후에 전송된 실화상 이미지를 대응하는 실화상 이미지로 결정하도록 구성될 수도 있다.
전술한 것과 마찬가지의 방식으로, 동기화 모듈(20)은 제3 열화상 이미지(T3)와 제18 실화상 이미지(R18)로 이루어진 제3 이미지 세트(S3)를 생성하여 처리 모듈(30)로 전송한다.
일 실시예에서, 동기화 모듈(20)에서 처리 모듈(30)로의 전송은 TCP/IP 전송방식 및 소켓 통신 전송방식 중 적어도 하나를 이용하여 구현될 수 있다. HTTP/FTP 전송방식은 낮은 인터넷 평균 속도(약 3Mbyte/s)와 웹 보안방식에 의한 긴 딜레이가 발생하는 점을 감안하였다. 인터넷이 없는 상황에서 TCP/IP 통신을 사용하려면 두 기기(동기화 모듈(20)과 처리 모듈(30))가 연결되어야 한다. WiFi 다이렉트, 포트-포워딩(Port-Forwarding) 또는 라우터 접속(Router Connection) 등의 근접 통신을 위한 연결 방식은 약 150 Mbyte/s 이상의 속도를 낼 수 있으며, 인터넷 기지국과의 통신이 필요 없기 때문에 딜레이도 1ms 이하로서 거의 발생하지 않는다. 다만, 이에 제한되는 것은 아니므로 동기화 모듈(20)과 처리 모듈(30)은 유선 통신으로 접속될 수도 있으며, 그외 다른 통신 방식으로 접속될 수도 있다.
도 5는 이미지 세트(S)를 생성하여 전송하는 방식의 이점을 설명하기 위한 개념도이다.
본 발명의 일 실시예에 따르면, 도 5(a)에 도시된 바와 같이 열화상 이미지(TH)와 그에 대응하는 실화상 이미지(RL)가 하나의 세트로 전송된다. 예컨대, 제1 열화상 이미지(T1)와 제6 실화상 이미지(R6)가 병합된 하나의 이미지 세트(S1)로 처리 모듈(30)에 전송된다. 만일 이미지 세트(S)를 생성하지 않을 경우, 동기화 모듈(20)에서 처리 모듈(30)로의 이미지 전송은 열화상 이미지(TH)와 실화상 이미지(RL) 각각에 대해 수행되어야 한다. 구체적으로, 동기화 모듈(20)은 제1 열화상 이미지(T1)를 전송하고, 그 다음 그에 대응하는 제6 실화상 이미지(R6)를 전송해야 할 것이다. (도 5(b) 참조) 그러나 이처럼 데이터를 여러 번 전송하게 될 경우 전송 속도가 느려지는 문제가 있다. 예를 들어, 전술한 바와 같이 동기화 모듈(20)과 처리 모듈(30) 간의 통신은 TCP/IP 전송방식 및 소켓 통신 전송방식 중 적어도 하나를 이용하여 구현될 수 있는데, 제1 열화상 이미지(T1)와 제6 실화상 이미지(R6)를 각각 따로 전송하게 되면 소켓을 두 번 열어야 하는 반면, 본 발명은 제1 열화상 이미지(T1)와 제6 실화상 이미지(R6)를 하나의 세트로 전송하므로, 소켓을 한 번 여는 것으로 족하다. 어느 방식에서나 전송되는 데이터의 총량은 동일하겠지만, 본 발명에 따르면 소켓을 여는 횟수를 획기적으로 단축시킬 수 있으므로 전송 속도가 현저하게 개선된다.
아울러, 이미지 세트(S)의 이용은 또 다른 이점을 제공한다. 열화상 이미지(TH)와 실화상 이미지(RL)가 각각 독립적으로 전송되는 방식(도 5(b) 참조)에 있어서, 전송 오류 등이 발생하여 동기화된 두 이미지 중 어느 하나만 남는 경우 심각한 문제가 야기될 수 있다.
구체적으로, 도 5(b)에 나타낸 바와 같이, 제12 실화상 이미지(R12)와 제3 열화상 이미지(T3)의 전송에 오류가 발생하여 처리 모듈(30)로 전송되지 않았을 경우를 가정해 본다. 처리 모듈(30)에는 제2 열화상 이미지(T2)가 전송되었으나 그에 대응하는 제12 실화상 이미지(R12)는 전송되지 않았다. 또한, 제3 열화상 이미지(T3)는 전송되지 않았고 그에 대응하는 제18 실화상 이미지(R18)만이 전송되었다. 처리 모듈(30)은 제2 열화상 이미지(T2)와 제12 실화상 이미지(R12)를 합성하는 것이 불가능하므로 제2 열화상 이미지(T2)만 표시 모듈(40)에 출력하고, 마찬가지로 제18 실화상 이미지(R18)만 표시 모듈(40)에 출력할 수 있다. 또는, 제2 열화상 이미지(T2)와 제18 실화상 이미지(R18)를 합성하여 표시 모듈(40)에 출력하는 오류가 일어날 수 있다.
이들 중 어느 경우에서나, 열화상 이미지(TH)에 따른 피사체의 위치와 실화상 이미지(RL)에 따른 피사체의 위치가 서로 다른 곳에 나타나게 되는 이른바 고스트 효과가 문제될 수 있다. 다시 말해, 움직이는 객체를 촬영했을 때, 물체의 형태와 윤곽이 서로 다른 위치에 나타나거나, 하나의 피사체가 서로 다른 위치에 복수로 표현되는 등의 문제가 발생하며, 특히 화재 현장과 같이 시계가 열악하고 긴박한 상황에서 이러한 오류 발생은 작업 활동에 치명적인 문제를 일으킬 수 있다.
반면, 열화상 이미지(TH)와 그에 동기화된 실화상 이미지(RL)를 하나의 이미지 세트(S)로 생성하여 전송 및 처리하는 본 발명에 의하면, 열화상 이미지(TH)와 실화상 이미지(RL)의 싱크(synch)가 맞지 않아 야기되는 문제가 현저하게 줄어든다. 예컨대, 도 5(a)에 도시된 바와 같이 제2 이미지 세트(S2)가 전송되지 않았을 경우를 가정하면, 표시 모듈(40)로 출력되는 이미지는 이미 동기화가 완료된 제1 및 제3 이미지 세트(S1, S3)의 처리 결과물이기 때문에, 앞서 제기되었던 문제는 일어나지 않는다.
일 실시예에서, 동기화 모듈(20)은 생성된 이미지 세트(S)를 처리 모듈(30) 뿐만 아니라 통합 관제센터(21)에도 전송하도록 구성될 수 있다. 구체적으로, 화재 현장 등에서 이용되는 경우, 동기화 모듈(20)은 이미지 세트(S)를 통합 관제센터(21)에도 전송하도록 구성되어 팀원들이 현장을 공유하게 할 수 있다.
특히, 이미지 합성 처리가 완료된 결과 이미지를 통합 관제센터(21)에 전송하는 것이 아니라, 합성 처리가 되기 이전 상태의 이미지(이미지 세트(S))를 전송하도록 함으로써, 보다 신속하게 현장을 공유하게 할 수 있다. 구체적으로, 결과 이미지를 전송하려는 경우에는, 이미지 세트(S)를 처리 모듈(30)로 전송한 후에 처리 모듈(30)에서 이미지 합성 처리를 수행하여 결과 이미지를 생성하고, 이를 다시 동기화 모듈(20)을 통해 통합 관제센터(21)로 송출해야 하므로 신속한 현장의 공유가 어려워진다. 반면, 본 실시예의 동기화 모듈(20)은 이미지 합성 처리가 수행되기 이전 상태인 이미지 세트(S)만을 통합 관제센터(21)에 전송하고, 이미지 합성 처리는 통합 관제센터(21)에서 별도로 수행하도록 함으로써 신속한 현장 공유가 가능하다.
이에 제한되는 것은 아니지만, 동기화 모듈(20)과 처리 모듈(30) 간의 통신은 TCP/IP 전송방식 등일 수 있고, 동기화 모듈(20)과 통합 관제센터(21) 간의 통신은 HTTP/FTP 전송방식을 이용할 수 있다.
일 실시예에서, 동기화 모듈(20)과 처리 모듈(30)은 서로 물리적으로 분리된 별개의 장치로 구현되고, 또한 서로 상이한 프로그래밍 언어로 프로그램되어 동작하는 것일 수 있다. 다시 말해, 동기화 모듈(20)은 제1 프로그래밍 언어로 프로그램되고 처리 모듈(30)은 제2 프로그래밍 언어로 프로그램될 수 있다. 동기화 모듈(20)로서 스마트폰을 채용하는 경우를 가정하면, 스마트폰은 JAVA 스크립트 언어와 같은 무거운 툴을 이용하는 것이 일반적이므로 이미지의 합성 처리에 적합하지 않다. 따라서, 동기화 모듈(20)에서는 이미지 세트(S)만 생성되도록 하고, 이미지 세트(S)가 생성되면, 이미지 처리에 적합한 언어로 프로그램된 처리 모듈(30)에서 이미지 합성 처리를 수행하도록 함으로써 이미지 처리의 속도가 개선되고 시스템의 효율화, 경량화가 도모될 수 있다.
도 6은 처리 모듈(30)의 동작을 구체적으로 설명하기 위한 개념도이다.
처리 모듈(30)은 동기화 모듈(20)로부터 시계열적으로 복수의 이미지 세트(S)를 수신하며, 이미지 세트(S) 각각에 대해서 열화상 이미지(TH)와 실화상 이미지(RL)를 합성하도록 구성된다. 일 예로, 처리 모듈(30)은 동기화 모듈(20)로부터 전송받은 960×640 픽셀의 이미지 세트(S)를 480×640 픽셀의 제1 이미지(열화상 이미지(TH))와 480×640 픽셀의 제2 이미지(실화상 이미지(RL))로 분할할 수 있다. 그 다음, 처리 모듈(30)은 각각을 소스/타겟 이미지로 하여 합성할 수 있다.
두 이미지의 합성에는 이미지 피라미드 합성(Image Pyramids Fusion) 기법이 이용될 수 있다.
구체적으로, 도 6(a)를 참조하면, 처리 모듈(30)은 열화상 이미지(TH)와 실화상 이미지(RL) 각각에 대해 가우시안(Gaussian) 피라미드 프로세스를 수행한다. 피라미드 프로세스는 이미지의 해상도를 변경(감소 또는 증가)하여 복수의 이미지들을 생성하는 프로세스일 수 있다.
도 6(a)에서는 3 레벨까지의 피라미드 레벨을 갖는다고 가정하였다. 1층에 위치한 이미지는 원본 이미지이며, 화살표 연산이 Reduce 연산을 의미한다. 예시적인 Reduce 연산은 다음과 같다. (* 연산은 합성곱(convolution)을 의미한다)
Reduce{images/t} = SubSampling(images/t * Gaussian Kernal(5×5))
가우시안 피라미드를 생성한 다음, 라플라시안(laplacian) 피라미드 프로세스를 수행한다. 위에서 생성한 가우시안 피라미드를 이용하여 라플라시안 피라미드를 생성할 수 있다. 이에 제한되는 것은 아니지만, 가우시안의 라플라시안(LoG; Laplacian of Gaussian)은 다른 스케일의 두 가우시안 차이(DoG; Difference of Gaussian)로 근사화될 수 있다.
도 6(b)에서는 도 6(a)에서 생성된 열화상 이미지(TH)의 가우시안 피라미드를 이용하여 열화상 이미지(TH)의 라플라시안 피라미드를 형성하는 프로세스를 개략적으로 설명한다. 라플라시안 피라미드의 경우, 가우시안 피라미드 형성을 위해 줄어든 해상도에 다시 Expand 연산을 한 뒤에, 해상도를 줄이기 이전의 이미지와 차분하게 된다. 예시적인 Expand 연산은 다음과 같다.
Expand{images/t} = Gaussian Kernel (5×5) * Upsampling(images/t, 'binlinear')
라플라시안 피라미드의 의미는 다음과 같다. 원본 이미지가 이미지의 모든 피처(feature)들을 가지고 있다고 가정할 때, 해상도를 줄일 때마다 고해상도와 관련된 피처(high feature)를 잃게 된다. 각 단계와 전 단계의 업샘플링된 이미지를 빼게 되면, 이미지의 해상도를 줄이면서 소실된 피처들을 얻을 수 있다. 따라서, 가장 하단의 이미지부터 업샘플링을 진행하여 더하게 되면 노이즈가 제거된 이미지를 얻을 수 있다.
열화상 이미지(TH)와 실화상 이미지(RL) 각각에 대한 가우시안 피라미드와 라플라시안 피라미드가 생성되면, 처리 모듈(30)은 도 6(c)에 도시된 바와 같이 이들 각 이미지를 계층별로 더하여 결과 피라미드를 생성한다. 그 다음, Image Collapsing을 통해 합성된 이미지를 얻어낸다. 결과 피라미드의 하단에 있는 피처(Low feature)부터 Expand 연산을 통해 확장하여 상위 피라미드와 더해나감으로써 열화상 이미지(TH)와 실화상 이미지(RL)가 합성된 결과 이미지를 생성할 수 있다. 이미지 피라미드 합성에 대한 보다 구체적인 내용은 S.M.Mukane, Y.S.Ghodake And P.S.Khandagle, (July 2013), "Image Enhancement Using Fusion By Wavelet Transform and Laplacian Pyramid", International Journal Of Computer Science Issues, Vol. 10, Issue 4, No 2. 등을 참조할 수 있다.
도 7은 본 발명의 이미지 처리 시스템(100)에 의한 이미지 처리 결과를 설명하기 위한 사진이다.
도 7(a) 및 도 7(b)에 나타난 좌측 위 사진은 열화상 이미지(TH)이고, 좌측 아래 사진은 상기 열화상 이미지(TH)에 대응하는 실화상 이미지(RL)이다. 또한, 우측 사진은 이들이 합성된 결과 이미지이다. 결과 이미지는 기존 열화상 이미지(TH)에 선명한 엣지 정보가 합쳐진 것임을 알 수 있다. 도 7(b)의 경우, 피사체(사람)의 어두운 영역을 열화상 이미지(TH)가 채워주고, 열화상의 뭉툭한 영역을 실화상 이미지(RL)의 엣지가 채워줌을 볼 수 있다. 이는 피라미드 이미지 합성법의 좋은 예시로서 각각 사진의 두드러지는 특징을 융합함으로써 각 이미지의 장점만 합친 것으로 볼 수 있다.
도 8은 본 발명의 이미지 처리 방법을 설명하기 위한 순서도이다.
본 발명의 이미지 처리 방법은, 장면의 열화상 이미지와 실화상 이미지를 각각 획득하는 단계(S21)를 포함한다. 상기 획득하는 단계의 수행 도중 및/또는 수행 이후 촬영된 이미지들을 동기화 모듈에 실시간으로 전송할 수 있다.
동기화 모듈은 상기 이미지들을 전송받아 이미지 세트를 생성하고, 생성된 이미지 세트를 이미지 합성을 위한 모듈에 전송할 수 있다. 그러면, 상기 동기화 모듈로부터 이미지 세트를 수신하여 수신된 이미지 세트의 열화상 이미지와 실화상 이미지를 합성하는 단계(S22)가 수행될 수 있다. 이미지 세트는 앞서 설명된 것과 같이, 열화상 이미지와 상기 열화상 이미지에 동기화된 실화상 이미지로 이루어질 수 있다.
아울러, 합성하는 단계(S22)는, 수신된 이미지 세트의 열화상 이미지와 실화상 이미지 각각에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하고, 가우시안 피라미드와 라플라시안 피라미드를 이용하여 상기 열화상 이미지와 실화상 이미지를 합성하는 단계를 포함할 수 있다.
끝으로, 합성된 이미지를 디스플레이하는 단계(S23)가 수행될 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.

Claims (5)

  1. 이미지 처리 시스템에 있어서,
    장면(scene)의 열화상 이미지(thermal image)와 실화상 이미지(real image)를 각각 획득하도록 구성된 촬영 모듈;
    상기 촬영 모듈로부터 상기 열화상 이미지 및 실화상 이미지를 수신하며, 상기 열화상 이미지와 상기 열화상 이미지에 동기화된 실화상 이미지로 이루어진 이미지 세트를 생성 및 전송하도록 구성된 동기화 모듈;
    상기 동기화 모듈로부터 상기 이미지 세트를 수신하며, 상기 수신된 이미지 세트의 열화상 이미지와 실화상 이미지를 합성하도록 구성된 처리 모듈; 및
    상기 합성된 이미지를 디스플레이하도록 구성된 표시 모듈
    을 포함하는 이미지 처리 시스템.
  2. 제1항에 있어서,
    상기 촬영 모듈은 시계열적으로 상기 장면에 대한 복수의 열화상 이미지와 복수의 실화상 이미지를 획득하도록 구성되고,
    상기 동기화 모듈은 시계열적으로 수신되는 복수의 열화상 이미지에 각각 대응하는 실화상 이미지를 선택하여, 복수의 이미지 세트를 생성 및 전송하도록 구성된 것인, 이미지 처리 시스템.
  3. 제1항에 있어서,
    상기 처리 모듈은, 상기 수신된 이미지 세트의 열화상 이미지와 실화상 이미지 각각에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하고, 상기 가우시안 피라미드와 라플라시안 피라미드를 이용하여 상기 열화상 이미지와 실화상 이미지를 합성하도록 구성된 것인, 이미지 처리 시스템.
  4. 이미지 처리 방법에 있어서,
    장면의 열화상 이미지와 실화상 이미지를 각각 촬영하여 동기화 모듈에 전송하는 단계;
    상기 동기화 모듈로부터, 상기 열화상 이미지와 상기 열화상 이미지에 동기화된 실화상 이미지로 이루어진 이미지 세트를 수신하여, 상기 수신된 이미지 세트의 열화상 이미지와 실화상 이미지를 합성하는 단계; 및
    상기 합성된 이미지를 디스플레이하기 위해 표시 모듈로 출력하는 단계
    를 포함하고,
    상기 합성하는 단계는, 상기 수신된 이미지 세트의 열화상 이미지와 실화상 이미지 각각에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하고, 상기 가우시안 피라미드와 라플라시안 피라미드를 이용하여 상기 열화상 이미지와 실화상 이미지를 합성하는 단계를 포함하는 것인, 이미지 처리 방법.
  5. 이미지 합성 장치에 있어서,
    장면의 열화상 이미지와 실화상 이미지를 포함하는 이미지 세트를 수신하도록 구성된 수신부;
    상기 수신된 이미지 세트의 열화상 이미지와 실화상 이미지를 합성하도록 구성된 합성부; 및
    상기 합성된 이미지를 이미지 표시 장치에 출력하도록 구성된 출력부
    를 포함하고,
    상기 이미지 세트는 열화상 이미지에 대해 동기화된 실화상 이미지로 이루어지며, 상기 합성부는 상기 수신된 이미지 세트의 열화상 이미지와 실화상 이미지 각각에 대한 가우시안 피라미드와 라플라시안 피라미드를 생성하고, 상기 가우시안 피라미드와 라플라시안 피라미드를 이용하여 상기 열화상 이미지와 실화상 이미지를 합성하도록 구성된 것인, 이미지 합성 장치.
KR1020180106279A 2018-09-06 2018-09-06 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법 KR20200028082A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180106279A KR20200028082A (ko) 2018-09-06 2018-09-06 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180106279A KR20200028082A (ko) 2018-09-06 2018-09-06 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR20200028082A true KR20200028082A (ko) 2020-03-16

Family

ID=69948599

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106279A KR20200028082A (ko) 2018-09-06 2018-09-06 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법

Country Status (1)

Country Link
KR (1) KR20200028082A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102309976B1 (ko) * 2020-08-03 2021-10-08 주식회사 덱셀리온 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법
WO2022114371A1 (ko) * 2020-11-27 2022-06-02 (주)메쉬 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102309976B1 (ko) * 2020-08-03 2021-10-08 주식회사 덱셀리온 하나의 장면에 대해 서로 다른 정보를 포함하는 이미지들을 동시에 디스플레이하는 시스템 및 그 방법
WO2022114371A1 (ko) * 2020-11-27 2022-06-02 (주)메쉬 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기

Similar Documents

Publication Publication Date Title
EP3054424B1 (en) Image rendering method and apparatus
US9491418B2 (en) Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
JP6625745B2 (ja) 画像処理装置
US9817628B2 (en) Display system, display terminal, display method and computer readable recording medium having program thereof
JP2017505004A (ja) 画像生成方法及びデュアルレンズ装置
CN109313815A (zh) 三维、360度虚拟现实相机曝光控制
JP2019522831A5 (ko)
JP6232502B2 (ja) 人工視覚システム
JP6550138B2 (ja) 映像処理装置
EP3207697A1 (en) Ambient light-based image adjustment
WO2018233217A1 (zh) 图像处理方法、装置和增强现实设备
CN106709894B (zh) 一种图像实时拼接方法及系统
KR20200028082A (ko) 이미지 합성 장치와 이미지 처리 시스템 및 이미지 처리 방법
WO2019079398A1 (en) CHROMINANCE DENGING
CN113724391A (zh) 三维模型构建方法、装置、电子设备和计算机可读介质
US11032470B2 (en) Sensors arrangement and shifting for multisensory super-resolution cameras in imaging environments
JP2011035638A (ja) 仮想現実空間映像制作システム
JP2018073366A (ja) 画像処理装置、画像処理方法、およびプログラム
CN110012206A (zh) 图像获取方法、图像获取装置、电子设备和可读存储介质
JP5218634B2 (ja) 擬似濃淡画像生成装置及びプログラム
KR102468685B1 (ko) 가상현실 기반의 작업현장 안전관리장치 및 그 장치의 구동방법
CN109166082A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US11636708B2 (en) Face detection in spherical images
JPS6171787A (ja) 環境映像監視装置
JP2018026692A (ja) 作業支援システム、撮影装置、及び表示装置