KR102247092B1 - 분광-융합의 이미지 수집 기기 - Google Patents

분광-융합의 이미지 수집 기기 Download PDF

Info

Publication number
KR102247092B1
KR102247092B1 KR1020197010634A KR20197010634A KR102247092B1 KR 102247092 B1 KR102247092 B1 KR 102247092B1 KR 1020197010634 A KR1020197010634 A KR 1020197010634A KR 20197010634 A KR20197010634 A KR 20197010634A KR 102247092 B1 KR102247092 B1 KR 102247092B1
Authority
KR
South Korea
Prior art keywords
image
light image
visible light
target
fusion
Prior art date
Application number
KR1020197010634A
Other languages
English (en)
Other versions
KR20190047040A (ko
Inventor
리홍 루오
씬씬 니
멘그 판
하이 유
Original Assignee
항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드 filed Critical 항조우 힉비젼 디지털 테크놀로지 컴퍼니 리미티드
Publication of KR20190047040A publication Critical patent/KR20190047040A/ko
Application granted granted Critical
Publication of KR102247092B1 publication Critical patent/KR102247092B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Abstract

분광-융합의 이미지 수집 기기로서, 당해 이미지 수집 기기에서는, 분광 유닛이 입사광을 가시광 신호와 비가시광 신호로 분해하고; 가시광 신호 이미징 유닛이 분광 유닛이 분해해낸 가시광 신호에 의하여 감광 이미징을 행하여, 제1 가시광 이미지를 형성하며; 비가시광 신호 이미징 유닛이 분광 유닛이 분해해낸 비가시광 신호에 의하여 감광 이미징를 행하여, 제1 비가시광 이미지를 형성하고; 레지스트레이션 유닛이 상기 제1 가시광 이미지와 상기 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻으며; 사전 처리 합성 유닛이 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻고; 융합 유닛이 타겟 가시광 이미지와 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는다. 본 수단을 통하여 융합 후의 이미지의 컬러의 정확성을 효과적으로 확보할 수 있다.

Description

분광-융합의 이미지 수집 기기
본 출원은 2016년 09월 19일에 중국 특허청에 제출되고, 출원번호가 201610830005.6이며, 발명의 명칭이 "분광-융합의 이미지 수집 기기"인 중국특허출원의 우선권을 주장하며, 그 전부 내용을 본 출원에 인용한다.
본 출원은 이미지 처리 기술 분야에 관한 것으로서, 특히 분광-융합의 이미지 수집 기기에 관한 것이다.
저조도 장면에서, 수집된 이미지가 비교적 많은 이미지 정보를 포함하는 것을 확보하기 위하여, 통상적으로 분광-융합의 이미지 수집 기기를 사용하여 이미지를 수집하는 것을 필요로 한다. 구체적으로, 분광-융합의 이미지 수집 기기가 이미지를 수집하는 기본적인 원리는 하기와 같다. 즉, 가시광 신호에 대응되는 가시광 이미지를 수집하고, 및 비가시광 신호에 대응되는 비가시광 이미지를 수집하며, 가시광 이미지와 비가시광 이미지를 융합하여, 융합 후의 이미지를 얻는다. 여기서, 융합 후의 이미지는 듀얼 웨이브밴드(dual-waveband) 이미지인 바, 싱글 밴드에 속하는 가시광 이미지와 비가시광 이미지의 어느 하나의 이미지에 상대하여 말하자면, 구현하여 내는 이미지 정보가 더 많다. 소위 비가시광 신호는, 근적외 신호 및 적외(infrared) 신호인 바, 이에 상응하여, 비가시광 신호가 근적외 신호일 경우, 비가시광 이미지는 근적외 이미지이고, 비가시광 신호가 적외 신호일 경우, 비가시광 이미지는 적외 이미지이다.
관련기술에서의 분광-융합의 이미지 수집 기기는 구체적으로, 반반사 반투과 미러(semi-reflection and semi-permeable mirror), 가시광 센서, 적외 광센서, 레지스트레이션 유닛(registration unit)과 융합 유닛을 포함한다. 구체적으로, 당해 반반사 반투과 미러는 입사광을 가시광 신호와 비가시광 신호로 분해하기 위한 것이고, 당해 가시광 센서는 가시광 신호에 대해 감광하여 가시광 이미지를 형성하기 위한 것이며, 당해 적외 광센서는 비가시광 신호에 대해 감광하여 비가시광 이미지를 형성하기 위한 것이고, 당해 레지스트레이션 유닛은 비가시광 이미지와 가시광 이미지 사이의 위치 편차를 제거하기 위한 것이며, 당해 융합 유닛은 레지스트레이션 유닛이 형성한, 위치 정정후의 비가시광 이미지와 가시광 이미지에 대하여 가중하고 융합하기 위한 것이다. 여기서 융합하여 얻은 후 형성된 융합한 후의 이미지는 이미지 수집 기기의 출력 이미지이다.
발명자는 연구과정에서, 관련 기술에서의 이미지 수집 기기 중, 융합 유닛이 레지스트레이션 유닛이 형성한, 위치 정정 후의 비가시광 이미지와 가시광 이미지에 대해 직접 가중하고 융합하기에, 이에 따라 물체가 다른 웨이브밴드의 광파에 대한 반사 특성이 다름으로 인하여 조성한 이미지 차이를 무시하는데, 이렇게 함으로써, 융합한 후의 이미지 컬러가 왜곡됨을 야기하는 것을 발견하였다.
본 출원의 실시예의 목적은 분광-융합의 이미지 수집 기기를 제공하여, 융합 후의 이미지 컬러의 정확성을 향상하는 것으로, 구체적인 기술적 수단은 하기와 같다.
제1 측면에서, 본 출원의 실시예는 분광-융합의 이미지 수집 기기를 제공하는 바,
분광 유닛, 가시광 신호 이미징 유닛, 비가시광 신호 이미징 유닛, 레지스트레이션 유닛, 사전 처리 합성 유닛과 융합 유닛을 포함하고;
여기서, 상기 분광 유닛은 입사광을 가시광 신호와 비가시광 신호로 분해하기 위한 것이고;
상기 가시광 신호 이미징 유닛은 상기 분광 유닛이 분해해낸 가시광 신호에 의하여 감광 이미징을 행하여, 제1 가시광 이미지를 형성하기 위한 것이고;
상기 비가시광 신호 이미징 유닛은 상기 분광 유닛이 분해해낸 비가시광 신호에 의하여 감광 이미징을 행하여, 제1 비가시광 이미지를 형성하기 위한 것이고;
상기 레지스트레이션 유닛은 상기 제1 가시광 이미지와 상기 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻기 위한 것이고;
상기 사전 처리 합성 유닛은 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻기 위한 것이고;
상기 융합 유닛은 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻기 위한 것이다.
선택가능하게, 상기 사전 처리 합성 유닛은 구체적으로, 상기 타겟 가시광 이미지에 기반하여, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻기 위한 것이다.
선택가능하게, 상기 사전 처리 합성 유닛은 구체적으로,
상기 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 상기 타겟 가시광 이미지의 광도 분량을 얻고;
상기 광도 분량의 제1 평균치와 제1 분산, 및 상기 제2 비가시광 이미지의 광도 분량의 제2 평균치와 제2 분산을 각각 계산하고;
상기 제1 평균치, 상기 제1 분산, 상기 제2 평균치와 상기 제2 분산에 기반하여, 상기 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행하고;
미리 설정한 sobel 엣지 검출 연산자를 이용하여 상기 타겟 가시광 이미지와 상기 제2 비가시광 이미지에 대해 각각 콘볼루션을 행하여, 상기 타겟 가시광 이미지에 대응하는 제1 텍스처 이미지와 상기 제2 비가시광 이미지에 대응하는 제2 텍스처 이미지를 얻고;
글로벌 매핑 처리 후 얻은 광도 분량, 상기 타겟 가시광 이미지의 광도 분량, 상기 제1 텍스처 이미지와 상기 제2 텍스처 이미지를 이용하여, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 확정하기 위한 것이다.
선택가능하게, 상기 사전 처리 합성 유닛이 상기 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행하는데 이용되는 공식은
Figure 112019037896502-pct00001
이고,
여기서,
Figure 112019037896502-pct00002
은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하고,
Figure 112019037896502-pct00003
은 상기 제2 비가시광 이미지의 광도 분량을 표시하며,
Figure 112019037896502-pct00004
는 상기 제1 평균치를 표시하며,
Figure 112019037896502-pct00005
는 상기 제2 평균치를 표시하고,
Figure 112019037896502-pct00006
는 상기 제1 분산을 표시하며,
Figure 112019037896502-pct00007
은 상기 제2 분산을 표시하고;
상기 사전 처리 합성 유닛이 이용하는 상기 미리 설정한 sobel 엣지 검출 연산자는
Figure 112019037896502-pct00008
이고,
상기 사전 처리 합성 유닛이 상기 제2 비가시광 이미지에 대해 광도 조정을 행하는데 이용되는 공식은
Figure 112019037896502-pct00009
이고,
여기서,
Figure 112019037896502-pct00010
는 타겟 비가시광 이미지를 표시하고,
Figure 112019037896502-pct00011
은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하며,
Figure 112019037896502-pct00012
는 상기 타겟 가시광 이미지의 광도 분량을 표시하고,
Figure 112019037896502-pct00013
는 상기 제2 텍스처 이미지를 표시하며,
Figure 112019037896502-pct00014
는 상기 제1 텍스처 이미지를 표시한다.
선택가능하게, 상기 융합 유닛은 구체적으로,
상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 대응되는 제1 유형의 가중치에 따라 가중 처리를 행하여, 융합 후의 이미지를 얻기 위한 것이다.
선택가능하게, 상기 융합 유닛은 구체적으로,
상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 주파수분할-융합을 행하여, 융합 후의 이미지를 얻기 위한 것이다.
선택가능하게, 상기 융합 유닛이 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 주파수분할-융합을 하는 과정은,
상기 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 상기 타겟 가시광 이미지의 광도 분량과 컬러 분량을 얻는 것;
상기 광도 분량에 대해 로우 패스 필터링을 행하여, 상기 타겟 가시광 이미지의 저주파 정보를 얻는 것;
상기 타겟 비가시광 이미지에 대해 하이 패스 필터링을 행하여, 상기 타겟 비가시광 이미지의 고주파 정보를 획득하는 것;
상기 저주파 정보와 상기 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하여, 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 얻는 것;
상기 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 상기 타겟 가시광 이미지의 컬러 분량과 합병하여, 융합 후의 이미지를 얻는 것을 포함한다.
선택가능하게, 상기 융합 유닛이 상기 저주파 정보와 상기 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하는데 이용되는 공식은
Figure 112019037896502-pct00015
이고,
여기서,
Figure 112019037896502-pct00016
는 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 표시하고,
Figure 112019037896502-pct00017
는 상기 타겟 비가시광 이미지를 표시하며,
Figure 112019037896502-pct00018
는 상기 저주파 정보를 표시하고,
Figure 112019037896502-pct00019
는 상기 고주파 정보를 표시하며,
Figure 112019037896502-pct00020
는 상기 저주파 정보에 대응하는 제2 유형의 가중치를 표시하고,
Figure 112019037896502-pct00021
는 상기 고주파 정보에 대응되는 제2 유형의 가중치를 표시한다.
선택가능하게,
Figure 112019037896502-pct00022
는 상기 타겟 비가시광 이미지와 타겟 가시광 이미지의 광도 분량의 광도차이에 기반하여 확정되고, 여기서,
Figure 112019037896502-pct00023
이고,
여기서,
Figure 112019037896502-pct00024
는 상기 타겟 비가시광 이미지를 표시하고,
Figure 112019037896502-pct00025
는 상기 타겟 가시광 이미지의 광도 분량을 표시하며,
Figure 112019037896502-pct00026
는
Figure 112019037896502-pct00027
의 절대치를 표시하고,
Figure 112019037896502-pct00028
는
Figure 112019037896502-pct00029
의 최대치를 표시한다.
선택가능하게, 상기 가시광 신호 이미징 유닛과 상기 비가시광 신호 이미징 유닛은 90°가 되게 놓여지고, 상기 분광 유닛의 반사면과 입사광은 45°가 된다.
선택가능하게, 본 출원의 실시예가 제공하는 이미지 수집 기기는, 보광 유닛을 더 포함하고;
상기 보광 유닛은 상기 비가시광 신호 이미징 유닛에 대해 적외광의 보광을 행하기 위한 것이다.
선택가능하게, 상기 비가시광 신호 이미징 유닛은 또한 자신이 형성한 제1 비가시광 이미지가 예정된 보광 조건에 부합됨을 검출할 경우, 상기 보광 유닛으로 보광 신호를 송신하기 위한 것이고;
상기 보광 유닛은 구체적으로, 상기 보광 신호를 수신한 후, 상기 비가시광 신호 이미징 유닛에 대해 적외광의 보광을 행하기 위한 것이다.
선택가능하게, 상기 예정된 보광 조건은,
상기 제1 비가시광 이미지의 신호 대 잡음비가 예정된 역치보다 낮거나,
또는,
상기 제1 비가시광 이미지가 이미징될 경우 자동 노출 처리되는 증익 등급이 예정된 등급보다 낮은 것이다.
본 출원의 실시예는 전자 기기를 더 제공하는 바, 쉘, 프로세서, 메모리, 인쇄 회로 기판, 전원 회로, 분광 유닛, 가시광 신호 이미징 유닛, 비가시광 신호 이미징 유닛을 포함하고, 여기서, 인쇄 회로 기판과 분광 유닛은 쉘로 둘러싸인 공간 내부에 안치되고, 프로세서, 메모리, 가시광 신호 이미징 유닛과 비가시광 신호 이미징 유닛은 인쇄 회로 기판에 장착되며;
상기 전원 회로는 각 회로 또는 부속품에 전기를 공급하기 위한 것이고;
상기 분광 유닛은 입사광을 가시광 신호와 비가시광 신호로 분해하기 위한 것이고;
상기 가시광 신호 이미징 유닛은 상기 분광 유닛이 분해해낸 가시광 신호에 의하여 감광 이미징을 행하여, 제1 가시광 이미지를 형성하기 위한 것이고;
상기 비가시광 신호 이미징 유닛은 상기 분광 유닛이 분해해낸 비가시광 신호에 의하여 감광 이미징을 행하여, 제1 비가시광 이미지를 형성하기 위한 것이고;
상기 메모리는 실행 가능한 프로그램 코드를 저장하기 위한 것이고;
상기 프로세서는 메모리에 저장된 실행 가능한 프로그램 코드를 런닝하여,
상기 제1 가시광 이미지와 상기 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻는 단계;
상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻는 단계;
상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는 단계를 실행한다.
선택가능하게, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻는 단계는,
상기 타겟 가시광 이미지에 기반하여, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻는 것을 포함한다.
선택가능하게, 상기 타겟 가시광 이미지에 기반하여, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻는 단계는,
상기 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 상기 타겟 가시광 이미지의 광도 분량을 얻는 단계;
상기 광도 분량의 제1 평균치와 제1 분산, 및 상기 제2 비가시광 이미지의 광도 분량의 제2 평균치와 제2 분산을 각각 계산하는 단계;
상기 제1 평균치, 상기 제1 분산, 상기 제2 평균치와 상기 제2 분산에 기반하여, 상기 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행하는 단계;
미리 설정한 sobel 엣지 검출 연산자를 이용하여 상기 타겟 가시광 이미지와 상기 제2 비가시광 이미지에 대해 각각 콘볼루션을 행하여, 상기 타겟 가시광 이미지에 대응하는 제1 텍스처 이미지와 상기 제2 비가시광 이미지에 대응하는 제2 텍스처 이미지를 얻는 단계;
글로벌 매핑 처리 후 얻은 광도 분량, 상기 타겟 가시광 이미지의 광도 분량, 상기 제1 텍스처 이미지와 상기 제2 텍스처 이미지를 이용하여, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 확정하는 단계를 포함한다.
선택가능하게, 상기 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행하는데 이용되는 공식은
Figure 112019037896502-pct00030
이고,
여기서,
Figure 112019037896502-pct00031
은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하고,
Figure 112019037896502-pct00032
은 상기 제2 비가시광 이미지의 광도 분량을 표시하며,
Figure 112019037896502-pct00033
는 상기 제1 평균치를 표시하며,
Figure 112019037896502-pct00034
는 상기 제2 평균치를 표시하고,
Figure 112019037896502-pct00035
는 상기 제1 분산을 표시하며,
Figure 112019037896502-pct00036
은 상기 제2 분산을 표시하며;
상기 미리 설정한 sobel 엣지 검출 연산자는
Figure 112019037896502-pct00037
이고,
상기 제2 비가시광 이미지에 대해 광도 조정을 행하는데 이용되는 공식은
Figure 112019037896502-pct00038
이고,
여기서,
Figure 112019037896502-pct00039
는 타겟 비가시광 이미지를 표시하고,
Figure 112019037896502-pct00040
은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하며,
Figure 112019037896502-pct00041
는 상기 타겟 가시광 이미지의 광도 분량을 표시하고,
Figure 112019037896502-pct00042
는 상기 제2 텍스처 이미지를 표시하며,
Figure 112019037896502-pct00043
는 상기 제1 텍스처 이미지를 표시한다.
선택가능하게, 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는 단계는,
상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 대응되는 제1 유형의 가중치에 따라 가중 처리를 행하여, 융합 후의 이미지를 얻기 위한 것을 포함한다.
선택가능하게, 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는 단계는,
상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 주파수분할-융합을 행하여, 융합 후의 이미지를 얻기 위한 것을 포함한다.
선택가능하게, 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 주파수분할-융합을 행하여, 융합 후의 이미지를 얻는 단계는,
상기 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 상기 타겟 가시광 이미지의 광도 분량과 컬러 분량을 얻는 단계;
상기 광도 분량에 대해 로우 패스 필터링을 행하여, 상기 타겟 가시광 이미지의 저주파 정보를 얻는 단계;
상기 타겟 비가시광 이미지에 대해 하이 패스 필터링을 행하여, 상기 타겟 비가시광 이미지의 고주파 정보를 획득하는 단계;
상기 저주파 정보와 상기 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하여, 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 얻는 단계;
상기 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 상기 타겟 가시광 이미지의 컬러 분량과 합병하여, 융합 후의 이미지를 얻는 단계를 포함한다.
선택가능하게, 상기 저주파 정보와 상기 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하는데 이용되는 공식은
Figure 112019037896502-pct00044
이고,
여기서,
Figure 112019037896502-pct00045
는 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 표시하고,
Figure 112019037896502-pct00046
는 상기 타겟 비가시광 이미지를 표시하며,
Figure 112019037896502-pct00047
는 상기 저주파 정보를 표시하고,
Figure 112019037896502-pct00048
는 상기 고주파 정보를 표시하며,
Figure 112019037896502-pct00049
는 상기 저주파 정보에 대응하는 제2 유형의 가중치를 표시하고,
Figure 112019037896502-pct00050
는 상기 고주파 정보에 대응되는 제2 유형의 가중치를 표시한다.
선택가능하게,
Figure 112019037896502-pct00051
는 상기 타겟 비가시광 이미지와 타겟 가시광 이미지의 광도 분량의 광도차이에 기반하여 확정되고, 여기서,
Figure 112019037896502-pct00052
이고,
여기서,
Figure 112019037896502-pct00053
는 상기 타겟 비가시광 이미지를 표시하고,
Figure 112019037896502-pct00054
는 상기 타겟 가시광 이미지의 광도 분량을 표시하며,
Figure 112019037896502-pct00055
는
Figure 112019037896502-pct00056
의 절대치를 표시하고,
Figure 112019037896502-pct00057
는
Figure 112019037896502-pct00058
의 최대치를 표시한다.
선택가능하게, 상기 가시광 신호 이미징 유닛과 상기 비가시광 신호 이미징 유닛은 90°가 되게 놓여지고, 상기 분광 유닛의 반사면과 입사광은 45°가 된다.
선택가능하게, 상기 전자 기기는 보광 유닛을 더 포함하고;
상기 보광 유닛은 상기 비가시광 신호 이미징 유닛에 대해 적외광의 보광을 행하기 위한 것이다.
선택가능하게, 상기 비가시광 신호 이미징 유닛은 또한 자신이 형성한 제1 비가시광 이미지가 예정된 보광 조건에 부합됨을 검출할 경우, 상기 보광 유닛으로 보광 신호를 송신하기 위한 것이고;
상기 보광 유닛은 구체적으로, 상기 보광 신호를 수신한 후, 상기 비가시광 신호 이미징 유닛에 대해 적외광의 보광을 행하기 위한 것이다.
선택가능하게, 상기 예정된 보광 조건은,
상기 제1 비가시광 이미지의 신호 대 잡음비가 예정된 역치보다 낮거나,
또는,
상기 제1 비가시광 이미지가 이미징될 경우 자동 노출 처리되는 증익 등급이 예정된 등급보다 낮은 것이다.
본 출원의 실시예가 제공하는 분광-융합의 이미지 수집 기기에서는, 분광 유닛이 입사광을 가시광 신호와 비가시광 신호로 분해하고; 가시광 신호 이미징 유닛이 당해 분광 유닛이 분해해낸 가시광 신호에 의하여 감광 이미징을 행하여, 제1 가시광 이미지를 형성하며; 비가시광 신호 이미징 유닛이 당해 분광 유닛이 분해해낸 비가시광 신호에 의하여 감광 이미징을 행하여, 제1 비가시광 이미지를 형성하고; 레지스트레이션 유닛이 당해 제1 가시광 이미지와 당해 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻으며; 사전 처리 합성 유닛이 당해 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻고; 융합 유닛이 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는다. 관련기술에 상대하여, 본 수단에서는 사전 처리 합성 유닛을 증설하여, 당해 사전 처리 합성 유닛이 당해 제2 비가시광 이미지에 대해 광도 조정을 행한 후, 융합 유닛에 의해 당해 타겟 가시광 이미지와 광도 조정 후 형성된 타겟 비가시광 이미지에 대해 이미지 융합을 행하는 바, 물체가 다른 웨이브밴드의 광파에 대해 반사 특성이 다름으로 하여 조성한 이미지 차이를 고려하였으며, 이에 따라 융합 후의 이미지의 컬러의 정확성을 향상할 수 있다.
본 출원의 실시예와 관련기술에서의 기술적 수단을 더욱 명확하게 설명하기 위하여, 아래에 실시예와 관련기술에서 사용하고자 하는 첨부된 도면을 간단히 소개한다. 하기 설명에서의 첨부된 도면은 단지 본 출원의 일부 실시예일 뿐, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자들에 대해 말하자면, 창조적인 노동을 들이지 않는 전제하에서, 이러한 첨부된 도면에 의하여 기타의 도면을 획득할 수 있는 것은 자명한 것이다.
도 1은 본 출원의 실시예가 제공하는 분광-융합의 이미지 수집 기기의 구조 모식도이고;
도 2는 본 출원의 실시예가 제공하는 융합 유닛의 융합원리도이며;
도 3은 본 출원의 실시예가 제공하는 분광-융합의 이미지 수집 기기에서 분광 유닛의 장착 위치 모식도이고;
도 4는 본 출원의 실시예가 제공하는 분광-융합의 이미지 수집 기기의 다른 하나의 구조 모식도이고;
도 5는 본 출원의 실시예가 제공하는 전자 기기의 구조 모식도이다.
아래에, 본 출원의 실시예에서의 첨부된 도면을 결부하여, 본 출원의 실시예에서의 기술적 수단에 대하여 명확하고 완정한 설명을 행하는 바, 설명되는 실시예는 단지 본 출원의 일부분 실시예일 뿐, 전부의 실시예가 아님은 명백한 것이다. 본 출원에서의 실시예에 기반하여, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자들이 창조성적인 노동을 하지 않는 전제하에서 획득한 모든 기타의 실시예는 모두 본 출원의 보호의 범위에 속한다.
저조도 장면에서의 융합 후의 이미지의 컬러의 정확성을 향상하기 위하여, 본 출원의 실시예는 분광-융합의 이미지 수집 기기를 제공한다. 여기서, 당해 분광-융합의 이미지 수집 기기는, 분광 융합의 웹캠, 분광 융합의 카메라 등등 일 수 있는 바, 이는 모두 합리적이다.
도 1에서 도시하는 바와 같이, 본 출원의 실시예가 제공하는 분광-융합의 이미지 수집 기기는,
분광 유닛(110), 가시광 신호 이미징 유닛(120), 비가시광 신호 이미징 유닛(130), 레지스트레이션 유닛(140), 사전 처리 합성 유닛(150)과 융합 유닛(160)을 포함할 수 있다.
여기서, 당해 분광 유닛(110)은 입사광을 가시광 신호와 비가시광 신호로 분해하기 위한 것이고;
당해 가시광 신호 이미징 유닛(120)은 당해 분광 유닛(110)이 분해해낸 가시광 신호에 의하여 감광 이미징을 행하여, 제1 가시광 이미지를 형성하기 위한 것이고;
당해 비가시광 신호 이미징 유닛(130)은 당해 분광 유닛(110)이 분해해낸 비가시광 신호에 의하여 감광 이미징을 행하여, 제1 비가시광 이미지를 형성하기 위한 것이고;
당해 레지스트레이션 유닛(140)은, 상기 제1 가시광 이미지와 상기 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻기 위한 것이고;
당해 사전 처리 합성 유닛(150)은 당해 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻기 위한 것이고;
당해 융합 유닛(160)은 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻기 위한 것이다.
이해할 수 있는 바로는, 비가시광 신호는 근적외 광신호 또는 적외 광신호이다. 여기서, 적외 광신호는 하나의 전자파이고, 그의 파장 범위는 760nm~1mm인 바, 사람의 눈에는 보이지 않는다. 근적외광은 가시광과 중적외광(Middle Infra-Red light)사이에 있는 전자파이고, 미국재료시험협회 ASTM에서는 근적외광이 파장이780~2526nm 범위내의 전자파라고 정의하였는데, 여기서, 근적외광을 근적외 단파(780~1100nm)와 근적외 장파(1100~2526nm)로 구획하였다. 이에 상응하여, 본 출원의 실시예에서, 비가시광 신호가 근적외 광신호일 경우, 비가시광 이미지가 근적외 이미지이고, 비가시광 신호가 적외 광신호일 경우, 비가시광 이미지는 적외 이미지이다.
여기서, 분광 유닛(110)에 대해 말하자면, 분광 유닛(110)이 이미지 수집 기기의 렌즈에 장착된 후, 렌즈에 진입한 입사광을 분해한다. 이 외에, 이해할 수 있는 바로는, 입력 출력의 각도에서 말하자면, 분광 유닛(110)의 입력은 입사광이고, 출력은 가시광과 비가시광이다. 또한, 입사광을 가시광 신호와 비가시광 신호로 분해하는 것을 실현하기 위하여, 분광 유닛(110)은 반반사 반투과 미러일 수 있다. 당해 반반사 반투과 미러는 가시광을 투사할 수 있고, 비가시광을 반사할 수 있다. 구체적으로, 당해 반반사 반투과 미러의 구체적인 제품 형태는 분광 프리즘이나, 이에 한정되지 않는다. 여기서, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자들이 이해할 수 있는 바로는, 분광 프리즘은 가시광의 투과를 허가하고, 비가시광을 스톱시키거나 또는 반사한다. 즉, 프리즘 반사면을 통과한 입사광은 비가시 웨이브밴드가 필터링되어 제거되고(필터링되어 제거된 비가시광은 반사될 수 있음), 반면 가시광이 통과되도록 한다. 이 외에, 분광 프리즘에 대해 말하자면, 분광 프리즘이 통과 가능한 가시광 웨이브밴드 범위는 프리즘 코팅 필름의 두께를 조절하는 것을 통해 제어할 수 있는 바, 구체적인 제어 방식은 관련 기술이므로, 여기서 더이상 설명하지 않기로 한다. 이 외에, 입사광의 분광처리를 확보할 수 있는 전제하에서, 본 출원의 실시예는 당해 분광 유닛(110)의 장착 방식에 대해 한정하지 않을 수도 있는 바, 예를 들어 말하자면, 당해 분광 유닛(110)은 고정적으로 장착될 수도 있고, 활동적으로 장착될 수 도 있다. 물론, 이해할 수 있는 바로는, 만약 분광 유닛(110)이 활동적으로 장착되면, 이는 후속의 레지스트레이션 매트릭스의 업데이트 빈도가 높아지도록 할 수 있어, 계산량이 많음을 초래한다. 따라서, 한번의 오프라인 교정(off-line calibration) 레지스트레이션 매트릭스를 행하기 위하여, 분광 유닛(110)은 고정적으로 장착될 수 있다.
설명하고자 하는 바로는, 당해 가시광 신호 이미징 유닛(120)은 관련기술에서의 가시광을 이미징할 수 있는 어느 하나의 부속품일 수 있고, 또한, 이미징 과정에서 자동 노출(automatic exposure), 화이트 밸런스(white balance), 감마 매핑(gamma mapping) 등 처리를 거칠 수 있는 바, 예를 들어, 당해 가시광 신호 이미징 유닛(120)은 가시광 이미지 센서일 수 있고, 유사하게, 당해 비가시광 신호 이미징 유닛(130)은 관련기술에서의 비가시광을 이미징할 수 있는 어느 하나의 부속품일 수 있으며, 또한, 이미징 과정에서 자동 노출, 화이트 밸런스, 감마 매핑 등을 거칠 수 있는 바, 예를 들어 말하자면, 비가시광 신호 이미징 유닛은 비가시광 이미지 센서일 수 있다. 또한, 가시광 신호 이미징 유닛(120)과 비가시광 신호 이미징 유닛(130) 자체가 본 출원의 발명 포인트가 아니므로, 본 출원의 실시예는 가시광 신호 이미징 유닛(120)과 비가시광 신호 이미징 유닛(130)의 구체적인 부속품 형태에 대해 여기에서는 한정하지 않으며, 구체적인 이미징 원리는 기술하지 않는다.
이 외에, 당해 레지스트레이션 유닛(140)은 제1 비가시광 이미지와 제1 가시광 이미지 사이의 위치 편차를 제거하기 위한 것인 바, 이로써 후속처리에서 어긋남(dislocation), 고스팅(ghosting) 등 문제가 출현하는 것을 피할 수 있다. 본 출원의 하나의 실시방식으로서, 수평 미러 이미지와 아핀 변환(affine transformation)의 수학적 모형을 이용하여 분광과정에서의 이미지 디스토션(distortion) 문제를 시뮬레이션하여, 위치 편차를 제거할 수 있다. 여기서, 오프라인 교정을 통하여 아핀 변환 처리에서 필요되는 레지스트레이션 매트릭스의 관련 계수를 획득할 수 있다. 이해할 수 있는 바로는, 레지스트레이션 유닛(140)이 당해 제1 가시광 이미지와 당해 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행한 후 얻은 타겟 가시광 이미지와 제2 비가시광 이미지에서, 타겟 가시광 이미지는 제1 가시광 이미지에 대하여 위치 편이가 발생할 수도 있고, 위치 편이가 발생하지 않았을 수도 있으며, 제2 비가시광 이미지는 제1 비가시광 이미지에 대하여 위치 편이가 발생할 수도 있고 위치 편이가 발생하지 않았을 수도 있다. 또한, 레지스트레이션을 행할 시, 제1 가시광 이미지를 기준으로 하여, 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행할 수 있고, 제1 비가시광 이미지를 기준으로 하여, 제1 가시광 이미지에 대해 위치 레지스트레이션을 행할 수도 있는 바, 이는 모두 합리적이다. 설명하고자 하는 바로는, 당해 레지스트레이션 유닛(140)의 구체적인 레지스트레이션 방식은 관련기술에서의 레지스트레이션방식을 적용할 수 있는 바, 레이아웃이 명확하도록 하기 위하여, 추후에 당해 레지스트레이션방식에 대해 소개하기로 한다.
이해할 수 있는 바로는, 가시광 신호 이미징 유닛(120)과 비가시광 신호 이미징 유닛(130)의 감광 웨이브밴드가 다르기에, 이미징의 광도 차이를 용이하게 조성하고, 또한 광도차이의 정도의 높고 낮음이 컬러 정확성에 영향을 주기에, 이에 따라, 융합 후의 이미지의 컬러의 정확성을 향상하기 위하여, 제2 비가시광 이미지의 광도를 변경하여, 융합 대기의 두개 유형의 이미지의 광도차이가 감소되도록 할 수 있다. 당해 처리 사상에 기반하여, 본 출원의 실시예가 제공하는 분광-융합의 이미지 수집 기기는 관련기술에 상대하여 당해 사전 처리 합성 유닛(150)을 증가하였다. 이해할 수 있는 바로는, 당해 사전 처리 합성 유닛(150)이 당해 제2 비가시광 이미지에 대해 광도 조정을 행하는 구체적인 실현과정은 여러가지가 존재하는 바, 레이아웃이 명확하도록 하기 위하여, 추후에 예를 들어 소개하기로 한다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자가 이해할 수 있는 바로는, 타겟 가시광 이미지와 타겟 비가시광 이미지 두개 유형의 이미지가 존재하기에, 이에 따라, 융합 후의 이미지를 얻기 위하여, 당해 융합 유닛(160)이 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는다. 여기서, 융합 후의 이미지는 듀얼 웨이브밴드 이미지인 바, 싱글 웨이브밴드에 속하는 타겟 가시광 이미지와 타겟 비가시광 이미지 중의 어느 하나의 이미지에 상대하여 말하자면, 구현하여 내는 이미지 정보가 더 많다. 이해할 수 있는 바로는, 융합 유닛(160)이 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 이미지 융합을 행하는 구체적인 구현방식은 여러가지가 존재하는 바, 레이아웃이 명확하도록 하기 위하여, 추후에 예를 들어 소개하기로 한다.
강조하고자 하는 바로는, 본 출원의 실시예에 관한 "제1 비가시광 이미지" 중의 "제1", "제2 비가시광 이미지" 중의 "제2" 및 "타겟 비가시광 이미지" 중의 "타겟"은 단지 명칭상에서 다른 처리 스테이지에서의 비가시광 이미지를 구분하기 위한 것이지, 한정적인 의미를 구비하는 것은 아니며, 유사하게, "제1 가시광 이미지" 중의 "제1" 및 "타겟 가시광 이미지" 중의 "타겟"도 어떠한 한정적인 의미를 구비하는 것이 아니다.
본 출원의 실시예가 제공하는 분광-융합의 이미지 수집 기기에서는, 분광 유닛이 입사광을 가시광 신호와 비가시광 신호로 분해하고; 가시광 신호 이미징 유닛이 당해 분광 유닛이 분해해낸 가시광 신호에 의하여 감광 이미징을 행하여, 제1 가시광 이미지를 형성하고; 비가시광 신호 이미징 유닛이 당해 분광 유닛이 분해해낸 비가시광 신호에 의하여 감광 이미징을 행하여, 제1 비가시광 이미지를 형성하며; 레지스트레이션 유닛이 제1 가시광 이미지와 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻기 위한 것이고; 사전 처리 합성 유닛이 당해 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻으며; 융합 유닛이 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는다. 관련기술에 상대하여, 본 수단에서는 사전 처리 합성 유닛을 증설하여, 당해 사전 처리 합성 유닛이 당해 제2 비가시광 이미지에 대해 광도 조정을 행한 후, 융합 유닛에 의해 당해 타겟 가시광 이미지와 광도 조정 후 형성된 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 물체가 다른 웨이브밴드의 광파에 대해 반사 특성이 다름으로 인하여 조성한 이미지 차이를 고려하였으며, 이에 따라 융합 후의 이미지의 컬러의 정확성을 향상할 수 있다.
구체적으로, 당해 사전 처리 합성 유닛(150)이 당해 제2 비가시광 이미지에 대해 광도 조정을 행하는 구현방식은 여러가지가 존재하는 바, 아래에 예를 들어 소개하기로 한다.
하나의 구현방식에서, 당해 사전 처리 합성 유닛(150)은 미리 설정한 광도 파라미터 값 또는 미리 설정한 광도 조정값에 기반하여, 당해 제2 비가시광 이미지에 대해 광도 조정을 행할 수 있다.
이해할 수 있는 바로는, 미리 설정한 광도 파라미터 값에 기반하여 당해 제2 비가시광 이미지에 대해 광도 조정을 행하는 방식에 대해 말하자면, 타겟 비가시광 이미지의 광도 파라미터 값은 당해 미리 설정한 광도 파라미터 값인 바, 다시 말하자면, 당해 제2 비가시광 이미지의 광도 파라미터 값을 당해 미리 설정한 광도 파라미터 값으로 조정하는 것이고; 미리 설정한 광도 조정값에 기반하여 당해 제2 비가시광 이미지에 대해 광도 조정을 행하는 방식에 대해 말하자면, 당해 타겟 비가시광 이미지의 광도 파라미터 값은 미리 설정한 광도 조정값과 당해 제2 비가시광 이미지의 광도 파라미터 값의 합인 바, 다시 말하자면, 당해 제2 비가시광 이미지의 광도 파라미터 값을 미리 설정한 광도 조정값으로 조정하는 것이고, 당해 미리 설정한 광도 조정값은 증량값이다. 이 외에, 강조하고자 하는 바로는, 미리 설정한 광도 파라미터 값이든지 미리 설정한 광도 조정값이든지를 막론하고 모두 경험값인 바, 당해 조정값은 당해 가시광 신호 이미징 유닛(120)이 형성한 이미지와 당해 비가시광 신호 이미징 유닛(130)이 형성한 이미지의 광도차이에 기반하여 얻은 값이다.
다른 하나의 구현방식에서, 당해 사전 처리 합성 유닛(150)은 당해 타겟 가시광 이미지에 기반하여, 당해 제2 비가시광 이미지에 대해 광도 조정을 할 수 있다. 강조하고자 하는 바로는, 당해 사전 처리 합성 유닛(150)이 당해 타겟 가시광 이미지에 기반하여, 당해 제2 비가시광 이미지에 대해 광도 조정을 행하는 구현방식은 여러가지가 존재하는 바, 아래에 예를 들어 소개하기로 한다.
하나의 구체적인 구현방식에서, 당해 사전 처리 합성 유닛(150)은 구체적으로 하기의 단계들을 위한 것이다.
단계 a1, 당해 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 당해 타겟 가시광 이미지의 광도 분량을 얻는다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자가 이해할 수 있는 바로는, 통상적으로 사용되는 컬러 스페이스 유형에는RGB(빨간색 녹색 파란색 컬러 모델), CMYK(인쇄 컬러 모델, 반사 광선에 의거하는 컬러 모델), Lab(사람이 색채에 대한 감각에 기반하여, 명도(L)와 관련 컬러의 a, b세개 요소로 조성됨), HSV(Hue, Saturation, Value, 구체적으로, 이 모델에서 색채의 파라미터는 각각, 색조(H), 포화도(S), 광도(V))등이 있다. 여기서, 당해 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 당해 타겟 가시광 이미지의 광도 분량을 얻는 것은, 즉, 타겟 가시광 이미지를 현재 속하는 컬러 스페이스 모델로부터 광도를 포함하는 컬러 스페이스 모델에로 전환하여, 광도 분량을 분리해내는 것인바, 구체적인 전환 방식은 관련기술의 컬러 스페이스 모델 사이의 전환 방식을 참조할 수 있으며, 여기에서는 한정하지 않기로 한다.
단계 b1, 당해 광도 분량의 제1 평균치와 제1 분산(variance), 및 당해 제2 비가시광 이미지의 광도 분량의 제2 평균치와 제2 분산을 각각 계산한다.
여기서, 제2 비가시광 이미지 자체는 컬러 분량에 관한 것이 아니므로, 광도 분량의 분리 처리를 실행할 필요가 없으며, 이에 따라, 당해 타겟 가시광 이미지의 광도 분량을 분리하여 얻은 후, 관련기술을 적용하여 당해 광도 분량의 제1 평균치와 제1 분산, 및 당해 제2 비가시광 이미지의 광도 분량의 제2 평균치와 제2 분산을 각각 계산할 수 있으며, 더 나아가 후속의 처리를 실행한다.
단계 c1, 당해 제1 평균치, 당해 제1 분산, 당해 제2 평균치와 당해 제2 분산에 기반하여, 당해 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리(global mapping processing)를 행한다.
구체적으로, 하나의 구체적인 구현방식에서, 당해 사전 처리 합성 유닛(150)이 당해 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행할 때 이용하는 공식은
Figure 112019037896502-pct00059
일 수 있으며,
여기서,
Figure 112019037896502-pct00060
은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하고,
Figure 112019037896502-pct00061
은 당해 제2 비가시광 이미지의 광도 분량을 표시하며,
Figure 112019037896502-pct00062
는 당해 제1 평균치를 표시하며,
Figure 112019037896502-pct00063
는 당해 제2 평균치를 표시하고,
Figure 112019037896502-pct00064
는 당해 제1 분산을 표시하며,
Figure 112019037896502-pct00065
은 당해 제2 분산을 표시한다.
단계 d1, 미리 설정한 sobel 엣지 검출 연산자(edge detection operator)를 이용하여 당해 타겟 가시광 이미지와 당해 제2 비가시광 이미지에 대해 각각 콘볼루션(convolution)을 행하여, 당해 타겟 가시광 이미지에 대응하는 제1 텍스처 이미지(texture image)와 당해 제2 비가시광 이미지에 대응하는 제2 텍스처 이미지를 얻는다.
소벨 sobel 엣지 검출 연산자는 주로 엣지 검출에 사용되며, 기술상에서, 그는 하나의 이산형 차분 연산자(difference operator)이고, 이미지 광도 함수의 그레이스케일(grayscale)의 근사치를 운산하는데 사용된다. 이미지의 어떠한 하나의 포인트에서 해당 연산자를 사용하면, 대응하는 그레이스케일 벡터 또는 그의 법선 벡터를 생성한다.
구체적으로, 하나의 구체적인 구현방식에서, 당해 사전 처리 합성 유닛(150)이 이용하는 당해 미리 설정한 sobel 엣지 검출 연산자는
Figure 112019037896502-pct00066
이다.
이해할 수 있는 바로는, 미리 설정한 sobel 엣지 검출 연산자를 이용하여 당해 타겟 가시광 이미지와 당해 제2 비가시광 이미지에 대해 각각 콘볼루션을 행하는 구체적인 구현방식은 관련기술을 참조할 수 있는 바, 여기에서는 한정하지 않기로 한다.
단계 e1, 글로벌 매핑 처리 후 얻은 광도 분량, 당해 타겟 가시광 이미지의 광도 분량, 당해 제1 텍스처 이미지와 당해 제2 텍스처 이미지를 이용하여, 당해 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 확정한다.
여기서, 하나의 구체적인 구현방식에서, 당해 사전 처리 합성 유닛(150)이 당해 제2 비가시광 이미지에 대해 광도 조정을 행할 때 이용하는 공식은
Figure 112019037896502-pct00067
일 수 있다.
여기서,
Figure 112019037896502-pct00068
는 타겟 비가시광 이미지를 표시하고,
Figure 112019037896502-pct00069
은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하며,
Figure 112019037896502-pct00070
는 당해 타겟 가시광 이미지의 광도 분량을 표시하고,
Figure 112019037896502-pct00071
는 당해 제2 텍스처 이미지를 표시하며,
Figure 112019037896502-pct00072
는 당해 제1 텍스처 이미지를 표시한다.
강조하고자 하는 바로는, 상술한 당해 사전 처리 합성 유닛(150)이 당해 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행하는데 이용되는 공식, 및 당해 사전 처리 합성 유닛(150)이 당해 제2 비가시광 이미지에 대해 광도 조정을 행하는데 이용되는 공식은 단지 예시일 뿐, 본 출원의 실시예에 대한 한정을 구성하지 말아야 한다. 또한, 상기 주어진 당해 사전 처리 합성 유닛(150)이 당해 타겟 가시광 이미지에 기반하여, 당해 제2 비가시광 이미지에 대해 광도 조정을 행하는 구체적인 구현방식도 단지 예시일 뿐, 본 출원의 실시예에 대한 한정을 구성하지 말아야 한다.
구체적으로, 당해 융합 유닛(160)이 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 이미지 융합을 행하는 구체적인 구현방식은 여러가지가 존재한다. 아래에 예를 들어 소개하기로 한다.
하나의 구체적인 구현방식에서, 당해 융합 유닛(160)은 구체적으로,
당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 대응되는 제1 유형의 가중치에 따라 가중 처리를 행하여, 융합 후의 이미지를 얻기 위한 것이다.
설명하고자하는 바로는, 이러한 종류의 구현방식에서, 타겟 가시광 이미지와 타겟 비가시광 이미지에 대응하는 가중치는 모두 제1 유형의 가중치로 불리우며, 여기서, 타겟 가시광 이미지에 대응하는 제1 유형의 가중치와 타겟 비가시광 이미지에 대응하는 제1 유형의 가중치의 구체적인 크기는 같거나 또는 다를 수 있으나, 두개의 제1 유형의 가중치의 합은 1이다. 또한, 소위 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 대응되는 제1 유형의 가중치에 따라 가중 처리를 행하는 것은 구체적으로, 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지를 대응되는 제1 유형의 가중치와 곱셈하고, 승적을 덧셈하는 것을 가리키는 바, 예를 들어 말하자면, y=x1*A+x2*B이고, 여기서, y는 융합 후의 이미지이고, A는 타겟 가시광 이미지이며, B는 타겟 비가시광 이미지이고, x1는 타겟 가시광 이미지에 대응하는 제1 유형의 가중치이며, x2는 타겟 비가시광 이미지에 대응하는 제1 유형의 가중치이다.
이해할 수 있는 바로는, 당해 타겟 가시광 이미지에 대응하는 제1 유형의 가중치와 당해 타겟 비가시광 이미지에 대응하는 제1 유형의 가중치는 미리 설정된 값이고, 설정될 때, 타겟 가시광 이미지와 타겟 비가시광 이미지에 대한 실제 정보 요구에 의하여 설정될 수 있는 바, 여기에서는 한정하지 않기로 한다. 예를 들어 말하자면, 타겟 가시광 이미지의 이미지 정보가 타겟 비가시광 이미지의 이미지 정보보다 많은 것을 요구할 경우, 당해 타겟 가시광 이미지에 대응하는 제1 유형의 가중치가 당해 타겟 비가시광 이미지에 대응하는 제1 유형의 가중치보다 크게 설정될 수 있다. 유사하게, 타겟 가시광 이미지의 이미지 정보가 타겟 비가시광 이미지의 이미지 정보보다 적은 것을 요구할 경우, 당해 타겟 가시광 이미지에 대응하는 제1 유형의 가중치를 당해 타겟 비가시광 이미지에 대응하는 제1 유형의 가중치보다 작게 설정할 수 있다. 또한, 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 대응되는 제1 유형의 가중치에 따라 가중 처리를 행하는 과정은 관련기술을 적용할 수 있는 바, 여기서 더이상 설명하지 않기로 한다.
다른 하나의 구체적인 구현방식에서, 이미지 디테일, 정보량 및 컬러 정확도를 향상하기 위하여, 당해 융합 유닛(160)은 구체적으로,
당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 주파수분할(frequency division)-융합을 행하고, 융합 후의 이미지를 얻기 위한 것이다.
여기서, 소위 주파수분할-융합의 기본적인 사상은, 타겟 가시광 이미지의 저주파 정보와 타겟 비가시광 이미지의 고주파 정보를 추출하고, 소정의 가중에 따라 가중 처리 융합을 행하고, 융합한 후의 광도를 가시광 컬러 분량과 합병하여, 채색의 융합 후의 이미지를 출력하는 것이다.
구체적으로, 하나의 구체적인 구현방식에서, 도2 에서 도시하는 바와 같이, 당해 융합 유닛(160)이 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 주파수분할-융합을 행하는 과정은 하기의 단계를 포함할 수 있다.
단계a2, 당해 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 당해 타겟 가시광 이미지의 광도 분량과 컬러 분량을 얻는다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자가 이해할 수 있는 바로는, 통상적으로 사용하는 컬러 스페이스 유형에는 RGB(빨간색 녹색 파란색 컬러 모델), CMYK(인쇄 컬러 모델, 반사 광선에 의거하는 컬러 모델), Lab(사람이 색채에 대한 감각에 기반하여, 명도(L)와 관련 컬러의 a, b세개 요소로 조성됨), HSV(Hue, Saturation, Value, 구체적으로, 이 모델에서 색채의 파라미터는 각각, 색조(H), 포화도(S), 광도(V)) 등이 있다. 여기서, 당해 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 당해 타겟 가시광 이미지의 광도 분량과 컬러 분량을 얻는 것은 바로 타겟 가시광 이미지를 현재 속하는 컬러 스페이스 모델로부터 광도와 컬러 분량을 포함하는 컬러 스페이스 모델에로 전환하여, 광도 분량과 컬러 분량을 분리해내는 것인바, 구체적으로, 전환 방식은 관련기술의 컬러 스페이스 모델 사이의 전환 방식을 참조할 수 있으며, 여기에서는 한정하지 않기로 한다.
단계b2, 당해 광도 분량에 대해 로우 패스 필터링(low-pass filtering)을 행하여, 당해 타겟 가시광 이미지의 저주파 정보를 얻는다.
여기서, 광도 분량을 얻은 후, 관련 로우 패스 필터링 방식을 적용하여 당해 광도 분량에 대해 로우 패스 필터링을 행하여, 당해 타겟 가시광 이미지의 저주파 정보를 얻을 수 있다.
단계c2, 당해 타겟 비가시광 이미지에 대해 하이 패스 필터링(high-pass filtering)을 행하여, 당해 타겟 비가시광 이미지의 고주파 정보를 얻는다.
여기서, 타겟 비가시광 이미지 자체는 컬러 분량에 관한 것이 아니므로, 광도 분량의 분리 처리를 실행할 필요가 없으며, 이에 따라, 관련 하이 패스 필터링 방식을 직접 적용하여 당해 타겟 비가시광 이미지에 대해 하이 패스 필터링을 행하여, 당해 타겟 비가시광 이미지의 고주파 정보를 얻을 수 있다.
단계d2, 당해 저주파 정보와 당해 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하여, 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 얻는다.
여기서, 타겟 가시광 이미지의 저주파 정보와 타겟 비가시광 이미지의 고주파 정보를 얻은 후, 당해 저주파 정보와 당해 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하여, 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 얻을 수 있다.
구체적으로, 하나의 구체적인 구현방식에서, 당해 융합 유닛(160)이 당해 저주파 정보와 당해 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하는데 이용되는 공식은
Figure 112019037896502-pct00073
일 수 있다.
여기서,
Figure 112019037896502-pct00074
는 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 표시하고,
Figure 112019037896502-pct00075
는 당해 타겟 비가시광 이미지를 표시하며,
Figure 112019037896502-pct00076
는 당해 저주파 정보를 표시하고,
Figure 112019037896502-pct00077
는 당해 고주파 정보를 표시하며,
Figure 112019037896502-pct00078
는 당해 저주파 정보에 대응하는 제2 유형의 가중치를 표시하고,
Figure 112019037896502-pct00079
는 당해 고주파 정보에 대응하는 제2 유형의 가중치를 표시한다.
구체적으로, 이러한 종류의 실시형태에서,
Figure 112019037896502-pct00080
와
Figure 112019037896502-pct00081
의 구체적인 크기는 같거나 다를 수 있다.
Figure 112019037896502-pct00082
는 인공으로 설정한 값일 수 있고, 자동적으로 확정된 것일 수도 있다. 여기서,
Figure 112019037896502-pct00083
의 크기는 필요되는 타겟 가시광 이미지의 이미지 정보의 많고 적임을 표명하는 바, 클 수록 필요되는 이미지 정보가 더 많음을 표명한다. 자동적으로 확정된 것에 대해 말하자면,
Figure 112019037896502-pct00084
는 당해 타겟 비가시광 이미지와 타겟 가시광 이미지의 광도 분량의 광도차이에 기반하여 확정된다. 여기서, 확정 공식은
Figure 112019037896502-pct00085
일 수 있다.
여기서,
Figure 112019037896502-pct00086
는 당해 타겟 비가시광 이미지를 표시하고,
Figure 112019037896502-pct00087
는 당해 타겟 가시광 이미지의 광도 분량을 표시하며,
Figure 112019037896502-pct00088
는
Figure 112019037896502-pct00089
의 절대치를 표시하고,
Figure 112019037896502-pct00090
는
Figure 112019037896502-pct00091
의 최대치를 표시한다.
이 외에,
Figure 112019037896502-pct00092
는 이미지 해상도 정도를 나타내는 바, 수동에 의해 설치될 수 있고, 통상적인 범위는 0~5이며, 여기서, 1은 정상이고, 0은 전부가 저주파 정보이고, 해상도가 낮음을 표명한다.
단계e2, 당해 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 당해 타겟 가시광 이미지의 컬러 분량과 합병하여, 융합 후의 이미지를 얻는다.
당해 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 얻은 후, 관련기술을 적용하여 당해 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 당해 타겟 가시광 이미지의 컬러 분량과 합병하여, 융합 후의 이미지를 얻을 수 있는 바, 구체적인 합병 방식은 여기에서는 한정하지 않기로 한다.
강조하고자 하는 바로는, 상술한 당해 융합 유닛(160)이 당해 타겟 가시광 이미지와 당해 타겟 비가시광 이미지에 대해 주파수분할-융합을 행하는 과정은 단지 예시일 뿐, 본 출원의 실시예에 대한 한정을 구성하지 말아야 한다.
구체적으로, 레지스트레이션 유닛(140)의 구체적인 레지스트레이션 방식은 관련기술에서의 레지스트레이션 방식을 적용할 수 있는 바, 예를 들어 말하자면, 당해 레지스트레이션 유닛(140)은, 구체적으로,
제1 가시광 이미지에 기반하여, 제1 비가시광 이미지에 대해 수평 미러링 이미지 처리(Flip horizontal processing)를 행하고;
아래와 같은 공식에 의거하여 수평 미러링 이미지 처리 후의 제1 비가시광 이미지에 대해 아핀 변환 처리(affine transformation processing)를 행하여, 제2 비가시광 이미지를 얻기 위한 것이며, 그 중, 레지스트레이션 매트릭스는 분광 유닛(110)이 두개의 이미징 유닛(즉 가시광 신호 이미징 유닛(120)과 비가시광 신호 이미징 유닛(130))과의 위치관계에 기반하여 오프라인 교정을 한 것이고,
Figure 112019037896502-pct00093
Figure 112019037896502-pct00094
여기서,
Figure 112019037896502-pct00095
는 제2 비가시광 이미지의 화소점 좌표이고,
Figure 112019037896502-pct00096
는 제1 비가시광 이미지의 화소점 좌표이며,
Figure 112019037896502-pct00097
는 오프라인 교정을 하여 획득한 레지스트레이션 매트릭스이다.
강조하고자 하는 바로는, 상술한 당해 레지스트레이션 유닛(140)의 구체적인 기능은 단지 예시적인 설명일 뿐, 본 출원의 실시예에 대한 한정을 구성하지 말아야 한다.
하나의 구체적인 구현방식에서, 분광 유닛(110)이 고정 장착된 상황에 대해 말하자면, 최대의 광 진입량을 확보하기 위하여, 당해 가시광 신호 이미징 유닛(120)이 당해 비가시광 신호 이미징 유닛(130)과 90°가 되게 놓여지고, 당해 분광 유닛의 반사면이 입사광과 45°가 되도록 한다. 구체적으로, 도3 에서 도시하는 바와 같이, 당해 가시광 신호 이미징 유닛(120)과 당해 비가시광 신호 이미징 유닛(130)은 90°가 되게 놓여지고, 분광 유닛 반사면을 이 두개의 이미징 유닛이 구성한 대각선에 고정되게 놓아, 분광 유닛(110)의 반사면이 각각 당해 가시광 신호 이미징 유닛(120) 및 당해 비가시광 신호 이미징 유닛(130) 사이와의 상대적인 협각이 45°가 되게 하여, 분광 유닛(110)이 투사한 가시광 신호와 반사한 비가시광 신호가 두개의 이미징 유닛이 축대칭 관계가 되도록 확보한다.
하나의 구체적인 구현방식에서, 비가시광의 충족함을 확보하여, 비가시광의 부족으로 인하여 초래된 융합 후의 이미지의 정보 부족을 피하기 위하여, 도4 에서 도시하는 바와 같이, 본 출원의 실시예가 제공하는 분광-융합의 이미지 수집 기기는 보광 유닛(170)을 더 포함하고,
당해 보광 유닛(170)은 당해 비가시광 신호 이미징 유닛(130)에 대해 비가시광 보광을 행하기 위한 것이다.
이해할 수 있는 바로는, 당해 보광 유닛(170)은 실시간으로 보광을 행하여, 비가시광의 충족을 확보할 수 있다. 물론, 효과적인 보광을 위하여, 당해 비가시광 신호 이미징 유닛(130)은 또한 자신이 형성한 제1 비가시광 이미지가 예정된 보광 조건에 부합됨을 검출하였을 경우, 당해 보광 유닛으로 보광 신호를 송신하기 위한 것이다. 당해 보광 유닛(170)은 구체적으로 당해 보광 신호를 수신한 후, 당해 비가시광 신호 이미징 유닛(130)에 대해 비가시광 보광을 행기 위한 것인 바, 다시 말하자면, 당해 보광 유닛(170)은 자기 적응 스위치 기능을 구비하고 있다. 물론, 당해 비가시광 신호 이미징 유닛(130)은 필요한 보광의 보광강도를 확정하여, 나아가 보광 유닛(170)이 당해 보광강도에 따라 보광을 행하도록 지시할 수 있으며, 이때, 당해 보광 유닛(170)은 자기 적응 스위치/강도 제어 기능을 구비하고 있다. 강조하고자 하는 바로는, 보광 유닛(170)이 보광을 실행하는 구체적인 방식은 관련기술일 수 있는 바, 여기에서는 한정하지 않기로 한다.
구체적으로, 상기 예정된 보광 조건은, 당해 제1 비가시광 이미지의 신호 대 잡음비(signal to noise ratio)가 예정된 역치보다 낮거나; 또는, 당해 제1 비가시광 이미지가 이미징될 경우 자동 노출 처리되는 증익 등급이 예정된 등급보다 낮은 것이다. 여기서, 당해 제1 비가시광 이미지의 신호 대 잡음비는 관련기술을 적용하여 계산하여 얻을 수 있는 바, 유사하게, 당해 제1 비가시광 이미지가 이미징될 경우 자동 노출 처리되는 증익 등급은 관련기술을 적용하여 확정할 수 있다. 또한, 예정된 역치와 예정된 등급은 경험값이거나 또는 실제적인 상황에 의해 설정될 수 있는 바, 여기에서는 한정하지 않기로 한다. 이해할 수 있는 바로는, 본 출원의 실시예에서 주어진 당해 예정된 보광 조건은 단지 예시일 뿐, 본 출원의 실시예에 대한 한정을 구성하지 말아야 한다.
이 외에, 본 출원의 실시예는 전자 기기를 더 제공하는 바, 쉘(510, shell), 프로세서(520), 메모리(530), 인쇄 회로 기판(540), 전원 회로(550), 분광 유닛(560), 가시광 신호 이미징 유닛(570), 비가시광 신호 이미징 유닛(580)을 포함하고, 여기서, 인쇄 회로 기판(540)과 분광 유닛(560)은 쉘(510)로 둘러싸인 공간 내부에 안치되고, 프로세서(520), 메모리(530), 가시광 신호 이미징 유닛(570)과 비가시광 신호 이미징 유닛(580)은 인쇄 회로 기판(540)에 장착된다.
상기 전원 회로(550)는, 각 회로 또는 부속품에 전기를 공급하기 위한 것이고;
상기 분광 유닛(560)은, 입사광을 가시광 신호와 비가시광 신호로 분해하기 위한 것이고;
상기 가시광 신호 이미징 유닛(570)은, 상기 분광 유닛(560)이 분해해낸 가시광 신호에 의하여 감광 이미징을 행하여, 제1 가시광 이미지를 형성하기 위한 것이고;
상기 비가시광 신호 이미징 유닛(580)은, 상기 분광 유닛(560)이 분해해낸 비가시광 신호에 의하여 감광 이미징을 행하여, 제1 비가시광 이미지를 형성하기 위한 것이고;
상기 메모리(530)는 실행 가능한 프로그램 코드를 저장하기 위한 것이고;
상기 프로세서(520)는 메모리(530)에 저장된 실행 가능한 프로그램 코드를 런닝하여,
상기 제1 가시광 이미지와 상기 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻는 단계;
상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻는 단계;
상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는 단계를 실행한다.
여기서, 구체적인 응용에서, 당해 전자 기기는 구체적으로 분광 융합의 웹캠, 분광 융합의 카메라 등등 일 수 있다.
선택가능하게, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻는 단계는,
상기 타겟 가시광 이미지에 기반하여, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻는 것을 포함한다.
구체적으로, 상기 타겟 가시광 이미지에 기반하여, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻는 단계는,
상기 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 상기 타겟 가시광 이미지의 광도 분량을 얻는 단계;
상기 광도 분량의 제1 평균치와 제1 분산, 및 상기 제2 비가시광 이미지의 광도 분량의 제2 평균치와 제2 분산을 각각 계산하는 단계;
상기 제1 평균치, 상기 제1 분산, 상기 제2 평균치와 상기 제2 분산에 기반하여, 상기 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행하는 단계;
미리 설정한 sobel 엣지 검출 연산자를 이용하여 상기 타겟 가시광 이미지와 상기 제2 비가시광 이미지에 대해 각각 콘볼루션을 행하여, 상기 타겟 가시광 이미지에 대응하는 제1 텍스처 이미지(texture image)와 상기 제2 비가시광 이미지에 대응하는 제2 텍스처 이미지를 얻는 단계;
글로벌 매핑 처리 후 얻은 광도 분량, 상기 타겟 가시광 이미지의 광도 분량, 상기 제1 텍스처 이미지와 상기 제2 텍스처 이미지를 이용하여, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 확정하는 단계를 포함한다.
선택가능하게, 상기 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행하는데 이용되는 공식은
Figure 112019037896502-pct00098
이고,
여기서,
Figure 112019037896502-pct00099
은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하고,
Figure 112019037896502-pct00100
은 상기 제2 비가시광 이미지의 광도 분량을 표시하며,
Figure 112019037896502-pct00101
는 상기 제1 평균치를 표시하고,
Figure 112019037896502-pct00102
는 상기 제2 평균치를 표시하고,
Figure 112019037896502-pct00103
는 상기 제1 분산을 표시하고,
Figure 112019037896502-pct00104
은 상기 제2 분산을 표시한다.
상기 미리 설정한 sobel 엣지 검출 연산자는
Figure 112019037896502-pct00105
이고,
상기 제2 비가시광 이미지에 대해 광도 조정을 행하는데 이용되는 공식은
Figure 112019037896502-pct00106
이고,
여기서,
Figure 112019037896502-pct00107
는 타겟 비가시광 이미지를 표시하고,
Figure 112019037896502-pct00108
은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하며,
Figure 112019037896502-pct00109
는 상기 타겟 가시광 이미지의 광도 분량을 표시하고,
Figure 112019037896502-pct00110
는 상기 제2 텍스처 이미지를 표시하며,
Figure 112019037896502-pct00111
는 상기 제1 텍스처 이미지를 표시한다.
선택가능하게, 하나의 구체적인 구현방식에서, 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는 단계는,
상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 대응되는 제1 유형의 가중치에 따라 가중 처리를 행하여, 융합 후의 이미지를 얻는 것을 포함한다.
선택가능하게, 하나의 구체적인 구현방식에서, 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는 단계는,
상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 주파수분할-융합을 행하여, 융합 후의 이미지를 얻는 것을 포함한다.
선택가능하게, 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 주파수분할-융합을 행하여, 융합 후의 이미지를 얻는 단계는,
상기 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 상기 타겟 가시광 이미지의 광도 분량과 컬러 분량을 얻는 단계;
상기 광도 분량에 대해 로우 패스 필터링을 행하여, 상기 타겟 가시광 이미지의 저주파 정보를 얻는 단계;
상기 타겟 비가시광 이미지에 대해 하이 패스 필터링을 행하여, 상기 타겟 비가시광 이미지의 고주파 정보를 획득하는 단계;
상기 저주파 정보와 상기 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하여, 형성 대기의 융합 후의 이미지에 대응하는 광도 분량를 얻는 단계;
상기 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 상기 타겟 가시광 이미지의 컬러 분량과 합병하여, 융합 후의 이미지를 얻는 단계를 포함한다.
선택가능하게, 상기 저주파 정보와 상기 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하는데 이용되는 공식은
Figure 112019037896502-pct00112
이고,
여기서,
Figure 112019037896502-pct00113
는 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 표시하고,
Figure 112019037896502-pct00114
는 상기 타겟 비가시광 이미지를 표시하며,
Figure 112019037896502-pct00115
는 상기 저주파 정보를 표시하고,
Figure 112019037896502-pct00116
는 상기 고주파 정보를 표시하며,
Figure 112019037896502-pct00117
는 상기 저주파 정보에 대응하는 제2 유형의 가중치를 표시하고,
Figure 112019037896502-pct00118
는 상기 고주파 정보에 대응되는 제2 유형의 가중치를 표시한다.
선택가능하게,
Figure 112019037896502-pct00119
는 상기 타겟 비가시광 이미지와 타겟 가시광 이미지의 광도 분량의 광도차이에 기반하여 확정되고, 여기서,
Figure 112019037896502-pct00120
이고,
여기서,
Figure 112019037896502-pct00121
는 상기 타겟 비가시광 이미지를 표시하고,
Figure 112019037896502-pct00122
는 상기 타겟 가시광 이미지의 광도 분량을 표시하며,
Figure 112019037896502-pct00123
는
Figure 112019037896502-pct00124
의 절대치를 표시하고,
Figure 112019037896502-pct00125
는
Figure 112019037896502-pct00126
의 최대치를 표시한다.
선택가능하게, 상기 가시광 신호 이미징 유닛과 상기 비가시광 신호 이미징 유닛은 90°가 되게 놓여지고, 상기 분광 유닛의 반사면과 입사광은 45°가 된다.
선택가능하게, 상기 전자 기기는 보광 유닛을 더 포함하고, 상기 보광 유닛은 상기 비가시광 신호 이미징 유닛에 대해 적외광의 보광을 행하기 위한 것이다.
선택가능하게, 상기 비가시광 신호 이미징 유닛은 또한 자신이 형성한 제1 비가시광 이미지가 예정된 보광 조건에 부합됨을 검출할 경우, 상기 보광 유닛으로 보광 신호를 송신하기 위한 것이고;
상기 보광 유닛은 구체적으로, 상기 보광 신호를 수신한 후, 상기 비가시광 신호 이미징 유닛에 대해 적외광의 보광을 행하기 위한 것이다.
선택가능하게, 상기 예정된 보광 조건은,
상기 제1 비가시광 이미지의 신호 대 잡음비가 예정된 역치보다 낮거나, 또는 상기 제1 비가시광 이미지가 이미징될 경우 자동 노출 처리되는 증익 등급이 예정된 등급보다 낮은 것이다.
본 실시예에서, 당해 전자 기기의 프로세서는 메모리 중에 저장된 실행 가능한 프로그램 코드를 판독하여 상기 실행 가능한 프로그램 코드와 대응되는 프로그램을 런닝한다. 당해 프로그램이 런닝될 때, 상기 제1 가시광 이미지와 상기 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻는 것; 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻는 것; 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는 것을 실행한다. 이로부터 볼 수 있듯이, 물체가 다른 웨이브밴드의 광파에 대해 반사 특성이 다름으로 하여 조성한 이미지 차이를 고려하였으며, 이에 따라 융합 후의 이미지의 컬러의 정확성을 향상할 수 있다.
강조하고자 하는 바로는, 전자 기기 실시예에 대해 말하자면, 그에 관한 방법 내용은 전술한 방법 실시예와 기본적으로 유사하기에, 간단하게 설명되었으며, 관련된 부분은 방법 실시예의 부분을 참조하여 설명하면 된다.
설명하고자하는 바로는, 본문에서, 제1과 제2 등과 같은 관계 용어는 단지 하나의 실체 또는 조작을 다른 하나의 실체 또는 조작과 구분하기 위한 것일 뿐, 이러한 실체 또는 조작사이에 어떠한 이런 실제적 관계 또는 순서가 존재함을 반드시 요구하거나 또는 암시하는 것이 아니다. 또한, 용어 "포괄", "포함" 또는 그의 어떠한 기타의 변체는 비배타성의 포함을 포용함을 의미하기에, 일련의 요소를 포함하는 과정, 방법, 물품 또는 기기가 그러한 요소를 포함하도록 하게 할 뿐만 아니라, 또한 명확하게 열거하지 않은 기타 요소를 더 포함하거나, 또는 이러한 과정, 방법, 물품, 또는 기기를 위한 고유한 요소를 더 포함할 수 있다. 더 많은 한정이 없는 상황하에서, 어구 "하나의 ...을 포함"으로 한정된 요소는, 상기 요소를 포괄하는 과정, 방법, 물품, 또는 기기에 이 외의 같은 요소가 존재하는 것을 배제하지 않는다.
본 명세서 중의 각 실시예는 모두 관련된 방식을 적용하여 설명되었고, 각 실시예 사이의 서로 같거나 유사한 부분은 서로 참고하면 되며, 매 실시예마다 중점적으로 설명한 것은 모두 기타 실시예와의 다른 점이다. 특히 시스템 실시예에 대해 말하자면, 그는 방법 실시예와 기본적으로 유사하기에, 간단하게 설명되었으며, 관련된 부분은 방법 실시예의 부분을 참조하여 설명하면 된다.
위의 기술은 단지 본 출원의 바람직한 실시예일 뿐, 본 출원의 보호 범위를 한정하기 위한 것이 아니다. 본 출원의 정신과 원칙내에서 행한 어떠한 보정, 균등 교체, 개진 등은 모두 본 출원의 보호 범위내에 포함된다.

Claims (14)

  1. 분광-융합의 이미지 수집 기기에 있어서,
    분광 유닛, 가시광 신호 이미징 유닛, 비가시광 신호 이미징 유닛, 레지스트레이션 유닛, 사전 처리 합성 유닛과 융합 유닛을 포함하고,
    여기서, 상기 분광 유닛은 입사광을 가시광 신호와 비가시광 신호로 분해하기 위한 것이고;
    상기 가시광 신호 이미징 유닛은 상기 분광 유닛이 분해해낸 가시광 신호에 의하여 감광 이미징을 행하여, 제1 가시광 이미지를 형성하기 위한 것이고;
    상기 비가시광 신호 이미징 유닛은 상기 분광 유닛이 분해해낸 비가시광 신호에 의하여 감광 이미징을 행하여, 제1 비가시광 이미지를 형성하기 위한 것이고;
    상기 레지스트레이션 유닛은 상기 제1 가시광 이미지와 상기 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻기 위한 것이고;
    상기 사전 처리 합성 유닛은 상기 타겟 가시광 이미지에 기반하여 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻기 위한 것으로, 융합될 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지의 광도 차를 감소시키도록 상기 제2 비가시광 이미지의 광도가 변화되며;
    상기 융합 유닛은 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻기 위한 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  2. 제1 항에 있어서,
    상기 사전 처리 합성 유닛은 구체적으로,
    상기 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 상기 타겟 가시광 이미지의 광도 분량을 얻고;
    상기 광도 분량의 제1 평균치와 제1 분산, 및 상기 제2 비가시광 이미지의 광도 분량의 제2 평균치와 제2 분산을 각각 계산하고;
    상기 제1 평균치, 상기 제1 분산, 상기 제2 평균치와 상기 제2 분산에 기반하여, 상기 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행하고;
    미리 설정한 sobel 엣지 검출 연산자를 이용하여 상기 타겟 가시광 이미지와 상기 제2 비가시광 이미지에 대해 각각 콘볼루션을 행하여, 상기 타겟 가시광 이미지에 대응하는 제1 텍스처 이미지와 상기 제2 비가시광 이미지에 대응하는 제2 텍스처 이미지를 얻고;
    글로벌 매핑 처리 후 얻은 광도 분량, 상기 타겟 가시광 이미지의 광도 분량, 상기 제1 텍스처 이미지와 상기 제2 텍스처 이미지를 이용하여, 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 확정하기 위한 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  3. 제2 항에 있어서,
    상기 사전 처리 합성 유닛이 상기 제2 비가시광 이미지의 광도 분량에 대해 글로벌 매핑 처리를 행하는데 이용되는 공식은
    Figure 112020068511603-pct00127
    이고,
    여기서,
    Figure 112020068511603-pct00128
    은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하고,
    Figure 112020068511603-pct00129
    은 상기 제2 비가시광 이미지의 광도 분량을 표시하며,
    Figure 112020068511603-pct00130
    는 상기 제1 평균치를 표시하고,
    Figure 112020068511603-pct00131
    는 상기 제2 평균치를 표시하고,
    Figure 112020068511603-pct00132
    는 상기 제1 분산을 표시하며,
    Figure 112020068511603-pct00133
    은 상기 제2 분산을 표시하며,
    상기 사전 처리 합성 유닛이 이용하는 상기 미리 설정한 sobel 엣지 검출 연산자는
    Figure 112020068511603-pct00134
    이고,
    상기 사전 처리 합성 유닛이 상기 제2 비가시광 이미지에 대해 광도 조정을 행하는데 이용되는 공식은
    Figure 112020068511603-pct00135
    이고,
    여기서,
    Figure 112020068511603-pct00136
    는 타겟 비가시광 이미지를 표시하고,
    Figure 112020068511603-pct00137
    은 글로벌 매핑 처리 후 얻은 광도 분량을 표시하며,
    Figure 112020068511603-pct00138
    는 상기 타겟 가시광 이미지의 광도 분량을 표시하고,
    Figure 112020068511603-pct00139
    는 상기 제2 텍스처 이미지를 표시하며,
    Figure 112020068511603-pct00140
    는 상기 제1 텍스처 이미지를 표시하는 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  4. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 융합 유닛은 구체적으로,
    상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 대응되는 제1 유형의 가중치에 따라 가중 처리를 행하여, 융합 후의 이미지를 얻기 위한 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  5. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 융합 유닛은 구체적으로,
    상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 주파수분할-융합을 행하여, 융합 후의 이미지를 얻기 위한 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  6. 제5 항에 있어서,
    상기 융합 유닛이 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 주파수분할-융합을 하는 과정은,
    상기 타겟 가시광 이미지에 대해 컬러 스페이스 변환을 행하여, 상기 타겟 가시광 이미지의 광도 분량과 컬러 분량을 얻는 것;
    상기 광도 분량에 대해 로우 패스 필터링을 행하여, 상기 타겟 가시광 이미지의 저주파 정보를 얻는 것;
    상기 타겟 비가시광 이미지에 대해 하이 패스 필터링을 행하여, 상기 타겟 비가시광 이미지의 고주파 정보를 획득하는 것;
    상기 저주파 정보와 상기 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하여, 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 얻는 것;
    상기 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 상기 타겟 가시광 이미지의 컬러 분량과 합병하여, 융합 후의 이미지를 얻는 것을 포함하는 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  7. 제6 항에 있어서,
    상기 융합 유닛이 상기 저주파 정보와 상기 고주파 정보에 대해 대응되는 제2 유형의 가중치에 따라 가중 처리를 행하는데 이용되는 공식은
    Figure 112020068511603-pct00141
    이고,
    여기서,
    Figure 112020068511603-pct00142
    는 형성 대기의 융합 후의 이미지에 대응하는 광도 분량을 표시하고,
    Figure 112020068511603-pct00143
    는 상기 타겟 비가시광 이미지를 표시하며,
    Figure 112020068511603-pct00144
    는 상기 저주파 정보를 표시하고,
    Figure 112020068511603-pct00145
    는 상기 고주파 정보를 표시하며,
    Figure 112020068511603-pct00146
    는 상기 저주파 정보에 대응하는 제2 유형의 가중치를 표시하고,
    Figure 112020068511603-pct00147
    는 상기 고주파 정보에 대응되는 제2 유형의 가중치를 표시하는 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  8. 제7 항에 있어서,
    Figure 112020068511603-pct00148
    는 상기 타겟 비가시광 이미지와 타겟 가시광 이미지의 광도 분량의 광도차이에 기반하여 확정되고, 여기서,
    Figure 112020068511603-pct00149
    이고,
    여기서,
    Figure 112020068511603-pct00150
    는 상기 타겟 비가시광 이미지를 표시하고,
    Figure 112020068511603-pct00151
    는 상기 타겟 가시광 이미지의 광도 분량을 표시하며,
    Figure 112020068511603-pct00152
    는
    Figure 112020068511603-pct00153
    의 절대치를 표시하고,
    Figure 112020068511603-pct00154
    는
    Figure 112020068511603-pct00155
    의 최대치를 표시하는 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  9. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 가시광 신호 이미징 유닛과 상기 비가시광 신호 이미징 유닛은 90°가 되게 놓여지고, 상기 분광 유닛의 반사면과 입사광은 45°가 되는 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  10. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    보광 유닛을 더 포함하고,
    상기 보광 유닛은 상기 비가시광 신호 이미징 유닛에 대해 적외광의 보광을 행하기 위한 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  11. 제10 항에 있어서,
    상기 비가시광 신호 이미징 유닛은 또한 자신이 형성한 제1 비가시광 이미지가 예정된 보광 조건에 부합됨을 검출할 경우, 상기 보광 유닛으로 보광 신호를 송신하기 위한 것이고,
    상기 보광 유닛은 구체적으로, 상기 보광 신호를 수신한 후, 상기 비가시광 신호 이미징 유닛에 대해 적외광의 보광을 행하기 위한 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  12. 제11 항에 있어서,
    상기 예정된 보광 조건은,
    상기 제1 비가시광 이미지의 신호 대 잡음비가 예정된 역치보다 낮거나,
    또는,
    상기 제1 비가시광 이미지가 이미징될 경우 자동 노출 처리되는 증익 등급이 예정된 등급보다 낮은 것을 특징으로 하는 분광-융합의 이미지 수집 기기.
  13. 전자 기기에 있어서,
    쉘, 프로세서, 메모리, 인쇄 회로 기판, 전원 회로, 분광 유닛, 가시광 신호 이미징 유닛, 비가시광 신호 이미징 유닛을 포함하고, 여기서, 인쇄 회로 기판과 분광 유닛은 쉘로 둘러싸인 공간 내부에 안치되고, 프로세서, 메모리, 가시광 신호 이미징 유닛과 비가시광 신호 이미징 유닛은 인쇄 회로 기판에 장착되며,
    상기 전원 회로는 각 회로 또는 부속품에 전기를 공급하기 위한 것이고;
    상기 분광 유닛은 입사광을 가시광 신호와 비가시광 신호로 분해하기 위한 것이고;
    상기 가시광 신호 이미징 유닛은 상기 분광 유닛이 분해해낸 가시광 신호에 의하여 감광 이미징을 행하여, 제1 가시광 이미지를 형성하기 위한 것이고;
    상기 비가시광 신호 이미징 유닛은 상기 분광 유닛이 분해해낸 비가시광 신호에 의하여 감광 이미징을 행하여, 제1 비가시광 이미지를 형성하기 위한 것이고;
    상기 메모리는 실행 가능한 프로그램 코드를 저장하기 위한 것이고;
    상기 프로세서는 메모리에 저장된 실행 가능한 프로그램 코드를 런닝하여,
    상기 제1 가시광 이미지와 상기 제1 비가시광 이미지에 대해 위치 레지스트레이션을 행하여, 타겟 가시광 이미지와 제2 비가시광 이미지를 얻는 단계;
    상기 타겟 가시광 이미지에 기반하여 상기 제2 비가시광 이미지에 대해 광도 조정을 행하여, 타겟 비가시광 이미지를 얻되, 융합될 상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지의 광도 차를 감소시키도록 상기 제2 비가시광 이미지의 광도가 변화되는 단계;
    상기 타겟 가시광 이미지와 상기 타겟 비가시광 이미지에 대해 이미지 융합을 행하여, 융합 후의 이미지를 얻는 단계를 실행하는 것을 특징으로 하는 전자 기기.
  14. 삭제
KR1020197010634A 2016-09-19 2017-06-02 분광-융합의 이미지 수집 기기 KR102247092B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610830005.6 2016-09-19
CN201610830005.6A CN107845083B (zh) 2016-09-19 2016-09-19 分光融合的图像采集设备
PCT/CN2017/086976 WO2018049849A1 (zh) 2016-09-19 2017-06-02 分光融合的图像采集设备

Publications (2)

Publication Number Publication Date
KR20190047040A KR20190047040A (ko) 2019-05-07
KR102247092B1 true KR102247092B1 (ko) 2021-04-30

Family

ID=61619856

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197010634A KR102247092B1 (ko) 2016-09-19 2017-06-02 분광-융합의 이미지 수집 기기

Country Status (7)

Country Link
US (1) US11328397B2 (ko)
EP (1) EP3518179B1 (ko)
JP (1) JP6847231B2 (ko)
KR (1) KR102247092B1 (ko)
CN (2) CN107845083B (ko)
SA (1) SA519401342B1 (ko)
WO (1) WO2018049849A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572583A (zh) * 2018-05-18 2019-12-13 杭州海康威视数字技术股份有限公司 拍摄图像的方法及摄像机
CN110557527B (zh) 2018-06-04 2021-03-23 杭州海康威视数字技术股份有限公司 一种摄像机及抓拍图片融合方法
CN110557526B (zh) 2018-06-04 2021-03-23 杭州海康威视数字技术股份有限公司 一种图像采集方法和系统
CN108965658A (zh) * 2018-06-25 2018-12-07 中国科学院自动化研究所 面向深度数码变焦的精配准图像采集装置
CN108650447B (zh) * 2018-07-06 2024-03-05 上海图漾信息科技有限公司 图像传感器、深度数据测量头及测量系统
CN109242815B (zh) * 2018-09-28 2022-03-18 合肥英睿系统技术有限公司 一种红外光图像和可见光图像融合方法及系统
CN111325701B (zh) * 2018-12-14 2023-05-09 杭州海康微影传感科技有限公司 图像处理方法、装置及存储介质
CN110378861B (zh) * 2019-05-24 2022-04-19 浙江大华技术股份有限公司 一种图像融合方法及装置
CN110490187B (zh) * 2019-05-31 2022-04-15 杭州海康威视数字技术股份有限公司 车牌识别设备和方法
CN110166675B (zh) * 2019-06-14 2024-02-13 深圳扑浪创新科技有限公司 同步拍摄装置与同步拍摄方法
CN110365878B (zh) * 2019-07-04 2022-05-17 华为技术有限公司 一种摄像装置和方法
CN110728703B (zh) * 2019-09-16 2023-05-12 东南大学 可见光图像与日盲紫外光图像的配准融合方法
KR102235127B1 (ko) * 2019-12-18 2021-04-01 세종대학교산학협력단 멀티모달 영상의 적응적 융합 방법 및 그 장치
CN111586314B (zh) * 2020-05-25 2021-09-10 浙江大华技术股份有限公司 一种图像融合方法、装置以及计算机存储介质
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
CN113076954B (zh) * 2021-03-26 2022-06-21 广西科技大学 一种基于视杆细胞暗适应的轮廓检测方法
CN113160194B (zh) * 2021-04-28 2023-06-16 贵州电网有限责任公司 一种紫外和可见光图像的距离自适应配准方法
CN113286094B (zh) * 2021-05-27 2022-06-24 重庆紫光华山智安科技有限公司 图像自动曝光方法、装置、设备及介质
CN116471466B (zh) * 2023-06-12 2023-09-05 深圳市博盛医疗科技有限公司 一种双晶片内窥镜成像方法及成像装置
CN116977184B (zh) * 2023-08-01 2024-03-19 南方电网数字电网研究院股份有限公司 输电线路图像获取方法、装置、计算机设备和存储介质
CN117201949A (zh) * 2023-11-08 2023-12-08 荣耀终端有限公司 图像处理方法、电子设备、分光设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874779A (zh) * 2015-03-31 2016-08-17 深圳市大疆创新科技有限公司 成像装置及其补光控制方法、系统，以及可移动物体

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002139772A (ja) * 2000-10-31 2002-05-17 Olympus Optical Co Ltd カメラのファインダ装置
TW583600B (en) * 2002-12-31 2004-04-11 Ind Tech Res Inst Method of seamless processing for merging 3D color images
JP2006072401A (ja) * 2004-08-31 2006-03-16 Fujitsu Ltd 画像複合装置および画像複合方法
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
JP5084594B2 (ja) * 2008-04-22 2012-11-28 キヤノン株式会社 眼科撮像装置
US20100231716A1 (en) * 2009-03-13 2010-09-16 Klaerner Mark A Vehicle-Mountable Imaging Systems and Methods
US8503778B2 (en) * 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
KR101048768B1 (ko) * 2009-06-10 2011-07-15 (주)실리콘화일 조도, 근접도 및 색온도 측정이 가능한 이미지센서
EP2309449B1 (en) * 2009-10-09 2016-04-20 EPFL Ecole Polytechnique Fédérale de Lausanne Method to produce a full-color smoothed image
CN101714251B (zh) * 2009-12-22 2013-04-10 上海电力学院 一种红外与可见光伪彩色图像融合及增强方法
US8326142B2 (en) * 2010-02-12 2012-12-04 Sri International Optical image systems
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
KR101858646B1 (ko) * 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
CN103024281A (zh) * 2013-01-11 2013-04-03 重庆大学 红外与可见光视频融合系统
KR102035355B1 (ko) * 2013-07-22 2019-11-18 현대모비스 주식회사 영상 처리 방법 및 이를 위한 위한 장치
WO2015011824A1 (ja) * 2013-07-25 2015-01-29 日立マクセル株式会社 撮像装置
CN103793896B (zh) * 2014-01-13 2017-01-18 哈尔滨工程大学 一种红外图像与可见光图像的实时融合方法
CN103761724A (zh) * 2014-01-28 2014-04-30 中国石油大学(华东) 基于超现实亮度对比度传递算法的可见光与红外视频融合方法
JP6415066B2 (ja) * 2014-03-20 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
JP6355454B2 (ja) * 2014-06-27 2018-07-11 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN104079908B (zh) * 2014-07-11 2015-12-02 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
CN105203159A (zh) * 2015-10-14 2015-12-30 武汉三江中电科技有限责任公司 单通道可见光与红外图像采集融合监测系统
CN105678727A (zh) * 2016-01-12 2016-06-15 四川大学 基于异构多核构架的红外光与可见光图像实时融合系统
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874779A (zh) * 2015-03-31 2016-08-17 深圳市大疆创新科技有限公司 成像装置及其补光控制方法、系统，以及可移动物体

Also Published As

Publication number Publication date
US20190213723A1 (en) 2019-07-11
CN107845083A (zh) 2018-03-27
JP2019530940A (ja) 2019-10-24
EP3518179A1 (en) 2019-07-31
EP3518179A4 (en) 2019-09-18
EP3518179B1 (en) 2024-02-28
JP6847231B2 (ja) 2021-03-24
WO2018049849A1 (zh) 2018-03-22
CN107845083B (zh) 2019-12-20
SA519401342B1 (ar) 2023-06-01
CN111028188A (zh) 2020-04-17
CN111028188B (zh) 2023-05-02
US11328397B2 (en) 2022-05-10
WO2018049849A9 (zh) 2019-04-04
KR20190047040A (ko) 2019-05-07

Similar Documents

Publication Publication Date Title
KR102247092B1 (ko) 분광-융합의 이미지 수집 기기
CN109429001B (zh) 图像采集方法、装置、电子设备以及计算机可读存储介质
EP3343911B1 (en) Image signal processing method and system
US7920172B2 (en) Method of controlling an action, such as a sharpness modification, using a colour digital image
US8018509B2 (en) Image input processing apparatus and method
US20220159162A1 (en) Imaging compensation device, imaging compensation method, and application
WO2012067028A1 (ja) 画像入力装置および画像処理装置
CN109565577B (zh) 色彩校正装置、色彩校正系统以及色彩校正方法
WO2021184362A1 (zh) 一种摄像装置
CN107995396B (zh) 一种双摄像头模组以及终端
CN107835351B (zh) 一种双摄像头模组以及终端
US10395347B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP2018023077A (ja) ビデオカメラ撮像装置
JP2012010141A (ja) 画像処理装置
JP7136077B2 (ja) 画像処理装置及び撮像装置
JP2016051982A (ja) 画像処理装置、カメラおよび画像処理プログラム
JP7426438B2 (ja) 画像処理方法、装置、電子機器および読み取り可能記憶媒体
CN109314746A (zh) 图像传感器及其获取图像的方法、智能设备
US20230351569A1 (en) Conjugate image for color and near-infrared image fusion
CN101707722B (zh) 图像处理方法
JP2022179259A (ja) 光束分離光学系および画像処理装置
Suiter et al. Image preparation for enhancement of recorded underwater video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant