KR20140099777A - 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법 - Google Patents

다중대역 필터배열 센서를 이용한 영상융합장치 및 방법 Download PDF

Info

Publication number
KR20140099777A
KR20140099777A KR1020130012607A KR20130012607A KR20140099777A KR 20140099777 A KR20140099777 A KR 20140099777A KR 1020130012607 A KR1020130012607 A KR 1020130012607A KR 20130012607 A KR20130012607 A KR 20130012607A KR 20140099777 A KR20140099777 A KR 20140099777A
Authority
KR
South Korea
Prior art keywords
image
nir
band
array sensor
filter array
Prior art date
Application number
KR1020130012607A
Other languages
English (en)
Other versions
KR101926489B1 (ko
Inventor
최은철
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020130012607A priority Critical patent/KR101926489B1/ko
Priority to US13/953,895 priority patent/US9285309B2/en
Priority to CN201310487513.5A priority patent/CN103971351B/zh
Publication of KR20140099777A publication Critical patent/KR20140099777A/ko
Application granted granted Critical
Publication of KR101926489B1 publication Critical patent/KR101926489B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 다중대역 필터배열 센서를 이용한 영상융합장치는 다중대역 필터배열 센서를 통해 들어온 입력 영상을 RGB 영상과 NIR 영상으로 분리하는 분리부; R,G 및 B 픽셀 각각에서 상기 다중대역 필터배열 센서를 통해 상기 R,G 및 B 픽셀에 함께 입사된 NIR 픽셀 값을 제거하여 가시대역의 RGB 영상을 추출하는 칼라복원부; 및 상기 가시대역의 RGB 영상과 상기 NIR 영상을 융합하며, 이 경우 상기 NIR 영상이 융합되는 비율은 상기 가시대역의 RGB 영상을 구성하는 R,G 및 B 각각의 픽셀의 비율에 기초하는 영상융합부;를 포함한다.

Description

다중대역 필터배열 센서를 이용한 영상융합장치 및 방법{Method and System for Image Fusion using Multi-spectral filter array sensor}
본 발명은 영상처리장치에 관한 것으로, 상세히 다중대역 필터배열(Multi-spectral Filter Array)을 사용하여 획득한 영상 중 RGB 영상과 NIR(또는 흑백) 영상을 융합하는 방법에 관한 것이다.
가시광선 대역의 영상과 비가시 대역의 NIR영상을 동시에 획득하기 위해 다중대역 필터배열(multi-spectral filter array)를 사용하여 각 채널의 영상을 동시에 획득하기 위해 다중대역 필터배열(Multi-spectral Filter Array)(도 1 참고)을 사용하여 각 채널의 영상을 동시에 획득하였다.
그 후, 일반적으로 획득된 영상에서 RGB 영상과 NIR 영상을 분리 및 처리한 후, 최종적으로 두 영상을 융합하여 영상의 감도를 향상시키는 방법을 이용하였다.
US 7251345 A JP 2012-060602 A
RGB 영상과 NIR 영상을 융합하는 과정에서, 영상 내의 R, G 및 B 각각의 화소의 비율을 반영하지 않은 채 융합이 이루어져 채도가 손상되던 종래의 문제점을 해결하고자 한다.
본 발명의 바람직한 일 실시예로서, 다중대역 필터배열 센서를 이용한 영상융합장치는 다중대역 필터배열 센서를 통해 들어온 입력 영상을 RGB 영상과 NIR 영상으로 분리하는 분리부; R,G 및 B 픽셀 각각에서 상기 다중대역 필터배열 센서를 통해 상기 R,G 및 B 픽셀에 함께 입사된 NIR 픽셀 값을 제거하여 가시대역의 RGB 영상을 추출하는 칼라복원부; 및 상기 가시대역의 RGB 영상과 상기 NIR 영상을 융합하며, 이 경우 상기 NIR 영상이 융합되는 비율은 상기 가시대역의 RGB 영상을 구성하는 R,G 및 B 각각의 픽셀의 비율에 기초하는 영상융합부;를 포함한다.
본 발명의 바람직한 일 실시예로서, 다중대역 필터배열 센서를 이용한 영상융합방법은 다중대역 필터배열 센서의 컬러 필터를 통해 들어온 RGB 영상에서 가시대역의 RGB 영상만을 추출하는 단계; 다중대역 필터배열 센서의 근적외선 필터를 통해 NIR 영상을 입력받는 단계; 상기 가시대역의 RGB 영상을 구성하는 R, G 및 B 각각의 픽셀의 비율을 산정하는 단계; 및 상기 가시대역의 RGB 영상과 상기 NIR 영상을 융합하는 단계로, 상기 산정된 R, G 및 B 각각의 픽셀의 비율에 따라 상기 NIR 영상을 융합하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 다중대역 필터배열 센서를 이용한 영상융합장치는 다중대역 필터배열 센서를 통해 들어온 입력 영상을 RGB 영상과 NIR 영상으로 분리하는 분리부; R,G 및 B 픽셀 각각에서 상기 다중대역 필터배열 센서를 통해 상기 R,G 및 B 픽셀에 함께 입사된 NIR 픽셀 값을 제거하여 가시대역의 RGB 영상을 추출하는 칼라복원부; 및 상기 가시대역의 RGB 영상과 상기 NIR 영상을 융합하며, 이 경우 상기 NIR 영상이 융합되는 비율은 상기 가시대역의 RGB 영상을 구성하는 R,G 및 B 각각의 픽셀의 비율에 기초하고, 상기 다중대역 필터배열 센서를 통해 들어온 입력 영상의 지역적 또는 전역적 특성에 따라 상기 가시대역의 RGB 영상과 상기 NIR 영상의 융합 비중을 조절하는 영상융합부;를 포함한다.
본 발명의 RGB 영상과 NIR 영상을 융합하는 방법을 통해 주간에 안개나 연기 등으로 시야가 제한된 상황에서는 NIR성분으로 인해 정보를 확보할 수 있고, 야간에는 컬러정보를 포함한 NIR영상을 확보할 수 있는 효과가 있다.
따라서, 이를 필요로 하는 분야, 특히 감시카메라 분야에 적용할 경우 그 효과가 클 것으로 사료된다.
도 1 은 다중대역 필터배열(Multi-spectral Filter Array) 센서의 일 예를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 다중대역 필터배열 센서를 이용하여 영상을 융합하는 시스템의 내부 구성도를 도시한다.
도 3 은 영상 융합 개념의 일 실시예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 영상융합방법의 일 예를 도시한다.
도 5 는 본 발명의 또 다른 바람직한 일 실시예로서, RGB 영상과 NIR 영상 융합의 일 예를 도시하고, 도 6은 밝기 및 색감을 조절하면서 RGB 영상과 NIR 영상 융합하는 흐름도의 일 예를 도시한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
일반적으로 다중대역 필터배열 센서(도 1 참고)를 통해 획득한 R, G, B 및 NIR 채널로 구성된 multispectral 영상에서 RGB 영상과 NIR 영상을 분리 및 처리한 후, 다시 두 영상을 융합하는 방법으로 IHS 방식의 Fusion(영상 융합) 방식이 많이 이용되었다.
IHS 영상 융합 방식에서는 칼라 영역에 있는 칼라 영상을 칼라 변환한 후, 공간 정보인 I(intensity)와 스펙트럼 대역 정보인 H(Hue), S(Saturation)를 수학식 1과 같이 분리한다.
Figure pat00001
Figure pat00002
수학식 1에서 획득한 I, H 및 S 성분을 다시 RGB의 칼라 영역으로 바꾼 후, R, G 및 B의 I(intensity) 성분을 NIR(또는 흑백 영상) 영상으로 치환한다. 그 후, NIR 영상으로 치환된 공간정보 및 스펙트럼 정보들을 다시 RGB 칼라 영역으로 치환하여 최종적으로 융합된 영상을 획득한다.
이러한 IHS 영상 융합 방식은 공간적 정보 및 Spectral 정보가 II(intensity) 정보보다 부족할 경우 정보의 디테일 부분에 손실과 채도가 떨어질 수 있는 문제점이 있다. 기존의 IHS 방식에서는 보상 정보가 단편적으로 NIR 정보에 치우쳐 있어 이러한 문제가 발생하게 된다.
도 1 은 다중대역 필터배열(Multi-spectral Filter Array) 센서의 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서는 다중대역 필터배열 센서(100)를 통해 얻은 R,G 및 B 픽셀에 함께 입사되는 NIR 정보를 NIR 픽셀 값을 활용하여 빼줌으로써, IRCF(IR cutoff filter)를 사용하지 않을 수 있다.
구체적으로, 수학식 2와 같이 다중 대역 필터 센서(100)를 이용하여 획득한 각 채널 Rall, Gall, Ball 및 Nall의 파장 대역 범위는 400nm에서 1100nm 로써, 가시광선 대역 정보 만이 아니라 NIR 정보가 함께 획득된다.
Figure pat00003
Gall=Gvis + Gnir
Ball=Bvis + Bnir
Nall=Nvis + Nnir
따라서, 각 칼라채널 Rall, Gall 및 Ball 에서 NIR 정보(Rnir, Gnir, Bnir)를 제거하여 가시광선 대역만의 색감을 획득할 수 있다.
다중대역 필터배열 센서(100)는 도 1 에 도시된 형태로 배열된 센서로, 가시 대역 중 RGB 등의 400nm~700nm에 이르는 가시광선 대역의 광 성분을 투과시키는 컬러 필터와 비가시 대역 중 700nm~1100nm근적외선 영역의 광 성분을 투과시키는 근적외선 필터를 포함한다.
다중대역 필터배열 센서(100)는 주간모드일 때에는 R,G,B에 해당하는 화소를 이용하여 영상을 출력하고, 야간모드일 때에는 NIR에 해당하는 화소를 사용하여 흑백영상을 출력함으로써 영상의 감도를 향상시킬 수 있다.
본 발명의 바람직한 일 실시예에서는, 종래의 IHS 영상 융합 방법의 문제점을 개선하기 위하여, NIR 픽셀 값을 R, G 및 B 픽셀 값에 비례하여 융합하는 방법을 제시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 다중대역 필터배열 센서를 이용하여 영상을 융합하는 시스템의 내부 구성도를 도시한다.
본 발명의 다중대역 필터배열 센서를 이용하여 영상을 융합하는 시스템의 예로는 카메라 시스템이 있으며, 카메라 시스템은 디지털 카메라, 캠코더, 감시 카메라와 같은 영상 촬영 시스템일 수도 있고, 컴퓨터, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 스마트폰, 테블릿, 및 모바일 폰 등에 탑재될 수도 있다.
다중대역 필터배열 센서를 통해 들어온 입력은 분리부(200)를 통해 RGB 채널 영상(210)과 NIR 채널 영상(220)으로 분리된다. 칼라복원부(230)에서는 RGB 채널의 각 칼라채널 Rall, Gall 및 Ball 은 NIR 채널의 정보를 이용하여 수학식 2를 기초로 칼라 복원을 수행한다. 이후, 영상융합부(240)에서 각 칼라채널 Rall, Gall 및 Ball 에서 추출한 가시대역의 RGB 영상과 NIR 영상을 융합한다.
도 3 은 영상 융합 개념의 일 실시예를 도시한다.
일반적으로 RGB 영상과 NIR 영상을 융합할 때는 도 3 에 도시된 바와 같이 R,G,B 픽셀 각각에 N픽셀의 크기만큼을 일률적으로 더해주는 방법을 이용한다. 이 방법의 경우, R, G, B 픽셀에 동일한 N 픽셀을 합함으로써, 원래 R, G 및 B 픽셀의 차이가 상대적으로 적어져 영상의 채도가 떨어지는 현상이 발생한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 영상융합방법의 일 예를 도시한다.
본 발명에서는 도 3과 같은 방식으로 RGB 영상과 NIR 영상을 융합할 때 발생하는 문제점을 해결하기 위하여, R, G 및 B 각 픽셀의 크기 비율을 반영하여 N 픽셀을 더해주는 방안을 제시한다.
상세히 본 발명의 바람직한 일 실시예에서는 수학식 2와 같이 RGB 영상과 NIR 영상을 융합한다.
Figure pat00004
수학식 3에서 K는 아래와 같다.
Figure pat00005

본 발명의 바람직한 일 실시예에서, 수학식 3와 같이 RGB 영상과 NIR 영상을 융합하면, 융합된 영상의 밝기 I'(Intensity)는 수학식 4과 같다.
Figure pat00006
수학식 4에서 I 는 RGB 영상의 밝기로 I=(R+G+B)/3 이고, N은 NIR 영상의 밝기를 의미한다.
본 발명의 바람직한 일 실시예에 따라 RGB 영상과 NIR 영상을 융합하면 기존의 IHS 방법으로 융합한 영상의 밝기와 동일한 밝기를 유지하면서도, 원 영상의 채도를 그대로 유지할 수 있는 이점이 있다.
도 5 는 본 발명의 또 다른 바람직한 일 실시예로서, RGB 영상과 NIR 영상 융합의 일 예를 도시하고, 도 6은 밝기 및 색감을 조절하면서 RGB 영상과 NIR 영상 융합하는 흐름도의 일 예를 도시한다.
본 발명의 또 다른 바람직한 일 실시예에서는 RGB 영상과 NIR 영상 융합시 영상의 특성이나 영상을 적용할 분야에 따라 밝기 및 색감을 조절하도록 구현이 가능하다.
본 발명의 또 다른 바람직한 일 실시예에서는, 수학식 5와 같이 RGB 영상과 NIR 영상을 융합할 수 있다.
Figure pat00007
Figure pat00008
Figure pat00009
여기서, 0≤α≤1 이다.
본 발명의 바람직한 일 실시예로서 수학식 5는 주간모드일 때에는 α값을 작게하여 R, G,B에 해당하는 화소의 값을 많이 이용하여 영상을 출력하고, 야간모드일 때에는 α값을 크게 하여 NIR에 해당하는 화소 정보를 많이 이용하여 흑백영상을 출력함으로써 영상의 감도를 향상시킬 수 있다.
이 외에도, 영상의 지역적 또는 전역적 특성을 분석하여 α값을 조절함으로써 영상의 색감이나 밝기를 조절하도록 구현이 가능하다.
수학식 5를 참고하면 RGB 입력 영상과 NIR 입력영상을 입력받아 영상의 특성을 분석한다(S610). 이 경우 영상의 특성은 지역별 또는 전역별로 특성을 분석할 수 있다. 알파(α)값은 영상 내의 특정 영역의 밝기 통계값에 기초하여 설정하거나 또는 상수값 등으로 설정이 가능하다. 또한, 사용자가 자신이 원하는 출력 영상의 조건에 따라 알파(α)값을 설정할 수 있다. 예를 들어 NIR 영상 정보가 많이 필요한 경우에는 알파(α)값을 크게 설정하고, RGB 영상 정보가 많이 요구되는 경우에는 알파(α)값을 작게 설정할 수 있다(S620).
이 후 알파(α)값에 따라 수학식 5와 같은 방식으로 RGB 영상 및 NIR 영상을 융합하여 최종 영상을 출력한다. 수학식 5에 개시된 것은 NIR 영상과 RGB 영상을 영상 특성에 따라 융합 비율을 조절할 수 있는 개념의 일 예를 개시한 것으로 이와 동일하거나 유사하게 변형이 가능함을 유의하여야 한다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (11)

  1. 다중대역 필터배열 센서를 통해 들어온 입력 영상을 RGB 영상과 NIR 영상으로 분리하는 분리부;
    R,G 및 B 픽셀 각각에서 상기 다중대역 필터배열 센서를 통해 상기 R,G 및 B 픽셀에 함께 입사된 NIR 픽셀 값을 제거하여 가시대역의 RGB 영상을 추출하는 칼라복원부; 및
    상기 가시대역의 RGB 영상과 상기 NIR 영상을 융합하며, 이 경우 상기 NIR 영상이 융합되는 비율은 상기 가시대역의 RGB 영상을 구성하는 R,G 및 B 각각의 픽셀의 비율에 기초하는 영상융합부;를 포함하는 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합장치.
  2. 제 1 항에 있어서, 상기 다중대역 필터배열 센서는
    가시 대역 중 RGB 등의 400nm~700nm에 이르는 가시광선 대역의 광 성분을 투과시키는 컬러 필터와 비가시 대역 중 700nm~1100nm근적외선 영역의 광 성분을 투과시키는 근적외선 필터를 포함하는 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합장치.
  3. 제 1 항에 있어서, 상기 칼라복원부는
    상기 RGB 영상의 전대역 칼라채널 Rall, Gall 및 Ball 에서 NIR 픽셀값(Rnir, Gnir, Bnir)를 제거하여 가시대역의 RGB 영상을 추출하는 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합장치.
  4. 제 1 항에 있어서, 상기 영상융합부에서 융합된 각 칼라채널 R', G' 및 B'은 아래와 같고,
    Figure pat00010

    여기서 k는
    Figure pat00011
    이며, N은 NIR 영상을 의미하는 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합장치.
  5. 제 1 항에 있어서, 상기 영상융합부에서 융합된 각 칼라채널 R', G' 및 B'은 아래와 같고,
    R'=N*(1-α)*R/(R+G+B) + N*α
    G'=N*(1-α)*G/(R+G+B) + N*α
    B'=N*(1-α)*B/(R+G+B) + N*α
    여기서 α는 다중대역 필터배열 센서를 통해 들어온 입력 영상의 지역적 또는 전역적 특성에 따라 변경하도록 구현이 가능한 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합장치.
  6. 제 4 항에 있어서, 상기 영상융합부에서
    융합된 영상의 밝기 I'(Intensity)=(R'+G'+B')/3 인 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합장치.
  7. 다중대역 필터배열 센서의 컬러 필터를 통해 들어온 RGB 영상에서 가시대역의 RGB 영상만을 추출하는 단계;
    다중대역 필터배열 센서의 근적외선 필터를 통해 NIR 영상을 입력받는 단계;
    상기 가시대역의 RGB 영상을 구성하는 R, G 및 B 각각의 픽셀의 비율을 산정하는 단계;
    상기 가시대역의 RGB 영상과 상기 NIR 영상을 융합하는 단계로, 상기 산정된 R, G 및 B 각각의 픽셀의 비율에 따라 상기 NIR 영상을 융합하는 단계;를 포함하는 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합방법.
  8. 제 7 항에 있어서, 상기 다중대역 필터배열 센서는
    영상처리장치에 장착되고, 상기 영상처리장치는 감시카메라를 포함하는 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합방법.
  9. 제 7 항에 있어서, 상기 영상을 융합하는 단계에서 융합된 각 칼라채널 R', G' 및 B'은 아래와 같고,
    Figure pat00012

    여기서 k는
    Figure pat00013
    이며, N은 NIR 영상을 의미하는 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합방법.
  10. 다중대역 필터배열 센서를 통해 들어온 입력 영상을 RGB 영상과 NIR 영상으로 분리하는 분리부;
    R,G 및 B 픽셀 각각에서 상기 다중대역 필터배열 센서를 통해 상기 R,G 및 B 픽셀에 함께 입사된 NIR 픽셀 값을 제거하여 가시대역의 RGB 영상을 추출하는 칼라복원부; 및
    상기 가시대역의 RGB 영상과 상기 NIR 영상을 융합하며, 이 경우 상기 NIR 영상이 융합되는 비율은 상기 가시대역의 RGB 영상을 구성하는 R,G 및 B 각각의 픽셀의 비율에 기초하고, 상기 다중대역 필터배열 센서를 통해 들어온 입력 영상의 지역적 또는 전역적 특성에 따라 상기 가시대역의 RGB 영상과 상기 NIR 영상의 융합 비중을 조절하는 영상융합부;를 포함하는 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합장치.
  11. 제 10 항에 있어서, 상기 영상융합부에서 융합된 각 칼라채널 R', G' 및 B'은 아래와 같고,
    R'=N*(1-α)*R/(R+G+B) + N*α
    G'=N*(1-α)*G/(R+G+B) + N*α
    B'=N*(1-α)*B/(R+G+B) + N*α
    여기서 α는 상기 가시대역의 RGB 영상과 상기 NIR 영상의 융합 비중을 조절하는 변수인 것을 특징으로 하는 다중대역 필터배열 센서를 이용한 영상융합장치.


KR1020130012607A 2013-02-04 2013-02-04 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법 KR101926489B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130012607A KR101926489B1 (ko) 2013-02-04 2013-02-04 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
US13/953,895 US9285309B2 (en) 2013-02-04 2013-07-30 Image fusion method and apparatus using multi-spectral filter array sensor
CN201310487513.5A CN103971351B (zh) 2013-02-04 2013-10-17 使用多光谱滤光器阵列传感器的图像融合方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130012607A KR101926489B1 (ko) 2013-02-04 2013-02-04 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140099777A true KR20140099777A (ko) 2014-08-13
KR101926489B1 KR101926489B1 (ko) 2018-12-07

Family

ID=51240800

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130012607A KR101926489B1 (ko) 2013-02-04 2013-02-04 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법

Country Status (3)

Country Link
US (1) US9285309B2 (ko)
KR (1) KR101926489B1 (ko)
CN (1) CN103971351B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112104818A (zh) * 2020-08-28 2020-12-18 稿定（厦门）科技有限公司 Rgb通道分离方法及系统
KR102286998B1 (ko) * 2020-07-21 2021-08-06 주식회사 아이닉스 가시광 영상 및 적외선 영상의 처리 장치 및 그 처리 방법

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320611A1 (en) * 2013-04-29 2014-10-30 nanoLambda Korea Multispectral Multi-Camera Display Unit for Accurate Color, Multispectral, or 3D Images
CN107873101B (zh) 2014-11-21 2022-01-11 克里斯多夫·M·马蒂 用于对象辨识和评估的成像系统
CN105988215B (zh) * 2015-02-15 2020-03-06 宁波舜宇光电信息有限公司 一种多光谱模组成像系统及其制造方法和应用
CN104819941B (zh) * 2015-05-07 2017-10-13 武汉呵尔医疗科技发展有限公司 一种多波段光谱成像方法
CN105139370B (zh) * 2015-08-24 2018-01-16 中国航空无线电电子研究所 一种基于可见光与近红外双波段相机的实时图像融合方法
JP6794989B2 (ja) * 2015-09-18 2020-12-02 日本電気株式会社 映像処理装置、撮影装置、映像処理方法及びプログラム
CN105338262B (zh) 2015-10-09 2018-09-21 浙江大华技术股份有限公司 一种热成像图像处理方法及装置
CN105282506A (zh) * 2015-10-16 2016-01-27 浙江工业大学 基于物联网的全色-多光谱图像融合视频监控方法及其监控装置
CN105430358B (zh) * 2015-11-26 2018-05-11 努比亚技术有限公司 一种图像处理方法及装置、终端
CN107438170B (zh) * 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
CN106037674B (zh) * 2016-08-18 2018-10-30 皖江新兴产业技术发展中心 一种基于高光谱成像的静脉显像系统
US10523856B2 (en) * 2016-09-08 2019-12-31 Samsung Electronics Co., Ltd. Method and electronic device for producing composite image
CN108419061B (zh) 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN107205139A (zh) * 2017-06-28 2017-09-26 重庆中科云丛科技有限公司 多通道采集的图像传感器及采集方法
CN108229302A (zh) * 2017-11-10 2018-06-29 深圳市商汤科技有限公司 特征提取方法、装置、计算机程序、存储介质和电子设备
CN110830675B (zh) 2018-08-10 2022-05-03 株式会社理光 读取装置、图像形成装置及读取方法
JP7155737B2 (ja) 2018-08-10 2022-10-19 株式会社リコー 画像処理装置、画像処理システム、プログラムおよび画像処理方法
CN108881701B (zh) * 2018-09-30 2021-04-02 华勤技术股份有限公司 拍摄方法、摄像头、终端设备及计算机可读存储介质
CN110493506B (zh) * 2018-12-12 2021-03-02 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
JP7381329B2 (ja) 2018-12-28 2023-11-15 マクセル株式会社 撮像装置
CN109672828B (zh) * 2019-01-04 2021-09-07 深圳英飞拓科技股份有限公司 基于光路白平衡的低照度提升装置及低照度提升方法
CN109584658B (zh) * 2019-02-01 2020-05-19 广州弘宏教育科技有限公司 基于图像处理的在线教学方法、电子设备及系统
EP3731175A1 (en) * 2019-04-26 2020-10-28 XRSpace CO., LTD. Interactive image processing system using infrared cameras
CN111970432A (zh) * 2019-05-20 2020-11-20 华为技术有限公司 一种图像处理方法及图像处理装置
CN110490937B (zh) 2019-07-15 2022-05-17 南京大学 一种加速高光谱视频重建的方法及其装置
CN110611779B (zh) * 2019-09-27 2021-11-26 华南师范大学 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
CN113469160B (zh) * 2020-03-30 2024-03-12 浙江宇视科技有限公司 一种不可见光分量的去除方法、装置、存储介质及设备
CN111667446B (zh) * 2020-06-01 2023-09-01 上海富瀚微电子股份有限公司 图像处理方法
WO2022020989A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 一种滤光阵列、移动终端以及设备
US11917272B2 (en) 2020-10-28 2024-02-27 Semiconductor Components Industries, Llc Imaging systems for multi-spectral imaging
CN112785504B (zh) * 2021-02-23 2022-12-23 深圳市来科计算机科技有限公司 一种昼夜图像融合的方法
RU2767607C1 (ru) * 2021-04-23 2022-03-18 Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ Способ формирования сигналов разноспектральных изображений
RU2767606C1 (ru) * 2021-04-23 2022-03-18 Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ Способ обработки и отображения сигналов разноспектральных изображений
CN117425091A (zh) * 2022-03-28 2024-01-19 荣耀终端有限公司 图像处理方法与电子设备
CN116758467A (zh) * 2023-05-05 2023-09-15 广州白云国际机场建设发展有限公司 一种民航安防设备领域的监控报警方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211521B1 (en) 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US7340099B2 (en) 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
JP4949806B2 (ja) 2006-11-10 2012-06-13 オンセミコンダクター・トレーディング・リミテッド 撮像装置及び画像信号処理装置
US8345936B2 (en) * 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
JP4661922B2 (ja) 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
KR101574730B1 (ko) 2008-11-17 2015-12-07 삼성전자 주식회사 영상 처리 장치 및 방법
CN102243758A (zh) * 2011-07-14 2011-11-16 浙江大学 基于雾天图像复原和图像融合的图像去雾方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286998B1 (ko) * 2020-07-21 2021-08-06 주식회사 아이닉스 가시광 영상 및 적외선 영상의 처리 장치 및 그 처리 방법
CN112104818A (zh) * 2020-08-28 2020-12-18 稿定（厦门）科技有限公司 Rgb通道分离方法及系统
CN112104818B (zh) * 2020-08-28 2022-07-01 稿定（厦门）科技有限公司 Rgb通道分离方法及系统

Also Published As

Publication number Publication date
CN103971351A (zh) 2014-08-06
US20140218538A1 (en) 2014-08-07
US9285309B2 (en) 2016-03-15
KR101926489B1 (ko) 2018-12-07
CN103971351B (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
KR101926489B1 (ko) 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
KR102287944B1 (ko) 영상 출력 장치 및 영상 출력 방법
DE102019106252A1 (de) Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung
WO2014185064A1 (en) Image processing method and system
US20110279698A1 (en) Image processing apparatus, image processing method, and program
US9426437B2 (en) Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
JP6029954B2 (ja) 撮像装置
CN104661008A (zh) 低照度条件下彩色图像质量提升的处理方法和装置
US10110825B2 (en) Imaging apparatus, imaging method, and program
US9485433B2 (en) Systems and methods for iterative adjustment of video-capture settings based on identified persona
WO2020168465A1 (zh) 一种图像处理的装置和方法
US20200204723A1 (en) Image processing apparatus, imaging apparatus, image processing method, imaging method, and program
WO2023036034A1 (zh) 图像处理方法及其相关设备
US10771754B2 (en) Image white balance correction method and electronic device
WO2018116972A1 (ja) 画像処理方法、画像処理装置および記録媒体
US8654210B2 (en) Adaptive color imaging
US9432646B2 (en) Image processing apparatus, image processing method, program and electronic apparatus
WO2023124201A1 (zh) 图像处理方法与电子设备
CN116437198B (zh) 图像处理方法与电子设备
US20210314500A1 (en) Color night vision system and method
CN115550575A (zh) 图像处理方法及其相关设备
JP6398860B2 (ja) 色補正装置、色補正方法及び色補正プログラム
Varjo et al. Comparison of near infrared and visible image fusion methods
EP3528202B1 (en) Image processing apparatus, image processing method, and program
JP2019029830A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant