KR20130137449A - 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법 - Google Patents

멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법 Download PDF

Info

Publication number
KR20130137449A
KR20130137449A KR1020120061079A KR20120061079A KR20130137449A KR 20130137449 A KR20130137449 A KR 20130137449A KR 1020120061079 A KR1020120061079 A KR 1020120061079A KR 20120061079 A KR20120061079 A KR 20120061079A KR 20130137449 A KR20130137449 A KR 20130137449A
Authority
KR
South Korea
Prior art keywords
channel
color
near infrared
image
interpolated
Prior art date
Application number
KR1020120061079A
Other languages
English (en)
Other versions
KR101695252B1 (ko
Inventor
최은철
강문기
Original Assignee
삼성테크윈 주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 연세대학교 산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020120061079A priority Critical patent/KR101695252B1/ko
Priority to US13/860,124 priority patent/US9344689B2/en
Priority to PCT/KR2013/004635 priority patent/WO2013183886A1/en
Priority to CN201380030074.3A priority patent/CN104350744B/zh
Publication of KR20130137449A publication Critical patent/KR20130137449A/ko
Application granted granted Critical
Publication of KR101695252B1 publication Critical patent/KR101695252B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법을 개시한다.
본 발명의 컬러 필터 및 근적외선 필터를 포함하는 멀티 대역 필터 어레이를 구비한 영상 센서로부터 출력되는 영상의 처리 방법은, 상기 영상의 근적외선 채널을 적색 채널, 녹색 채널 및 청색 채널을 포함하는 컬러 채널들의 각 공간 정보를 이용하여 보간하는 단계와, 상기 영상의 각 컬러 채널을 상기 근적외선 채널의 공간 정보를 이용하여 보간하는 단계를 포함할 수 있다.

Description

멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법{Camera system with multi-spectral filter array and image processing method thereof}
본 발명은 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법에 관한 것이다.
CCTV 등 디지털 카메라의 영상 감도를 향상시키기 위해 여러 가지 방법이 사용된다. 가장 일반적인 방법은 RGB 센서와 IRCF(IR cutoff filter)를 사용하는 것이다. 이 방법은 주간에 광량이 많을 때에는 RGB 센서에 IRCF를 사용하여 잡광이 센서에 입사되는 것을 방지하고, 영상의 화질을 향상시킨다. 그리고, 야간에 광량이 적을 때에는 IRCF를 제거함으로써, 센서에 입사되는 광량을 최대화시키는 흑백영상을 출력시킴으로써, 영상의 정보량을 높인다. 그러나, IRCF는 컬러 이미지 감지 장치의 제조 비용을 많이 상승시킨다는 문제점을 야기한다.
영상 감도를 향상시키기 위한 다른 방법은 IRCF를 제거한 RGB 센서와 NIR 센서를 사용하는 것이다. RGB 센서와 NIR 센서는 R,G,B에 해당하는 픽셀에는 컬러필터를 장착하고, NIR에 해당하는 픽셀에는 컬러필터가 미장착되어 센서의 실제 감도를 향상시킬 수 있다.
본 발명은 별도의 IRCF 없는 카메라 시스템에서 컬러 채널과 근적외선 채널 간의 상관관계를 고려한 고해상도 채널 보간 방법을 제공한다.
또한 본 발명은 컬러 필터 및 근적외선 필터를 포함하는 카메라 시스템에서 주야간 구별없이 피사체 식별이 가능한 영상을 제공하는 방법을 제공한다.
본 발명의 바람직한 일 실시예에 따른 컬러 필터 및 근적외선 필터를 포함하는 멀티 대역 필터 어레이를 구비한 영상 센서로부터 출력되는 영상의 처리 방법은, 상기 영상의 근적외선 채널을 적색 채널, 녹색 채널 및 청색 채널을 포함하는 컬러 채널들의 각 공간 정보를 이용하여 보간하는 단계; 및 상기 영상의 각 컬러 채널을 상기 근적외선 채널의 공간 정보를 이용하여 보간하는 단계;를 포함할 수 있다.
상기 방법은, 상기 보간된 컬러 채널의 컬러를 상기 보간된 근적외선 채널의 밝기 정보를 이용하여 복원하는 단계;를 더 포함할 수 있다.
상기 방법은, 상기 복원된 컬러 채널을 포함하는 컬러 영상과 상기 보간된 근적외선 채널을 포함하는 근적외선 영상을 융합하는 단계;를 더 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따른 멀티 대역 필터 어레이 기반 카메라 시스템은, 컬러 필터 및 근적외선 필터를 포함하는 멀티 대역 필터 어레이를 구비한 영상 센서; 상기 영상 센서가 출력하는 영상의 근적외선 채널을 적색 채널, 녹색 채널 및 청색 채널을 포함하는 컬러 채널들의 각 공간 정보를 이용하여 보간하는 근적외선 채널 보간부; 및 상기 영상의 각 컬러 채널을 상기 근적외선 채널의 공간 정보를 이용하여 보간하는 컬러 채널 보간부;를 포함할 수 있다.
상기 근적외선 채널 보간부는, 컬러 픽셀들 중 하나인 보간 픽셀에서, 주변 컬러 픽셀들 간의 각 컬러 채널 값 변화 경향 및 주변 근적외선 픽셀들 간의 근적외선 채널 값 변화 경향을 분석하는 제1분석부; 및 상기 컬러 채널 값 변화 경향 및 근적외선 채널 값 변화 경향을 기초로, 상기 보간 픽셀의 근적외선 채널 값을 결정하는 제1보간부;를 포함할 수 있다.
상기 근적외선 채널 보간부는, 상기 영상의 노이즈 특성 및 픽셀의 에지 정보인 국부 특성을 기초로, 상기 보간된 근적외선 채널의 노이즈 특성 및 국부 특성을 보정하는 제2보간부;를 더 포함할 수 있다.
상기 컬러 채널 보간부는, 보간 대상인 컬러 채널 이외의 채널들의 컬러 픽셀들과 근적외선 픽셀들 중 하나인 보간 픽셀에서, 주변 컬러 픽셀들 간의 각 컬러 채널 값 경향 및 주변 근적외선 픽셀들 간의 근적외선 채널 값 변화 경향을 분석하는 제2분석부; 및 상기 컬러 채널 값 변화 경향 및 근적외선 채널 값 변화 경향을 기초로, 상기 보간 픽셀의 컬러 채널 값을 결정하여 초기 보간하는 제3보간부;를 포함할 수 있다.
상기 컬러 채널 보간부는, 상기 보간된 근적외선 채널의 에지 정보 및 디테일 정보를 이용하여 상기 초기 보간된 컬러 채널들의 에지 정보 및 디테일 정보를 업데이트하는 제4보간부;를 더 포함할 수 있다.
카메라 시스템은, 상기 보간된 컬러 채널의 컬러를 상기 보간된 근적외선 채널의 밝기 정보를 이용하여 복원하는 컬러 복원부;를 더 포함할 수 있다.
상기 컬러 복원부는, 상기 보간된 각 컬러 채널의 색상과 상기 보간된 근적외선 채널의 밝기 간의 상관관계를 분석하는 제3보간부; 상기 상관관계를 기초로 컬러 채널별 가중치를 결정하는 채널 가중치 계산부; 및 상기 가중치를 이용하여 상기 각 컬러 채널에 포함된 근적외선 성분을 제거하는 감산부;를 포함할 수 있다.
상기 컬러 복원은 픽셀 단위로 수행될 수 있다.
카메라 시스템은, 상기 복원된 컬러 채널을 포함하는 컬러 영상과 상기 보간된 근적외선 채널을 포함하는 근적외선 영상을 융합하는 영상 융합부;를 더 포함할 수 있다.
상기 영상 융합부는, 상기 컬러 영상과 상기 근적외선 영상 각각의 에지 성분 및 디테일 성분을 기초로 가중치를 결정하는 영상 가중치 계산부; 및 상기 컬러 영상과 상기 근적외선 영상에 상기 가중치를 각각 적용하여 융합하는 융합부;를 포함할 수 있다.
본 발명의 카메라 시스템은 컬러 채널과 근적외선 채널 간의 상관관계를 고려하여 선명한 고해상도 보간 영상을 제공할 수 있다.
또한 본 발명의 카메라 시스템은 컬러 정보 및 근적외선 정보를 모두 포함하는 융합 영상을 제공하여 정확한 피사체 식별이 가능하다.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템을 개략적으로 도시한 블록도이다.
도 2 및 도 3은 도 1의 영상 센서를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치(30)의 구성을 개략적으로 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 근적외선 채널 보간부의 구성을 개략적으로 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 컬러 채널 보간부의 구성을 개략적으로 도시한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 컬러 복원부의 구성을 개략적으로 도시한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 영상 융합부의 구성을 개략적으로 도시한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 멀티 대역 필터 어레이 기반의 영상 처리 방법을 설명하는 흐름도이다.
도 10은 RGB 컬러 필터와 근적외선(NIR) 필터를 포함하는 영상 센서를 활용하는 종래의 영상처리 장치를 도시한다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다. 도면상의 동일한 부호는 동일한 요소를 지칭한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 카메라 시스템을 개략적으로 도시한 블록도이다. 도 2 및 도 3은 도 1의 영상 센서를 개략적으로 나타낸 도면이다.
도 1을 참조하면, 카메라 시스템(1)은 영상 센서(10)와 영상 처리 장치(30), 디스플레이 장치(50)를 포함한다. 카메라 시스템(1)은 디지털 카메라, 캠코더, 감시 카메라와 같은 영상 촬영 시스템일 수도 있고, 컴퓨터, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 모바일 폰 등에 탑재될 수도 있다.
영상 센서(10)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전변환소자를 이용한다. 영상 센서(10)는 도 2에 도시된 바와 같이, 광전변환소자에 의해 광신호를 전기적 영상 신호로 전환하는 다수의 픽셀이 형성된 픽셀 어레이를 구비한다. 영상 센서(10) 상에는 가시 대역 및 비가시 대역의 광을 통과시키는 멀티 대역 필터 어레이(Multi spectral Filter Array, 이하, "MFA"라 함)가 배치된다. MFA는 가시 대역 중 RGB 등의 특정 색의 광 성분을 투과시키는 컬러 필터와 비가시 대역 중 근적외선 영역의 광 성분을 투과시키는 근적외선 필터를 포함한다. 도 3에 도시된 바와 같이, MFA의 컬러 필터(RCF, GCF, BCF)와 근적외선 필터(NIRF)는 영상 센서(10)의 각 픽셀에 대응하도록 배치되어, 영상 센서(10)의 각 픽셀들은 MFA를 통과한 컬러 채널 신호(R, G, B)와 근적외선 채널 신호(NIR)를 감지한다.
영상 센서(10) 전단에는 광신호를 수신하는 렌즈(미도시)가 구비될 수 있다.
영상 처리 장치(30)는 MFA를 구비하는 영상 센서의 RGB 컬러 픽셀과 근적외선(NIR) 픽셀로 들어오는 정보를 모두 활용하여 하나의 영상을 출력한다.
도 10은 RGB 컬러 필터와 근적외선(NIR) 필터를 포함하는 영상 센서를 활용하는 종래의 영상처리 장치를 도시한다. 도 10을 참조하면, 주간 모드일 때에는 스위치(30d)는 컬러 영상 생성부(30b)에서 생성한 RGB 컬러 영상을 출력하고, 야간 모드일 때에는 근적외선 영상 생성부(30c)에서 생성한 흑백 영상(NIR 영상)을 출력함으로써 영상의 감도를 향상시킨다. 그러나 주간 모드일 때 RGB 채널에는 NIR 성분으로 인해 해상도가 저해되고, NIR 채널 정보를 활용하지 못한다. 또한 영상 센서는 R, G, B, NIR 단위의 픽셀 어레이를 포함하고 있어, 야간 모드일 때는 NIR 채널 정보만을 사용하기 때문에, NIR 채널은 실질적 해상도가 1/4로 줄어들어 획득하는 정보의 양이 줄어든다.
그러나, 본 발명의 일 실시예에 따른 영상 처리 장치(30)는 RGB 컬러 영상을 생성할 때 NIR 영상의 공간적 정보를 활용하고, NIR 영상을 생성할 때 RGB 컬러 영상의 공간적 정보를 활용한다. 그리고, 주야간에 모두, 영상 처리 장치(30)는 컬러 영상과 NIR 영상을 융합하여 컬러 정보와 근적외선 정보가 모두 포함된 융합 영상(fusion image)을 생성한다. 따라서, RGB 픽셀로 입력받는 영상의 주파수 특성과 NIR 픽셀로 입력받는 영상의 주파수 특성을 모두 반영하여 최적의 영상을 출력할 수 있다.
디스플레이 장치(50)는 컬러 영상과 근적외선 영상이 융합된 융합 영상을 출력한다. 디스플레이 장치(50)는 영상 처리 장치(30)와 일체로 카메라 시스템(1)에 구비될 수도 있고, 독립적 장치로서 유무선에 의해 영상 처리 장치(30)와 연결될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치(30)의 구성을 개략적으로 도시한 블록도이다.
도 4를 참조하면, 영상 처리 장치(30)는 근적외선 채널 보간부(301), 컬러 채널 보간부(303), 컬러 복원부(305), 및 영상 융합부(307)를 포함할 수 있다.
영상 센서(10)의 각 픽셀은 여러 채널의 정보 중에서 하나의 정보만을 갖는다. 즉 R 픽셀은 R 컬러 정보만을 갖고, G 픽셀은 G 컬러 정보만을 갖고, B 픽셀은 B 컬러 정보만을 갖고, NIR 픽셀은 NIR 정보만을 갖는다. 따라서, 본 발명의 일 실시예에 따른 영상 처리 장치(30)는 각 픽셀에 저장되어 있지 않은 다른 채널의 정보를 주변 픽셀의 정보를 기초로 추정 또는 보간(interpolation)한다. 즉, 모든 픽셀에서 R, G, B의 컬러 채널 값과 NIR 채널 값을 획득한다. 이를 위해 영상 처리 장치(30)는 영상 센서(10)로부터 입력되는 원시 영상에서 R, G, B의 컬러 채널과 NIR 채널을 분리하여 처리한다.
근적외선 채널 보간부(301)는 NIR 채널과 주변의 RGB 채널 간의 상관관계(correlation)를 고려하여 고해상도의 NIR 영상을 획득한다. 근적외선 채널 보간부(301)는 RGB 채널을 고려하여 NIR 채널 영상의 업스케일링(up-scaling)을 수행한다. 그리고, 근적외선 채널 보간부(301)는 업스케일링과 동시 또는 후속하여 필터 배열에 의한 원시 영상의 노이즈(noise) 특성 및 국부(local) 특성을 파악하여 최적의 고해상도(high-resolution) NIR 채널 영상을 생성한다.
컬러 채널 보간부(303)는 NIR 채널 보간에 의해 해상도가 향상된 NIR 채널의 정보를 이용하여 RGB 각 채널을 NIR 채널과 동일한 크기로 보간을 수행한다. 이를 위해 컬러 채널 보간부(303)는 먼저 RGB 각 채널의 초기 보간을 수행한 후, 보간된 NIR 채널의 상관관계를 고려하여 RGB 채널의 에지(edge) 정보 및 디테일(detail) 정보를 업데이트 한다.
컬러 복원부(305)는 채널 보간에 의해 해상도가 향상된 RGB 채널 및 NIR 채널에서, NIR 채널 정보를 이용하여 RGB 채널의 컬러를 복원(Color Restoration)한다. 영상 센서(10)를 이용해 획득된 RGB 채널에는 가시광선 대역 정보뿐 아니라 NIR 대역의 정보도 섞여 있으므로 컬러 복원부(305)는 이를 분리함으로써 컬러 정보를 복원한다. 컬러 복원부(305)는 NIR 정보가 섞여있는 RGB 채널의 색상과 NIR 채널의 밝기 사이에 존재하는 상관 관계를 고려하여 채널별 가중치를 설정하고, 가중치에 따라 각 RGB 채널에서 NIR 정보를 제거하여 자연스러운 색감이 살아나도록 한다.
영상 융합부(307)는 컬러 복원 과정을 거친 RGB 컬러 영상과 보간에 의해 해상도가 향상된 NIR 영상을 하나의 영상으로 융합한다. 영상 융합부(307)는 두 영상의 에지와 디테일 성분을 고려하여 영상 가중치를 결정하고, 영상 가중치를 적용하여 두 영상을 융합함으로써, RGB 컬러 채널과 NIR 채널의 정보가 모두 포함된 최종 영상을 출력하게 된다. 이렇게 생성된 영상은 RGB 영상의 색감을 유지하면서도 NIR 정보를 포함하기 때문에 RGB 영상보다 더 많은 정보를 포함하게 된다.
도 5는 본 발명의 일 실시예에 따른 근적외선 채널 보간부의 구성을 개략적으로 도시한 블록도이다.
근적외선 채널 보간부(301)는 영상 센서(10)가 출력하는 원시 영상의 NIR 채널을 R, G, B의 컬러 채널들의 각 공간 정보를 이용하여 보간한다. 근적외선 채널 보간부(301)는 제1분석부(311), 제1보간부(313), 및 제2보간부(351)를 포함할 수 있다.
제1분석부(311)는 NIR 채널의 보간 픽셀에서 주변의 RGB 컬러 픽셀들 간의 RGB 컬러 채널 값 변화 경향 및 주변의 NIR 픽셀들 간의 NIR 채널 값 변화 경향을 분석한다. 여기서, 보간 픽셀은 현재 처리하고자 하는 픽셀로서, NIR 픽셀 이외의 컬러 픽셀들, 즉 R 픽셀, G 픽셀, B 픽셀이다. 제1분석부(311)는 보간 픽셀인 R 픽셀, G 픽셀, B 픽셀 각각을 중심으로 하는 MxN 마스크(여기서, M과 N은 자연수) 내의 R 픽셀들 간의 R 채널 값 변화 경향, G 픽셀들 간의 G 채널 값 변화 경향, B 픽셀들 간의 B 채널 값 변화 경향, NIR 픽셀들 간의 NIR 채널 값 변화 경향을 분석한다. 이에 따라 각 채널별로 에지 위치, 에지 방향, 평탄화 정도(smoothness) 등의 공간 정보를 알 수 있다. 이에 따라, 제1분석부(311)는 R 채널 값 변화 경향, G 채널 값 변화 경향, B 채널 값 변화 경향, 및 NIR 채널 값 변화 경향을 기초로, 보간 픽셀에서 RGB 채널과 NIR 채널 간의 상관관계를 획득할 수 있다.
제1보간부(313)는 획득한 상관관계를 기초로 보간 픽셀의 NIR 채널 값을 결정하여 초기 보간한다. 이에 따라, R 픽셀, G 픽셀, B 픽셀 각각이 NIR 채널 값을 갖게 되어, NIR 채널이 업스케일링됨으로써 NIR 채널의 해상도가 향상된다.
제2보간부(351)는 영상 센서(10)에서 출력되는 원시 영상의 노이즈 특성 및 국부 특성을 기초로, 초기 보간된 NIR 채널의 노이즈 특성 및 국부 특성을 보정한다. 이에 따라 각 픽셀의 NIR 채널 값이 최적화될 수 있다.
각 픽셀의 필터를 통과한 원시 영상은 영상 센서(10)의 필터 배열 및 영상 센서(10)의 특성에 따른 노이즈에 의해 열화된다. 따라서, 본 발명의 실시예는 원시 영상에 추가된 노이즈를 고려하여 초기 보간된 NIR 채널에 포함된 노이즈를 제거한다. 본 발명의 실시예에서 노이즈를 제거하는 방법은 특별히 한정되지 않으며, 적응적 가중 평균(Adaptive weighting average) 방법, LLMMSE(Local Linear Minimum Mean Square Error) 방법 등 공지의 다양한 방법이 적용될 수 있다.
국부(local) 특성이란, 각 픽셀의 에지 정보에 관한 특성이다. 예를 들어, 각 픽셀은 평탄 영역, 에지 영역, 및 디테일 영역으로 나눌 수 있다. 평탄 영역의 경우는 현재 픽셀이 주변의 픽셀들과 비슷한 특성을 갖는 경우이다. 에지 영역과 디테일 영역의 경우는 현재 픽셀과 주변의 픽셀들이 다른 특성을 갖는 경우이다. 에지 영역은 예를 들어, 피사체의 윤곽이나 경계선 등으로 정의된다. 디테일 영역은 예를 들어, 의복의 체크 무늬, 나뭇잎 무늬, 넥타이 무늬 등과 같이 피사체가 갖는 패턴으로 정의된다. 잘못된 에지 정보에 의해 컬러 오류가 발생할 수 있다. 따라서, 본 발명의 실시예는 원시 영상의 에지 정보를 고려하여 초기 보간된 NIR 채널의 에지 정보를 보정한다.
도 6은 본 발명의 일 실시예에 따른 컬러 채널 보간부의 구성을 개략적으로 도시한 블록도이다.
도 6을 참조하면, 컬러 채널 보간부(303)는 원시 영상의 각 RGB 컬러 채널을 보간된 NIR 채널의 공간 정보를 이용하여 보간한다. 여기서 보간된 NIR 채널은 초기 보간 및 보정에 의해 해상도가 향상된 NIR 채널이다. 컬러 채널 보간부(303)는 제2분석부(313), 제3보간부(333) 및 제4보간부(353)를 포함할 수 있다.
제2분석부(313)는 RGB 채널 각각의 보간 픽셀에서 주변의 RGB 컬러 픽셀들 간의 RGB 컬러 채널 값 변화 경향 및 주변의 NIR 픽셀들 간의 NIR 채널 값 변화 경향을 분석한다. 여기서, 보간 픽셀은 보간 채널 이외의 채널에서의 픽셀들이다. 즉, R 채널 보간의 경우 보간 픽셀은 G 픽셀, B 픽셀, NIR 픽셀이고, G 채널 보간의 경우 보간 픽셀은 R 픽셀, B 픽셀, NIR 픽셀이고, B 채널 보간의 경우 보간 픽셀은 R 픽셀, G 픽셀, NIR 픽셀이다. 제2분석부(313)는 RGB 컬러 채널별로 보간 픽셀인 R 픽셀, G 픽셀, B 픽셀, NIR 픽셀 각각을 중심으로 하는 MxN 마스크(여기서, M과 N은 자연수) 내의 R 픽셀들 간의 R 채널 값 변화 경향, G 픽셀들 간의 G 채널 값 변화 경향, B 픽셀들 간의 B 채널 값 변화 경향, NIR 픽셀들 간의 NIR 채널 값 변화 경향을 분석한다. 여기서 NIR 채널 값 변화 경향은 보간된 NIR 채널에 대해 분석된다. 이에 따라 각 채널별로 에지 위치, 에지 방향, 평탄화 정도(smoothness) 등의 공간 정보를 알 수 있다. 이에 따라, 제2분석부(313)는 R 채널 값 변화 경향, G 채널 값 변화 경향, B 채널 값 변화 경향, 및 NIR 채널 값 변화 경향을 기초로, 보간 픽셀에서 RGB 채널과 NIR 채널 간의 상관관계를 획득할 수 있다. 즉, R 채널 보간의 경우 R 채널과 G, B, NIR 채널 간의 상관관계를 획득할 수 있다. G 채널 보간의 경우 G 채널과 R, B, NIR 채널 간의 상관관계를 획득할 수 있다. B 채널 보간의 경우 B 채널과 R, G, NIR 채널 간의 상관관계를 획득할 수 있다.
제3보간부(333)는 획득한 상관관계를 기초로 보간 픽셀의 RGB 컬러 채널 값을 결정하여 초기 보간한다. 이에 따라, 각 G, B, NIR 픽셀에서 R 채널 값이 결정됨으로써 R 채널이 보간되고, 각 R, B, NIR 픽셀에서 G 채널 값이 결정됨으로써 G 채널이 보간되고, 각 R, G, NIR 픽셀에서 B 채널 값이 결정됨으로써 B 채널이 보간된다. 즉, R 픽셀이 G, B 채널 값을 갖게 되고, G 픽셀이 R, B 채널 값을 갖게 되고, B 픽셀이 R, G 채널 값을 갖게 되어, RGB 채널의 해상도가 향상된다.
제4보간부(353)는 보간된 NIR 채널의 에지 정보 및 디테일 정보를 이용하여 초기 보간된 RGB 컬러 채널들의 에지 정보 및 디테일 정보를 업데이트 한다. 이에 따라 각 픽셀의 RGB 컬러 채널 값이 최적화될 수 있다.
본 발명의 일 실시예에 따른 각 RGB 채널의 보간 순서는 특별히 한정되지 않으며, RGB 채널이 동시에 또는 임의의 순서에 따라 순차로 보간될 수 있다.
도 7은 본 발명의 일 실시예에 따른 컬러 복원부의 구성을 개략적으로 도시한 블록도이다.
도 7을 참조하면, 컬러 복원부(305)는 보간된 RGB 컬러 채널의 컬러를 보간된 NIR 채널의 밝기 정보를 이용하여 복원한다. 여기서 보간된 RGB 컬러 채널은 초기 보간 및 보정에 의해 향상된 RGB 채널이다. 그리고, 보간된 NIR 채널은 초기 보간 및 보정에 의해 향상된 NIR 채널이다. 컬러 복원부(305)는 제3분석부(315), 채널 가중치 계산부(335) 및 감산부(355)를 포함할 수 있다. 컬러 복원은 픽셀 단위로 수행될 수 있다.
제3분석부(315)는 보간된 각 RGB 컬러 채널의 색상과 보간된 NIR 채널의 밝기 간의 상관관계를 획득한다.
채널 가중치 계산부(335)는 획득한 상관관계를 기초로 RGB 컬러 채널별 가중치를 결정한다. 보간된 각 RGB 컬러 채널에는 NIR 성분이 포함되어 있다. 종래에는 각 RGB 픽셀에 포함되는 NIR 성분이 NIR 픽셀의 NIR 채널 값과 동일하다고 가정하여, 각 RGB 컬러 채널 값에서 NIR 채널 값을 감산하였다. 그러나, 근적외선에 대한 각 픽셀의 광전변화소자의 감도는 각각 다를 수 있다. 따라서 같은 근적외선의 조사를 받아도 각 광전변환소자에서 출력되는 신호에 포함되는 근적외선 성분은 각각 다를 수 있다. 따라서, 본 발명의 실시예에서는 각 RGB 컬러 채널별로 제거되는 NIR 성분의 값을 채널 간 상관관계를 고려하여 달리 설정한다. 이를 위해 채널 가중치 계산부(335)는 RGB 컬러 채널별로 가중치를 설정한다.
감산부(355)는 RGB 채널별 가중치를 이용하여 각 RGB 컬러 채널에 포함된 NIR 성분을 제거한다. 적외선의 영향을 제거함으로써 RGB 컬러 채널의 정보가 보다 정확해 질 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 융합부의 구성을 개략적으로 도시한 블록도이다.
도 8을 참조하면, 영상 융합부(307)는 복원된 RGB 컬러 채널을 포함하는 컬러 영상과 보간된 NIR 채널을 포함하는 NIR 영상을 융합(fusion)한다. 영상 융합부(307)는 영상 가중치 계산부(317) 및 융합부(337)를 포함할 수 있다.
영상 가중치 계산부(317)는 컬러 영상과 NIR 영상 각각에 적용될 가중치를 결정한다. 가중치는 컬러 영상과 NIR 영상 각각의 에지 성분 및 디테일 성분을 기초로 결정될 수 있다.
융합부(337)는 컬러 영상과 NIR 영상에 가중치를 각각 적용하여 융합한다.
저조도 환경 또는 야간의 어두운 환경 등에서는 RGB 컬러 채널만으로 피사체를 식별할 수 없는 경우가 발생한다. 이 경우 NIR 채널의 정보를 이용하여 RGB 컬러 채널의 정보를 보강하면 기존 가시 영역에서 획득하기 힘든 정보를 얻을 수 있어, 피사체를 식별할 수 있는 영상을 확보할 수 있다. 따라서, 본 발명의 실시예는 컬러 영상과 NIR 영상을 융합한 융합 영상이 RGB 컬러 채널 정보 및 NIR 채널 정보를 모두 포함하도록 함으로써 어두운 환경에서도 피사체를 식별할 수 있는 영상을 제공할 수 있다.
도 9는 본 발명의 일 실시예에 따른 멀티 대역 필터 어레이 기반의 영상 처리 방법을 설명하는 흐름도이다.
본 발명의 일 실시예에 따른 영상 처리 방법은 도 1 내지 도 8에 도시된 카메라 시스템(1)에 의해 수행될 수 있다. 본 발명의 영상 처리 방법은, RGB 컬러 필터 및 NIR 필터를 포함하는 MFA를 구비한 영상 센서로부터 출력되는 원시 영상을 채널별로 보간하고, 컬러 영상과 NIR 영상을 융합한 융합 영상을 주야간에 출력한다. 이에 따라 주간에 안개나 연기 등으로 시야가 제한된 상황에서는 NIR 채널 정보로 인해 정확한 정보를 확보할 수 있고, 야간에는 RGB 컬러 정보를 포함한 NIR 영상을 확보할 수 있다.
카메라 시스템은 먼저 영상 센서로부터 출력되는 원시 영상의 NIR 채널과 RGB 컬러 채널을 분리한다.
카메라 시스템은 NIR 채널을 R 채널, G 채널 및 B 채널을 포함하는 컬러 채널들의 각 공간 정보를 이용하여 보간한다(S11). 구체적으로, 카메라 시스템은 RGB 컬러 픽셀들 중 하나인 보간 픽셀에서, 소정 사이즈의 마스크 내의 주변 컬러 픽셀들 간의 각 컬러 채널 값 변화 경향 및 주변 근적외선 픽셀들 간의 근적외선 채널 값 변화 경향을 분석한다(S111). 그리고 카메라 시스템은 각 RGB 컬러 채널 값 변화 경향 및 NIR 채널 값 변화 경향을 기초로, RGB 컬러 채널과 NIR 채널 간의 상관관계를 획득하여 보간 픽셀의 NIR 채널 값을 결정하는 초기 보간을 수행한다(S113). 다음으로, 카메라 시스템은 원시 영상의 노이즈 특성 및 픽셀의 에지 정보인 국부 특성을 기초로, 보간된 NIR 채널의 노이즈 특성 및 국부 특성을 보정하여 고해상도의 NIR 채널을 획득한다(S115).
카메라 시스템은 보간 및 보정에 의해 획득한 고해상도의 NIR 채널의 공간 정보를 이용하여 각 RGB 컬러 채널을 보간한다(S13). 구체적으로, 카메라 시스템은 보간 대상인 컬러 채널 이외의 채널들의 컬러 픽셀들과 NIR 픽셀들 중 하나인 보간 픽셀에서, 소정 사이즈의 마스크 내의 주변 컬러 픽셀들 간의 각 컬러 채널 값 경향 및 주변 근적외선 픽셀들 간의 근적외선 채널 값 변화 경향을 분석한다(S131). 그리고 카메라 시스템은 컬러 채널 값 변화 경향 및 근적외선 채널 값 변화 경향을 기초로, 보간 대상 채널과 그외 나머지 채널들 간의 상관관계를 획득하여 보간 픽셀의 RGB 컬러 채널 값을 결정하는 초기 보간을 수행한다(S133). 다음으로, 카메라 시스템은 보간된 NIR 채널의 에지 정보 및 디테일 정보를 이용하여, 초기 보간된 RGB 컬러 채널들의 에지 정보 및 디테일 정보를 업데이트함으로써 고해상도의 RGB 컬러 채널을 획득한다(S135).
카메라 시스템은 고해상도의 보간된 RGB 컬러 채널의 컬러를 고해상도의 보간된 NIR 채널의 밝기 정보를 이용하여 복원한다(S15). 구체적으로, 카메라 시스템은 보간된 각 컬러 채널의 색상과 상기 보간된 근적외선 채널의 밝기 간의 상관관계를 획득한다(S151). 그리고 카메라 시스템은 상관관계를 기초로 RGB 컬러 채널별 가중치를 결정한다(S153). 다음으로 카메라 시스템은 가중치를 이용하여 RGB 각 컬러 채널에 포함된 NIR 성분을 분리한다(S155). 컬러 복원은 픽셀 단위로 수행될 수 있다.
카메라 시스템은 복원된 RGB 컬러 채널을 포함하는 컬러 영상과 고해상도의 보간된 NIR 채널을 포함하는 NIR 영상을 융합한다(S17). 구체적으로 카메라 시스템은 컬러 영상과 NIR 영상 각각의 에지 성분 및 디테일 성분을 기초로 영상의 가중치를 결정한다(S171). 그리고 카메라 시스템은 컬러 영상과 NIR 영상에 영상 가중치를 각각 적용하여 융합한다(S173).
융합 영상은 주야간 구분없이 디스플레이 장치에 출력된다.
본 발명의 실시예는 RGB 픽셀과 NIR 픽셀 구조를 갖는 센서를 이용한 디지털 카메라 시스템, 특히 감시카메라 분야에 적용할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (20)

  1. 컬러 필터 및 근적외선 필터를 포함하는 멀티 대역 필터 어레이를 구비한 영상 센서로부터 출력되는 영상의 처리 방법에 있어서,
    상기 영상의 근적외선 채널을 적색 채널, 녹색 채널 및 청색 채널을 포함하는 컬러 채널들의 각 공간 정보를 이용하여 보간하는 단계; 및
    상기 영상의 각 컬러 채널을 상기 근적외선 채널의 공간 정보를 이용하여 보간하는 단계;를 포함하는 멀티 대역 필터 어레이 기반 영상 처리 방법.
  2. 제1항에 있어서, 상기 근적외선 채널 보간 단계는,
    컬러 픽셀들 중 하나인 보간 픽셀에서, 주변 컬러 픽셀들 간의 각 컬러 채널 값 변화 경향 및 주변 근적외선 픽셀들 간의 근적외선 채널 값 변화 경향을 분석하는 단계; 및
    상기 컬러 채널 값 변화 경향 및 근적외선 채널 값 변화 경향을 기초로, 상기 보간 픽셀의 근적외선 채널 값을 결정하는 제1 보간 단계;를 포함하는 멀티 대역 필터 어레이 기반 영상 처리 방법.
  3. 제2항에 있어서, 상기 근적외선 채널 보간 단계는,
    상기 영상의 노이즈 특성 및 픽셀의 에지 정보인 국부 특성을 기초로, 상기 보간된 근적외선 채널의 노이즈 특성 및 국부 특성을 보정하는 제2 보간 단계;를 더 포함하는 멀티 대역 필터 어레이 기반 영상 처리 방법.
  4. 제1항에 있어서, 상기 컬러 채널 보간 단계는,
    보간 대상인 컬러 채널 이외의 채널들의 컬러 픽셀들과 근적외선 픽셀들 중 하나인 보간 픽셀에서, 주변 컬러 픽셀들 간의 각 컬러 채널 값 경향 및 주변 근적외선 픽셀들 간의 근적외선 채널 값 변화 경향을 분석하는 단계; 및
    상기 컬러 채널 값 변화 경향 및 근적외선 채널 값 변화 경향을 기초로, 상기 보간 픽셀의 컬러 채널 값을 결정하는 제1 보간 단계;를 포함하는 멀티 대역 필터 어레이 기반 영상 처리 방법.
  5. 제4항에 있어서, 상기 컬러 채널 보간 단계는,
    상기 보간된 근적외선 채널의 에지 정보 및 디테일 정보를 이용하여 상기 제1 보간된 컬러 채널들의 에지 정보 및 디테일 정보를 업데이트하는 제2 보간 단계;를 더 포함하는 멀티 대역 필터 어레이 기반 영상 처리 방법.
  6. 제1항에 있어서,
    상기 보간된 컬러 채널의 컬러를 상기 보간된 근적외선 채널의 밝기 정보를 이용하여 복원하는 단계;를 더 포함하는 멀티 대역 필터 어레이 기반 영상 처리 방법.
  7. 제6항에 있어서, 상기 컬러 복원 단계는,
    상기 보간된 각 컬러 채널의 색상과 상기 보간된 근적외선 채널의 밝기 간의 상관관계를 분석하는 단계;
    상기 상관관계를 기초로 컬러 채널별 가중치를 결정하는 단계; 및
    상기 가중치를 이용하여 상기 각 컬러 채널에 포함된 근적외선 성분을 제거하는 단계;를 포함하는 멀티 대역 필터 어레이 기반 영상 처리 방법.
  8. 제7항에 있어서,
    상기 컬러 복원은 픽셀 단위로 수행되는 것인 멀티 대역 필터 어레이 기반 영상 처리 방법.
  9. 제6항에 있어서,
    상기 복원된 컬러 채널을 포함하는 컬러 영상과 상기 보간된 근적외선 채널을 포함하는 근적외선 영상을 융합하는 단계;를 더 포함하는 멀티 대역 필터 어레이 기반 영상 처리 방법.
  10. 제9항에 있어서, 상기 영상 융합 단계는,
    상기 컬러 영상과 상기 근적외선 영상 각각의 에지 성분 및 디테일 성분을 기초로 가중치를 결정하는 단계; 및
    상기 컬러 영상과 상기 근적외선 영상에 상기 가중치를 각각 적용하여 융합하는 단계;를 포함하는 멀티 대역 필터 어레이 기반 영상 처리 방법.
  11. 컬러 필터 및 근적외선 필터를 포함하는 멀티 대역 필터 어레이를 구비한 영상 센서;
    상기 영상 센서가 출력하는 영상의 근적외선 채널을 적색 채널, 녹색 채널 및 청색 채널을 포함하는 컬러 채널들의 각 공간 정보를 이용하여 보간하는 근적외선 채널 보간부; 및
    상기 영상의 각 컬러 채널을 상기 근적외선 채널의 공간 정보를 이용하여 보간하는 컬러 채널 보간부;를 포함하는 멀티 대역 필터 어레이 기반 카메라 시스템.
  12. 제11항에 있어서, 상기 근적외선 채널 보간부는,
    컬러 픽셀들 중 하나인 보간 픽셀에서, 주변 컬러 픽셀들 간의 각 컬러 채널 값 변화 경향 및 주변 근적외선 픽셀들 간의 근적외선 채널 값 변화 경향을 분석하는 제1분석부; 및
    상기 컬러 채널 값 변화 경향 및 근적외선 채널 값 변화 경향을 기초로, 상기 보간 픽셀의 근적외선 채널 값을 결정하는 제1보간부;를 포함하는 멀티 대역 필터 어레이 기반 카메라 시스템.
  13. 제12항에 있어서, 상기 근적외선 채널 보간부는,
    상기 영상의 노이즈 특성 및 픽셀의 에지 정보인 국부 특성을 기초로, 상기 보간된 근적외선 채널의 노이즈 특성 및 국부 특성을 보정하는 제2보간부;를 포함하는 멀티 대역 필터 어레이 기반 카메라 시스템.
  14. 제11항에 있어서, 상기 컬러 채널 보간부는,
    보간 대상인 컬러 채널 이외의 채널들의 컬러 픽셀들과 근적외선 픽셀들 중 하나인 보간 픽셀에서, 주변 컬러 픽셀들 간의 각 컬러 채널 값 경향 및 주변 근적외선 픽셀들 간의 근적외선 채널 값 변화 경향을 분석하는 제2분석부; 및
    상기 컬러 채널 값 변화 경향 및 근적외선 채널 값 변화 경향을 기초로, 상기 보간 픽셀의 컬러 채널 값을 결정하여 초기 보간하는 제3보간부;를 포함하는 멀티 대역 필터 어레이 기반 카메라 시스템.
  15. 제14항에 있어서, 상기 컬러 채널 보간부는,
    상기 보간된 근적외선 채널의 에지 정보 및 디테일 정보를 이용하여 상기 초기 보간된 컬러 채널들의 에지 정보 및 디테일 정보를 업데이트하는 제4보간부;를 더 포함하는 멀티 대역 필터 어레이 기반 카메라 시스템.
  16. 제11항에 있어서,
    상기 보간된 컬러 채널의 컬러를 상기 보간된 근적외선 채널의 밝기 정보를 이용하여 복원하는 컬러 복원부;를 더 포함하는 멀티 대역 필터 어레이 기반 카메라 시스템.
  17. 제16항에 있어서, 상기 컬러 복원부는,
    상기 보간된 각 컬러 채널의 색상과 상기 보간된 근적외선 채널의 밝기 간의 상관관계를 분석하는 제3보간부;
    상기 상관관계를 기초로 컬러 채널별 가중치를 결정하는 채널 가중치 계산부; 및
    상기 가중치를 이용하여 상기 각 컬러 채널에 포함된 근적외선 성분을 제거하는 감산부;를 포함하는 멀티 대역 필터 어레이 기반 카메라 시스템.
  18. 제17항에 있어서,
    상기 컬러 복원은 픽셀 단위로 수행되는 것인 멀티 대역 필터 어레이 기반 카메라 시스템.
  19. 제11항에 있어서,
    상기 복원된 컬러 채널을 포함하는 컬러 영상과 상기 보간된 근적외선 채널을 포함하는 근적외선 영상을 융합하는 영상 융합부;를 더 포함하는 멀티 대역 필터 어레이 기반 카메라 시스템.
  20. 제19항에 있어서, 상기 영상 융합부는,
    상기 컬러 영상과 상기 근적외선 영상 각각의 에지 성분 및 디테일 성분을 기초로 가중치를 결정하는 영상 가중치 계산부; 및
    상기 컬러 영상과 상기 근적외선 영상에 상기 가중치를 각각 적용하여 융합하는 융합부;를 포함하는 멀티 대역 필터 어레이 기반 카메라 시스템.
KR1020120061079A 2012-06-07 2012-06-07 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법 KR101695252B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120061079A KR101695252B1 (ko) 2012-06-07 2012-06-07 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
US13/860,124 US9344689B2 (en) 2012-06-07 2013-04-10 Camera system with multi-spectral filter array and image processing method thereof
PCT/KR2013/004635 WO2013183886A1 (en) 2012-06-07 2013-05-28 Camera system with multi-spectral filter array and image processing method thereof
CN201380030074.3A CN104350744B (zh) 2012-06-07 2013-05-28 具有多光谱滤光器阵列的相机系统及其图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120061079A KR101695252B1 (ko) 2012-06-07 2012-06-07 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20130137449A true KR20130137449A (ko) 2013-12-17
KR101695252B1 KR101695252B1 (ko) 2017-01-13

Family

ID=49715022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120061079A KR101695252B1 (ko) 2012-06-07 2012-06-07 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법

Country Status (3)

Country Link
US (1) US9344689B2 (ko)
KR (1) KR101695252B1 (ko)
CN (1) CN104350744B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150092612A (ko) * 2014-02-05 2015-08-13 엘지전자 주식회사 입체적 형상을 감지하기 위한 카메라 및 그것의 제어 방법
KR20160125099A (ko) * 2015-04-21 2016-10-31 (주)실리콘화일 비가시용 ｉｒ 픽셀에서의 가시용 컬러 노이즈 저감 기능을 갖는 4-컬러 픽셀 이미지 센서
KR20170074602A (ko) * 2015-12-22 2017-06-30 삼성전자주식회사 영상 출력 장치 및 영상 출력 방법

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3195997A1 (en) 2014-11-21 2016-05-26 Christopher M. Mutti Imaging system for object recognition and assessment
US9635325B2 (en) * 2015-05-29 2017-04-25 Semiconductor Components Industries, Llc Systems and methods for detecting ultraviolet light using image sensors
WO2017047080A1 (ja) * 2015-09-18 2017-03-23 日本電気株式会社 映像処理装置、撮影装置、映像処理方法及びプログラム記録媒体
US20170099476A1 (en) * 2015-10-01 2017-04-06 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
CN105424616A (zh) * 2015-11-26 2016-03-23 青岛市光电工程技术研究院 一种海洋溢油监测用多光谱相机及成像处理方法
CN105430358B (zh) * 2015-11-26 2018-05-11 努比亚技术有限公司 一种图像处理方法及装置、终端
CN106878690A (zh) * 2015-12-14 2017-06-20 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备
CN105430360B (zh) * 2015-12-18 2018-01-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN107438170B (zh) 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
CN107786857B (zh) * 2016-08-25 2019-07-19 杭州海康威视数字技术股份有限公司 一种图像还原方法及装置
US10339631B2 (en) 2017-01-11 2019-07-02 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
US10275855B2 (en) * 2017-01-11 2019-04-30 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
TWI645720B (zh) 2017-03-17 2018-12-21 瑞昱半導體股份有限公司 影像處理裝置及方法
CN108632595B (zh) * 2017-03-24 2020-03-03 瑞昱半导体股份有限公司 影像处理装置及方法
WO2019051591A1 (en) * 2017-09-15 2019-03-21 Kent Imaging VISIBLE AND INFRARED HYBRID IMAGING WITH A RGB COLOR FILTER NETWORK SENSOR
KR102457462B1 (ko) * 2018-03-06 2022-10-21 삼성전자주식회사 전자장치의 이미지 처리 장치 및 방법
US10742904B2 (en) * 2018-05-25 2020-08-11 Fotonation Limited Multispectral image processing system for face detection
CN114422766B (zh) * 2018-08-03 2024-06-04 杭州海康威视数字技术股份有限公司 一种图像采集设备
CN109672828B (zh) * 2019-01-04 2021-09-07 深圳英飞拓科技股份有限公司 基于光路白平衡的低照度提升装置及低照度提升方法
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method
CN110611779B (zh) * 2019-09-27 2021-11-26 华南师范大学 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
CN113395497A (zh) * 2019-10-18 2021-09-14 华为技术有限公司 图像处理方法、图像处理装置以及摄像装置
CN111474893A (zh) * 2019-11-23 2020-07-31 田华 智能化像素阵列控制系统
CN113940052B (zh) * 2020-04-29 2023-01-20 华为技术有限公司 摄像机及获取图像的方法
CN113824936B (zh) * 2021-09-23 2024-02-09 合肥埃科光电科技股份有限公司 色彩滤波阵列线扫描相机色彩插值方法、装置及设备
FR3127665B1 (fr) * 2021-09-27 2024-01-19 St Microelectronics Sa Procédé de traitement, au sein d’une chaine de traitement d’image, d’une matrice de pixels et dispositif électronique correspondant.
KR102579742B1 (ko) * 2021-11-15 2023-09-19 주식회사 넥스트칩 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치
WO2024174130A1 (zh) * 2023-02-22 2024-08-29 南方科技大学 一种从视频中连续监测心率的多光谱成像方法、装置及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
KR20110023757A (ko) * 2009-08-31 2011-03-08 소니 주식회사 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP2011091483A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US7990443B2 (en) * 2005-08-16 2011-08-02 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211521B1 (en) 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
JP4311988B2 (ja) 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
JP2006217441A (ja) 2005-02-07 2006-08-17 Sanyo Electric Co Ltd 色信号処理方法
JP2006237738A (ja) 2005-02-22 2006-09-07 Sanyo Electric Co Ltd 色信号処理方法
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4949806B2 (ja) * 2006-11-10 2012-06-13 オンセミコンダクター・トレーディング・リミテッド 撮像装置及び画像信号処理装置
JP2008288243A (ja) 2007-05-15 2008-11-27 Sony Corp 固体撮像装置とその製造方法および撮像装置
KR20090120159A (ko) 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
JP2011523538A (ja) * 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
EP2315063A4 (en) * 2008-08-19 2011-08-17 Rohm Co Ltd CAMERA
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
CA2666470A1 (en) 2009-05-21 2010-11-21 Pierre Benoit Boulanger Multi-spectral color and ir camera based on multi-filter array
JP2012239103A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101744761B1 (ko) * 2012-11-30 2017-06-09 한화테크윈 주식회사 영상처리장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7990443B2 (en) * 2005-08-16 2011-08-02 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
KR20110023757A (ko) * 2009-08-31 2011-03-08 소니 주식회사 화상 처리 장치, 화상 처리 방법, 및 프로그램
JP2011091483A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150092612A (ko) * 2014-02-05 2015-08-13 엘지전자 주식회사 입체적 형상을 감지하기 위한 카메라 및 그것의 제어 방법
KR20160125099A (ko) * 2015-04-21 2016-10-31 (주)실리콘화일 비가시용 ｉｒ 픽셀에서의 가시용 컬러 노이즈 저감 기능을 갖는 4-컬러 픽셀 이미지 센서
KR20170074602A (ko) * 2015-12-22 2017-06-30 삼성전자주식회사 영상 출력 장치 및 영상 출력 방법

Also Published As

Publication number Publication date
US20130329101A1 (en) 2013-12-12
US9344689B2 (en) 2016-05-17
CN104350744A (zh) 2015-02-11
CN104350744B (zh) 2017-03-29
KR101695252B1 (ko) 2017-01-13

Similar Documents

Publication Publication Date Title
KR101695252B1 (ko) 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
US10638099B2 (en) Extended color processing on pelican array cameras
CN108141528B (zh) 相位检测自动聚焦降噪
US7656444B2 (en) Image processing apparatus and image processing method
JP2015226144A (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
US20070091187A1 (en) Methods and devices for defective pixel detection
KR100809687B1 (ko) 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
US8698923B2 (en) Image processing device, image processing method, and program for detecting and correcting defective pixel in image
WO2016031597A1 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
KR20170074602A (ko) 영상 출력 장치 및 영상 출력 방법
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
CN112241668B (zh) 图像处理方法、装置及设备
WO2018031288A1 (en) Colorization of a high resolution monochromatic image using a monochromatic imager, a color map sensor and a mapping module
JP2015050494A (ja) 撮像装置
CN111669523B (zh) 像素校正
CN113676708A (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
US9860456B1 (en) Bayer-clear image fusion for dual camera
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR20140038749A (ko) 영상 왜곡 보정 장치 및 방법
JP6217225B2 (ja) 画像照合装置、画像照合方法及びプログラム
US8654220B2 (en) Image processing apparatus and control method for the same
US8675106B2 (en) Image processing apparatus and control method for the same
JP6696596B2 (ja) 画像処理システム、撮像装置、画像処理方法およびプログラム
EP4248649A1 (en) Colour filter array for image sensor and image capture apparatus
JP2016195367A (ja) 画像処理装置及び方法、撮像装置、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 4