KR101563348B1 - 영상의 노이즈를 저감하는 영상 처리 장치 및 방법 - Google Patents

영상의 노이즈를 저감하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101563348B1
KR101563348B1 KR1020080098347A KR20080098347A KR101563348B1 KR 101563348 B1 KR101563348 B1 KR 101563348B1 KR 1020080098347 A KR1020080098347 A KR 1020080098347A KR 20080098347 A KR20080098347 A KR 20080098347A KR 101563348 B1 KR101563348 B1 KR 101563348B1
Authority
KR
South Korea
Prior art keywords
image
noise reduction
signal
edge information
band
Prior art date
Application number
KR1020080098347A
Other languages
English (en)
Other versions
KR20100039120A (ko
Inventor
최원희
유영진
이성덕
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020080098347A priority Critical patent/KR101563348B1/ko
Priority to US12/563,904 priority patent/US8614746B2/en
Publication of KR20100039120A publication Critical patent/KR20100039120A/ko
Application granted granted Critical
Publication of KR101563348B1 publication Critical patent/KR101563348B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

영상의 노이즈를 저감하기 위한 영상 처리 장치 및 방법이 제공된다. 일 양상에 따르면, 컬러 정보를 포함하는 제1 영상에 대한 노이즈를 저감할 때, 제1 영상에 비하여 광대역 파장의 광신호 정보를 포함하는 제2 영상을 함께 획득하고, 제2 영상의 에지 정보에 기초하여 제1 영상의 노이즈를 저감할 수 있다.
영상, 노이즈 저감, 에지 정보, 에지, 로우 패스 필터

Description

영상의 노이즈를 저감하는 영상 처리 장치 및 방법{Apparatus and method for reducing noise of image}
본 발명은 영상의 노이즈를 저감하기 위한 영상 처리 장치 및 방법에 관한 것이다.
일반적인 영상 노이즈 저감 방법은 가시광 대역(visible band)의 빛을 영상 신호로 변환하여 생성된 영상으로부터 한 장 혹은 복수의 동일 포맷의 영상들을 이용하여 노이즈 저감을 수행한다. 최근 들어 조도가 미약한 실내 환경이나 야간 촬영, 야간 감시 촬영 또는 고속 촬영 등에 요구되는 고감도 촬영을 하는데 상당히 심한 노이즈에 의해 영상의 화질이 왜곡되므로 우수한 성능의 노이즈 저감 기술이 요구되고 있다.
저감도의 컬러 영상의 노이즈를 효과적으로 저감하는 영상 처리 장치 및 방법이 제안된다.
본 발명의 일 양상에 따른 영상 처리 장치는, 컬러 정보를 포함하는 제1 영상 및 제1 영상에 비하여 광대역의 제2 영상을 획득하는 영상 획득부; 및 제2 영상의 에지 정보를 추출하고, 추출된 에지 정보에 기초하여 제1 영상의 노이즈를 저감하는 노이즈 저감부를 포함한다.
노이즈 저감부는 제1 영상에서 에지 정보에 대응하는 제1 영상의 경계 영역을 제외한 부분에 대하여 노이즈 저감을 수행할 수 있다. 노이즈 저감부는 제2 영상으로부터 에지 정보를 추출하는 에지 정보 추출부; 및 추출된 에지 정보에 기초하여 노이즈 저감부에서 제1 영상에 대하여 수행될 노이즈 저감 영역을 설정하고, 노이즈 저감 영역에 기초하여 제1 영상의 노이즈 저감을 수행하는 노이즈 저감 수행부를 포함할 수 있다. 노이즈 저감부는 상기 제1 영상의 노이즈 저감을 수행한 후 상기 제1 영상의 에지 영역을 선명하게 하기 위하여 상기 에지 영역을 강조하는 영상 처리를 수행할 수 있다.
제1 영상은 가시광 영역의 컬러 대역의 광신호로부터 감지되는 영상이고, 제2 영상은 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 보색 파장 대역의 광신호 중 적어도 하나의 광신호 또는 적어도 하나의 광신호의 조합으로부터 감지 되는 영상일 수 있다.
영상 획득부는 컬러 대역의 파장을 통과시키는 적색, 녹색, 및 청색 중 적어도 하나의 원색 필터를 포함하여 제1 영상을 생성할 수 있다. 영상 획득부는 입사되는 광신호 중 보색 파장 대역을 통과시키는 보색 파장 대역 필터 및 전대역 파장 대역을 통과시키는 전대역 필터 중 적어도 하나를 포함하여 제2 영상을 생성할 수 있다. 영상 획득부는 제1 영상 및 제2 영상을 획득하기 위하여 보색 파장 대역 및 모든 파장 대역의 신호를 감지하는 가시광 감지층, 및 상기 가시광 감지층 하부에 적층되며 적외선을 감지하는 적외선 감지층을 포함할 수 있다. 또한, 영상 획득부는 제1 영상 및 제2 영상을 획득하기 위하여 각기 다른 수광 특성의 카메라를 포함할 수 있다.
노이즈 저감부는 에지 정보에 기초하여 설정된 제1 영상의 경계를 제외하고 로우 패스 필터링을 수행하여 노이즈를 저감할 수 있다.
본 발명의 다른 양상에 따른 영상 처리 방법은 컬러 정보를 포함하는 제1 영상 및 제1 영상에 비하여 광대역의 제2 영상을 획득하는 단계; 제2 영상의 에지 정보를 추출하는 단계; 및 추출된 에지 정보에 기초하여 제1 영상의 노이즈를 저감하는 단계를 포함할 수 있다.
본 발명의 일 양상에 따르면, 고잡음의 컬러 성분을 가지는 영상에 대하여 적외선 성분을 포함하거나 광 파장 대역을 흡수하는 고휘도 영상의 에지 정보를 이용하여 노이즈 저감을 수행하여 저잡음 특성의 컬러 영상을 생성할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
본 발명의 일 실시예에 따른 영상 처리 장치는 영상 획득부(110) 및 노이즈 저감부(120)를 포함한다. 영상 처리 장치는 전하 결합 소자(Charge Coupled Device, CCD) 및 금속 산화물 반도체(Complementary Metal Oxide Semiconductor, CMOS) 등의 고체 이미지 센서를 이용하여 소정 피사체에 대한 이미지를 저장할 수 있는 장치로서, 디지털 카메라, 디지털 캠코더, 카메라 폰, PDA(Personal Digital Assistant) 등으로 구성될 수 있으며, 이에 한정되지 않는다.
영상 획득부(110)는 컬러 정보를 포함하는 제1 영상을 획득하는 제1 영상 및 제1 영상에 비하여 광대역 파장의 광신호 정보를 포함하는 제2 영상을 획득하는 제2 영상 획득부를 포함한다. 일 실시예에 따르면, 제1 영상은 입사되는 광신호 중 가시광 영역의 컬러 대역의 광신호로부터 감지되는 영상일 수 있다. 제2 영상은 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 입사되는 광신호 중 보색 파 장 대역의 광신호 중 적어도 하나의 광신호 또는 적어도 하나의 광신호 조합으로부터 감지되는 영상일 수 있다. 제2 영상은 제1 영상과 동일한 장면의 영상이고, 제1 영상에 비하여 양호한 콘트라스트 정보 및 풍부한 텍스처 정보를 포함하는 한 다양한 대역의 파장의 광신호로부터 획득될 수 있다.
영상 획득부(110)의 구성은 도 2를 참조하여 상세하게 설명한다. 또한, 도 1에는 제1 영상 및 제2 영상을 획득하기 위하여 제1 영상을 획득하는 유닛 및 제2 영상을 획득하는 유닛이 별도로 또는 일체로 구성될 수 있으며, 영상 획득부(110)는 동일한 장면에 대한 컬러 정보를 포함하는 제1 영상과 제1 영상에 비하여 광대역의 제2 영상을 획득할 수 있는 한 다양한 구조로 구현될 수 있다.
영상 획득부는 제1 영상 및 제2 영상을 획득하기 위하여 각기 다른 수광 특성의 카메라를 포함할 수 있다. 일 실시예에 따르면, 영상 획득부(110)는 제1 영상을 획득하기 위한 컬러 파장 대역 신호를 감지하는 가시광 감지 카메라 및 제2 영상을 획득하기 위한 가시광 전대역 및 적외선 대역의 신호를 선택적으로 감지할 수 있는 광대역 감지 카메라를 포함하여 구성될 수 있다.
노이즈 저감부(120)는 에지와 디테일 성분을 보존하기 위한 노이즈 제거 동작을 수행한다. 컬러 정보를 포함한 제1 영상의 노이즈를 저감하기 위해서 제1 영상 영역에 대하여 전체적으로 강한 잡음 제거 처리를 수행하면 디테일한 영상 성분이 제거되므로 흐릿한 영상이 얻어지게 되기 때문이다.
일 실시예에 따르면, 노이즈 저감부(120)는 제2 영상의 에지 정보를 추출하고, 추출된 에지 정보에 기초하여 제1 영상의 노이즈를 저감한다. 노이즈 저감 부(120)는 에지 정보에 대응하는 제1 영상의 영역을 제외한 부분에 대하여 노이즈 저감을 수행할 수 있다.
이를 위해, 노이즈 저감부(120)는, 에지 정보 추출부(122) 및 노이즈 저감 수행부(126)를 포함할 수 있다.
에지 정보 추출부(122)는 제2 영상으로부터 에지 정보를 추출한다. 에지 정보는 알려진 다양한 방법으로 이용하여 추출될 수 있다. 일 예로, 에지 정보는 알려진 유사 연산자(homogeneity operator), 차 연산자(difference operator), 컴퍼스 기울기 연산자(compass gradient operator) 등과 같은 에지 연산자를 이용하여 추출될 수 있다. 다른 방법으로, 에지 정보는 신호의 급격한 변화 부분을 검출하기에 좋은 성능을 보이는 2차원(2D) 몰렛(Mallet) 웨이블릿 변환 함수를 이용하여 추출될 수 있다. 2차원 몰렛 웨이블릿 변환 함수는 입력된 영상에 웨이블릿 변환을 하고, 그 웨이블릿 변환된 영상의 국소피크(에지)의 위치, 및 크기를 검출하고, 부호화하면 화상의 저비트 레이트, 고능률 부호화를 실현하는 방법이다.
노이즈 저감 수행부(124)는 추출된 에지 정보에 기초하여 제1 영상에 대하여 노이즈를 저감한다. 노이즈 저감 수행부(124)는 수행될 노이즈 저감 영역을 설정하고, 노이즈 저감 영역에 기초하여 제1 영상의 노이즈 저감을 수행한다. 노이즈 저감 영역은 에지 영역으로 판단된 픽셀들을 포함하는 소정의 영역, 예를 들어, 에지 라인 좌우에 가장 가까운 픽셀을 포함하는 영역으로 설정될 수 있다.
노이즈 저감 수행부(124)는 제2 영상으로부터 추출된 에지 정보를 이용하여, 제1 영상에서 에지로 판정된 부분을 제외한 노이즈 저감을 위한 노이즈 저감 필터 를 이용하여 수행할 수 있다. 노이즈 저감을 수행할 때 에지 정보에 기초하여 설정된 제1 영상의 경계를 제외하고 로우 패스 필터링이 수행될 수 있다.
또한, 노이즈 저감 수행부(124)는 상기 제1 영상의 노이즈 저감을 수행한 후 상기 제1 영상의 에지 영역을 선명하게 하기 위하여 제1 영상의 에지 영역을 강조(enhancement)하는 동작을 추가적으로 수행할 수 있다. 에지 영역 강조될 때 때 함께 강조되는 통상적으로 에지의 불연속(non-continuous) 특성 및 컬러 프린지 결함(color fringe defect)을 저감하면서 영상의 에지를 보정할 수 있다.
본 발명의 일 양상에 따르면, 고잡음의 컬러 성분을 가지는 영상 예를 들어 저조도에서 촬영된 컬러 영상에 대하여 적외선 성분을 포함하거나 광파장 대역을 흡수하는 고휘도 영상의 에지 정보를 이용하여 노이즈 저감을 수행하여 저잡음 특성의 컬러 영상을 생성할 수 있다.
도 2는 도 1의 영상 처리 장치에 포함되는 영상 획득부의 구성을 나타내는 도면이다. 일 실시예에 따른 영상 획득부(110)는 광학부(210), 필터링부(220) 및 감지부(230) 및 영상 처리부(240)를 포함한다.
광학부(210)는 피사체에서 반사된 광신호를 집광한다. 광학부(210)는 적어도 하나의 렌즈를 포함할 수 있으며, 렌즈의 개수는 용도 및 필요에 따라 변경될 수 있다. 또한, 렌즈는 동일 평면상에 다양한 형태로 배치될 수 있다.
필터링부(220)는 광학부(210)를 통해 입사하는 광신호를 필터링하여 소정 파장 대역의 파장을 필터링할 수 있다. 필터링부(220)에 포함되는 각 필터는 픽셀 단위로 형성될 수 있다.
일 실시예에 따르면, 필터링부(220)는 입사되는 광신호 중에서 감지부(230)에서 제1 영상이 감지되도록 하는 컬러 파장 대역을 통과시키는 제1 필터 영역(222) 및 제1 영상보다 광대역의 영상이 감지되도록 하는 제2 필터 영역(224)을 포함할 수 있다.
제1 필터 영역(222)은 광학부(210)에 의해서 집광된 광신호 중에서 소정의 컬러 파장 대역을 통과시키도록 구성될 수 있다. 예를 들어, 제1 필터 영역(222)은 적색(Red), 녹색(Green), 및 청색(Blue) 파장 대역의 광신호를 통과시키도록 구성될 수 있다. 제2 필터 영역(224)은 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 입사되는 광신호 중 보색 파장 대역의 광신호 중 하나의 광신호가 통과하도록 구성될 수 있다.
보색 파장 대역의 광신호를 통과시키기 위한 보색 파장 대역의 필터는 적색의 보색 필터인 시안(Cyan) 필터, 녹색의 보색 필터인 마젠타(Magenta) 필터, 및 청색의 보색 필터인 옐로우(Yellow) 필터 중 하나일 수 있다. 시안 필터는 광학부(210)에 의해서 집광된 광 중에서 녹색 파장 대역과 청색 파장 대역만을 통과시키고, 마젠타 필터는 광학부(210)에 의해서 집광된 광 중에서 적색 파장 대역 및 청색 파장 대역만을 통과시키고, 옐로우 필터는 적색 파장 대역 및 녹색 파장 대역만을 통과시킨다.
또한, 제2 필터 영역(224)은 적외선이 포함된 백색 신호를 통과시키기 위하여 일반적인 백색 필터로 구성될 수 있고, 적외선이 포함되지 않은 백색 신호를 통과시키기 위하여 적외선 차단 필터가 설치된 백색 필터로 구성될 수 있다.
영상 감지부(230)는 필터링부(220)를 통과한 광신호를 전기적 신호로 변환한다. 영상 감지부(230)는 필터링부(220)를 통과한 광신호에 따른 전기적 신호를 얻기 위한 감지층을 이용하여 광신호를 전기적 신호로 변환할 수 있다. 영상 감지부(230)는 가시광 대역의 광신호를 전기적 신호로 변환하는 가시광 감지층 및 가시광 감지층 하부에 적외선 대역의 광신호를 전기적 신호로 변환하는 적외선 감지층을 구비하여 가시광 신호 및 적외선 신호를 감지하도록 구성될 수 있다.
영상 감지부(230)에서 필터링부(220)의 제1 필터 영역(222)을 통과한 광신호로부터 적색광(IR), 녹색광(IG) 및 청색광신호(IB)를 얻을 수 있다. 영상 감지부(230)에서 필터링부(220)의 제2 필터 영역(224)이 보색 필터인 구성된 경우, 보색 대역을 통과한 신호를 얻을 수 있으며, 백색 필터인 경우 가시광선의 전대역을 통과한 광신호로부터 백색광신호(IW)를 얻을 수 있다.
제2 필터 영역(224)이 보색 파장 대역의 광신호를 통과시키는 보색 대역 필터로 구성되는 경우에는, 동일한 위치의 픽셀에서 2개의 색 성분을 추출할 수 있으므로, RGB의 베이어 패턴의 필터에 비하여 추출된 2개의 색 성분에 대해서 2배의 고해상도 및 고감도 영상을 획득할 수 있다. 또한, 제2 필터 영역(224)이 보색 대역 필터 및 전대역 필터를 포함하는 경우에는, 적색광신호, 녹색광신호 및 청색광신호를 모두 사용하여 원색 신호를 색차 신호 Cb, Cr, Y로 변환하는 경우에 비하여, 보색 필터와 백색 필터를 이용함으로써 색 변환이 간소화될 수 있다. Y는 백색 신호(IW)와 동일한 것으로 간주될 수 있으며, Cr은 적색광 신호(IR)로부터 백색 신 호(IW)를 차감하고, Cb는 청색광 신호(IB)로부터 백색 신호(IW)를 차감하여 얻을 수 있다.
영상 처리부(240)는 감지된 제1 영상 신호 및 제2 영상 신호를 이용하여 노이즈 저감 처리를 수행하기 이전에 필요한 영상 처리를 수행하기 위해 영상 획득부(110)에 포함되어 구성될 수 있다. 일예로, 영상 처리부(240)는 제1 영상 및 제2 영상을 동시에 얻을 수 있도록 필터링부(220)가 구성된 경우, 획득된 영상을 각각 보간하여 동일한 크기의 제1 영상 및 제2 영상을 얻을 수 있다. 또한, 영상 감지부(230)는 제2 필터 영역(224)이 적외선을 포함한 모든 대역 광신호를 통과시키는 필터(제1 필터) 및 적외선 차단 필터가 설치된 모든 대역 광신호를 통과시키는 필터(제2 필터)를 포함하는 경우, 영상 처리부(240)에서 제1 필터를 통과하여 감지된 신호에서 제2 필터를 통과하여 감지된 신호를 차감하여 적외선 신호만을 획득할 수도 있다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 영상 획득부에 포함되는 필터링부의 구성을 나타내는 도면이다.
일 실시예에 따른 필터링부(220)는 도 3a에 도시된 바와 같이, R, G, B를 포함하여 적색 신호, 녹색 신호 및 청색 신호를 통과시키는 제1 필터 영역 및 제1 필터 영역보다 광대역의 백색 신호를 통과시키는 제2 필터 영역을 포함하여 구성될 수 있다.
필터링부(220)는 도 3b에 도시된 바와 같이, R, G, B를 포함하여 적색 신호, 녹색 신호 및 청색 신호를 통과시키는 제1 필터 영역 및 제1 필터 영역보다 광대역의 보색 필터 일 예로 마젠타 필터를 통과시키는 제2 필터 영역을 포함하여 구성될 수 있다. 이 외에도, 컬러 정보를 포함하는 제1 영상 및 제1 영상에 비하여 많은 디테일 정보를 포함하는 제2 영상을 얻기 위하여 필터링부(220)의 구성은 다양하게 변형될 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
컬러 정보를 포함하는 제1 영상 및 제1 영상에 비하여 광대역의 제2 영상을 획득한다(S 410). 제2 영상의 에지 정보를 추출하고(S 420), 추출된 에지 정보에 기초하여 제1 영상의 노이즈를 저감한다(S 430). 노이즈를 저감하는 단계 S 430는, 에지 정보에 대응하는 제1 영상의 영역을 제외한 부분에 대하여 노이즈 저감을 수행할 수 있다.
노이즈를 저감하는 단계 S 430는 다음의 순서로 이루어질 수 있다. 우선, 제2 영상으로부터 에지 정보를 추출한다. 추출된 에지 정보에 기초하여 제1 영상에 대하여 수행될 노이즈 저감 영역을 설정한다. 노이즈 저감 영역에 기초하여 제1 영상의 노이즈 저감을 수행한다. 제1 영상의 노이즈 저감을 수행한 후 상기 제1 영상의 에지 영역을 선명하게 하기 위하여 상기 에지 영역을 강조하는 단계가 더 수행될 수 있다.
제1 영상은 입사되는 광신호 중 컬러 대역의 광신호로부터 감지되는 영상이고, 제2 영상은 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 입사되는 광신호 중 보색 파장 대역의 광신호 중 적어도 하나의 광신호 또는 적어도 하나의 광 신호의 조합으로부터 감지되는 영상일 수 있다. 노이즈 저감을 수행하는 단계 S 430에서 에지 정보에 기초하여 설정된 상기 제1 영상의 경계를 제외하고 로우패스 필터링이 수행될 수 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이고,
도 2는 도 1의 영상 처리 장치에 포함되는 영상 획득부의 구성을 나타내는 도면이고,
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 영상 획득부에 포함되는 필터링부의 구성을 나타내는 도면이고,
도 4는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.

Claims (16)

  1. 컬러 정보를 포함하는 제1 영상 및 상기 제1 영상에 비하여 광대역의 제2 영상을 획득하는 영상 획득부; 및
    상기 제2 영상의 에지 정보를 추출하고, 추출된 에지 정보에 기초하여 상기 제1 영상의 노이즈를 저감하는 노이즈 저감부를 포함하고,
    상기 노이즈 저감부는 상기 제1 영상에서 상기 에지 정보에 대응하는 영상의 영역을 제외한 부분을 노이즈 저감 영역으로 설정하고, 제1 영상에 설정된 노이즈 저감 영역에 대하여 노이즈 저감을 수행하는 영상 처리 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 노이즈 저감부는,
    상기 제2 영상으로부터 에지 정보를 추출하는 에지 정보 추출부; 및
    상기 추출된 에지 정보에 기초하여 상기 노이즈 저감부에서 상기 제1 영상에 대하여 수행될 노이즈 저감 영역을 설정하고, 상기 노이즈 저감 영역에 기초하여 상기 제1 영상의 노이즈 저감을 수행하는 노이즈 저감 수행부를 포함하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 노이즈 저감부는 상기 제1 영상의 노이즈 저감을 수행한 후 상기 제1 영상의 에지 영역을 선명하게 하기 위하여 상기 에지 영역을 강조하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 영상 획득부는 컬러 대역의 광신호로부터 감지되는 영상을 상기 제1 영상으로서 획득하고, 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 파장 대역의 광신호 중 적어도 하나의 광신호 또는 적어도 하나의 광신호의 조합으로부터 감지되는 영상을 상기 제2 영상으로서 획득하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 영상 획득부는 상기 컬러 대역의 파장을 통과시키는 적색, 녹색, 및 청색 중 적어도 하나의 원색 필터를 포함하여 제1 영상을 획득하는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 영상 획득부는 입사되는 광신호 중 보색 파장 대역을 통과시키는 보색 파장 대역 필터 및 전대역 파장 대역을 통과시키는 전대역 필터 중 적어도 하나를 포함하여 제2 영상을 생성하는 영상 처리 장치.
  8. 제1항에 있어서,
    상기 영상 획득부는 보색 파장 대역 및 모든 파장 대역의 신호를 감지하는 가시광 감지층, 및 상기 가시광 감지층 하부에 적층되며 적외선을 감지하는 적외선 감지층을 포함하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 영상 획득부는 제1 영상을 획득하기 위한 컬러 파장 대역 신호를 감지하는 가시광 감지 카메라 및 제2 영상을 획득하기 위한 상기 가시광 전대역 및 적외선 대역의 신호를 선택적으로 감지할 수 있는 광대역 감지 카메라를 포함하는 영상 처리 장치.
  10. 제1항에 있어서,
    상기 노이즈 저감부는 상기 에지 정보에 기초하여 설정된 상기 제1 영상의 경계를 제외하고 로우 패스 필터링을 수행하는 영상 처리 장치.
  11. 컬러 정보를 포함하는 제1 영상 및 상기 제1 영상에 비하여 광대역의 제2 영상을 획득하는 단계;
    상기 제2 영상의 에지 정보를 추출하는 단계; 및
    상기 추출된 에지 정보에 기초하여 상기 제1 영상의 노이즈를 저감하는 단계를 포함하고,
    상기 노이즈를 저감하는 단계는, 상기 제1 영상에서 상기 에지 정보에 대응하는 상기 제1 영상의 영역을 제외한 부분을 노이즈 저감 영역으로 설정하고, 제1 영상에 설정된 노이즈 저감 영역에 대하여 노이즈 저감을 수행하는 영상 처리 방법.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    상기 제1 영상의 노이즈 저감을 수행한 후 상기 제1 영상의 에지 영역을 선명하게 하기 위하여 상기 에지 영역을 강조하는 단계를 더 포함하는 영상 처리 방법.
  15. 제11항에 있어서,
    제1 영상은 컬러 대역의 광신호로부터 감지되는 영상이고,
    제2 영상은 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 보색 파장 대역의 광신호 중 적어도 하나의 광신호 또는 적어도 하나의 광신호의 조합으로부터 감지되는 영상인 영상 처리 방법.
  16. 제11항에 있어서,
    상기 노이즈 저감을 수행하는 단계에서 상기 에지 정보에 기초하여 설정된 상기 제1 영상의 경계를 제외하고 로우 패스 필터링이 수행되는 영상 처리 방법.
KR1020080098347A 2008-10-07 2008-10-07 영상의 노이즈를 저감하는 영상 처리 장치 및 방법 KR101563348B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080098347A KR101563348B1 (ko) 2008-10-07 2008-10-07 영상의 노이즈를 저감하는 영상 처리 장치 및 방법
US12/563,904 US8614746B2 (en) 2008-10-07 2009-09-21 Image processing apparatus and method of noise reduction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080098347A KR101563348B1 (ko) 2008-10-07 2008-10-07 영상의 노이즈를 저감하는 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100039120A KR20100039120A (ko) 2010-04-15
KR101563348B1 true KR101563348B1 (ko) 2015-10-27

Family

ID=42075498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080098347A KR101563348B1 (ko) 2008-10-07 2008-10-07 영상의 노이즈를 저감하는 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US8614746B2 (ko)
KR (1) KR101563348B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101625209B1 (ko) 2009-12-11 2016-05-30 삼성전자주식회사 다이크로익 필터를 이용한 컬러 필터 어레이
US9171355B2 (en) * 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
CN103679737B (zh) * 2013-12-26 2017-02-15 清华大学 基于多通道信息选择的彩色图像边缘检测方法
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US9525804B2 (en) 2014-08-30 2016-12-20 Apple Inc. Multi-band YCbCr noise modeling and noise reduction based on scene metadata
US9667842B2 (en) 2014-08-30 2017-05-30 Apple Inc. Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US9626745B2 (en) 2015-09-04 2017-04-18 Apple Inc. Temporal multi-band noise reduction
US10262399B2 (en) * 2017-01-09 2019-04-16 Samsung Electronics Co., Ltd. Image denoising with color-edge contrast preserving
KR102412278B1 (ko) 2017-11-06 2022-06-24 삼성전자 주식회사 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
DE102021111639A1 (de) * 2021-05-05 2022-11-10 Sick Ag Kamera und Verfahren zur Erfassung von Bilddaten

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142670A (ja) 2005-11-16 2007-06-07 Olympus Corp 画像処理システム、画像処理プログラム
JP2007174276A (ja) 2005-12-22 2007-07-05 Sony Corp 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100285817B1 (ko) 1997-12-26 2001-04-16 이중구 적외선및자외선영역의촬영이가능한디지털스틸카메라
JP4295709B2 (ja) 2004-10-14 2009-07-15 富士フイルム株式会社 撮像装置、画像処理装置、及び画像処理方法
JP2008042780A (ja) 2006-08-09 2008-02-21 Fujifilm Corp 固体撮像素子の検査装置
JP4341695B2 (ja) * 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142670A (ja) 2005-11-16 2007-06-07 Olympus Corp 画像処理システム、画像処理プログラム
JP2007174276A (ja) 2005-12-22 2007-07-05 Sony Corp 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
US20100085433A1 (en) 2010-04-08
US8614746B2 (en) 2013-12-24
KR20100039120A (ko) 2010-04-15

Similar Documents

Publication Publication Date Title
KR101563348B1 (ko) 영상의 노이즈를 저감하는 영상 처리 장치 및 방법
KR101531709B1 (ko) 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
US10368015B2 (en) Apparatus and method for combining images
US9615030B2 (en) Luminance source selection in a multi-lens camera
US7929026B2 (en) Image sensing apparatus and image processing method thereof using color conversion and pseudo color removing
JP4501855B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
US7855786B2 (en) Single camera multi-spectral imager
US8160293B1 (en) Determining whether or not a digital image has been tampered with
EP2367359A2 (en) Image sensor including color and infrared pixels
EP1431912B1 (en) Method and system for determining an area of importance in an archival image
Choi et al. Estimation of color modification in digital images by CFA pattern change
KR101767093B1 (ko) 색감 복원 방법 및 장치
WO2005099247A2 (en) The reproduction of alternative forms of light from an object using a digital imaging system
US8471933B2 (en) Image processing apparatus, image processing method and computer program
WO2018116972A1 (ja) 画像処理方法、画像処理装置および記録媒体
WO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
JP5672941B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4466017B2 (ja) 画像処理装置および画像処理プログラム
Hou et al. Hue modification estimation using sensor pattern noise
JP2007249526A (ja) 撮像装置及びその顔領域抽出方法
JP5290734B2 (ja) ノイズ低減装置及びノイズ低減方法
Quan Morphological demosaicking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee