KR102309812B1 - 영상처리장치 및 영상처리방법 - Google Patents

영상처리장치 및 영상처리방법 Download PDF

Info

Publication number
KR102309812B1
KR102309812B1 KR1020170028547A KR20170028547A KR102309812B1 KR 102309812 B1 KR102309812 B1 KR 102309812B1 KR 1020170028547 A KR1020170028547 A KR 1020170028547A KR 20170028547 A KR20170028547 A KR 20170028547A KR 102309812 B1 KR102309812 B1 KR 102309812B1
Authority
KR
South Korea
Prior art keywords
color conversion
image
color
data
mode
Prior art date
Application number
KR1020170028547A
Other languages
English (en)
Other versions
KR20180101951A (ko
Inventor
박종선
백정원
윤주현
남승욱
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020170028547A priority Critical patent/KR102309812B1/ko
Priority to US15/860,587 priority patent/US10498988B2/en
Publication of KR20180101951A publication Critical patent/KR20180101951A/ko
Application granted granted Critical
Publication of KR102309812B1 publication Critical patent/KR102309812B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N9/07
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40012Conversion of colour to monochrome
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/16Circuitry for reinsertion of dc and slowly varying components of signal; Circuitry for preservation of black or white level
    • H04N5/23216
    • H04N5/235
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination

Abstract

본 실시예들은 영상처리장치 및 영상처리방법을 개시한다.
본 발명의 일 실시예에 따른 영상처리방법은, 조도가 임계값보다 낮은 조건에서 제2 영상을 획득하는 단계; 조도가 상기 임계값 이상인 조건에서 획득된 제1 영상의 컬러를 변환하기 위해 상기 제1 영상에 적용한 제1 컬러 변환 데이터와 상이한 제2 컬러 변환 데이터를 상기 제2 영상에 적용하여 상기 제2 영상의 컬러를 변환하는 단계; 및 상기 컬러 변환된 제2 영상을 상기 제2 영상의 컬러 정보가 밝기 정보로 변환된 제3 영상으로 변환하는 단계;를 포함한다.

Description

영상처리장치 및 영상처리방법{Image processing device and method}
본 실시예들은 영상처리장치 및 영상처리방법에 관한 것이다.
감시용 카메라의 경우 주변 조도에 따라 촬영 모드가 변경될 수 있다. 종래에는 주간 촬영 모드에서 획득한 영상 및 야간 촬영 모드에서 획득한 영상에 대해 동일한 변환 데이터를 이용하여 컬러를 조정한다.
일본등록특허 제441827호
본 발명의 실시예들은 저조도 환경에서 획득한 영상의 인식률을 높이기 위해 흑백 모드를 사용할 경우 발생하는 검은 노이즈를 저감할 수 있는 영상처리장치 및 영상처리방법을 제공한다.
본 발명의 일 실시예에 따른 영상처리방법은, 조도가 임계값보다 낮은 조건에서 제2 영상을 획득하는 단계; 조도가 상기 임계값 이상인 조건에서 획득된 제1 영상의 컬러를 변환하기 위해 상기 제1 영상에 적용한 제1 컬러 변환 데이터와 상이한 제2 컬러 변환 데이터를 상기 제2 영상에 적용하여 상기 제2 영상의 컬러를 변환하는 단계; 및 상기 컬러 변환된 제2 영상을 상기 제2 영상의 컬러 정보가 밝기 정보로 변환된 제3 영상으로 변환하는 단계;를 포함한다.
본 발명의 일 실시예에 따른 영상처리장치는, 조도가 임계값 이상인 조건에서 제1 영상을 획득하고, 조도가 상기 임계값보다 낮은 조건에서 제2 영상을 획득하는 영상획득부; 상기 제1 영상에 제1 컬러 변환 데이터를 적용하여 상기 제1 영상의 컬러를 변환하고, 상기 제2 영상에 상기 제1 컬러 변환 데이터와 상이한 제2 컬러 변환 데이터를 적용하여 상기 제2 영상의 컬러를 변환하는 컬러변환부; 및 상기 컬러 변환된 제2 영상을 상기 제2 영상의 컬러 정보가 밝기 정보로 변환된 제3 영상으로 변환하는 영상변환부;를 포함한다.
상기 방법 및 장치에서, 상기 제1 컬러 변환 데이터 및 상기 제2 컬러 변환 데이터는 각각 제1 변환 데이터 및 제2 변환 데이터를 포함할 수 있다.
상기 방법 및 장치에서, 상기 제2 컬러 변환 데이터의 제1 변환 데이터 및 제2 변환 데이터 중 적어도 하나가 상기 제1 컬러 변환 데이터의 제1 변환 데이터 및 제2 변환 데이터와 상이할 수 있다.
상기 방법 및 장치에서, 상기 제1 변환 데이터는 게인이고, 상기 제2 변환 데이터는 컬러 변환 매트릭스일 수 있다.
상기 방법 및 장치에서, 상기 제2 컬러 변환 데이터의 게인은 상기 제1 컬러 변환 데이터의 게인과 동일하고, 상기 제2 컬러 변환 데이터의 컬러 변환 매트릭스는 단위 매트릭스일 수 있다.
상기 방법 및 장치에서, 상기 제2 컬러 변환 데이터의 게인은 상기 제1 컬러 변환 데이터의 게인과 동일하고, 상기 제2 컬러 변환 데이터의 컬러 변환 매트릭스는 상기 제1 컬러 변환 데이터의 컬러 변환 매트릭스와 단위 매트릭스의 조합일 수 있다.
상기 방법 및 장치에서, 상기 제2 컬러 변환 데이터의 컬러 변환 매트릭스는 상기 조도가 상기 임계값보다 낮을수록 상기 단위 매트릭스의 비중이 클 수 있다.
상기 방법 및 장치에서, 광원 정보가 반영된 상기 제2 컬러 변환 데이터의 조정 게인은 상기 제1 컬러 변환 데이터의 게인과 상기 제2 컬러 변환 데이터의 게인의 조합이고, 상기 제2 컬러 변환 데이터의 컬러 변환 매트릭스는 단위 매트릭스일 수 있다.
상기 방법 및 장치에서, 광원 정보가 반영된 상기 제2 컬러 변환 데이터의 조정 게인은 상기 제1 컬러 변환 데이터의 게인과 상기 제2 컬러 변환 데이터의 게인의 조합이고, 상기 제2 컬러 변환 데이터의 컬러 변환 매트릭스는 상기 제1 컬러 변환 데이터의 컬러 변환 매트릭스와 단위 매트릭스의 조합일 수 있다.
상기 방법 및 장치에서, 상기 제1 영상은 가시광 영역의 정보를 포함하고, 상기 제2 영상은 가시광 영역의 정보 및 적외선 영역의 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상처리방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명의 실시예들에 따른 영상처리장치 및 영상처리방법은 저조도 환경의 흑백 모드에서 획득한 영상의 컬러 변환 데이터를 컬러 모드에서 획득한 영상의 컬러 변환 데이터와 다르게 사용함으로써 종래의 흑백 영상에서 발생하는 검은 노이즈를 저감하여 저조도 환경에서의 영상의 시안성을 증가시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 개략적인 블록도이다.
도 2는 도 1에 도시된 프로세서의 개략적인 블록도이다.
도 3a는 사람이 인식할 수 있는 빛의 파장 영역을 나타내고, 도 3b는 영상센서가 인식할 수 있는 빛의 파장 영역을 나타낸 도면이다.
도 4a는 적외선 및/또는 자외선 컷 필터의 파장별 투과율 그래프이고, 도 4b는 더미 글라스의 파장별 투과율을 나타내는 그래프이다.
도 5는 본 발명의 일 실시예에 따른 프로세서의 컬러 모드 동작을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 프로세서의 흑백 모드 동작을 설명하는 도면이다.
도 7a 내지 도 7d는 흑백 모드에서 생성된 흑백 영상의 다양한 예들이다.
도 8은 본 발명의 일 실시예에 따른 모드별 영상 처리 방법을 개략적으로 설명하는 흐름도이다.
도 9는 도 1에 도시된 프로세서의 다른 실시예를 도시한 개략적인 블록도이다.
도 10은 도 9에 도시된 프로세서에 의해 수행되는 모드별 영상 처리 방법을 개략적으로 설명하는 흐름도이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 개략적인 블록도이다. 도 2는 도 1에 도시된 프로세서의 개략적인 블록도이다.
도 1을 참조하면, 본 실시예의 영상 처리 장치(1)는 비쥬얼 카메라, 열상 카메라, 특수 목적 카메라 등을 포함하는 감시용 카메라, 휴대용 카메라, 캠코더 등일 수 있다. 영상 처리 장치(1)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외 또는 공원 등의 야외에 설치되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다.
영상 처리 장치(1)는 프로세서(10), 영상획득부(30), 센서(50) 및 저장부(70)를 포함할 수 있다.
영상획득부(30)는 광학계(31), 필터(33) 및 영상센서(35)를 포함할 수 있다.
광학부(31)는 줌 렌즈 및 포커스 렌즈, 광량 조절을 위한 조리개(iris) 등의 광학계를 포함할 수 있다.
영상센서(35)는 광학부(201)를 통과한 빛을 전기적인 영상 신호로 변환시킬 수 있다. 영상센서(35)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전변환소자일 수 있다.
필터(33)는 주간용 필터 및 야간용 필터를 포함할 수 있다. 주간용 필터는 사람이 인식할 수 있는 가시광선 영역만 통과시킬 수 있는 적외선 차단 필터(IR cut filter: IRCF)일 수 있다. 야간용 필터는 모든 파장 영역을 통과시킬 수 있는 더미 글라스일 수 있다. 주변 조도가 임계값 이상인 주간 촬영 모드에서 주간용 필터가 사용되고, 주변 조도가 임계값보다 낮은 야간 촬영 모드에서 야간용 필터가 사용될 수 있다.
일반적으로 사람이 인식할 수 있는 빛의 파장 영역(도 3a)과 영상센서가 인식할 수 있는 빛의 파장 영역(도 3b)은 차이가 있다. 영상센서로 입력되는 광은 가시광선 영역 이외에도 자외선과 근적외선(Near Infra Red: NIR) 영역까지도 포함한다. 하지만, 이는 인간의 시각 체계(Human Visual System: HVS)에서 받아들일 수 있는 파장 이외의 영역을 포함한다. 따라서 HVS에 적합한 영상을 획득하기 위해 가시광선을 제외한 영역의 입력을 제한할 수 있는 필터가 필요하다. IRCF는 HVS와 영상센서의 입력 파장을 맞추기 위해 카메라에 입력되는 빛의 파장 영역을 제한하는 필터이다. IRCF는 영상센서의 특성을 제한함으로써 HVS와 가장 유사한 정보를 획득하기 위한 방법으로써 사용되는 저역통과필터(low pass filter)이다.
더미 글라스는 IRCF에 의해 제한되었던 근적외선 및 적외선 영역의 정보를 획득함으로써 영상센서의 감도를 향상시켜 SNR을 개선시키는 효과가 있다. 특히 광량이 적은 저조도 환경 혹은 야간 환경 등에서 가시광선 영역에서 획득하기 힘든 정보를 얻을 수 있다는 장점이 있다.
도 4a는 적외선 및/또는 자외선 컷 필터의 파장별 투과율 그래프이고, 도 4b는 더미 글라스의 파장별 투과율을 나타내는 그래프이다.
센서(50)는 상이한 감지 정보를 획득하는 다수의 이기종 센서들을 포함할 수 있다. 예를 들어, 센서(50)는 촬영 영역의 조도 및 조도 변화를 감지하는 조도 센서를 포함할 수 있다. 조도센서는 주변의 밝기에 대해 감지 신호를 출력할 수 있다.
저장부(70)는 프로세서(10)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 입력되거나 출력되는 데이터들(예를 들어, 영상 등)을 임시 저장할 수 있다. 저장부(70)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 저장부(70)는 인터넷 상에서 저장 기능을 수행하는 웹 스토리지(web storage)일 수 있다.
프로세서(10)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 프로세서(10)는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 프로세서(10)의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 프로세서(10)의 기능은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.
프로세서(10)는 컨트롤러 및 영상프로세서의 기능을 수행할 수 있다.
프로세서(10)는 영상 처리 장치(1)의 전반적인 동작을 제어하며, 영상획득부(30), 센서(50), 저장부(70) 등 각 구성 요소의 작동을 제어하기 위해 이들 구성 요소와 제어 신호를 주고받거나, 데이터를 처리하는 등의 기능을 수행할 수 있다. 예를 들어, 컨트롤러는 촬영 모드에 따라 필터의 스위칭을 제어할 수 있다.
프로세서(10)는 영상센서(35)로부터의 디지털 영상 신호 또는 영상센서(35)로부터의 아날로그 영상 신호를 변경한 디지털 영상 신호에 대해 노이즈 제거(noise reduction), 감마 보정(gamma correction), 컬러 밸런싱(color balancing), 에지 향상(edge enhancement) 등의 화질 개선을 위한 신호 처리를 수행할 수 있다. 프로세서(10)는 주간 촬영 모드에서 컬러 영상을 출력하고, 야간 촬영 모드에서 흑백 영상을 출력할 수 있다.
도 2를 참조하면, 프로세서(10)는 모드변환부(11), 컬러변환부(13), 변환데이터 설정부(15) 및 영상변환부(17)를 포함할 수 있다.
모드변환부(11)는 영상 처리 모드를 변환할 수 있다. 영상 처리 모드는 주간 촬영 모드에서 입력되는 영상에 컬러 신호 처리 동작을 수행하여 컬러 영상을 출력하는 컬러 모드 및 야간 촬영 모드에서 입력되는 영상에 흑백 신호 처리 동작을 수행하여 흑백 영상을 출력하는 흑백 모드를 포함할 수 있다.
모드변환부(11)는 주변 조도가 임계값 이상인 주간 촬영 모드시 영상 처리 모드를 컬러 모드로 전환하기 위한 제어신호를 출력하고, 주변 조도가 임계값보다 낮은 야간 촬영 모드시 영상 처리 모드를 흑백 모드로 전환하기 위한 제어신호를 출력할 수 있다. 임계값은 사용자에 의해 설정될 수 있다. 다른 실시예에서, 모드변환부(11)는 사용자의 모드 전환 요청에 따라 컬러 모드 또는 흑백 모드로 전환하기 위한 제어신호를 출력할 수 있다. 야간 촬영 모드에서는 더미 글라스를 사용함에 따라 전 영역의 파장의 광이 투과되어 영상센서의 인식률이 높아지나, 사람의 눈으로 인식할 수 있는 색으로 나타내기 어렵기 때문에 컬러 정보를 제거한 흑백 영상을 이용한다.
컬러변환부(13)는 영상 촬영 모드 또는 영상 처리 모드에 따라 입력 영상의 컬러를 변환할 수 있다. 입력 영상의 각 픽셀은 적어도 하나의 컬러 성분을 가질 수 있다. 예를 들어, 입력 영상의 각 픽셀은 RGB와 같이 세 개의 컬러 성분을 가질 수 있다.
컬러변환부(13)는 영상 처리 모드에 따라 상이한 컬러 변환 데이터를 이용하여 입력 영상의 컬러를 변환할 수 있다. 컬러변환부(13)는 컬러 모드에서 제1 컬러 변환 데이터를 이용하여 입력 영상의 컬러를 변환하고, 흑백 모드에서 제2 컬러 변환 데이터를 이용하여 입력 영상의 컬러를 변환할 수 있다.
흑백 영상센서를 이용하여 흑백 영상을 생성하는 경우 별도의 컬러 밸런싱 처리없이 신호처리가 가능하나, 컬러 영상센서를 이용하여 흑백 영상을 생성하는 경우 컬러 영상과 동일한 변환 데이터를 이용하여 컬러 밸런싱 처리한 후 흑백 영상으로 변환하는 경우 흑백 영상에 검은 노이즈가 발생할 수 있다. 따라서, 본 발명의 실시예에서는 컬러 모드와 흑백 모드에서 컬러 밸런싱 처리에 사용되는 변환 데이터를 달리 이용한다.
컬러변환부(13)는 제1 컬러변환부(131) 및 제2 컬러변환부(135)를 포함할 수 있다.
변환데이터 설정부(15)는 영상 처리 모드에 따라 입력 영상에 최적인 컬러 변환 데이터를 결정할 수 있다. 컬러 변환 데이터는 제1 컬러변환부(131)에서 이용되는 제1 변환 데이터 및 제2 컬러변환부(135)에서 이용되는 제2 변환 데이터를 포함할 수 있다.
변환데이터 설정부(15)는 참조 데이터를 이용하여 입력 영상에 적용할 컬러 모드의 제1 변환 데이터 또는 흑백 모드의 제1 변환 데이터를 설정할 수 있다.
일 실시예에서, 변환데이터 설정부(15)는 각 픽셀의 입력 RGB 값을 기초로 제1 변환 데이터를 설정할 수 있다. 이 경우, 제1 변환 데이터는 픽셀마다 상이한 값으로 결정될 수 있다.
다른 실시예에서, 변환데이터 설정부(15)는 입력 영상의 일부 픽셀들의 입력 RGB 값들의 평균 또는 입력 영상을 분할한 블록들의 입력 RGB 값들의 평균을 기초로 제1 변환 데이터를 결정할 수 있다. 이 경우, 제1 변환 데이터는 입력 영상을 구성하는 모든 픽셀들에 동일한 값으로 결정될 수 있다.
제1 변환 데이터는 게인일 수 있다. 예를 들어, R 값, G 값, B 값 각각에 대한 제1 변환 데이터는 R 게인(Rgain), G 게인(Ggain), B 게인(Bgain)일 수 있다. 참조 데이터는 RGB 값에 대응하는 제1 변환 데이터의 룩업 테이블일 수 있다.
제1 컬러변환부(131)는 입력 영상에 해당 영상 처리 모드의 제1 변환 데이터를 적용하여 1차 컬러 변환할 수 있다. 제1 컬러변환부(131)는 하기 식 (1)과 같이 픽셀 단위로 입력 RGB 값에 RGB 게인(Rgain, Ggain, Bgain)을 곱하여 입력 RGB 값을 제1 컬러 변환값(R', G', B')으로 변환할 수 있다. 입력 영상의 픽셀마다 RGB 게인이 상이할 수도 있고, 입력 영상의 모든 픽셀들의 RGB 게인이 동일할 수도 있다.
R' = R x Rgain
G' = G x Ggain
B' = B x Bgain ...(1)
변환데이터 설정부(15)는 참조 데이터를 이용하여 입력 영상에 적용할 컬러 모드의 제2 변환 데이터 또는 흑백 모드의 제2 변환 데이터를 설정할 수 있다.
일 실시예에서, 변환데이터 설정부(15)는 각 픽셀의 입력 RGB 값을 기초로 제2 변환 데이터를 결정할 수 있다. 이 경우, 제2 변환 데이터는 픽셀마다 상이한 값으로 결정될 수 있다.
다른 실시예에서, 변환데이터 설정부(15)는 입력 영상의 일부 픽셀들의 입력 RGB 값들의 평균 또는 입력 영상을 분할한 블록들의 입력 RGB 값들의 평균을 기초로 제2 변환 데이터를 결정할 수 있다. 이 경우, 제2 변환 데이터는 입력 영상을 구성하는 모든 픽셀들에 동일한 값으로 결정될 수 있다.
제2 변환 데이터는 nxn 컬러 변환 매트릭스(M)일 수 있다. 여기서, n은 컬러 성분의 개수일 수 있다. 참조 데이터는 RGB 값에 대응하는 제2 변환 데이터의 룩업 테이블일 수 있다.
제2 컬러변환부(135)는 1차 컬러 변환된 입력 영상에 제2 변환 데이터를 적용하여 2차 컬러 변환할 수 있다. 제2 컬러변환부(135)는 하기 식 (2)와 같이 픽셀 단위로 제1 컬러 변환값(R', G', B')에 3x3 컬러 변환 매트릭스를 곱하여 제1 컬러 변환값(R', G', B')을 제2 컬러 변환값(R", G", B")으로 변환할 수 있다. 입력 영상의 픽셀마다 컬러 변환 매트릭스가 상이할 수도 있고, 입력 영상의 모든 픽셀들의 컬러 변환 매트릭스가 동일할 수도 있다.
Figure 112017022443524-pat00001
Figure 112017022443524-pat00002
...(2)
영상변환부(17)는 흑백 모드에서 1차 및 2차 컬러 변환된 입력 영상의 컬러 정보를 밝기 정보로 변환하여 밝기 정보만을 갖는 흑백 영상을 생성할 수 있다. 컬러 영상을 흑백 영상으로 변환하는 방법은 특별히 제한되지 않으며, 선형 변환, 비선형 변환 등 공지의 다양한 변환 방법이 적용될 수 있다.
전술된 실시예에서 변환데이터 설정부(15)와 컬러변환부(13)를 분리하여 설명하였으나, 본 발명의 실시예는 이에 한정되지 않고, 컬러변환부(13)가 변환데이터 설정 기능을 통합하여 수행할 수 있다. 예를 들어, 제1 컬러변환부(131)가 제1 변환데이터 설정 및 1차 컬러 변환을 수행하고, 제2 컬러변환부(135)가 제2 변화데이터 설정 및 2차 컬러 변환을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 프로세서의 컬러 모드 동작을 설명하는 도면이다.
모드변환부(11)는 주변 조도가 임계값 이상이면, 컬러 모드로의 전환을 위한 제1 제어신호(S1)를 출력할 수 있다. 컬러변환부(13) 및 변환데이터 설정부(15)는 제1 제어신호(S1)에 따라 컬러 모드에 따른 컬러 신호 처리 동작을 수행할 수 있다.
변환데이터 설정부(15)는 참조 데이터를 이용하여 컬러 모드에서 획득한 입력 영상에 적용할 제1 변환 데이터, 즉, 컬러 모드의 RGB 게인(이하, '제1 RGB 게인'이라 함)을 설정할 수 있다. 제1 RGB 게인은 입력 영상의 픽셀마다 상이할 수도 있고, 입력 영상의 모든 픽셀들에 동일할 수도 있다.
제1 컬러변환부(131)는 하기 식 (3)과 같이 픽셀 단위로 입력 RGB 값(R, G, B)에 제1 RGB 게인(R1gain, G1gain, B1gain)을 곱하여 입력 RGB 값(R, G, B)을 제1 컬러 변환값(R1', G1', B1')으로 변환할 수 있다.
R1' = R x R1gain
G1' = G x G1gain
B1' = B x B1gain ...(3)
변환데이터 설정부(15)는 참조 데이터를 이용하여 컬러 모드에서 획득한 입력 영상에 적용할 제2 변환 데이터, 즉, 컬러 모드의 컬러 변환 매트릭스(이하, '제1 컬러 변환 매트릭스'라 함)를 설정할 수 있다. 제1 컬러 변환 매트릭스(Mc)의 각 성분은 각 픽셀의 입력 RGB 값 또는 입력 영상의 일부 픽셀들의 입력 RGB 값들의 평균 또는 입력 영상을 분할한 블록들의 입력 RGB 값들의 평균을 기초로 결정될 수 있다. 제1 컬러 변환 매트릭스(Mc)는 입력 영상의 픽셀마다 상이할 수도 있고, 입력 영상의 모든 픽셀들에 동일할 수도 있다.
제2 컬러변환부(135)는 하기 식 (4)와 같이 픽셀 단위로 제1 컬러 변환값(R1', G1', B1')에 제1 컬러 변환 매트릭스(Mc)를 곱하여 제1 컬러 변환값(R1', G1', B1')을 제2 컬러 변환값(R1", G1", B1")으로 변환할 수 있다. 이에 따라 제2 컬러변환부(135)는 입력 RGB 값이 제2 컬러 변환값으로 변환된 컬러 영상(Icolor)을 출력할 수 있다.
Figure 112017022443524-pat00003
Figure 112017022443524-pat00004
...(4)
도 6은 본 발명의 일 실시예에 따른 프로세서의 흑백 모드 동작을 설명하는 도면이다.
모드변환부(11)는 주변 조도가 임계값보다 낮으면, 흑백 모드로의 전환을 위한 제2 제어신호(S2)를 출력할 수 있다. 컬러변환부(13), 변환데이터 설정부(15) 및 영상변환부(17)는 제2 제어신호(S2)에 따라 흑백 모드에 따른 흑백 신호 처리 동작을 수행할 수 있다.
변환데이터 설정부(15)는 참조 데이터를 이용하여 흑백 모드에서 획득한 입력 영상에 적용할 제1 변환 데이터, 즉, 흑백 모드의 RGB 게인(이하, '제2 RGB 게인'이라 함)을 설정할 수 있다.
일 실시예에서, 제2 RGB 게인은 제1 RGB 게인일 수 있다.
제2 RGB 게인은 입력 영상의 픽셀마다 상이할 수 있다. 예를 들어, 제2 RGB 게인은 흑백 모드 전환 전 컬러 모드에서 사용된 대응 픽셀의 제1 RGB 게인들 중 하나일 수 있다. 일 예로 제2 RGB 게인은 흑백 모드 전환 전 컬러 모드에서 사용된 대응 픽셀의 마지막 제1 RGB 게인일 수 있다. 또는, 제2 RGB 게인은 흑백 모드 전환 전 컬러 모드에서 일정 프레임 동안 사용된 대응 픽셀의 제1 RGB 게인들의 평균값, 최소값 및 최대값 중 하나일 수 있다.
제2 RGB 게인은 입력 영상의 모든 픽셀들에 동일할 수 있다. 예를 들어, 제2 RGB 게인은 흑백 모드 전환 전 컬러 모드에서 사용된 제1 RGB 게인들 중 하나일 수 있다. 일 예로 제2 RGB 게인은 흑백 모드 전환 전 컬러 모드에서 획득된 마지막 영상의 제1 RGB 게인일 수 있다. 또는, 제2 RGB 게인은 흑백 모드 전환 전 컬러 모드에서 일정 프레임 동안의 영상들의 제1 RGB 게인들의 평균값, 최소값 및 최대값 중 하나일 수 있다.
다른 실시예에서, 제2 RGB 게인은 1:1 RGB 게인일 수 있다. 1:1 RGB 게인은 입력 RGB 값(R, G, B)이 변하지 않거나 그 변화를 최소로 제한하는 게인이다. 예를 들어, 1:1 RGB 게인은 1 또는 1에 근사한 값일 수 있다.
제1 컬러변환부(131)는 하기 식 (5)와 같이 픽셀 단위로 입력 RGB 값(R, G, B)에 제2 RGB 게인(R2gain, G2gain, B2gain)을 곱하여 입력 RGB 값(R, G, B)을 제1 컬러 변환값(R2', G2', B2')으로 변환할 수 있다.
R2' = R x R2gain
G2' = G x G2gain
B2' = B x B2gain ...(5)
변환데이터 설정부(15)는 참조 데이터를 이용하여 흑백 모드에서 획득한 입력 영상에 적용할 제2 변환 데이터, 즉, 흑백 모드의 컬러 변환 매트릭스(이하, '제2 컬러 변환 매트릭스'라 함)를 설정할 수 있다. 제2 컬러 변환 매트릭스(Mbw)는 입력 영상의 픽셀마다 상이할 수도 있고, 입력 영상의 모든 픽셀들에 동일할 수도 있다.
일 실시예에서, 제2 컬러 변환 매트릭스(Mbw)는 단위 매트릭스(identity matrix)(A)일 수 있다. 이 경우, 제2 컬러 변환 매트릭스(Mbw)는 조도 값에 무관하게 단위 매트릭스(A)로 고정된다. 단위 매트릭스(A)는 하기 식 (6)의 매트릭스 및 제1 컬러 변환값(R2', G2', B2')의 변화를 최소로 제한하는 매트릭스를 포함할 수 있다.
Figure 112017022443524-pat00005
...(6)
다른 실시예에서, 제2 컬러 변환 매트릭스(Mbw)는 제1 컬러 변환 매트릭스(Mc)와 단위 매트릭스(A)의 조합일 수 있다. 제2 컬러 변환 매트릭스(Mbw)는 하기 식 (7)과 같이 조도가 반영된 가중치(α)를 적용한 제1 컬러 변환 매트릭스(Mc)와 단위 매트릭스(A)의 가중합일 수 있다. 조도를 반영함으로써 보다 정교한 컬러 변환이 가능하다. 변환데이터 설정부(15)는 조도에 반비례하게 가중치(α)를 설정할 수 있다. 따라서, 조도가 낮을수록 가중치(α)가 커지고, 단위 매트릭스(A)의 비중이 높아질 수 있다. 가중치(α)가 1인 경우 제2 컬러 변환 매트릭스(Mbw)는 단위 매트릭스(A)일 수 있다. 가중치(α)가 0인 경우 제2 컬러 변환 매트릭스(Mbw)는 제1 컬러 변환 매트릭스(Mc)일 수 있다. 가중치(α)가 0과 1 사이인 경우 제2 컬러 변환 매트릭스(Mbw)는 소정 비율의 제1 컬러 변환 매트릭스(Mc)와 단위 매트릭스(A)의 조합일 수 있다.
Mbw = Mc x (1-α) + A x α, 0≤α≤1 ... (7)
제2 컬러변환부(135)는 하기 식 (8)과 같이 픽셀 단위로 제1 컬러 변환값(R2', G2', B2')에 제2 컬러 변환 매트릭스(Mbw)를 곱하여 제1 컬러 변환값(R2', G2', B2')을 제2 컬러 변환값(R2", G2", B2")으로 변환할 수 있다.
Figure 112017022443524-pat00006
...(8)
영상변환부(15)는 컬러변환부(13)에 의해 컬러 변환된 컬러 영상을 흑백 영상(IBW)으로 변환하여 출력할 수 있다.
도 7a 내지 도 7d는 흑백 모드에서 생성된 흑백 영상의 다양한 예들이다.
도 7a는 컬러 모드에서 사용된 제1 RGB 게인과 제1 컬러 변환 매트릭스를 사용하여 생성된 흑백 영상이다. 도 7a의 영상에서 검은 노이즈가 나타남을 볼 수 있다. 검은 노이즈는 색온도가 낮거나 높은(2000K 이하 혹은 8000K 이상) 저조도 환경에서 주로 발생한다.
저조도 환경에서는 영상 센서 자체가 가지는 노이즈(센서 암전류나 수광부의 구조적인 문제로 나타나는 노이즈) 특성과 적외선 차단 필터에 의하여 걸러졌던 IR 영역 대의 광원이 적외선 통과 필터에 의하여 통과하여 센서 입력으로 인식됨으로 인해 RGB 각각의 비중이 다르게 나타난다. 즉, 저조도 환경에서 영상 센서의 노이즈 및/또는 필터 유형에 따른 센서의 데이터 인식 등으로 인하여 영상에서 차지하는 비중이 적은 특정 컬러 성분이, 컬러 모드에서 화이트 발란스와 색 온도 보상을 위해 사용된 RGB 게인과 컬러 변환 매트릭스의 영향으로 특정 컬러 성분이 증폭되거나 다른 컬러 성분에 영향을 미치게 되어 검은색 노이즈가 발생하게 된다.
도 7b는 본 발명의 일 실시예에 따른 제2 RGB 게인이 컬러 모드의 제1 RGB 게인이고, 제2 컬러 변환 매트릭스가 단위 매트릭스인 흑백 모드에서 생성된 흑백 영상이다.
도 7c는 본 발명의 일 실시예에 따른 제2 RGB 게인이 1:1 RGB 게인이고, 제2 컬러 변환 매트릭스가 컬러 모드의 제1 컬러 변환 매트릭스인 흑백 모드에서 생성된 흑백 영상이다.
도 7d는 본 발명의 일 실시예에 따라 제2 RGB 게인이 1:1 RGB 게인이고, 제2 컬러 변환 매트릭스가 단위 매트릭스인 흑백 모드에서 생성된 흑백 영상이다. 도 7d의 흑백 영상은 컬러 모드에서 사용된 제1 RGB 게인 및 제1 컬러 변환 매트릭스와 상이한 제2 RGB 게인 및 제2 컬러 변환 매트릭스가 사용된 예이다.
도 7a의 흑백 영상에 비해, 본 발명의 실시예에 따라 생성된 도 7b, 도 7c, 및 도 7d 각각의 흑백 영상에서 검은 노이즈가 확연히 줄어듬을 확인할 수 있다.
한편, 도 7b의 흑백 영상에 비해 도 7c 및 도 7d의 흑백 영상의 전체적인 휘도가 낮아짐을 확인할 수 있다. 즉, 제2 RGB 게인을 1:1 RGB 게인으로 사용한 경우, 대략 0~50% 정도의 휘도 손실이 있다. 흑백 모드가 저조도 환경에서의 피사체의 인식이나 표현에 중점을 둔 점을 감안할 때, 휘도가 흑백 모드에서 중요한 요소이므로, 도 7b의 예와 같이, 컬러 모드에서 사용된 제1 RGB 게인을 제2 RGB 게인으로 사용하고 단위 매트릭스 또는 컬러 변환을 최소화하는 매트릭스를 제2 컬러 변환 매트릭스로 사용하는 것이 흑백 모드에서 바람직할 수 있다.
그러나, 사용자의 선택 또는 사용 환경에 따라 흑백 모드의 제2 RGB 게인과 제2 컬러 변환 매트릭스 중 적어도 하나를 컬러 모드의 제1 RGB 게인 및 제1 컬러 변환 매트릭스와 다르게 설정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 모드별 영상 처리 방법을 개략적으로 설명하는 흐름도이다. 도 8의 영상 처리 방법은 도 2에 도시된 프로세서(10)에 의해 수행될 수 있다. 이하에서 도 2 내지 도 7을 참조로 설명한 내용과 중복하는 내용의 상세한 설명은 생략한다.
도 8을 참조하면, 모드변환부(11)는 조도를 임계값과 비교하여 영상 처리 모드를 판단할 수 있다(S61). 모드변환부(11)는 조도가 임계값 이상이면 컬러 모드로 판단하고, 조도가 임계값보다 낮으면 흑백 모드로 판단할 수 있다.
프로세서(10)는 컬러 모드인 경우 컬러 모드에서 획득한 입력 영상에 대해 하기의 신호 처리를 수행할 수 있다.
제1 컬러변환부(131)는 입력 RGB 값에 변환데이터 설정부(15)가 설정한 제1 RGB 게인을 적용하여 입력 RGB 값을 제1 컬러 변환값(R1', G1', B1')으로 변환할 수 있다(S631).
제2 컬러변환부(135)는 제1 컬러 변환값(R1', G1', B1')에 변환데이터 설정부(15)가 설정한 제1 컬러 변환 매트릭스(Mc)를 적용하여 제1 컬러 변환값(R1', G1', B1')을 제2 컬러 변환값(R1", G1", B1")으로 변환할 수 있다(S651).
제2 컬러변환부(135)는 입력 RGB 값이 제2 컬러 변환값(R1", G1", B1")으로 변환된 컬러 영상을 출력할 수 있다(S671).
프로세서(10)는 흑백 모드인 경우 흑백 모드에서 획득한 입력 영상에 대해 하기의 동작을 수행할 수 있다.
제1 컬러변환부(131)는 입력 RGB 값에 변환데이터 설정부(15)가 설정한 제2 RGB 게인을 적용하여 입력 RGB 값을 제1 컬러 변환값(R2', G2', B2')으로 변환할 수 있다(S632).
제2 컬러변환부(135)는 제1 컬러 변환값(R2', G2', B2')에 변환데이터 설정부(15)가 설정한 제2 컬러 변환 매트릭스(Mbw)를 적용하여 제1 컬러 변환값(R2', G2', B2')을 제2 컬러 변환값(R2", G2", B2")으로 변환할 수 있다(S652).
영상변환부(17)는 입력 RGB 값이 제2 컬러 변환값(R2", G2", B2")으로 변환된 영상의 컬러 정보를 밝기 정보로 변환하여(S672), 흑백 영상을 출력할 수 있다(S692).
도 9는 도 1에 도시된 프로세서의 다른 실시예를 도시한 개략적인 블록도이다. 도 10은 도 9에 도시된 프로세서에 의해 수행되는 모드별 영상 처리 방법을 개략적으로 설명하는 흐름도이다.
이하에서, 도 2에 도시된 프로세서(10) 및 도 5 내지 도 8에 도시된 프로세서(10)의 동작과 상이한 부분을 중심으로 설명하며, 중복하는 내용의 상세한 설명은 생략한다.
도 9를 참조하면, 일 실시예에 따른 프로세서(10')는 모드변환부(11), 컬러변환부(13), 변환데이터 설정부(15), 영상변환부(17) 및 광원추정부(19)를 포함할 수 있다. 컬러변환부(13)는 제1 컬러변환부(131) 및 제2 컬러변환부(135)를 포함할 수 있다.
도 10을 함께 참조하면, 모드변환부(11)는 조도를 임계값과 비교하여 영상 처리 모드를 판단할 수 있다(S81). 모드변환부(11)는 조도가 임계값 이상이면 컬러 모드로 판단하고, 조도가 임계값보다 낮으면 흑백 모드로 판단할 수 있다.
프로세서(10')는 컬러 모드인 경우 컬러 모드에서 획득한 입력 영상에 대해 하기의 동작을 수행할 수 있다.
제1 컬러변환부(131)는 입력 RGB 값에 변환데이터 설정부(15)가 설정한 제1 RGB 게인을 적용하여 입력 RGB 값을 제1 컬러 변환값(R1', G1', B1')으로 변환할 수 있다(S831).
제2 컬러변환부(135)는 제1 컬러 변환값(R1', G1', B1')에 변환데이터 설정부(15)가 설정한 제1 컬러 변환 매트릭스(Mc)를 적용하여 제1 컬러 변환값(R1', G1', B1')을 제2 컬러 변환값(R1", G1", B1")으로 변환할 수 있다(S851).
제2 컬러변환부(135)는 입력 RGB 값이 제2 컬러 변환값(R1", G1", B1")으로 변환된 컬러 영상을 출력할 수 있다(S871).
프로세서(10')는 흑백 모드인 경우 흑백 모드에서 획득한 입력 영상에 대해 하기의 동작을 수행할 수 있다.
광원추정부(19)는 참조 데이터를 이용하여 입력 영상의 RGB 값을 기초로 광원을 추정할 수 있다(S822). 광원은 자연광, 형광, 백열광 등을 포함할 수 있다. 광원 추정 방법은 특별히 한정되지 않으며, 공지된 다양한 방법이 적용될 수 있음은 물론이다.
제1 컬러변환부(131)는 입력 RGB 값에 변환데이터 설정부(15)가 추정된 광원을 기초로 설정한 제3 RGB 게인을 적용하여 입력 RGB 값을 제1 컬러 변환값(R2', G2', B2')으로 변환할 수 있다(S832).
변환데이터 설정부(15)는 참조 데이터를 이용하여 흑백 모드에서 획득한 입력 영상에 적용할 제1 변환 데이터, 즉, 제3 RGB 게인을 설정할 수 있다. 제3 RGB 게인은 광원 정보를 반영하여 제2 RGB 게인을 조정한 게인일 수 있다. 제3 RGB 게인은 입력 영상의 픽셀마다 상이할 수도 있고, 입력 영상의 모든 픽셀들에 동일할 수도 있다.
제3 RGB 게인은 하기 식 (9)와 같이 광원 정보가 반영된 가중치(β)를 적용한 제1 RGB 게인과 제2 RGB 게인의 가중합일 수 있다. 제1 RGB 게인은 컬러 모드에서 사용되는 RGB 게인이다. 제2 RGB 게인은 흑백 모드에서 사용되는 RGB 게인이다. 즉, 제2 RGB 게인은 일 실시예에서 제1 RGB 게인일 수 있고, 다른 실시예에서 1:1 RGB 게인일 수 있다. 광원 정보를 반영함으로써 보다 정교한 컬러 변환이 가능하다. 변환데이터 설정부(15)는 광원에 대응하는 가중치(β)를 설정할 수 있다. 변환데이터 설정부(15)는 광원이 자연광에 가까울수록 가중치(β)가 커지도록 설정할 수 있다.
제3 RGB 게인 = 제1 RGB 게인 x (1-β) + 제2 RGB 게인 x β
0≤β≤1 ...(9)
제2 컬러변환부(135)는 제1 컬러 변환값(R2', G2', B2')에 변환데이터 설정부(15)가 설정한 제2 컬러 변환 매트릭스(Mbw)를 적용하여 제1 컬러 변환값(R2', G2', B2')을 제2 컬러 변환값(R2", G2", B2")으로 변환할 수 있다(S852). 제2 컬러 변환 매트릭스(Mbw)는 단위 매트릭스(A) 또는 식 (7)과 같이 제1 컬러 변환 매트릭스(Mc)와 단위 매트릭스(A)의 가중합일 수 있다.
영상변환부(17)는 입력 RGB 값이 제2 컬러 변환값(R2", G2", B2")으로 변환된 영상의 컬러 정보를 밝기 정보로 변환하여(S872), 흑백 영상을 출력할 수 있다(S892).
전술된 실시예들에서는 저조도 환경에서 더미 글라스를 이용하여 획득한 영상을 흑백 영상으로 변환하기 위한 영상 처리를 설명하고 있으나, 본 발명의 실시예들은 이에 한정되지 않고, 저조도 환경에서 획득한 컬러 영상을 흑백 영상으로 변환하는 경우에도 적용될 수 있다. 예를 들어, 저조도 환경에서 저역통과필터를 이용하여 획득한 영상을 흑백 영상으로 변환하는 경우에도 본 발명의 실시예들의 제2 RGB 게인 및 제2 컬러 변환 매트릭스를 조정함으로써 적용될 수 있다.
전술된 실시예들에서 조도 센서를 이용하여 조도를 감지하고 있으나, 본 발명의 실시예들은 이에 한정되지 않고, 입력 영상의 전체 화소들의 밝기 평균 값과 같이 글로벌 밝기 값을 기초로 조도를 추정할 수도 있다.
본 발명에 따른 영상처리방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 조도가 임계값 이상인 조건에서 제1 영상을 획득하고, 조도가 상기 임계값보다 낮은 조건에서 제2 영상을 획득하는 영상획득부;
    상기 제1 영상에 컬러 신호 처리를 수행하는 제1 모드 또는 상기 제2 영상에 흑백 신호 처리를 수행하는 제2 모드로 영상 처리 모드를 변환하는 모드변환부;
    상기 제1 모드에서 상기 제1 영상에 제1 컬러 변환 데이터를 적용하여 상기 제1 영상의 컬러를 변환하고, 상기 제2 모드에서 상기 제2 영상에 상기 제1 컬러 변환 데이터와 상이한 제2 컬러 변환 데이터를 적용하여 상기 제2 영상의 컬러를 변환하는 컬러변환부; 및
    상기 제2 모드에서 상기 컬러 변환된 제2 영상의 컬러 정보를 밝기 정보로 변환하여 상기 컬러 변환된 제2 영상을 흑백 영상으로 변환하는 영상변환부;를 포함하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 제1 컬러 변환 데이터 및 상기 제2 컬러 변환 데이터는 각각 제1 변환 데이터 및 제2 변환 데이터를 포함하는, 영상 처리 장치.
  13. 제12항에 있어서,
    상기 제2 컬러 변환 데이터의 제1 변환 데이터 및 제2 변환 데이터 중 적어도 하나가 상기 제1 컬러 변환 데이터의 제1 변환 데이터 및 제2 변환 데이터와 상이한, 영상 처리 장치.
  14. 제12항에 있어서,
    상기 제1 변환 데이터는 게인이고, 상기 제2 변환 데이터는 컬러 변환 매트릭스인, 영상 처리 장치.
  15. 제14항에 있어서,
    상기 제2 컬러 변환 데이터의 게인은 상기 제1 컬러 변환 데이터의 게인과 동일하고, 상기 제2 컬러 변환 데이터의 컬러 변환 매트릭스는 단위 매트릭스인, 영상 처리 장치.
  16. 제14항에 있어서,
    상기 제2 컬러 변환 데이터의 게인은 상기 제1 컬러 변환 데이터의 게인과 동일하고, 상기 제2 컬러 변환 데이터의 컬러 변환 매트릭스는 상기 제1 컬러 변환 데이터의 컬러 변환 매트릭스와 단위 매트릭스의 조합인, 영상 처리 장치.
  17. 제16항에 있어서,
    상기 제2 컬러 변환 데이터의 컬러 변환 매트릭스는 상기 조도가 상기 임계값보다 낮을수록 상기 단위 매트릭스의 비중이 큰, 영상 처리 장치.
  18. 제14항에 있어서,
    광원이 반영된 상기 제2 컬러 변환 데이터의 조정 게인은 상기 제1 컬러 변환 데이터의 게인과 상기 제2 컬러 변환 데이터의 게인의 조합이고, 상기 제2 컬러 변환 데이터의 컬러 변환 매트릭스는 단위 매트릭스 또는 상기 제1 컬러 변환 데이터의 컬러 변환 매트릭스와 단위 매트릭스의 조합인, 영상 처리 장치.
  19. 삭제
  20. 삭제
KR1020170028547A 2017-03-06 2017-03-06 영상처리장치 및 영상처리방법 KR102309812B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170028547A KR102309812B1 (ko) 2017-03-06 2017-03-06 영상처리장치 및 영상처리방법
US15/860,587 US10498988B2 (en) 2017-03-06 2018-01-02 Image processing device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170028547A KR102309812B1 (ko) 2017-03-06 2017-03-06 영상처리장치 및 영상처리방법

Publications (2)

Publication Number Publication Date
KR20180101951A KR20180101951A (ko) 2018-09-14
KR102309812B1 true KR102309812B1 (ko) 2021-10-07

Family

ID=63355446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170028547A KR102309812B1 (ko) 2017-03-06 2017-03-06 영상처리장치 및 영상처리방법

Country Status (2)

Country Link
US (1) US10498988B2 (ko)
KR (1) KR102309812B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3846440B1 (en) 2019-12-30 2021-12-15 Axis AB A low-light imaging method, unit and system
CN111464750B (zh) * 2020-05-14 2021-07-23 中央民族大学 一种图像处理装置及智能车
US20220415957A1 (en) * 2021-06-25 2022-12-29 Microsoft Technology Licensing, Llc Imaging sensor with near-infrared absorber

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100289885A1 (en) * 2007-10-04 2010-11-18 Yuesheng Lu Combined RGB and IR Imaging Sensor
US20110254974A1 (en) * 2010-02-25 2011-10-20 Sharp Kabushiki Kaisha Signal processing apparatus, solid-state image capturing apparatus, electronic information device, signal processing method, control program and storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4418270B2 (ja) 2004-03-19 2010-02-17 理想科学工業株式会社 画像処理装置及びプリンタドライバ
JP4418271B2 (ja) 2004-03-22 2010-02-17 興和株式会社 眼底画像処理方法及び眼底画像処理装置
JP4704238B2 (ja) * 2006-02-22 2011-06-15 オリンパスイメージング株式会社 電子撮像装置及び電子撮像方法
US8411943B2 (en) 2008-03-31 2013-04-02 Aptina Imaging Corporation Method and apparatus for image signal color correction with reduced noise
US8345972B2 (en) 2010-09-17 2013-01-01 Himax Imaging, Inc. Method for processing color component values of pixel
JP5818668B2 (ja) * 2011-12-16 2015-11-18 株式会社東芝 オートホワイトバランス調整システム
JP6092690B2 (ja) * 2012-04-11 2017-03-08 キヤノン株式会社 撮像装置およびその制御方法
KR101926487B1 (ko) * 2012-10-12 2018-12-07 한화테크윈 주식회사 감시 시스템의 제어 방법, 및 이 방법을 채용한 감시 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100289885A1 (en) * 2007-10-04 2010-11-18 Yuesheng Lu Combined RGB and IR Imaging Sensor
US20110254974A1 (en) * 2010-02-25 2011-10-20 Sharp Kabushiki Kaisha Signal processing apparatus, solid-state image capturing apparatus, electronic information device, signal processing method, control program and storage medium

Also Published As

Publication number Publication date
US20180255256A1 (en) 2018-09-06
US10498988B2 (en) 2019-12-03
KR20180101951A (ko) 2018-09-14

Similar Documents

Publication Publication Date Title
US10979654B2 (en) Image signal processing method and system
US9344689B2 (en) Camera system with multi-spectral filter array and image processing method thereof
JP4431532B2 (ja) 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
US8508619B2 (en) High dynamic range image generating apparatus and method
KR102287944B1 (ko) 영상 출력 장치 및 영상 출력 방법
US20200322580A1 (en) Image defogging method and image capture apparatus implementing image defogging
JP6394338B2 (ja) 画像処理装置、画像処理方法、及び撮像システム
US11138764B2 (en) Image processing device, image processing method, and recording medium
KR102309812B1 (ko) 영상처리장치 및 영상처리방법
US9589339B2 (en) Image processing apparatus and control method therefor
US10108878B2 (en) Image processing apparatus, image processing method, and storage medium for tone control of each object region in an image
US20200304697A1 (en) Device, control method, and storage medium
JP6904788B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9992847B2 (en) Self-adjusting sensor for sensing daylight
US20150208046A1 (en) Image processing apparatus, image processing method, program and electronic apparatus
US10475162B2 (en) Image processing device, method, and storage medium for gamma correction based on illuminance
US9538100B1 (en) Systems and methods for image processing using visible and near-infrared spectral information
JP5000699B2 (ja) 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
JP6504892B2 (ja) 撮像装置
WO2016167140A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
EP3528202B1 (en) Image processing apparatus, image processing method, and program
KR101327035B1 (ko) 카메라 모듈 및 이의 이미지 처리 방법
JP7263018B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR102654700B1 (ko) 적어도 하나의 이미지 센서를 포함하는 카메라

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant