KR101923957B1 - 감도 개선을 위한 영상 처리 장치 및 방법 - Google Patents

감도 개선을 위한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101923957B1
KR101923957B1 KR1020170051762A KR20170051762A KR101923957B1 KR 101923957 B1 KR101923957 B1 KR 101923957B1 KR 1020170051762 A KR1020170051762 A KR 1020170051762A KR 20170051762 A KR20170051762 A KR 20170051762A KR 101923957 B1 KR101923957 B1 KR 101923957B1
Authority
KR
South Korea
Prior art keywords
pixel
values
image
value
pixels
Prior art date
Application number
KR1020170051762A
Other languages
English (en)
Other versions
KR20180118432A (ko
Inventor
안준모
김용준
Original Assignee
주식회사 아이닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이닉스 filed Critical 주식회사 아이닉스
Priority to KR1020170051762A priority Critical patent/KR101923957B1/ko
Publication of KR20180118432A publication Critical patent/KR20180118432A/ko
Application granted granted Critical
Publication of KR101923957B1 publication Critical patent/KR101923957B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/357—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

RGBIR 이미지 센서를 이용하여 획득한 영상 이미지에서 G 픽셀을 대체한 IR 픽셀에서의 G값을 추정하고, RGB 픽셀에 존재하는 IR 정보를 제거하여 해상도를 향상시키는 RGBIR 영상처리 장치 및 방법에 관한 것으로, 본 발명에 따른 RGBIR 영상 처리 장치는 RGBIR 영상 이미지의 IR 픽셀들을 바탕으로 상기 RGBIR 영상 이미지의 각 픽셀의 IR 값을 추정하는 IR 보간부, 상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 G 픽셀들의 값을 바탕으로 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하고, R, G, B, 및 Gr 픽셀을 포함하는 제1 RGB 영상 이미지를 생성하는 G 픽셀 추정부, 상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거한 제2 RGB 영상 이미지를 생성하는 IR 제거부, 상기 제2 RGB 영상 이미지의 각 픽셀의 IR 성분이 제거된 R, G, B 또는 Gr 값을 바탕으로 각 픽셀 별 R, G, 및 B 값을 생성하는 디모자이킹부, 상기 디모자이킹부에서 생성한 각 픽셀 별 R, G, 및 B 값을 바탕으로 화이트 밸런싱(white balancing)을 맞추거나 또는 다양한 색 효과를 생성하기 위하여 상기 각 픽셀 별 R, G, 및 B 값을 보정하여 각 픽셀 별 보정된 R, G, 및 B 값을 생성하는 컬러보정부, 상기 컬러보정부에서 생성한 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 YC생성부, 및 상기 YC생성부에서 생성한 상기 각 픽셀 별 Y, Cb, 및 Cr 값에 상기 IR 보간부에서 생성한 각 픽셀 별 IR 값을 더하여 각 픽셀 별 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 YC개선부를 포함할 수 있다.

Description

감도 개선을 위한 영상 처리 장치 및 방법{Image Processing Apparatus and Method for Improving Sensitivity}
본 발명은 RGBIR 영상 처리 장치 및 방법에 관한 것으로, 더욱 자세하게는 RGBIR 이미지 센서를 이용하여 획득한 영상 이미지에서 G 픽셀을 대체한 IR 픽셀에서의 G 값을 추정하고, RGB 픽셀에 존재하는 IR 정보를 제거하여 해상도를 향상시키고 감도를 개선하는 영상처리 장치 및 방법에 관한 것이다.
최근 카메라 센서에 종래에 사용되던 베이어 필터(Bayer filter)를 대신하여 감도개선을 위해 RGBIR, RGBW, RWB 컬러 필터 어레이(Color Filter Array; 이하 CFA)를 사용한 이미지 센서들이 만들어지고 있다.
도 1은 일반적인 RGBIR CFA의 간략한 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 일반적으로 RGBIR CFA는 하나의 R, B 픽셀과 2개의 G 픽셀로 구성되어 있는 베이어 필터에서 하나의 G 픽셀을 IR 픽셀로 대체하고 있다. 구체적으로, RGBIR CFA는 R(Red), G(Green), B(Blue), 및 IR(Infrared) 픽셀을 하나씩 포함하는 단위 픽셀(10)이 동일하게 반복되는 구조이다.
RBGG 픽셀의 베이어 필터를 가지는 이미지 센서에서는 매 열과 매 행마다 G 컬러 영상 정보를 얻을 수 있는 반면에, 도 1의 구조를 가지는 RGBIR CFA를 이용한 이미지 센서는 G 컬러 영상 정보와 IR 영상 정보를 2줄에 한 번씩만 얻을 수 있어 베이어 필터를 가지는 이미지 센서에 비해 해상도가 저하되는 문제점이 있다.
또한, RGBIR CFA를 이용한 이미지 센서에서 획득한 이미지는 IR 정보의 간섭으로 인하여 R, G, B 픽셀에서 획득하는 각각의 R, G, B 컬러 영상 정보의 색상정보가 틀어져 색 왜곡이 발생하는 문제점이 있다.
본 발명의 목적은 RGBIR 이미지 센서에서 IR에 의해 대체된 G값을 주변의 RGB값을 이용하여 추정하고, 각 RGB 채널에 포함되어 있는 IR 정보를 제거하고, 감도를 개선할 수 있는 영상처리 장치 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명에 따른 R, G, B, 및 IR 픽셀을 단위 픽셀로 사용하고, 복수의 단위 픽셀을 포함하는 RGBIR 영상 이미지를 처리하는 RGBIR 영상 처리 장치는 RGBIR 영상 이미지의 IR 픽셀들을 바탕으로 상기 RGBIR 영상 이미지의 각 픽셀의 IR 값을 추정하는 IR 보간부, 상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 G 픽셀들의 값을 바탕으로 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하고, R, G, B, 및 Gr 픽셀을 포함하는 제1 RGB 영상 이미지를 생성하는 G 픽셀 추정부, - 상기 Gr 픽셀은 상기 IR 픽셀과 동일한 위치이고, 상기 추정된 G 값을 가짐 - 상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거한 제2 RGB 영상 이미지를 생성하는 IR 제거부, 상기 제2 RGB 영상 이미지의 각 픽셀의 IR 성분이 제거된 R, G, B 또는 Gr 값을 바탕으로 각 픽셀 별 R, G, 및 B 값을 생성하는 디모자이킹부, 상기 디모자이킹부에서 생성한 각 픽셀 별 R, G, 및 B 값을 바탕으로 화이트 밸런싱(white balancing)을 맞추거나 또는 다양한 색 효과를 생성하기 위하여 상기 각 픽셀 별 R, G, 및 B 값을 보정하여 각 픽셀 별 보정된 R, G, 및 B 값을 생성하는 컬러보정부, 상기 컬러보정부에서 생성한 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 YC생성부, 및 상기 YC생성부에서 생성한 상기 각 픽셀 별 Y, Cb, 및 Cr 값에 상기 IR 보간부에서 생성한 각 픽셀 별 IR 값을 더하여 각 픽셀 별 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 YC개선부를 포함할 수 있다.
각 부를 좀 더 상세히 살펴보면,
상기 IR 보간부는 IR 값을 추정하고자 하는 각 픽셀 주변의 16개의 IR 픽셀의 값을 이용하는 바이큐빅(bicubic) 보간법을 사용하여, 각 픽셀의 IR 값은 추정할 수 있고,
상기 G 픽셀 추정부는 상기 RGBIR 영상 이미지의 각 G 픽셀의 값에서 상기 IR 보간부가 추정한 상기 각 G 픽셀의 IR 값을 뺀 D 값을 계산하고, 상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 4개의 G 픽셀의 D 값의 평균값(Dav)을 계산하고, 상기 RGBIR 영상 이미지의 각 IR 픽셀에 대한 상기 평균값(Dav)에 상기 각 IR 픽셀의 IR 값을 더하여 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정할 수 있고,
상기 IR 제거부는
Figure 112017039496317-pat00001
(
Figure 112017039496317-pat00002
는 상기 제1 RGB 영상 이미지의 각 R, G, B 또는 Gr 픽셀에서의 값,
Figure 112017039496317-pat00003
는 상기 IR 보간부에서 획득한 각 픽셀에서의 IR 값,
Figure 112017039496317-pat00004
는 픽셀 타입에 따라 미리 설정해 주는 파라미터임) 식을 이용하여 상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거할 수 있고,
상기 YC생성부는 상기 컬러보정부에서 생성한 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로
Figure 112017039496317-pat00005
,
Figure 112017039496317-pat00006
,
Figure 112017039496317-pat00007
(여기서 a1, a2, a3, b1, 및 b2는 R, G, 및 B 값이 Y, Cb, 및 Cr 계산에 영향을 미치는 정도를 나타내는 파라미터임) 식을 이용하여 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성할 수 있고,
상기 YC개선부는
Figure 112017039496317-pat00008
,
Figure 112017039496317-pat00009
,
Figure 112017039496317-pat00010
(IR은 상기 IR 보간부에서 생성한 각 픽셀 별 IR 값, c1 및 c2는 Y의 Y'으로의 변화를 반영한 파라미터로 (Y'-Y)에 비례하는 값으로 설정함)식을 이용하여 감도 개선된 Y, Cb, 및 Cr 값을 생성할 수 있다.
이에 더하여 RGBIR 영상 처리 장치는 가이드 필터부를 더 포함하고, 상기 IR 보간부는 추정한 상기 각 픽셀의 IR 값을 바탕으로 IR 영상 이미지를 생성하고, 상기 가이드 필터부는 상기 IR 보간부에서 생성한 상기 IR 영상 이미지를 가이드 이미지로 하고, 상기 YC개선부에서 생성한 각 픽셀 별 Y, Cb, 및 Cr 값을 입력으로 하여 가이디드 이미지 필터링(guided image filtering)을 수행할 수 있다.
전술한 목적을 달성하기 위한 본 발명에 따른 R, G, B, 및 IR 픽셀을 단위 픽셀로 사용하고, 복수의 단위 픽셀을 포함하는 RGBIR 영상 이미지를 처리하는 RGBIR 영상 처리 장치에서의 영상 처리 방법은 RGBIR 영상 이미지의 IR 픽셀들을 바탕으로 상기 RGBIR 영상 이미지의 각 픽셀의 IR 값을 추정하는 단계, 상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 G 픽셀들의 값을 바탕으로 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하고, R, G, B, 및 Gr 픽셀을 포함하는 제1 RGB 영상 이미지를 생성하는 단계 - 상기 Gr 픽셀은 상기 IR 픽셀과 동일한 위치이고, 상기 추정된 G 값을 가짐 -, 상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거한 제2 RGB 영상 이미지를 생성하는 단계, 상기 제2 RGB 영상 이미지의 각 픽셀의 IR 성분이 제거된 R, G, B 또는 Gr 값을 바탕으로 각 픽셀 별 R, G, 및 B 값을 생성하는 단계, 상기 각 픽셀 별 R, G, 및 B 값을 바탕으로 화이트 밸런싱(white balancing)을 맞추거나 또는 다양한 색 효과를 생성하기 위하여 상기 각 픽셀 별 R, G, 및 B 값을 보정하여 각 픽셀 별 보정된 R, G, 및 B 값을 생성하는 단계, 상기 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 단계, 및 상기 각 픽셀 별 Y, Cb, 및 Cr 값에 추정된 상기 각 픽셀 별 IR 값을 더하여 각 픽셀 별 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 단계를 포함할 수 있다.
상술한 각 단계를 좀 더 상세히 살펴보면,
상기 RGBIR 영상 이미지의 각 픽셀의 IR 값을 추정하는 단계는 IR 값을 추정하고자 하는 각 픽셀 주변의 16개의 IR 픽셀의 값을 이용하는 바이큐빅(bicubic) 보간법을 사용하여 각 픽셀의 IR 값은 추정하는 단계를 포함할 수 있고,
상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 G 픽셀들의 값을 바탕으로 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하고, R, G, B, 및 Gr 픽셀을 포함하는 제1 RGB 영상 이미지를 생성하는 단계는 상기 RGBIR 영상 이미지의 각 G 픽셀의 값에서 상기 IR 보간부가 추정한 상기 각 G 픽셀의 IR 값을 뺀 D 값을 계산하는 단계, 상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 4개의 G 픽셀의 D 값의 평균값(Dav)을 계산하는 단계, 및 상기 RGBIR 영상 이미지의 각 IR 픽셀에 대한 상기 평균값(Dav)에 상기 각 IR 픽셀의 IR 값을 더하여 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하는 단계를 포함할 수 있고,
상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거한 제2 RGB 영상 이미지를 생성하는 단계는
Figure 112017039496317-pat00011
(
Figure 112017039496317-pat00012
는 상기 제1 RGB 영상 이미지의 각 R, G, B 또는 Gr 픽셀에서의 값,
Figure 112017039496317-pat00013
는 상기 IR 보간부에서 획득한 각 픽셀에서의 IR 값,
Figure 112017039496317-pat00014
는 픽셀 타입에 따라 미리 설정해 주는 파라미터임) 식을 이용하여 상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거하는 단계를 포함할 수 있고,
상기 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 단계는 상기 컬러보정부에서 생성한 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로
Figure 112017039496317-pat00015
,
Figure 112017039496317-pat00016
,
Figure 112017039496317-pat00017
(여기서 a1, a2, a3, b1, 및 b2는 R, G, 및 B 값이 Y, Cb, 및 Cr 계산에 영향을 미치는 정도를 나타내는 파라미터임) 식을 이용하여 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 단계를 포함할 수 있고,
상기 각 픽셀 별 Y, Cb, 및 Cr 값에 추정된 상기 각 픽셀 별 IR 값을 더하여 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 단계는
Figure 112017039496317-pat00018
,
Figure 112017039496317-pat00019
,
Figure 112017039496317-pat00020
(IR은 상기 IR 보간부에서 생성한 각 픽셀 별 IR 값, c1 및 c2는 Y의 Y'으로의 변화를 반영한 파라미터로 (Y'-Y)에 비례하는 값으로 설정함)식을 이용하여 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 단계를 포함할 수 있다.
이에 더하여 RGBIR 영상 처리 방법은 저조도 또는 야간 환경에서 노이즈가 개선된 컬러 영상을 획득하기 위하여 추정한 상기 각 픽셀의 IR 값을 바탕으로 IR 영상 이미지를 생성하는 단계 및 상기 IR 영상 이미지를 가이드 이미지로 하고, 상기 각 픽셀 별 감도 개선된 Y, Cb, 및 Cr 값을 입력으로 하여 가이디드 이미지 필터링(guided image filtering)을 수행하는 단계를 더 포함할 수 있다.
그리고 상술한 방법은 컴퓨터 또는 프로세서 상에서 실행될 수 있는 컴퓨터 프로그램으로 구현될 수 있다.
본 발명에 의하면, RGBIR CFA 사용시 발생되는 해상도 열화와 색 왜곡 문제를 개선할 수 있는 효과가 있다.
또한, 종래 베이어 CFA와 유사한 색을 가지면서 감도가 더 개선된 결과를 얻을 수 있는 효과가 있다.
또한, 저조도 또는 야간환경에서 깨끗한 컬러 영상을 획득할 수 있다는 효과가 있다.
또한, 본 발명에서 제시하는 이미지 처리 방법을 활용하여 defog나 denoise 알고리즘들과 접목시켜 적은 비용과 자원을 가지고 악천후 조건에 대응할 수 있는 카메라 시스템을 개발할 수 있도록 하는 효과가 있다.
도 1은 일반적인 RGBIR CFA의 간략한 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 RGBIR 영상 처리 장치의 블록도를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 IR 픽셀 위치의 G 값을 추정하는 과정을 도시한 도면이다.
도 4는 IR 대역에서 R, G, B 정보와 IR 정보 간의 관계를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 RGBIR 영상 처리 방법을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 IR 픽셀의 G값을 추정하는 방법을 도시한 도면이다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우 뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.
제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 2는 본 발명의 일 실시 예에 따른 RGBIR 영상 처리 장치의 블록도를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 RGBIR 영상 처리 장치는 IR 보간부(100), G 픽셀 추정부(200), IR 제거부(300), 디모자이킹부(400), 컬러보정부(500), YC생성부(600), 및 YC개선부(700)를 포함할 수 있다.
상술한 블록중 디모자이킹부(400), 컬러보정부(500), 및 YC생성부(600)는 종래의 RGB 영상 이미지를 처리하는 영상 처리 장치에도 포함되어 있는 블록일 수 있다.
본 발명에서는 종래의 영상 처리 장치에 전처리부를 두어 RGBIR 영상 이미지에 포함되어 있는 IR 성분을 제거하고, IR 픽셀로 대체된 위치의 G 픽셀의 값을 추정하여 해상도를 높이도록 하였고, 후처리부에서 IR 정보를 이용하여 이미지의 감도를 높일 수 있도록 하였다.
좀 더 상세히 설명하면, IR 보간부(100)는 획득한 영상 이미지의 IR 픽셀을 이용하여 전체 픽셀 각각에 대한 IR 값을 추정한다. 도 1의 RGBIR CFA를 보면 매 2열마다 그리고 매 2줄마다 IR 픽셀이 있고, IR 픽셀에 있는 IR 값을 바탕으로 R, G, B 픽셀에서의 IR 값을 보간법을 이용하여 추정한다. 이때 사용할 수 있는 보간법으로는 단순한 선형 보간법 또는 바이큐빅(bicubic) 보간법 등이 있으며, 이에 더하여 후술할 디모자이킹부(400)에서 사용되는 어떠한 보간법이라도 IR 보간부(100)에서 사용할 수 있다. 특히 바이큐빅 보간법은 IR 값을 계산하고자 하는 R, G, 또는 B 픽셀 주변의 16개의 IR 픽셀의 값을 이용하여 R, G, 또는 B 픽셀에서의 IR 값을 계산할 수 있다.
IR 보간부(100)에서의 처리 후에는 RGBIR 영상 이미지의 각 픽셀에서의 IR 정보를 획득하게 된다.
RGBIR CFA는 종래의 베이어 CFA에 있는 2개의 G 픽셀 중 하나를 IR 픽셀로 대체하여 사용하고 있다. 이에 의해 RGBIR 영상 이미지는 영상 플레이 시에 종래의 영상보다 해상도가 떨어지게 된다. 그래서 해상도를 높이기 위하여 RGBIR 영상 이미지의 IR 픽셀 위치의 G 값을 추정하여 복원할 필요가 있다. 이를 위하여 G 픽셀 추정부(200)는 RGBIR 영상 이미지의 IR 픽셀 위치의 G 값을 추정하는 기능을 수행하는 부분으로, 주변 G 픽셀의 평균과 현재 IR 픽셀을 오프셋으로 하여 G 값을 추정할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 IR 픽셀 위치의 G 값을 추정하는 과정을 도시한 도면이다.
도 3을 참조하면, 먼저 RGBIR 영상 이미지(801)의 G 픽셀 위치의 값(G)에 상술한 IR 보간부(100)에서 획득한 각 G 픽셀 위치의 IR 값(IRG)을 뺀 값(D)을 구한다. 즉, D = G - IRG 를 이용하여 G 픽셀에서 IR 성분을 제거한 보정된 G 픽셀의 값을 구한다.
다음으로, IR 픽셀 위치 주변의 4개의 G 픽셀의 보정된 값(D)의 평균(Dav)을 구하고 IR 픽셀 위치의 IR 값을 더하여 IR 픽셀 위치의 G 값(Gr)으로 추정한다. 즉, Gr = Dav + IR에 의하여 IR 픽셀 위치의 G 값을 추정할 수 있다. 그리하여 RGBIR 영상 이미지의 IR 픽셀이 Gr 픽셀로 대체된 이미지(811)를 획득할 수 있다. 하지만, 이 이미지(811)의 각 픽셀은 IR 성분을 포함하고 있다.
IR 제거부(300)는 RGB 픽셀에 IR 간섭으로 인해 생기는 색 왜곡을 최소화하기 위하여 수행하는 것으로 RGBIR 영상 이미지(810)의 각 픽셀 정보에 포함되어 있는 IR 성분을 제거한다. RGBIR 영상 이미지 센서의 경우 IR 정보를 이용하기 때문에 종래에 사용하던 IRCF(infrared Cut Filter)를 이용하여 IR 정보를 R, G, B 정보에서 제거할 수 없다. 그래서 RGBIR 영상 이미지 센서는 IRCF 대신에 2개의 대역통과 필터(bandpass filter)를 사용하여 가시광 영역과 IR 영역을 구분하여 획득한다. 즉, 1개의 대역통과필터는 가시광 영역(380nm ~ 770nm)만을 통과시켜 RGBIR 영상 이미지의 R, G, B 픽셀의 값을 획득하도록 하고, 1개의 대역통과필터는 IR영역(800nm ~ 1100nm)만을 통과시켜 IR 픽셀의 값을 획득하도록 한다. 하지만, 비록 대역통과필터를 사용하더라도 R, G, B 와 IR은 서로 간섭을 주고 각각의 정보가 다른 픽셀의 정보에 포함되게 된다.
도 4는 IR 대역에서 R, G, B 정보와 IR 정보 간의 관계를 도시한 도면이다.
도 4를 참조하면, IR 대역에서 R, G, B 각 정보와 IR 정보 간에는 선형적인 특성을 가짐을 알 수 있다. 다만 선형적인 특성의 기울기(
Figure 112017039496317-pat00021
)는 RGBIR 영상 이미지 센서의 고유 특성에 따라 달라지기 때문에 미리 센서의 특성을 실험을 통하여 구한 후 적용할 필요가 있다. 이를 바탕으로 IR 제거부(300)는 하기 식을 이용하여 각 픽셀에서의 IR 정보를 제거할 수 있다.
Figure 112017039496317-pat00022
여기서,
Figure 112017039496317-pat00023
는 는 각 R, G, B 또는 Gr 픽셀에서의 값이고,
Figure 112017039496317-pat00024
는 IR 보간부(100)에서 획득한 각 픽셀에서의 IR 값이고, ,
Figure 112017039496317-pat00025
는 실험을 통하여 획득한 이미지 센서의 특성을 나타내는 특성값으로 미리 설정해 주어야 하는 값이며,
Figure 112017039496317-pat00026
은 IR 제거부(300)에서 출력하는 각 R, G, B 또는 Gr 픽셀의 값으로 RGBIR 영상 이미지(810)의 각 픽셀에 포함된 IR 성분을 제거한 값이다.
상술한 바처럼 RGBIR 영상 이미지의 IR에 의한 영향을 제거하기 위하여 IR 보간부(100), G 픽셀 추정부(200), 및 IR 제거부(300)를 이용한 전처리에 의해 획득한 보정된 RGB 영상 이미지(820)는 기존의 RGB 영상 이미지를 처리하는 단계를 거치면서 YCrCb 값을 생성한다. 즉, 디모자이킹부(400)에서는 보정된 RGB 영상 이미지(820)를 바탕으로 각 픽셀에서의 R, G, 및 B값을 보간법을 이용하여 획득한다. 디모자이킹부(400) 이전의 영상 이미지는 각 픽셀 별로 R, G, B 또는 Gr 값을 가지지만, 디모자이킹부(400)에 의한 보간 이후에는 각 픽셀 별로 R, G, 및 B 값을 가지게 된다. 컬러보정부(500)는 디모자이킹부(400)에서 획득한 각 픽셀에서의 R, G, 및 B 값을 바탕으로 화이트 밸런싱(white balancing)을 맞추거나 다양한 색 효과를 생성하기 위하여 RGB 영상 이미지를 보정하며, YC생성부(600)는 컬러보정부(500)에서 보정한 RGB 영상 이미지로부터 Y, Cb, 및 Cr 값을 구한다. 여기서, Y는 휘도 성분이며, Cb 및 Cr은 색차성분이다. YC생성부(600)는 일반적으로 다음 식을 이용하여 Y, Cb, 및 Cr을 구하게 된다.
Figure 112017039496317-pat00027
,
Figure 112017039496317-pat00028
,
Figure 112017039496317-pat00029
여기서, a1, a2, a3, b1, 및 b2는 각 R, G, 및 B 값이 휘도(Y) 또는 색차(Cb, Cr)에 영향을 미치는 정도를 나타내는 파라미터로 표준(예를 들면, BT.601)에 명시되어 있는 이득(gain)을 그대로 사용할 수 있다.
상술한 디모자이킹부(400), 컬러보정부(500), 및 YC생성부(600)는 종래의 영상 처리 장치의 처리 모듈로서 각각의 처리 모듈에 대한 다양한 알고리즘 및 표준 알고리즘이 이미 공지되어 있는 바 이에 관한 상세한 설명은 생략한다.
YC개선부(700)는 YC생성부(600)에서 출력된 이미지 정보의 감도 개선 기능을 수행한다. 상술한 바처럼 본 발명에서 제시한 전처리부(IR 보간부(100), G 픽셀 추정부(200), 및 IR 제거부(300))에 의해 영상 이미지의 각 픽셀에 포함되어 있던 IR 정보가 거의 제거되어 IR 정보로 인한 감도 개선을 얻을 수 없게 된다. 따라서, 상술한 단계를 거쳐서 정확한 컬러 정보를 획득하고, YC생성부(600)를 통해 나오는 최종 Y, Cb, 및 Cr 값에 IR 정보를 합함으로써 감도 개선 효과를 얻을 수 있다. YC개선부(700)은 다음 식과 같이 YC생성부(600)에서 생성한 Y에 IR 성분을 추가함으로써 감도를 개선할 수 있다.
Figure 112017039496317-pat00030
.
여기서 IR 값에 주어지는 이득(
Figure 112017039496317-pat00031
)은 Y와 IR의 비율로 정해질 수 있다. 즉, Y값이 IR보다 큰 주간 상황의 경우에는 이득(
Figure 112017039496317-pat00032
)을 작게 하고, Y값이 IR값보다 작은 저조도 혹은 야간 상황의 경우에는 이득(
Figure 112017039496317-pat00033
)을 크게 하여 감도 개선이 일어나도록 할 수 있다. 이때, Y와 IR의 비율을 찾는 방법은 이미지 전체의 Y 합과 IR 합의 비율로 결정할 수 있다. 즉, 하나의 영상 이미지의 모든 픽셀에 대하여
Figure 112017039496317-pat00034
로
Figure 112017039496317-pat00035
를 결정할 수 있다.
그리고 Y가 개선된 경우 기존의 Cb 및 Cr을 그대로 사용하면 색상이 달라지기 때문에 YC개선부(700)는 다음 식과 같이 Cb 및 Cr도 기존에 표준에 명시되어 있는 이득 b1, 및 b2에 추가적인 이득 c1, c2를 곱하여 Y 변화에 따라 Cb 및 Cr이 바뀌도록 할 수 있다. 여기서 추가적인 이득 c1, c2는 Y의 변화, 즉 Y'- Y에 비례하도록 설정할 수 있다.
Figure 112017039496317-pat00036
,
Figure 112017039496317-pat00037
.
상술한 바와 같이 본원 발명에서 제시하는 영상 처리 장치는 RGBIR 영상 이미지의 전처리 및 후처리를 통하여 해상도 및 감도를 개선할 수 있다.
특히 본원 발명에서 제시하는 영상 처리 장치는 저조도 환경에서의 노이즈 개선에 획기적인 효과가 있을 수 있다. 즉, 기존 영상 처리 장치는 저조도 환경이 되면 day/night 기능에 의해 적외선 영상만을 획득하거나 또는 노이즈가 많은 컬러 영상만을 획득할 수 있다. 반면 RGBIR 단일 센서를 이용하는 본원 발명의 영상 처리 장치는 저조도 환경에서도 노이즈가 개선된 컬러 영상 획득이 가능하다.
도 4는 본 발명의 일 실시 예에 따른 저조도 환경에서 노이즈 개선을 위한 영상 처리 장치의 블록도를 도시한 도면이다.
도 4를 참조하면, 저조도 환경에서 노이즈 개선을 위하여 본원 발명에서 제시하는 영상 처리 장치는 가이드 필터부(900)를 추가적으로 포함할 수 있다.
가이드 필터부(900)는 출력 픽셀의 값을 계산할 때 가이드 이미지(guided image)의 해당 픽셀 인접 영역의 통계를 고려하는 가이디드 이미지 필터링(guided image filtering)을 수행할 수 있다.
저조도 환경이 되면 day/night 기능에 의해 기존에 사용하고 있던 2개의 대역통과필터를 사용하지 않고 IR LED가 조사된다. 이럴 경우, 기존 베이어 CFA를 이용하는 경우에는 노이즈가 없는 적외선 영상을 얻을 수 있지만 컬러 영상 정보는 얻을 수 없다. 반면에 RGBIR CFA를 사용할 경우에는 RGB 정보와 IR 정보를 동시에 획득할 수 있다. 즉 저조도 환경에서 노이즈(noise)가 포함된 컬러 영상 이미지와 노이즈가 없는 IR 영상을 동시에 얻을 수 있다. 따라서 IR 보간부(100)에서 생성한 각 픽셀 별 IR 값만을 이용하여 생성할 수 있는 노이즈가 없는 IR 영상 이미지를 상기 가이드 필터부(900)의 가이드 이미지로 하고, 상기 YC개선부(700)에서 생성한 각 픽셀 별 Y, Cb, 및 Cr 값을 입력으로 하여 가이디드 이미지 필터링을 수행하면 노이즈가 제거된 컬러 영상 이미지를 획득할 수 있다. 이와 같이 RGBIR 단일 센서를 이용한 본원 발명에서 제시하는 영상 처리 장치에서는 IR 정보를 이용하여 저조도 환경에서도 깨끗한 컬러 영상을 획득할 수 있다는 장점을 가진다.
도 5는 본 발명의 일 실시 예에 따른 RGBIR 영상 처리 방법을 도시한 도면이다.
상술한 바처럼 RGBIR 영상 이미지는 R, G, B 및 IR 픽셀로 단위 픽셀(10)이 구성되어 있다. RGBIR 영상 이미지는 종래의 RGB 영상 이미지에 있던 2개의 G 픽셀 중 하나를 IR 픽셀로 대체한 것으로 G 픽셀이 하나 없어짐에 따라 해상도가 낮아질 수 있는 반면에 IR 픽셀에 의하여 저조도 환경이나 야간 환경에서도 영상을 획득할 수 있다는 장점을 가진다.
이러한 RGBIR 영상 이미지의 해상도를 종래의 RGB 영상 이미지만큼의 해상도로 개선하면서 동시에 IR 정보에 의한 감도 개선을 위하여 본원 발명은 도 5에 제시된 것과 같은 RGBIR 영상 처리 방법을 제시한다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 RGBIR 영상 처리 방법은 먼저 R, G, B 및 IR 픽셀을 단위 픽셀로 하는 RGBIR 영상 이미지의 각 R, G, B, 또는 IR 픽셀에서의 IR 값을 추정(S510)한다. IR 픽셀의 IR 값은 그 자체의 값을 그대로 가지며 R, G, B 픽셀에 포함되어 있는 IR 값은 IR 픽셀의 값을 바탕으로 보간법을 사용하여 추정할 수 있다. 이때 사용하는 보간법으로는 단순한 선형 보간법 또는 바이큐빅 (bicubic) 보간법 등이 사용될 수 있다.
그리고 영상 이미지의 해상도를 높이기 위하여서는 종래의 RGB 영상 이미지의 G 픽셀을 대체한 IR 픽셀에서의 G 값을 추정하여 IR 값을 추정된 G 값으로 바꿈으로써 RGB 영상 이미지를 생성(S520)할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 IR 픽셀의 G값을 추정하는 방법을 도시한 도면이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 IR 픽셀의 G 값을 추정하는 방법은 먼저 RGBIR 영상 이미지의 모든 G 픽셀 각각에 대하여 자신의 G 값에 각 G 픽셀의 보간된 IR 값을 뺀 D 값을 생성(S521)한다. 즉, 식 D = G - IRG 에 의하여 D 값을 계산할 수 있다. 그리고 G 값을 추정하고자 하는 IR 픽셀 위치 주변의 4개의 G 픽셀의 D 값을 평균(Dav)하고, 해당 IR 픽셀의 IR 값을 합하여 G 값(Gr)을 추정(S523)할 수 있다. 즉, Gr = Dav + IR에 의하여 IR 픽셀 위치의 G 값을 추정할 수 있다.
다시 도 5를 참조하면, IR 픽셀의 G 값을 추정하여 변환하여 생성한 RGB 영상 이미지의 각 픽셀을 IR 성분이 포함되어 있는바 IR 제거부(300)를 통해 RGB 영상 이미지의 각 픽셀에 포함되어 있는 IR 성분을 제거하고, 순수한 R, G, B 성분을 가지는 보정된 RGB 영상 이미지를 생성(S530)한다. 이때 IR 대역에서, R, G, B 각 정보와 IR 정보 간에는 선형적인 특성을 가지고 있기 때문에 보정된 RGB 영상 이미지의 각 픽셀의 값은
Figure 112017039496317-pat00038
에 의하여 구해질 수 있다. 여기서
Figure 112017039496317-pat00039
는 보정되기 전의 RGB 영상 이미지의 각 R, G, B 픽셀의 값이고,
Figure 112017039496317-pat00040
는 IR 보간부(100)에서 획득한 각 R, G, B 픽셀에서의 IR 값이고,
Figure 112017039496317-pat00041
는 실험을 통하여 획득한 이미지 센서의 특성을 나타내는 특성값으로 미리 설정해 주어야 하는 값이며,
Figure 112017039496317-pat00042
은 보정된 RGB 영상 이미지의 각 픽셀의 값이다. 그리고 상기 식에서 추정된 Gr 픽셀은 G 픽셀에 포함될 수 있다.
이후 종래의 널리 알려진 RGB 영상 처리 방법과 동일하게 보정된 RGB 영상 이미지에 대한 디모자이킹(demosaicking)을 수행하여 각 픽셀별 R, G, B 값을 생성(S540)하고, 생성된 각 픽셀별 R, G, B 값을 바탕으로 컬러보정을 수행(S550)할 수 있다. 컬러보정은 화이트 밸런싱(white balancing)을 맞추거나 다양항 색 효과를 생성하기 위하여 수행될 수 있다.
다음으로 컬러보정된 이미지의 R, G, B 값을 바탕으로 Y, Cb, 및 Cr 값을 생성(S560)할 수 있다. 여기서 Y는 이미지의 휘도 성분을 나타내며, Cb 및 Cr은 색차성분을 나타낸다. 이때 각 픽셀의 Y, Cb 및 Cr은 다음 식을 이용하여 R, G, B 값으로부터 획득할 수 있다.
Figure 112017039496317-pat00043
,
Figure 112017039496317-pat00044
,
Figure 112017039496317-pat00045
여기서, a1, a2, a3, b1, 및 b2는 표준(예를 들면, BT.601)에 명시되어 있는 이득(gain)을 그대로 사용할 수 있다.
상기 생성된 Y, Cb, 및 Cr 값은 IR 성분이 거의 제거된 RGB 영상 이미지를 바탕으로 생성되어 종래의 RGB 영상 이미지 영상처리장치에 비하여 감도개선이 되어 있지 않다. 이를 개선하기 위하여 상기 식을 이용하여 구한 Y, Cb, 및 Cr 값에 IR 성분을 추가하여 감도를 개선할 수 있다. 즉 다음 식을 이용하여 새로운 Y, Cb, 및 Cr 값을 생성(S570)으로써 감도를 개선할 수 있다.
Figure 112017039496317-pat00046
Figure 112017039496317-pat00047
,
Figure 112017039496317-pat00048
.
여기서 IR 값에 주어지는 이득(
Figure 112017039496317-pat00049
)은 Y와 IR의 비율로 정해질 수 있다. 그리고 추가적인 이득 c1, c2는 Y의 변화에 따라, 즉 Y'- Y에 비례하도록 설정하여 Cb 및 Cr이 바뀌도록 할 수 있다.
이에 더하여 본원 발명은 저조도 또는 야간 환경에서 노이즈가 개선된 컬러 영상을 획득하기 위하여 IR 성분이 추가된 Y, Cb, 및 Cr 값을 단계(S510)에서 추정한 각 픽셀의 IR 값을 참조하는 가이디드 이미지 필터링(guided image filtering)을 수행할 수 있다. 이를 위하여 저조도 또는 야간 환경에서는 RGBIR 영상 이미지 획득 시에 IR LED를 추가적으로 조사할 수 있다.
상술한 바처럼, 본원 발명에서 제시하는 RGBIR 영상 처리 장치 및 방법은 종래의 RGB 영상 처리 장치와 유사한 해상도만큼으로 해상도를 개선할 수 있으며 동시에 IR 값을 이용하여 영상 이미지의 감도도 개선할 수 있다. 이에 더하여 저조도 또는 야간 환경에서도 노이즈가 개선된 컬러 영상을 획득할 수 있다는 장점을 가진다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: IR 보간부
200: G 픽셀 추정부
300: IR 제거부
400: 디모자이킹(demosaicking)부
500: 컬러보정(color correction)부
600: YC생성부
700: YC개선부
900: 가이드 필터부

Claims (15)

  1. R, G, B, 및 IR 픽셀을 단위 픽셀로 사용하고, 복수의 단위 픽셀을 포함하는 RGBIR 영상 이미지를 처리하는 RGBIR 영상 처리 장치로서,
    RGBIR 영상 이미지의 IR 픽셀들을 바탕으로 상기 RGBIR 영상 이미지의 각 픽셀의 IR 값을 추정하는 IR 보간부;
    상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 G 픽셀들의 값을 바탕으로 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하고, R, G, B, 및 Gr 픽셀을 포함하는 제1 RGB 영상 이미지를 생성하는 G 픽셀 추정부; - 상기 Gr 픽셀은 상기 IR 픽셀과 동일한 위치이고, 상기 추정된 G 값을 가짐 -
    상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거한 제2 RGB 영상 이미지를 생성하는 IR 제거부;
    상기 제2 RGB 영상 이미지의 각 픽셀의 IR 성분이 제거된 R, G, B 또는 Gr 값을 바탕으로 각 픽셀 별 R, G, 및 B 값을 생성하는 디모자이킹부;
    상기 디모자이킹부에서 생성한 각 픽셀 별 R, G, 및 B 값을 바탕으로 화이트 밸런싱(white balancing)을 맞추거나 또는 다양한 색 효과를 생성하기 위하여 상기 각 픽셀 별 R, G, 및 B 값을 보정하여 각 픽셀 별 보정된 R, G, 및 B 값을 생성하는, 컬러보정부;
    상기 컬러보정부에서 생성한 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 YC생성부; 및
    상기 YC생성부에서 생성한 상기 각 픽셀 별 Y, Cb, 및 Cr 값에 상기 IR 보간부에서 생성한 각 픽셀 별 IR 값을 더하여 각 픽셀 별 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 YC개선부를 포함하고,
    상기 G 픽셀 추정부는,
    상기 RGBIR 영상 이미지의 각 G 픽셀의 값에서 상기 IR 보간부가 추정한 상기 각 G 픽셀의 IR 값을 뺀 D 값을 계산하고,
    상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 4개의 G 픽셀의 D 값의 평균값(Dav)을 계산하고,
    상기 RGBIR 영상 이미지의 각 IR 픽셀에 대한 상기 평균값(Dav)에 상기 각 IR 픽셀의 IR 값을 더하여 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하는,
    RGBIR 영상 처리 장치.
  2. 제1항에 있어서,
    상기 IR 보간부는,
    IR 값을 추정하고자 하는 각 픽셀 주변의 16개의 IR 픽셀의 값을 이용하는 바이큐빅(bicubic) 보간법을 사용하여, 각 픽셀의 IR 값은 추정하는,
    RGBIR 영상 처리 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 IR 제거부는,
    Figure 112017039496317-pat00050
    (
    Figure 112017039496317-pat00051
    는 상기 제1 RGB 영상 이미지의 각 R, G, B 또는 Gr 픽셀에서의 값,
    Figure 112017039496317-pat00052
    는 상기 IR 보간부에서 획득한 각 픽셀에서의 IR 값,
    Figure 112017039496317-pat00053
    는 픽셀 타입에 따라 미리 설정해 주는 파라미터임) 식을 이용하여 상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거하는,
    RGBIR 영상 처리 장치.
  5. 제1항에 있어서,
    상기 YC생성부는,
    상기 컬러보정부에서 생성한 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로
    Figure 112017039496317-pat00054
    ,
    Figure 112017039496317-pat00055
    ,
    Figure 112017039496317-pat00056
    (여기서 a1, a2, a3, b1, 및 b2는 R, G, 및 B 값이 Y, Cb, 및 Cr 계산에 영향을 미치는 정도를 나타내는 파라미터임) 식을 이용하여 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는,
    RGBIR 영상 처리 장치.
  6. 제5항에 있어서,
    상기 YC개선부는,
    Figure 112017039496317-pat00057
    ,
    Figure 112017039496317-pat00058
    ,
    Figure 112017039496317-pat00059
    (IR은 상기 IR 보간부에서 생성한 각 픽셀 별 IR 값, c1 및 c2는 Y의 Y'으로의 변화를 반영한 파라미터로 (Y'-Y)에 비례하는 값으로 설정함)식을 이용하여 감도 개선된 Y, Cb, 및 Cr 값을 생성하는,
    RGBIR 영상 처리 장치.
  7. 제1항에 있어서,
    가이드 필터부를 더 포함하고,
    상기 IR 보간부는
    추정한 상기 각 픽셀의 IR 값을 바탕으로 IR 영상 이미지를 생성하고,
    상기 가이드 필터부는,
    상기 IR 보간부에서 생성한 상기 IR 영상 이미지를 가이드 이미지로 하고, 상기 YC개선부에서 생성한 각 픽셀 별 Y, Cb, 및 Cr 값을 입력으로 하여 가이디드 이미지 필터링(guided image filtering)을 수행하는,
    RGBIR 영상 처리 장치.
  8. R, G, B, 및 IR 픽셀을 단위 픽셀로 사용하고, 복수의 단위 픽셀을 포함하는 RGBIR 영상 이미지를 처리하는 RGBIR 영상 처리 장치에서의 영상 처리 방법으로서,
    RGBIR 영상 이미지의 IR 픽셀들을 바탕으로 상기 RGBIR 영상 이미지의 각 픽셀의 IR 값을 추정하는 단계;
    상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 G 픽셀들의 값을 바탕으로 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하고, R, G, B, 및 Gr 픽셀을 포함하는 제1 RGB 영상 이미지를 생성하는 단계; - 상기 Gr 픽셀은 상기 IR 픽셀과 동일한 위치이고, 상기 추정된 G 값을 가짐 -
    상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거한 제2 RGB 영상 이미지를 생성하는 단계;
    상기 제2 RGB 영상 이미지의 각 픽셀의 IR 성분이 제거된 R, G, B 또는 Gr 값을 바탕으로 각 픽셀 별 R, G, 및 B 값을 생성하는 단계;
    상기 각 픽셀 별 R, G, 및 B 값을 바탕으로 화이트 밸런싱(white balancing)을 맞추거나 또는 다양한 색 효과를 생성하기 위하여 상기 각 픽셀 별 R, G, 및 B 값을 보정하여 각 픽셀 별 보정된 R, G, 및 B 값을 생성하는 단계;
    상기 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 단계; 및
    상기 각 픽셀 별 Y, Cb, 및 Cr 값에 추정된 상기 각 픽셀 별 IR 값을 더하여 각 픽셀 별 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 단계를 포함하고,
    상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 G 픽셀들의 값을 바탕으로 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하고, R, G, B, 및 Gr 픽셀을 포함하는 제1 RGB 영상 이미지를 생성하는 단계는,
    상기 RGBIR 영상 이미지의 각 G 픽셀의 값에서 상기 추정된 각 G 픽셀의 IR 값을 뺀 D 값을 계산하는 단계;
    상기 RGBIR 영상 이미지의 각 IR 픽셀 주변의 4개의 G 픽셀의 D 값의 평균값(Dav)을 계산하는 단계; 및
    상기 RGBIR 영상 이미지의 각 IR 픽셀에 대한 상기 평균값(Dav)에 상기 각 IR 픽셀의 IR 값을 더하여 상기 RGBIR 영상 이미지의 각 IR 픽셀의 G 값을 추정하는 단계를 포함하는,
    RGBIR 영상 처리 방법.
  9. 제8항에 있어서,
    상기 RGBIR 영상 이미지의 각 픽셀의 IR 값을 추정하는 단계는,
    IR 값을 추정하고자 하는 각 픽셀 주변의 16개의 IR 픽셀의 값을 이용하는 바이큐빅(bicubic) 보간법을 사용하여 각 픽셀의 IR 값은 추정하는 단계를 포함하는,
    RGBIR 영상 처리 방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거한 제2 RGB 영상 이미지를 생성하는 단계는,
    Figure 112018067461568-pat00060
    (
    Figure 112018067461568-pat00061
    는 상기 제1 RGB 영상 이미지의 각 R, G, B 또는 Gr 픽셀에서의 값,
    Figure 112018067461568-pat00062
    는 상기 추정된 각 픽셀의 IR 값,
    Figure 112018067461568-pat00063
    는 픽셀 타입에 따라 미리 설정해 주는 파라미터임) 식을 이용하여 상기 제1 RGB 영상 이미지의 R, G, B 및 Gr 픽셀의 값에 포함되어 있는 IR 성분을 제거하는 단계를 포함하는,
    RGBIR 영상 처리 방법.
  12. 제8항에 있어서,
    상기 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 단계는,
    상기 각 픽셀 별 보정된 R, G, 및 B 값을 바탕으로
    Figure 112017039496317-pat00064
    ,
    Figure 112017039496317-pat00065
    ,
    Figure 112017039496317-pat00066
    (여기서, a1, a2, a3, b1, 및 b2는 R, G, 및 B 값이 Y, Cb, 및 Cr 계산에 영향을 미치는 정도를 나타내는 파라미터임) 식을 이용하여 상기 각 픽셀 별 Y, Cb, 및 Cr 값을 생성하는 단계를 포함하는,
    RGBIR 영상 처리 방법.
  13. 제12항에 있어서,
    상기 각 픽셀 별 Y, Cb, 및 Cr 값에 추정된 상기 각 픽셀 별 IR 값을 더하여 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 단계는,
    Figure 112018067461568-pat00067
    ,
    Figure 112018067461568-pat00068
    ,
    Figure 112018067461568-pat00069
    (IR은 상기 추정된 각 픽셀의 IR 값, c1 및 c2는 Y의 Y'으로의 변화를 반영한 파라미터로 (Y'-Y)에 비례하는 값으로 설정함)식을 이용하여 감도 개선된 Y, Cb, 및 Cr 값을 생성하는 단계를 포함하는,
    RGBIR 영상 처리 방법.
  14. 제8항에 있어서,
    추정한 상기 각 픽셀의 IR 값을 바탕으로 IR 영상 이미지를 생성하는 단계; 및
    상기 IR 영상 이미지를 가이드 이미지로 하고, 상기 각 픽셀 별 감도 개선된 Y, Cb, 및 Cr 값을 입력으로 하여 가이디드 이미지 필터링(guided image filtering)을 수행하는 단계를 더 포함하는,
    RGBIR 영상 처리 방법.
  15. 컴퓨터 또는 프로세서상에서 실행할 때, 제8항 내지 제9항, 제11항 내지 제14항 중 어느 하나의 항에 따른 방법을 수행하기 위하여 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020170051762A 2017-04-21 2017-04-21 감도 개선을 위한 영상 처리 장치 및 방법 KR101923957B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170051762A KR101923957B1 (ko) 2017-04-21 2017-04-21 감도 개선을 위한 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170051762A KR101923957B1 (ko) 2017-04-21 2017-04-21 감도 개선을 위한 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180118432A KR20180118432A (ko) 2018-10-31
KR101923957B1 true KR101923957B1 (ko) 2018-11-30

Family

ID=64099811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170051762A KR101923957B1 (ko) 2017-04-21 2017-04-21 감도 개선을 위한 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101923957B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085533A1 (ko) * 2021-11-15 2023-05-19 주식회사 넥스트칩 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115010B (zh) * 2020-01-11 2023-04-18 晋城三赢精密电子有限公司 基于rgb-ir图像传感器的图像格式转换方法及装置
KR102431809B1 (ko) * 2020-11-25 2022-08-12 주식회사 넥스트칩 이미지 신호 전송 방법 및 수신 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165528A (ja) 2013-02-21 2014-09-08 Clarion Co Ltd 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165528A (ja) 2013-02-21 2014-09-08 Clarion Co Ltd 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085533A1 (ko) * 2021-11-15 2023-05-19 주식회사 넥스트칩 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치

Also Published As

Publication number Publication date
KR20180118432A (ko) 2018-10-31

Similar Documents

Publication Publication Date Title
EP3582490B1 (en) Image fusion apparatus and image fusion method
CN108600725B (zh) 一种基于rgb-ir图像数据的白平衡校正装置及方法
US7860334B2 (en) Adaptive image filter for filtering image information
JP5206796B2 (ja) 画像入力装置
JP4346634B2 (ja) 目標物検出装置
US7577315B2 (en) Method and apparatus for processing image data of a color filter array
KR102170410B1 (ko) 이중 모드 영상들을 획득하기 위한 장치
EP2278788B1 (en) Method and apparatus for correcting lens shading
US20070159542A1 (en) Color filter array with neutral elements and color image formation
CN107967668B (zh) 一种图像处理方法及装置
TWI504277B (zh) 影像感測裝置、影像感測器的操作方法、串音修正方法以及偽色誤差修正方法
WO2011152174A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2004343685A (ja) 重み付け勾配ベースの色補正された補間
US20060291746A1 (en) Method of and apparatus for removing color noise based on correlation between color channels
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
KR101923957B1 (ko) 감도 개선을 위한 영상 처리 장치 및 방법
JP2000134634A (ja) 画像変換方法
US20090295950A1 (en) Imaging device
US20110149126A1 (en) Multiband image pickup method and device
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
CN105049820B (zh) 图像处理设备、摄像设备和图像处理方法
KR101243285B1 (ko) 베이어 컬러 필터 배열 카메라를 사용한 다중 스펙트럼 기반 컬러 영상 생성장치 및 방법
US20110142331A1 (en) System and method of color interpolation
US10249020B2 (en) Image processing unit, imaging device, computer-readable medium, and image processing method
JP4993275B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant