KR20150019492A - 영상 처리 방법 및 이를 위한 장치 - Google Patents

Abstract

본 발명은 영상 처리 방법 및 이를 위한 장치에 대한 것으로, 특히 색수차 현상에 의한 영상 열화를 하드웨어가 아닌 이미지 센서 내 영상 처리 블록의 소프트웨어적인 알고리즘을 통해 개선하기 위한 영상 처리 방법 및 이를 위한 장치에 대한 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 방법은 단위 면적에서의 각 Red, Green, Blue 픽셀의 최대 값 및 최소값, 평균값을 산출하는 단계, 상기 산출된 각 Red, Green, Blue 픽셀의 최대값과 최소값의 오프셋이 기준치보다 큰지를 판단하여 상기 단위 면적에서의 적어도 하나의 중심 픽셀이 색수차를 갖는 픽셀인지 아닌지를 판단하는 단계, 상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Red 또는 Blue이고, 색수차를 갖는 픽셀일 경우에, 이 Red 또는 Blue 중심 픽셀의 값을 보정하는 단계, 상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Green이고, 색수차를 갖는 픽셀일 경우에, 이 Green 중심 픽셀의 값을 유지하는 단계를 포함하여 이루어지는 것을 특징으로 하는 한다.

Description

영상 처리 방법 및 이를 위한 장치{Image Processing Method and Apparatus therefor}

본 발명은 영상 처리 방법 및 이를 위한 장치에 대한 것으로, 특히 색수차 현상에 의한 영상 열화를 하드웨어가 아닌 이미지 센서 내 영상 처리 블록의 소프트웨어적인 알고리즘을 통해 개선하기 위한 영상 처리 방법 및 이를 위한 장치에 대한 것이다.

CMOS Image Sensor(이하 CIS)의 구성 요소 중 영상 신호 처리(Image Signal Processing, 이하 ISP) 부분은 입력 영상을 수식적 알고리즘을 통한 보정 및 수정/편집을 통해서, 물리적 구조에 의해 필연으로 발생하는 화질 저하에 대한 보상을 주요 기능으로 한다.

도 1은 종래 기술에 따른 색수차 발생 원리를 도시한 도면이다.

도 2는 종래 기술에 따른 색수차로 인한 화질 저하의 예를 도시한 도면이다.

도 3은 종래 기술에 따른 아크로매틱 렌즈의 동작 원리를 도시한 도면이다.

상기 ISP의 여러 내부 기능 중, 도 1과 같이 일반적인 렌즈 사용 시 발생하는 색수차 현상을 보정하는 기능을 기본적으로 필요로 하며, 이 기능의 생략이나 미비시 도 2와 같이 출력 영상에 색번짐 현상을 발생시켜 화질 저하의 결과를 가져오므로, 이에 대한 보정이 필요하다.

이러한 색수차 보정을 위해 구조적 개선을 적용한 렌즈를 아크로매틱 렌즈라 하며, 도 3과 같이 두 렌즈의 조합(오목렌즈와 볼록렌즈)으로 구성하되, 두 렌즈의 안쪽면(접합면) 곡률을 같게 하는 방식으로 구현된다. 즉, 볼록렌즈의 매질보다 굴절율과 분산이 큰 매질로된 오목렌즈를 덧붙여 색수차를 줄이는 방식이다.

빛이 n0에서 n1으로 통과할 때 파장에 따라 굴절률이 다르기 때문에 색수차가 발생한다.

빛이 n1에서 n2로 통과할 때, 렌즈는 오목렌즈의 형태이고, n2의 굴절률을 크게 하면 색수차가 발생했던 빛은 한 지점으로 모인다.

이와 같이 물리적 구조의 개선을 통해서 색수차를 개선하는 방식은 두 렌즈의 안쪽면의 곡률이 같아야 하므로 곡률을 같게 하는 미세 조정 기술을 적용하는데 제약이 있고, 아크로매틱 렌즈가 온도 변화에 의한 열팽창으로 파손될 우려가 있다. 또한, 모든 파장에 대해서 색수차가 없게 초점 거리를 같게 하는 것을 불가능하여, 색수차를 최소로 하기 위해서는 렌즈의 개수가 늘어나며 이로 인한 비용 증가 측면의 단점이 발생한다.

또한, 영상 신호 처리 단계에서 실시한 색수차 보정 방법은 색수차 감지, 색수차량 계산 및 색수차 보정 방법에 대한 실시예의 세부적인 방법(수식적 기술)이 제시되지 않았다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 색수차를 개선하기 위한 하드웨어적인 구현이나 온도 변화와 같이 주변 환경 변화에 대해 곤란함이 없이 모든 파장에 대해서 색수차를 보정 가능하도록 하는 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 처리 방법은 단위 면적에서의 각 Red, Green, Blue 픽셀의 최대 값 및 최소값, 평균값을 산출하는 단계, 상기 산출된 각 Red, Green, Blue 픽셀의 최대값과 최소값의 오프셋이 기준치보다 큰지를 판단하여 상기 단위 면적에서의 적어도 하나의 중심 픽셀이 색수차를 갖는 픽셀인지 아닌지를 판단하는 단계, 상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Red 또는 Blue이고, 색수차를 갖는 픽셀일 경우에, 이 Red 또는 Blue 중심 픽셀의 값을 보정하는 단계, 상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Green이고, 색수차를 갖는 픽셀일 경우에, 이 Green 중심 픽셀의 값을 유지하는 단계를 포함하여 이루어지는 것을 특징으로 하는 한다.

본 발명의 다양한 실시예에 따르면, 이미지 센서 내 영상처리 알고리즘을 이용한 색수차 보정을 가능하게 하여, 화질 저하 개선을 통한 성능 향상 효과가 있다.

본 발명을 이미지 센서 내 또는 범용의 CPU 내 구현시, 별도의 전용 ASIC으로 구현할 경우와 비교하면, 부품 감소 및 PCB 배선 간략화로 인해 제조 공정의 단순화 및 제품의 경량화, 원가 절감 효과가 기대된다.

도 1은 종래 기술에 따른 색수차 발생 원리를 도시한 도면이다.
도 2는 종래 기술에 따른 색수차로 인한 화질 저하의 예를 도시한 도면이다.
도 3은 종래 기술에 따른 아크로매틱 렌즈의 동작 원리를 도시한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따라 색수차 현상에 의한 영상 열화를 보정하는 과정을 도시한 블록도이다.
도 5는 본 발명의 바람직한 실시예에 따라 색수차 현상에 의한 영상 열화를 보정하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 바람직한 실시예에 따라 사용하는 5x5 윈도우 픽셀 값의 예를 도시한 도면이다.
도 7은 본 발명의 바람직한 실시예에 따라 사용하는 5x5 윈도우의 픽셀 좌표를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

도 4는 본 발명의 바람직한 실시예에 따라 색수차 현상에 의한 영상 열화를 보정하는 과정을 도시한 블록도이다.

도 4를 참조하면, 색수차 픽셀 감지 전처리부(10), 색수차 픽셀 감지부(20), 색수차 픽셀 보정 처리부(30), 보정 픽셀 출력부(40)를 포함하여 구성된다.

이를 적용하기 위해서는 중심 픽셀이 Red(이하 R), Blue(이하 B)일 경우 가능하다.

상기 색수차 픽셀 감지 전처리부(10)는 색수차 발생 픽셀의 감지를 위한 사전 연산을 수행하며, 5X5 윈도우 내에서 R, G, B의 최대 및 최소 픽셀값, 평균 픽셀 값을 구한다.

상기 최대 및 최소 픽셀 값은 아래 수학식 1에 근거한다.

[수학식 1]

상기 평균 픽셀 값은 아래 수학식 2에 근거한다.

[수학식 2]

상기 색수차 픽셀 감지부(20)는 상기 색수차 픽셀 감지 전처리부(10)에서 얻은 파라미터를 이용한 연산을 통해서 중심 픽셀의 색수차 발생 여부를 판단한다.

보다 상세하게는, 상기 색수차 픽셀 감지부(20)는 아래 수학식 3에 근거하여 G와 B 또는 R의 단위 면적에서의 픽셀 최대값과 최소값의 오프셋이 기준치보다 클 경우 중심 픽셀이 색수차를 갖는 픽셀로 판단한다.

[수학식 3]

상기 색수차 픽셀 보정 처리부(30)는 색수차 발생 픽셀로 감지될 경우, 중심 픽셀값과 주변 평균 픽셀값과의 연산을 통해서 보정된 중심 픽셀을 구한다.

상기 보정된 중심 픽셀값은 이하 수학식 4에 근거한다.

[수학식 4]

상기 보정 픽셀 출력부(40)는 보정 완료된 중심 픽셀이 Green(이하 G) 픽셀일 경우 바이패스한다. 다시 말해, 중심 픽셀이 R 또는 B일 때만 보정 픽셀을 출력하며 G 픽셀에서는 보정 전 픽셀을 출력하게 된다.

도 5는 본 발명의 바람직한 실시예에 따라 색수차 현상에 의한 영상 열화를 보정하는 방법을 도시한 흐름도이다.

도 6은 본 발명의 바람직한 실시예에 따라 사용하는 5x5 윈도우 픽셀 값의 예를 도시한 도면이다.

도 7은 본 발명의 바람직한 실시예에 따라 사용하는 5x5 윈도우의 픽셀 좌표를 도시한 도면이다.

도 5를 참조하면, 본 발명의 바람직한 실시예에 따라 색수차를 갖는 픽셀을 보정하기 위해서 단위 면적, 예를 들어 도 6에 도시된 5x5 윈도우에서의 각 Red, Green, Blue 픽셀의 최대값 및 최소값, 평균값을 산출한다. (S10, S20, S30) 상기 최대값 및 최소값, 평균값은 상기 수학식 1 및 수학식 2에 근거한다.

상기 산출된 각 Red, Green, Blue 픽셀의 최대값과 최소값의 오프셋이 기준치보다 큰지를 판단하여 상기 단위 면적에서의 적어도 하나의 중심 픽셀이 색수차를 갖는 픽셀인지 아닌지를 판단한다. (S40)

상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Red 또는 Blue이고, 색수차를 갖는 픽셀일 경우에, 이 Red 또는 Blue 중심 픽셀의 값을 보정한다. (S50, S60, S80)

상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Green이고, 색수차를 갖는 픽셀일 경우에, 이 Green 중심 픽셀의 값을 유지한다. (S70)

상기 보정하는 단계에서 상기 Red 중심 픽셀의 보정 값은 상기 Red 중심 픽셀 값과 상기 산출된 Red 픽셀의 평균값의 평균치로 보정한다. 이 R 중심 픽셀 값의 보정은 상기 수학식 4에 근거한다.

상기 보정하는 단계에서 상기 Blue 중심 픽셀의 보정 값은 상기 Blue 중심 픽셀 값과 상기 산출된 Blue 픽셀의 평균값의 평균치로 보정한다. 이 B 중심 픽셀 값의 보정은 상기 수학식 4에 근거한다.

상기 수학식 1 내지 수학식 4에 포함된 픽셀 좌표 값은 도 7의 5x5 윈도우 내의 픽셀 좌표 값을 참조한다.

이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수 있다.

10 : 색수차 픽셀 감지 전처리부
20 : 색수차 픽셀 감지부
30 : 색수차 픽셀 보정 처리부
40 : 보정 픽셀 출력부

Claims (7)

1. 단위 면적에서의 각 Red, Green, Blue 픽셀의 최대 값 및 최소값, 평균값을 산출하는 단계;
   상기 산출된 각 Red, Green, Blue 픽셀의 최대값과 최소값의 오프셋이 기준치보다 큰지를 판단하여 상기 단위 면적에서의 적어도 하나의 중심 픽셀이 색수차를 갖는 픽셀인지 아닌지를 판단하는 단계;
   상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Red 또는 Blue이고, 색수차를 갖는 픽셀일 경우에, 이 Red 또는 Blue 중심 픽셀의 값을 보정하는 단계;
   상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Green이고, 색수차를 갖는 픽셀일 경우에, 이 Green 중심 픽셀의 값을 유지하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상 처리 방법.
2. 제 1 항에 있어서, 상기 단위 면적은 5x5 윈도우의 형태인 것을 특징으로 하는 영상 처리 방법.
3. 제 1 항에 있어서, 상기 보정하는 단계에서
   상기 Red 중심 픽셀의 보정 값은 상기 Red 중심 픽셀 값과 상기 산출된 Red 픽셀의 평균값의 평균치인 것을 특징으로 하는 영상 처리 방법.
4. 제 1 항에 있어서, 상기 보정하는 단계에서
   상기 Blue 중심 픽셀의 보정 값은 상기 Blue 중심 픽셀 값과 상기 산출된 Blue 픽셀의 평균값의 평균치인 것을 특징으로 하는 영상 처리 방법.
5. 단위 면적에서의 각 Red, Green, Blue 픽셀의 최대 값 및 최소값, 평균값을 산출하는 색수차 픽셀 감지 전처리부;
   상기 산출된 각 Red, Green, Blue 픽셀의 최대값과 최소값의 오프셋이 기준치보다 큰지를 판단하여 상기 단위 면적에서의 적어도 하나의 중심 픽셀이 색수차를 갖는 픽셀인지 아닌지를 판단하는 색수차 픽셀 감지부;
   상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Red 또는 Blue이고, 색수차를 갖는 픽셀일 경우에, 이 Red 또는 Blue 중심 픽셀의 값을 보정하는 색수차 픽셀 보정 처리부;
   상기 판단 결과, 상기 적어도 하나의 중심 픽셀이 Green이고, 색수차를 갖는 픽셀일 경우에, 이 Green 중심 픽셀의 값 그대로 출력하는 보정 픽셀 출력부를 포함하여 구성되는 것을 특징으로 하는 영상 처리 장치.
6. 제 5 항에 있어서, 상기 색수차 픽셀 보정 처리부는
   상기 Red 중심 픽셀의 보정 값은 상기 Red 중심 픽셀 값과 상기 산출된 Red 픽셀의 평균값의 평균치인 것을 특징으로 하는 영상 처리 장치.
7. 제 5 항에 있어서, 상기 색수차 픽셀 보정 처리부는
   상기 Blue 중심 픽셀의 보정 값은 상기 Blue 중심 픽셀 값과 상기 산출된 Blue 픽셀의 평균값의 평균치인 것을 특징으로 하는 영상 처리 장치.
   

Images