KR20180055300A

KR20180055300A - 컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치

Info

Publication number: KR20180055300A
Application number: KR1020160152970A
Authority: KR
Inventors: 갈준호
Original assignee: 한화에어로스페이스 주식회사
Priority date: 2016-11-16
Filing date: 2016-11-16
Publication date: 2018-05-25
Also published as: KR102584523B1; US10070019B2; US20180139363A1

Abstract

본 발명의 실시예들은 컬러 모아레 저감 방법 및 영상 처리 장치를 개시한다.
본 발명의 일 실시예에 따른 모아레 저감 방법은, 영상의 전체 밝기 및 상기 영상의 픽셀을 포함하는 영역의 지역 밝기를 기초로 상기 픽셀의 모아레 보정 가중치를 설정하는 단계; 및 상기 모아레 보정 가중치를 이용하여 상기 영상 및 상기 영상의 모아레 보정 영상의 합성 정도를 픽셀 단위로 조절하여 상기 영상을 보정하는 단계;를 포함한다.

Description

컬러 모아레 저감 방법 및 이를 이용한 영상 처리 장치{Method and apparatus for reducing color moire, and image processing apparatus using the method}

본 발명의 실시예들은 컬러 모아레 저감 방법 및 영상 처리 장치에 관한 것이다.

모아레 현상(Moire Effect)은 영상 센서(Image Sensor)의 샘플 주파수(Sampling Frequency)가 피사체의 주파수보다 낮아 생기는 에일리어징(Aliasing) 현상의 일종이다. 영상 센서와 렌즈 사이에 광학적 로우 패스 필터(Optical Low Pass Filter)를 장착하는 방법이 있으나, 이는 별도의 이중굴절 소자 장착이 요구되고, 모아레가 발생하지 않는 부분에 대해서도 필터링(Filtering)을 하기 때문에 영상의 선명도를 저하시킨다.

한국 공개 특허 제2010-0041026　호

본 발명의 실시예들은 컬러 모아레를 저감하면서 원하지 않는 색 번짐 현상을 방지할 수 있는 영상 처리 방법을 제공하고자 한다.

본 발명의 일 실시예에 따른 모아레 저감 방법은, 영상의 전체 밝기 및 상기 영상의 픽셀을 포함하는 영역의 지역 밝기를 기초로 상기 픽셀의 모아레 보정 가중치를 설정하는 단계; 및 상기 모아레 보정 가중치를 이용하여 상기 영상 및 상기 영상의 모아레 보정 영상의 합성 정도를 픽셀 단위로 조절하여 상기 영상을 보정하는 단계;를 포함한다.

상기 가중치 설정 단계는, 상기 영상의 전역 평균값 및 상기 영상의 픽셀에서 상기 픽셀을 포함하는 영역의 지역 평균값을 산출하는 단계; 상기 지역 평균값이 포함하는 색상별 지역 평균값들 간의 차이들 중 가장 큰 값을 제1 차이 최대값으로 산출하는 단계; 상기 제1 차이 최대값을 수정한 제2 차이 최대값을 산출하는 단계; 및 상기 제2 차이 최대값을 기초로 상기 픽셀의 모아레 보정 가중치를 설정하는 단계;를 포함할 수 있다.

상기 제2 차이 최대값 산출 단계는, 상기 제1 차이 최대값과 임계값 중 작은 값을 상기 제2 차이 최대값으로 산출하는 단계;를 포함할 수 있다.

상기 임계값은 사용자 인터페이스를 통해 사용자에 의해 선택가능하다.

상기 임계값은 상기 전역 평균값 또는 상기 지역 평균값일 수 있다.

상기 임계값은 상기 전역 평균값 또는 상기 지역 평균값에 가중치가 적용된 값일 수 있다.

상기 가중치는 사용자 인터페이스를 통해 사용자에 의해 선택가능하다.

상기 영역은 사용자 인터페이스를 통해 사용자에 의해 선택가능하다.

상기 모아레 보정 가중치는 상기 제2 차이 최대값과 상기 임계값의 비일 수 있다.

상기 전역 평균값 및 상기 지역 평균값 중 적어도 하나에 상한값 및 하한값 중 적어도 하나가 설정될 수 있다.

상기 상한값 및 하한값은 사용자 인터페이스를 통해 사용자에 의해 선택가능하다.

본 발명의 일 실시예에 따른 영상처리장치는, 영상의 전체 밝기 및 상기 영상의 픽셀을 포함하는 영역의 지역 밝기를 기초로 상기 픽셀의 모아레 보정 가중치를 설정하는 제1 유닛; 및 상기 모아레 보정 가중치를 이용하여 상기 영상 및 상기 영상의 모아레 보정 영상의 합성 정도를 픽셀 단위로 조절하여 상기 영상을 보정하는 제2 유닛;을 포함한다.

상기 제1 유닛은, 상기 영상의 전역 평균값 및 상기 영상의 픽셀에서 상기 픽셀을 포함하는 영역의 지역 평균값을 산출하고, 상기 지역 평균값이 포함하는 색상별 지역 평균값들 간의 차이들 중 가장 큰 값을 제1 차이 최대값으로 산출하는 평균 산출부; 및 상기 제1 차이 최대값을 수정한 제2 차이 최대값을 산출하고, 상기 제2 차이 최대값을 기초로 상기 픽셀의 모아레 보정 가중치를 설정하는 가중치 설정부;를 포함한다.

상기 제2 차이 최대값은 상기 제1 차이 최대값과 임계값 중 작은 값이다.

본 발명의 실시예들에 따른 컬러 모아레 저감 방법 및 영상 처리 장치는 컬러 모아레를 저감하면서 원하지 않는 색 번짐 현상을 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 컬러 모아레 저감부의 개략적인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 컬러 모아레 저감 방법을 개략적으로 나타낸 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 컬러 모아레 저감부의 개략적인 블록도이다.
도 5는 본 발명의 일 실시예에 따른 컬러 모아레 저감 방법을 개략적으로 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 모아레 보정을 수행하는 영상 프로세서가 제공하는 그래픽 사용자 인터페이스의 일 예이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.

한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 개략적으로 도시한 블록도이다.

도 1을 참조하면, 영상 처리 장치(1)는 영상 센서(10), 영상 프로세서(20) 및 디스플레이(30)를 포함할 수 있다.

영상 처리 장치(1)는 영상 센서(10), 영상 프로세서(20) 및 디스플레이(30)를 일체로 구비한 비쥬얼 카메라, 열상 카메라, 특수 목적 카메라 등을 포함하는 감시용 카메라, 휴대용 카메라, 캠코더, 모바일 기기 및 동영상을 표현할 수 있는 다양한 장치일 수 있다. 또는 영상 처리 장치(1)는 영상 센서(10), 영상 프로세서(20) 및 디스플레이(30) 중 적어도 하나가 별도로 구현되고, 유선 또는 무선으로 연결되어 데이터를 송수신하는 영상 처리 시스템일 수 있다.

영상 센서(10)는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 광전변환소자일 수 있다. 영상 센서(10)는 전방의 장면을 촬영하여 영상 정보를 획득한다. 영상 센서(10) 전단에는 광신호를 수신하는 렌즈(미도시)가 구비될 수 있다.

영상 프로세서(20)는 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 영상 프로세서(20)는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 영상 프로세서(20)의 기능은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.

영상 프로세서(20)는 영상에 발생하는 모아레 현상(Moire Effect)을 저감하는 모아레 보정 기능을 수행할 수 있다. 영상 프로세서(20)는 컬러 블러링(Color Blurring)을 통해 모아레 보정을 수행할 수 있다.

영상에 컬러 블러링이 적용되면 모아레가 발생하지 않은 물체의 가장자리(에지) 영역 등에서 색 번짐(색 빠짐) 현상이 발생한다. 모아레가 발생한 영역의 컬러 히스토그램 또는 RGB 평균값들은 균일하다. 반면, 모아레가 발생하지 않은 영역의 컬러 히스토그램 또는 RGB 평균값들은 차이가 있다. 특히, 물체의 에지 영역의 컬러 히스토그램 또는 RGB 평균값들의 차이는 크다.

따라서, 영상 프로세서(20)는 픽셀 단위로 모아레 보정의 정도를 제어함으로써, 물체의 에지 영역 등 RGB 평균값들의 차이가 큰 영역에서는 컬러 블러링 효과를 적게 하고, RGB 평균값들의 차이가 작은 영역에서는 컬러 블러링 효과를 크게 할 수 있다. 영상 프로세서(20)는 영상의 전체 밝기 및 영상의 픽셀을 포함하는 영역의 지역 밝기를 기초로 픽셀의 모아레 보정 가중치를 설정하고, 모아레 보정 가중치를 이용하여 영상 및 영상에 컬러 블러링이 수행된 모아레 보정 영상의 합성 정도를 픽셀 단위로 조절하여 영상을 보정할 수 있다.

영상 프로세서(20)는 픽셀의 색상별 지역 평균값들 및 색상별 지역 평균값들 간의 차이를 산출하여 차이 최대값을 결정하고, 차이 최대값을 기초로 픽셀의 모아레 보정 가중치를 설정할 수 있다. 영상 프로세서(20)는 임계값 조정에 의해 차이 최대값을 조정할 수 있다. 영상의 밝기 및 픽셀 값들은 휘도 값일 수 있다.

디스플레이(30)는 영상 프로세서(20)로부터 출력되는 영상을 신호 처리하여 사용자에게 제공할 수 있다. 디스플레이(30)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이(30)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.

입력장치(40)는 영상 프로세서(20)와 유선 또는 무선으로 연결되어 사용자가 영상 프로세서(20)의 제어를 위한 입력 데이터를 발생시킨다. 입력장치(40)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 마우스, 리모컨, 조그 휠, 조그 스위치 등으로 구성될 수 있다. 사용자는 입력장치(40)를 사용하여 모아레 보정을 위한 파라미터들(임계값, 블록 사이즈, 한계값 등)을 입력할 수 있다.

도 2는 본 발명의 일 실시예에 따른 컬러 모아레 저감부의 개략적인 블록도이다.

본 발명의 일 실시예에 따른 모아레 저감부(20A)는 도 1에 도시된 영상 프로세서(20)의 일부로서 구현될 수 있다. 모아레 저감부(20A)는 평균 산출부(201), 가중치 설정부(203) 및 영상 보정부(205)를 포함할 수 있다.

평균 산출부(201)는 입력 영상에서 각 픽셀의 색상별(RGB별) 지역 평균값들(Local Luminance Average), 색상별 지역 평균값들 간의 차이 및 차이 최대값을을 산출한다. 이하에서는 임의의 픽셀, 예를 들어, 입력되는 현재 영상에서 좌표가 (i,j)인 픽셀(이하, '현재 픽셀'이라 함)을 예로 설명하겠다.

하기 수학식 1을 참조하면, 평균 산출부(201)는 현재 픽셀을 중심으로 하는 일정 블록(예를 들어, (2n+1)x(2m+1) 블록, n≥0, m≥0) 내 픽셀들 각각의 RGB 값들, 즉, 입력 적색 값(IN_R), 입력 녹색 값(IN_G), 입력 청색 값(IN_B)으로부터 현재 픽셀의 색상별 지역 평균값을 산출할 수 있다.

블록의 사이즈는 영상의 해상도에 따라 가변할 수 있다. 예를 들어, 사용자는 DSLR과 같은 고해상도 카메라 시스템에서는 블록 사이즈를 크게 설정하고, 블랙박스와 같은 저해상도 카메라 시스템에서는 블록 사이즈를 작게 설정할 수 있다.

색상별 지역 평균값은 적색 지역 평균값(LM_R[i,j]), 녹색 지역 평균값(LM_G[i,j]), 청색 지역 평균값(LM_B[i,j])을 포함할 수 있다. 현재 픽셀의 적색 지역 평균값(LM_R[i,j])은 블록 내 픽셀들의 입력 적색 값(IN_R)들의 평균값이다. 현재 픽셀의 녹색 지역 평균값(LM_G[i,j])은 블록 내 픽셀들의 입력 녹색 값(IN_G)들의 평균값이다. 현재 픽셀의 청색 지역 평균값(LM_B[i,j])은 블록 내 픽셀들의 입력 청색 값(IN_B)들의 평균값이다.

[수학식 1]

평균 산출부(201)는 하기 수학식 2와 같이, 현재 픽셀의 색상별 지역 평균값들 간의 차이들 중 최대값을 산출한다. AD_RG[i,j]는 현재 픽셀의 적색 지역 평균값(LM_R[i,j])과 녹색 지역 평균값(LM_G[i,j])의 차이로서, 절대값일 수 있다. AD_GB[i,j]는 현재 픽셀의 녹색 지역 평균값(LM_G[i,j])과 청색 지역 평균값(LM_B[i,j])의 차이로서, 절대값일 수 있다. AD_BR[i,j]는 현재 픽셀의 청색 지역 평균값(LM_B[i,j])과 적색 지역 평균값(LM_R[i,j])의 차이로서, 절대값일 수 있다. 평균 산출부(201)는 현재 픽셀의 색상별 지역 평균값들 간의 차이 중 최대인 차이를 차이 최대값(MAD_RGB[i,j])으로 선택한다.

[수학식 2]

AD_RG[i,j] = abs(LM_R[i,j] - LM_G[i,j])

AD_GB[i,j] = abs(LM_G[i,j] - LM_B[i,j])

AD_BR[i,j] = abs(LM_B[i,j] - LM_R[i,j])

MAD_RGB[i,j] = max(AD_RG[i,j], AD_GB[i,j], AD_BR[i,j])

MAD_RGB[i,j]가 높다면 현재 픽셀은 물체의 에지 영역에 포함됨을 나타낼 수 있다. MAD_RGB[i,j]가 낮다면 현재 픽셀은 모아레가 발생한 영역에 포함되거나, 모아레 보정이 수행되더라도 색 번짐 부작용이 발생하지 않는 영역에 포함됨을 나타낼 수 있다.

가중치 설정부(203)는 MAD_RGB[i,j]의 큰 정도를 판단하기 위해 임계값(th)을 사용하고, 수학식 3과 같이 MAD_RGB[i,j]가 임계값(th) 이상이면 컷오프(cut-off)하여 수정된 차이 최대값(thMAD_RGB[i,j])을 산출할 수 있다. 가중치 설정부(203)는 차이 최대값(MAD_RGB[i,j])과 임계값(th)의 비교에 의해 차이 최대값(MAD_RGB[i,j])과 임계값(th) 중 작은 값을 수정된 차이 최대값(thMAD_RGB[i,j])으로 산출할 수 있다.

[수학식 3]

thMAD_RGB[i,j] = min(MAD_RGB[i,j], th)

가중치 설정부(203)는 현재 픽셀의 수정된 차이 최대값을 기초로 현재 픽셀의 모아레 보정 가중치를 설정할 수 있다. 하기 수학식 4를 참조하면, 가중치 설정부(203)는 현재 픽셀의 수정된 차이 최대값(thMAD_RGB[i,j])을 임계값(th)으로 조절하여 모아레 보정 가중치(W_MOIRE[i,j])를 설정할 수 있다. 임계값(th)은 경험 또는 실험에 의해 설정된 상수 또는 함수로서, 사용자 입력에 의해 설정될 수 있다.

[수학식 4]

W_MOIRE[i,j] = thMAD_RGB[i,j]/th

영상 보정부(205)는 입력 영상에 컬러 블러링을 처리하여 모아레 보정을 수행하되, 모아레 보정 가중치(W_MOIRE[i,j])를 이용하여 픽셀 단위로 모아레 보정 강도를 조절할 수 있다. 영상 보정부(205)는 입력 영상과 입력 영상을 컬러 블러링 처리한 모아레 보정 영상을 모아레 보정 가중치(W_MOIRE[i,j])를 이용하여 가중합한 최종 보정 영상을 출력할 수 있다.

영상 보정부(205)는 하기 수학식 5와 같이, 픽셀 단위로 색상별 입력 값(IN[i,j])과 입력 값을 컬러 블러링 처리한 모아레 보정 값(AM[i,j])을 모아레 보정 가중치(W_MOIRE[i,j])를 이용하여 가중합한 최종 보정 값(PO[i,j])을 출력할 수 있다. 영상 보정부(205)는 현재 픽셀의 색상별 입력 값(IN_R[i,j], IN_G[i,j], IN_B[i,j])에 모아레 보정 가중치(W_MOIRE[i,j])를 곱한 값과 현재 픽셀의 색상별 모아레 보정 값(AM_R[i,j], AM_G[i,j], AM_B[i,j])에 (1-W_MOIREl[i,j])를 곱한 값의 합, 즉 현재 픽셀의 입력 값과 모아레 보정 값의 가중합을 산출할 수 있다.

[수학식 5]

PO_R[i,j]=W_MOIRE[i,j]×IN_R[i,j]+(1-W_MOIREl[i,j])×AM_R[i,j]

PO_G[i,j]=W_MOIRE[i,j]×IN_G[i,j]+(1-W_MOIREl[i,j])×AM_G[i,j]

PO_B[i,j]=W_MOIRE[i,j]×IN_B[i,j]+(1-W_MOIREl[i,j])×AM_B[i,j]

영상 보정부(205)는 하기 수학식 6과 같이, 모아레 보정 값(AM[i,j])을 산출할 수 있다. 현재 픽셀의 입력 백색 값(IN_W[i,j])은 입력 적색 값(IN_R[i,j]), 입력 녹색 값(IN_G[i,j]), 입력 청색 값(IN_B[i,j])의 평균으로부터 구해진다. 모아레 보정값(AM[i,j])은 입력 백색 값(IN_W[i,j])에 일정 블록 내 픽셀들의 색상별 입력 값의 합과 입력 백색 값의 합을 나눈 값을 곱한 값으로 표현될 수 있다. 여기서 일정 블록 내 픽셀들은 현재 픽셀을 중심으로 하는 (2n+1)x(2m+1) 블록(n≥0, m≥0) 내 픽셀들이다. AM_R[i,j]는 현재 픽셀의 입력 적색 값이 모아레 보정된 결과값이다. AM_G[i,j]는 현재 픽셀의 입력 녹색 값이 모아레 보정된 결과값이다. AM_B[i,j]는 현재 픽셀의 입력 청색 값이 모아레 보정된 결과값이다.

[수학식 6]

IN_W[i,j] = (IN_R[i,j] + IN_G[i,j] + IN_B[i,j] ) ÷ 3

모아레 보정 가중치(W_MOIRE[i,j])가 클수록 픽셀 값은 입력 값에 가까운 값으로 출력되고, 모아레 보정 가중치(W_MOIRE[i,j])가 작을수록 픽셀 값은 모아레 보정 값에 가까운 값으로 출력된다. 모아레 보정 가중치(W_MOIRE[i,j])가 최대 가중치(255)인 경우 픽셀의 입력 값이 모아레 보정 없이 출력되고, 모아레 보정 가중치(W_MOIRE[i,j])가 최소 가중치(0)인 경우 모아레 보정된 픽셀의 값, 픽셀의 모아레 보정 값이 출력된다.

임계값(th)이 클수록 모아레 저감 효과는 커지나 색 번짐 부작용이 커지고, 임계값(th)이 작을수록 모아레 저감 효과는 작아지나 색 번짐 부작용이 작아진다. 따라서, 사용자는 애플리케이션 또는 카메라 시스템에 따라 임계값(th)의 적절한 선택이 필요하다.

도 3은 본 발명의 일 실시예에 따른 컬러 모아레 저감 방법을 개략적으로 나타낸 흐름도이다.

도 3을 참조하면, 영상 프로세서는 입력 영상의 현재 픽셀의 색상별 입력 값, 즉 입력 적색 값(IN_R[i,j]), 입력 녹색 값(IN_G[i,j]), 입력 청색 값(IN_B[i,j])을 이용하여 현재 픽셀의 색상별 지역 평균값들(LM_R[i,j], LM_G[i,j], LM_B[i,j])을 산출할 수 있다(S31).

영상 프로세서는 현재 픽셀의 색상별 지역 평균값들(LM_R[i,j], LM_G[i,j], LM_B[i,j]) 간의 차이를 산출하고, 그 차이가 가장 큰 차이 최대값(MD_RGB[i,j])을 산출할 수 있다(S33).

영상 프로세서는 차이 최대값(MAD_RGB[i,j])과 사용자 입력에 따른 임계값(th)의 비교에 의해 차이 최대값(MAD_RGB[i,j])과 임계값(th) 중 작은 값을 수정된 차이 최대값(thMAD_RGB[i,j])으로 산출할 수 있다(S35).

영상 프로세서는 임계값(th)과 수정된 차이 최대값(thMAD_RGB[i,j])을 기초로 모아레 보정 가중치(W_MOIRE[i,j])를 설정할 수 있다(S37). 모아레 보정 가중치(W_MOIRE[i,j])는 최대 가중치(Wmax)와 최소 가중치(Wmin) 사이의 값, 예를 들어, 0~1 범위의 값으로 설정될 수 있다. 또는 모아레 보정 가중치(W_MOIRE[i,j])는 최대 가중치(Wmax) 또는 최소 가중치(Wmin), 예를 들어, 0 또는 1로 설정될 수 있다.

영상 프로세서는 현재 픽셀에 설정된 모아레 보정 가중치(W_MOIRE[i,j])를 적용하여 모아레 보정 강도를 조절하여 모아레 보정한 후 출력(PO_R[i,j], PO_G[i,j], PO_B[i,j])할 수 있다(S39).

밝은 영상의 차이 최대값은 어두운 영상의 차이 최대값보다 크다. 도 2 및 도 3에 도시된 실시예는 임계값(th)이 설정되면 영상에 대해 고정된다. 이 경우, 밝은 영상의 에지에는 색 번짐 부작용이 발생하지 않으나, 어두운 영상의 에지에는 색 번짐 부작용이 발생할 수 있다. 예를 들어, 임계값이 낮으면 색 번짐 부작용 확률이 낮으나 모아레 보정 효과도 낮아 모아레가 충분히 제거되지 않을 수 있다. 임계값이 높으면 모아레 보정 효과는 높으나 색 번짐 부작용 확률도 높아 컬러 에지에 색 번짐 부작용이 발생할 수 있다.

도 4는 본 발명의 다른 실시예에 따른 컬러 모아레 저감부의 개략적인 블록도이다.

본 발명의 일 실시예에 따른 컬러 모아레 저감부(20B)는 도 1에 도시된 영상 프로세서(20)의 일부로서 구현될 수 있다.

도 4를 참조하면, 컬러 모아레 저감부(20B)는 전역 평균 산출부(202), 지역 평균 산출부(204), 임계값 조정부(206), 가중치 설정부(208) 및 영상 보정부(210)를 포함할 수 있다. 도 4에 도시된 실시예의 컬러 모아레 저감부(20B)는 영상 전체의 밝기와 영상 로컬의 밝기에 따라 색 빠짐 정도 또는 모아레 보정 정도를 결정하는 임계값을 픽셀 단위로 적응적으로 적용함으로써 모아레 보정을 수행할 수 있다.

전역 평균 산출부(202)는 입력 영상(Iin)의 전역 평균값(Global Luminance Average)을 산출할 수 있다. 하기 수학식 7을 참조하면, 전역 평균 산출부(202)는 입력 영상(Iin)의 전체 픽셀들에 대해 적색 전역 평균값(GM_R), 녹색 전역 평균값(GM_G), 청색 전역 평균값(GM_B)을 산출할 수 있다. 전역 평균 산출부(202)는 색상별 전역 평균값들로부터 전역 평균값(GM)을 산출할 수 있다.

[수학식 7]

GM_R = ∑ IN_R ÷ 전체 픽셀 수

GM_G = ∑ IN_G ÷ 전체 픽셀 수

GM_B = ∑ IN_B ÷ 전체 픽셀 수

GM = (GM_R + GM_G + GM_B) ÷ 3

전역 평균값(GM)이 지나치게 낮을 경우 모아레 저감 효과가 낮을 수 있고, 전역 평균값(GM)이 지나치게 높을 경우 색 번짐 부작용이 발생할 수 있다. 따라서, 사용자는 애플리케이션 또는 시스템 유형에 따라 전역 평균값(GM)의 최소값과 최대값을 설정할 수 있다. 예를 들어, 사용자는 어두운 영상을 주로 획득하는 CCTV와 같은 카메라 시스템에서는 전역 평균값(GM)의 최소값을 지정하고, 방송용 카메라나 TV set과 같은 밝은 영상을 주로 획득하는 카메라 시스템에서는 전역 평균값(GM)의 최대값을 지정할 수 있다.

지역 평균 산출부(204)는 입력 영상(Iin)에서 각 픽셀의 색상별 지역 평균값(Local Luminance Average), 색상별 지역 평균값들 간의 차이 및 차이 최대값을 산출한다. 지역 평균 산출부(204)의 색상별 지역 평균값 및 차이 최대값 산출은 전술된 수학식 1 및 수학식 2를 참조하여 설명하였으므로 생략하겠다.

지역 평균 산출부(204)는 하기 수학식 8과 같이 색상별 지역 평균값들부터 각 픽셀의 지역 평균값(LM[i,j])을 산출할 수 있다. 사용자는 애플리케이션 또는 시스템 유형에 따라 지역 평균값(LM)의 최소값과 최대값을 설정할 수 있다.

임계값 조정부(206)는 현재 픽셀에서 산출된 전역 평균값(GM) 및 지역 평균값(LM[i,j])으로부터 하기 수학식 8과 같이 현재 픽셀에서의 지역 임계값(Lth[i,j])을 산출할 수 있다. 임계값 조정부(206)는 현재 픽셀에서 산출된 전역 평균값(GM)과 지역 평균값(LM[i,j])을 비교하여 작은 값을 지역 임계값(Lth[i,j])으로 산출할 수 있다.

[수학식 8]

Lth[i,j] = MIN(GM, LM[i,j])

LM[i,j] = (LM_R[i,j] + LM_G[i,j] + LM_B[i,j] ) ÷ 3

일 실시예에에서, 임계값 조정부(206)는 하기 수학식 9와 같이 사용자로부터 입력된 사용자 가중치인 A 값과 B 값으로 전역 평균값(GM) 및 지역 평균값(LM[i,j])을 조절하여 지역 임계값(Lth[i,j])을 산출할 수 있다. A 값과 B 값은 경험 또는 실험에 의해 설정된 상수 또는 함수일 수 있다. 사용자는 B 값을 높임으로써 어두운 영상의 어두운 모아레 영역에서의 모아레 저감 효과를 높일 수 있다.

[수학식 9]

Lth[i,j] = MIN(GM × A, LM[i,j] × B)

가중치 설정부(208)는 차이 최대값(MAD_RGB[i,j])과 지역 임계값(Lth[i,j])으로부터 하기 수학식 10과 같이 현재 픽셀에서의 적응적 차이 최대값(athMAD_RGB[i,j])을 산출할 수 있다. 가중치 설정부(203)는 차이 최대값(MAD_RGB[i,j])과 지역 임계값(Lth[i,j])의 비교에 의해 차이 최대값(MAD_RGB[i,j])과 지역 임계값(Lth[i,j]) 중 작은 값을 적응적 차이 최대값(athMAD_RGB[i,j])으로 산출할 수 있다.

[수학식 10]

athMAD_RGB[i,j] = mi(MAD_RGB[i,j], Lth[i,j])

가중치 설정부(208)는 현재 픽셀의 적응적 차이 최대값을 기초로 현재 픽셀의 모아레 보정 가중치를 설정할 수 있다. 하기 수학식 11을 참조하면, 가중치 설정부(208)는 현재 픽셀의 수정된 차이 최대값(thMAD_RGB[i,j])을 임계값(th)으로 조절하여 모아레 보정 가중치(W_MOIRE[i,j])를 설정할 수 있다. 임계값(th)은 경험 또는 실험에 의해 설정된 상수 또는 함수로서, 사용자 입력에 의해 설정될 수 있다.

[수학식 11]

W_MOIRE[i,j] = athMAD_RGB[i,j]/Lth[i,j]

영상 보정부(210)는 입력 영상에 컬러 블러링을 처리하여 모아레 보정을 수행하되, 모아레 보정 가중치(W_MOIRE[i,j])를 이용하여 픽셀 단위로 모아레 보정 강도를 조절할 수 있다. 영상 보정부(210)는 입력 영상과 입력 영상을 컬러 블러링 처리한 모아레 보정 영상을 모아레 보정 가중치(W_MOIRE[i,j])를 이용하여 가중합한 최종 보정 영상을 출력할 수 있다.

영상 보정부(210)는 픽셀 단위로 색상별 입력 값(IN[i,j])과 입력 값을 컬러 블러링 처리한 모아레 보정 값(AM[i,j])을 모아레 보정 가중치(W_MOIRE[i,j])를 이용하여 가중합한 최종 보정 값(PO[i,j])을 출력할 수 있다. 영상 보정부(210)의 최종 보정 값(PO[i,j]) 산출은 전술된 수학식 5 및 수학식 6을 참조하여 설명하였으므로 생략하겠다.

도 5는 본 발명의 일 실시예에 따른 컬러 모아레 저감 방법을 개략적으로 나타낸 흐름도이다.

도 5를 참조하면, 영상 프로세서는 현재 입력 영상의 현재 픽셀의 색상별 입력 값, 즉 입력 적색 값(IN_R[i,j]), 입력 녹색 값(IN_G[i,j]), 입력 청색 값(IN_B[i,j])을 이용하여 현재 픽셀의 색상별 지역 평균값들, 즉 적색 지역 평균값(LM_R[i,j]), 녹색 지역 평균값(LM_G[i,j]), 청색 지역 평균값(LM_B[i,j])을 산출할 수 있다(S61).

영상 프로세서는 현재 입력 영상의 색상별 전역 평균값, 즉 적색 전역 평균값(GM_R), 녹색 전역 평균값(GM_G), 청색 전역 평균값(GM_B)을 산출할 수 있다(S62).

영상 프로세서는 색상별 전역 평균값들(GM_R, GM_G, GM_B) 및 색상별 지역 평균값들(LM_R[i,j], LM_G[i,j], LM_B[i,j])로부터 현재 픽셀에서의 지역 임계값(Lth[i,j])을 산출할 수 있다(S63). 영상 프로세서는 색상별 전역 평균값들(GM_R, GM_G, GM_B)로부터 전역 평균값(GM)을 산출하고, 색상별 지역 평균값들(LM_R[i,j], LM_G[i,j], LM_B[i,j])로부터 지역 평균값(LM[i,j])을 산출할 수 있다. 영상 프로세서는 전역 평균값(GM)과 지역 평균값(LM[i,j]) 중 하나를 선택하여 지역 임계값(Lth[i,j])을 산출할 수 있다.

영상 프로세서는 현재 픽셀의 색상별 지역 평균값들(LM_R[i,j], LM_G[i,j], LM_B[i,j]) 간의 차이를 산출하고, 그 차이가 가장 큰 차이 최대값(MAD_RGB[i,j])을 산출할 수 있다(S64).

영상 프로세서는 차이 최대값(MAD_RGB[i,j])과 지역 임계값(Lth[i,j]) 중 작은 값을 적응적 차이 최대값(athMAD_RGB[i,j])으로 산출할 수 있다(S65).

영상 프로세서는 현재 픽셀의 적응적 차이 최대값(athMAD_RGB[i,j])을 기초로 모아레 보정 가중치(W_MOIRE[i,j])를 설정할 수 있다(S66). 모아레 보정 가중치(W_MOIRE[i,j])는 최대 가중치(Wmax)와 최소 가중치(Wmin) 사이의 값, 예를 들어, 0~1 범위의 값으로 설정될 수 있다. 또는 모아레 보정 가중치(W_MOIRE[i,j])는 최대 가중치(Wmax) 또는 최소 가중치(Wmin), 예를 들어, 0 또는 1로 설정될 수 있다.

영상 프로세서는 현재 픽셀에 설정된 모아레 보정 가중치(W_MOIRE[i,j])를 적용하여 모아레 보정 강도를 조절하여 모아레 보정한 후 출력(PO_R[i,j], PO_G[i,j], PO_B[i,j])할 수 있다(S67).

어두운 영상은 색 번짐 부작용이 밝은 영상에 비해 더 크다. 따라서 어두운 영상에서는 낮은 임계값을 사용하여 색 번짐 현상을 줄여야 하고, 밝은 영상에서는 높은 임계값을 사용하여 모아레 보정 효과를 줄여야 한다. 만약 전역 평균값(Global Luminance Average)을 임계값으로 사용하면 어두운 영상의 색 번짐 현상을 줄일 수 있으나 밝은 영상의 어두운 영역에서 색 번짐 현상이 발생할 수 있다. 만약 지역 평균값(Local Luminance Average)을 임계값으로 사용하면 밝은 영상의 어두운 영역에서 색 번짐 현상은 줄일 수 있으나, 매우 밝은 영역에서 색 번짐이 발생할 수 있다. 따라서, 컬러 모아레 영역인지 컬러 에지 영역인지 구분하는 기준이 되는 임계값(th)은 영상 전체의 밝기 및 영상 지역 밝기에 따라 조정될 필요가 있다. 도 4 및 도 5에 도시된 실시예에서는 전역 평균값 및 지역 평균값 중 작은 값을 임계값으로 이용함으로써 더욱 강건하게 모아레 및 색 번짐 현상 저감 효과를 가질 수 있다.

도 6은 본 발명의 일 실시예에 따른 모아레 보정을 수행하는 영상 프로세서가 제공하는 그래픽 사용자 인터페이스의 일 예이다.

영상 프로세서는 디스플레이 상에 영상의 모아레 보정을 위한 파라미터가 입력될 수 있는 인터페이스(50)를 제공할 수 있다. 인터페이스(50)는 제1 영역(52)에 실시간 영상 및 보정 영상 중 적어도 하나를 제공할 수 있다.

사용자는 임계값 설정 필드(54)를 이용하여 임계값 또는 임계값 조정을 위한 A 값, B 값 등을 지정할 수 있다.

사용자는 마스크 설정 필드(56)를 이용하여 블록 사이즈를 지정할 수 있다.

사용자는 한계 설정 필드(58)를 이용하여 전역 평균값(GM) 및/또는 지역 평균값(LM[i,j])의 최소값과 최대값을 지정할 수 있다.

사용자는 인터페이스(50)에서 제공하는 입력 형태에 따라 다양한 파라미터를 직접 입력 또는 선택 입력할 수 있다.

전술된 실시예에서 전역 평균값 및 지역 평균값을 색상별 전역 평균값 및 색상별 지역 평균값을 이용하여 산출하였으나, 본 발명의 실시예는 이에 한정되지 않고, RGB 신호를 YUB 신호로 변환한 후 Y 값을 산출하는 등 전역 밝기 및 지역 밝기를 나타낼 수 있는 다양한 방법이 적용될 수 있음은 물론이다.

본 발명에 따른 컬러 모아레 저감 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

Claims

영상의 전체 밝기 및 상기 영상의 픽셀을 포함하는 영역의 지역 밝기를 기초로 상기 픽셀의 모아레 보정 가중치를 설정하는 단계; 및
상기 모아레 보정 가중치를 이용하여 상기 영상 및 상기 영상의 모아레 보정 영상의 합성 정도를 픽셀 단위로 조절하여 상기 영상을 보정하는 단계;를 포함하는 모아레 저감 방법.
제1항에 있어서, 상기 가중치 설정 단계는,
상기 영상의 전역 평균값 및 상기 영상의 픽셀에서 상기 픽셀을 포함하는 영역의 지역 평균값을 산출하는 단계;
상기 지역 평균값이 포함하는 색상별 지역 평균값들 간의 차이들 중 가장 큰 값을 제1 차이 최대값으로 산출하는 단계;
상기 제1 차이 최대값을 수정한 제2 차이 최대값을 산출하는 단계; 및
상기 제2 차이 최대값을 기초로 상기 픽셀의 모아레 보정 가중치를 설정하는 단계;를 포함하는 모아레 저감 방법.
제2항에 있어서, 상기 제2 차이 최대값 산출 단계는,
상기 제1 차이 최대값과 임계값 중 작은 값을 상기 제2 차이 최대값으로 산출하는 단계;를 포함하는 모아레 저감 방법.
제3항에 있어서,
상기 임계값은 사용자 인터페이스를 통해 사용자에 의해 선택가능한, 모아레 저감 방법.
제3항에 있어서,
상기 임계값은 상기 전역 평균값 또는 상기 지역 평균값인, 모아레 저감 방법.
제3항에 있어서,
상기 임계값은 상기 전역 평균값 또는 상기 지역 평균값에 가중치가 적용된 값인, 모아레 저감 방법.
제6항에 있어서,
상기 가중치는 사용자 인터페이스를 통해 사용자에 의해 선택가능한, 모아레 저감 방법.
제1항에 있어서,
상기 영역은 사용자 인터페이스를 통해 사용자에 의해 선택가능한, 모아레 저감 방법.
제2항에 있어서,
상기 모아레 보정 가중치는 상기 제2 차이 최대값과 상기 임계값의 비인, 모아레 저감 방법.
제2항에 있어서,
상기 전역 평균값 및 상기 지역 평균값 중 적어도 하나에 상한값 및 하한값 중 적어도 하나가 설정되고,
상기 상한값 및 하한값은 사용자 인터페이스를 통해 사용자에 의해 선택가능한, 모아레 저감 방법.
영상의 전체 밝기 및 상기 영상의 픽셀을 포함하는 영역의 지역 밝기를 기초로 상기 픽셀의 모아레 보정 가중치를 설정하는 제1 유닛; 및
상기 모아레 보정 가중치를 이용하여 상기 영상 및 상기 영상의 모아레 보정 영상의 합성 정도를 픽셀 단위로 조절하여 상기 영상을 보정하는 제2 유닛;을 포함하는 영상처리장치.
제11항에 있어서, 상기 제1 유닛은,
상기 영상의 전역 평균값 및 상기 영상의 픽셀에서 상기 픽셀을 포함하는 영역의 지역 평균값을 산출하고, 상기 지역 평균값이 포함하는 색상별 지역 평균값들 간의 차이들 중 가장 큰 값을 제1 차이 최대값으로 산출하는 평균 산출부; 및
상기 제1 차이 최대값을 수정한 제2 차이 최대값을 산출하고, 상기 제2 차이 최대값을 기초로 상기 픽셀의 모아레 보정 가중치를 설정하는 가중치 설정부;를 포함하는 영상처리장치.
제12항에 있어서,
상기 제2 차이 최대값은 상기 제1 차이 최대값과 임계값 중 작은 값인, 영상처리장치.
제13항에 있어서,
상기 임계값은 사용자 인터페이스를 통해 사용자에 의해 선택가능한, 영상처리장치.
제13항에 있어서,
상기 임계값은 상기 전역 평균값 또는 상기 지역 평균값인, 영상처리장치.
제13항에 있어서,
상기 임계값은 상기 전역 평균값 또는 상기 지역 평균값에 가중치가 적용된 값인, 영상처리장치.
제16항에 있어서,
상기 가중치는 사용자 인터페이스를 통해 사용자에 의해 선택가능한, 영상처리장치.
제11항에 있어서,
상기 영역은 사용자 인터페이스를 통해 사용자에 의해 선택가능한, 영상처리장치.
제11항에 있어서,
상기 모아레 보정 가중치는 상기 제2 차이 최대값과 상기 임계값의 비인, 영상처리장치.
제12항에 있어서,
상기 전역 평균값 및 상기 지역 평균값 중 적어도 하나에 상한값 및 하한값 중 적어도 하나가 설정되고,
상기 상한값 및 하한값은 사용자 인터페이스를 통해 사용자에 의해 선택가능한, 영상처리장치.