KR20130077726A

KR20130077726A - 디지털 사진에서 노이즈를 제거하는 장치 및 방법

Info

Publication number: KR20130077726A
Application number: KR1020120003523A
Authority: KR
Inventors: 아밋 발찬드라 프라비데세; 파리잣 프라카쉬 프라비데세
Original assignee: 삼성전자주식회사
Priority date: 2011-12-29
Filing date: 2012-01-11
Publication date: 2013-07-09
Also published as: US20120182451A1; KR101901602B1; US8878963B2

Abstract

본 발명은 디지털 사진에서 노이즈를 제거하는 장치 및 방법에 관한 것으로,플래시를 실행하지 않고 촬영한 주변 이미지와 상기 플래시를 실행하여 촬영한 적어도 하나의 플래시 이미지를 연속으로 캡처하며, 상기 주변 이미지와 상기 플래시 이미지에 이미지 정렬 기법을 적용하며, 상기 플래시 이미지에 조인트 평균 이동 필터링을 적용함으로써 필터 가중치들을 획득하고, 상기 주변 이미지에 상기 필터 가중치들을 적용하여 상기 주변 이미지의 노이즈를 제거하는 것을 특징으로 한다.

Description

디지털 사진에서 노이즈를 제거하는 장치 및 방법{APPARATUS AND METHOD FOR NOISE REMOVAL IN A DIGITAL PHOTOGRAPH}

본 발명은 디지털 사진에 관한 것으로, 특히, 디지털 사진에서 노이즈를 제거하는 장치 및 방법에 관한 것이다.

휴대 단말기의 카메라에서는 캡처할 수 있는 이미지의 해상도가 급속도로 개선되고 있다. 그러나 모바일 폼 팩터(mobile form factor)는 휴대 단말기 카메라에 통합될 수 있는 광학 기기에 제한을 가하고 있다. 즉, 해상도를 증가시키면 시킬수록 상보성 금속 산화물 반도체(CMOS) 센서 어레이 밀도가 증가하고, 이러한 증가는 일정 조명/조도 조건 하에서(예컨대, 촛불을 켠 환경에서) 이미지에 노이즈를 증가시키는 결과를 초래할 수 있다.

저조도(low-light) 조건에서 고품질 사진을 캡처하는 것을 지원하는데에는 플래시가 매우 유용하다. 최근에는 LED 플래시를 휴대 단말기의 카메라에 통합하는 것이 가능하게 되었다. LED 플래시의 사정 거리(즉, 유효 거리)는 디지털 카메라나 캠코더에 갖춰진 종래의 플래시(제논 플래시)에 비해 상당히 제한되기는 하지만, 소규모 회합, 생일 파티 등에서 사진을 캡처하는데에는 충분하다.

그러나 카메라 플래시의 존재는 소중한 순간을 디지털로 캡처함에 있어 다른 문제점을 안겨준다. 카메라 플래시는 고품질 사진을 캡처할 수 있게 하지만, 사진이 캡처되는 주변의 효과를 무력화시킨다. 예를 들면, 생일 파티를 생각해 보기로 하자. 주변 상황은 침침한 황색 주변 조명을 갖는 레스토랑 테이블과 그 상단에 초들이 있는 테이블 상의 생일 케이크일 수 있다. 이러한 시나리오 하에서, 휴대 단말기의 카메라는 전형적으로 노이즈가 존재하는 및/또는 흐릿한 이미지를 촬영하게 된다. 즉, LED 플래시로 사진을 캡처하면, 이미지의 품질이 더 높을지는 모르지만, 주변(즉, 환경의 원래의 조명)이 완전히 훼손된다.

최근까지, 이미지에서의 노이즈 영향을 줄이기 위해 다수의 이미지 처리 솔루션들을 이용하여 이미지의 품질을 개선하여 왔다. 몇몇 방법들은 단일 이미지로부터의 이미지 데이터를 이용하여 필터 가중치들을 추정한다. 그리고 이러한 가중치들을 이미지를 필터링하는데에 적용하여 이미지에서 노이즈를 감소시킨다. 그러나 필터에 기인하는 에지 스톱핑 항(edge-stopping term)이 노이즈가 있는 이미지 데이터로부터 계산된다. 주변 조도가 낮은 경우, 이미지가 전체적으로 낮은 콘트라스트를 갖기 때문에 그 추정치가 잘못된 것일 수 있고, 그래디언트 기반(gradient-based) 작업들이 아주 신뢰성이 있는 것이 되지 못하게 된다.

다른 노이즈 감소 방법은 통상적으로 이미지에 영향을 주는 노이즈의 통계적 특성에 관해 가정을 한다. 예컨대, 그 방법은 2개의 이미지들 간의 또는 동일 이미지의 부분들 내의 노이즈 사이의 상관 관계를 가정한다. 그리하여, 노이즈 감소 정도가 2개의 이미지들의 노이즈 상관 관계에 의존하는 것으로 나타난다. 그러나 상관 계수가 일정 임계치 위에 있을 경우, 그 방법은 그런대로 효과적일지 모르지만, 그럴 경우에는 그 가정이 적용될 수 없어 그 방법이 유효하지 않게 된다.

또한, 다른 노이즈 감소 방법은 이미지에서 노이즈를 최소화하는 여러 필터링 기법들을 이용하고 있다. 이미지에서 노이즈를 감소시키기 위해 통상적으로 사용되는 필터들 중의 하나는 양방향 필터(bilateral filter)이다. 이 경우, 단일 이미지 양방향 필터가 이용된다. 원래의 양방향 필터는 에지 보존(edge-preserving) 평활화 필터(smoothing filter)로서 사용되고, 단순한 단일 이미지 평균 이동 필터(mean-shift filter)와 유사하다. 양방향 필터와 평균 이동 필터 사이에는 로컬 정보를 사용함에 있어 차이가 있다. 특히, 양방향 필터는 정적 고정 윈도(fixed static window)를 사용하는 반면, 평균 이동 필터링에서는 개개의 윈도들을 벗어난 정보들도 고려된다. 따라서 평균 이동 필터는 에지 보존 평활화에서 양방향 필터에 비해 우수하다. 정적 고정 윈도들의 동일한 한계점은 조인트 또는 크로스 양방향 필터에도 역시 적용된다.

위의 방법들은 노이즈 제거 및 이미지의 품질 개선을 위한 듀얼 이미지 분석을 특별히 다루고 있지 않다. 그로 인해, 이러한 방법들은 처리된 이미지에서 효과적인 노이즈 제거를 하지 않는다. 그리고, 플래시를 켜고서 이미지를 포착할 경우 환경의 자연스러운 주변이 상실된다. 따라서, 환경의 자연스러운 특성들을 유지하면서 효과적인 노이즈 제거를 제공하는 방안의 필요성이 대두하였다.

본 발명은 플래시 이미지를 이용함으로써 주변 이미지에서 노이즈를 제거하는 장치 및 방법을 제안한다.

그리고 본 발명은 주변 이미지의 노이즈 제거 및 에지 보존 평활화를 위해 조인트 평균 이동 필터를 이용하는 장치 및 방법을 제안한다.

또한, 본 발명은 효과적인 노이즈 제거를 얻기 위해 필터 대역폭 파라미터를 선택하는 방법 및 장치를 제안한다.

상기한 과제를 해결하기 위해 본 발명은, 디지털 사진에서 노이즈를 제거하는 방법에 관한 것으로,플래시를 실행하지 않고 촬영한 주변 이미지와 상기 플래시를 실행하여 촬영한 적어도 하나의 플래시 이미지를 연속으로 캡처하며, 상기 주변 이미지와 상기 플래시 이미지에 이미지 정렬 기법을 적용하며, 상기 플래시 이미지에 조인트 평균 이동 필터링을 적용함으로써 필터 가중치들을 획득하고, 상기 주변 이미지에 상기 필터 가중치들을 적용하여 상기 주변 이미지의 노이즈를 제거하는 것을 특징으로 한다.

본 발명은 환경의 자연스러운 특성들을 유지하면서 이미지 중의 노이즈를 효과적으로 제거할 수 있다.

도 1은 본 발명의 실시 예에 따라 노이즈를 제거하는 방식을 나타내는 블록도,
도 2는 본 발명의 실시 예에 따라 노이즈를 제거하는 흐름도,
도 3은 본 발명의 실시 예에 따라 조인트 평균 이동 필터를 이용한 필터링 메커니즘을 나타내는 흐름도,
도 4는 본 발명의 실시 예에 따른 필터링 메커니즘을 나타내는 블록도,
도 5는 본 발명의 실시 예에 따라 필터링된 이미지들의 스냅 사진들,
도 6은 본 발명의 실시 예에 따라 필터링된 이미지들의 스냅 사진들이다.

이하, 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

본 발명은 플래시를 이용하여 캡처된 이미지의 명료성 및 고품질을 제공하면서 주변 이미지에 대한 원래의 특성을 유지하는 장치 및 방법을 제공한다. 도면들의 전반에 걸쳐 유사한 도면 부호들이 상응하는 특징들을 일관적으로 지시하고 있는 첨부 도면들에는, 구체적으로 도 1 내지 6에는, 바람직한 실시 예들이 도시되어 있다.

본 발명에서는 플래시 없이 캡처한 이미지를 플래시 이미지 또는 주변 이미지라고 지칭한다.

본 발명에는 디지털 이미지에서 노이즈를 제거하기 위해 디지털 이미지를 처리하는 장치 및 방법이 개시된다. 이러한 방법은 듀얼 이미지 분석(dual image analysis) 기법을 이용한다. 여기서, 듀얼 이미지 분석 기법은 자연 환경에서 촬영된 주변 이미지로 지칭되는 이미지와 플래시를 켜고 촬영될 수 있는 이미지를 포함하는 1쌍의 이미지들을 이용한다. 위의 1쌍의 이미지들은 동일 환경에서 연속하여 촬영된다.

그리고 본 발명은 이미지 처리 및 필터링 알고리즘을 더 이용한다. 좀 더 자세히 설명하면, 본 발명은 주변 이미지를 기준 이미지로서 촬영한다. 그리고 본 발명은 플래시 이미지를 주변 이미지에 대해 정렬시킨다. 또한, 본 발명은 조인트 평균 이동 필터(joint mean shift filter)를 이용함으로써 필터링 기법을 플래시 이미지에 적용한다. 또한, 본 발명은 플래시 이미지에 대해 필터 가중치들을 계산하여 알고리즘 처리에 필요한 여러 함수들을 얻는다. 또한, 본 발명은 계산된 필터 가중치들을 주변 이미지에 적용하여 환경의 주변 및 플래시 이미지의 품질을 갖는 이미지를 획득한다.

도 1은 본 발명의 실시 예에 따라 노이즈를 제거하는 방식을 나타내는 블록도이다.

도 1에 도시된 바와 같이, 본 발명은 이미지들로부터 노이즈를 제거하기 위한 듀얼 이미지 분석 기법을 이용한다. 주변 이미지(101)는 자연 환경 조건에서 플래시 없이 캡처된 이미지이다. 그리고 플래시 이미지(102)는 주변 이미지(101)와 동일한 환경에서 플래시를 작동하여 캡처된 적어도 하나 이상의 이미지이다. 이러한 적어도 하나 이상의 이미지는 주변 이미지와 연속하여 캡처된다. 주변 이미지(101)는 많은 노이즈를 갖고, 그로 인해 이미지가 흐리고 선명치 않은 것 같이 보인다. 플래시 이미지(102)는 고품질의 것이지만, 이미지의 자연스러운 주변이 완전히 훼손되어 있다.

이러한 점을 고려하여, 본 발명은 플래시 이미지(102)를 이용하여 주변 이미지에 대한 필터 가중치들을 획득하고, 획득된 가중치를 이용하여 주변 이미지(101)에서 노이즈를 제거한다.

좀 더 자세히 설명하면, 휴대 단말기는 플래시 이미지와 비플래시(주변) 이미지를 이미지 처리 기법(103)으로 출력한다. 휴대 단말기는 이미지 처리(103) 동안에 이미지들을 정렬한다. 이때, 휴대 단말기는 이미지들에 다양한 이미지 정렬 기법들을 이용할 수 있다.

이미지 정렬 후에, 휴대 단말기는 이미지들을 이미지 필터링 기법을 사용하여 필터링한다. 예를 들면, 휴대 단말기는 이미지 필터링(104)을 위한 알고리즘을 이용한다. 이러한 경우, 휴대 단말기는 플래시 이미지에 대해 필터 가중치들을 계산하고, 계산된 가중치들을 주변 이미지에 적용하여 비플래시 이미지로부터 노이즈를 제거한다. 이와 같이, 본 발명은 플래시 이미지를 이용하여 비플래시 이미지로부터 노이즈를 제거함으로써 노이즈가 제거된 주변 이미지를 획득한다.

여기서, 휴대 단말기의 카메라부가 주변 이미지와 플래시 이미지를 캡쳐하고, 이미지 처리부가 플래시 이미지(102)를 이용하여 주변 이미지에 대한 필터 가중치들을 획득하고, 획득된 가중치를 이용하여 주변 이미지(101)에서 노이즈를 제거할 수 있다.

도 2는 본 발명의 실시 예에 따라 노이즈를 제거하는 흐름도이다.

휴대 단말기는 플래시 이미지와 비플래시 이미지를 사용하여 듀얼 이미지 분석 기법을 이용한다. 이때, 휴대 단말기는 플래시 이미지를 이용하여 필터 파라미터들을 획득한다. 그리고 휴대 단말기는 비플래시 이미지에 알고리즘들을 이용하고 획득된 파라미터들을 적용하여 노이즈를 제거한다. 일 실시예에서, 플래시 이미지를 이용하여 필터 파라미터들을 계산하는데, 이는 플래시 이미지가 주변 이미지보다 현저히 더 높은 신호대 잡음 비(SNR)를 갖기 때문이다.

먼저, 휴대 단말기는 원하는 장면의 주변 이미지(플래시 없는)를 캡처한다(201). 여기서, 주변 이미지는 주변 환경을 포함하지만, 주변 이미지 내에 존재하는 노이즈로 인해 흐리고 선명성이 결여되어 있다. 그리고 휴대 단말기는 플래시를 켜고서 동일한 장면의 1쌍의 플래시 이미지들을 캡처한다(202). 여기서, 플래시 이미지는 자연스러운 주변 환경을 포함하지 못한다.

그리고 휴대 단말기는 이미지 정렬 기법을 이용하여 플래시 이미지와 비플래시 이미지를 정렬한다(203). 이때, 이미지 정렬 기법은 스케일 불변 특징 변환(scale invariant feature transform)(SIFT) 등을 포함할 수 있다. 그리고 휴대 단말기는 주변 조명 이미지와 하나 이상의 플래시 조명 이미지들에서 관심 포인트 검출기(interest-point detector)에 의해 계산된 포인트들의 후보 집합을 사용하여 정렬 절차를 수행할 수 있다. 예를 들면, 검출기는 해리스 코너 검출기(Harris corner detector), SIFT 검출기 등을 포함할 수 있다.

여기서, 정렬 절차는 그래디언트 오리엔테이션(gradient orientation)을 사용하여 매칭되지 않는 포인트 쌍(non-matching point pair)들을 제거함으로써 생성된 후보 집합을 개선한다. 그리고 정렬 절차는 개선된 포인트 쌍들의 집합을 사용하여 주변 이미지와 각각의 플래시 이미지 사이의 변환을 계산하고, 계산된 변환을 사용하여 각각의 플래시 이미지를 주변 이미지와 동일한 좌표계로 변환함으로써 정렬된 이미지를 획득한다(204). 그리고 휴대 단말기는 정렬된 이미지들(플래시 이미지와 비플래시 이미지의 양 이미지들)을 필터링으로 출력한다.

휴대 단말기는 다양한 평균 이동 필터 알고리즘들을 이용한다. 필터링 동안에, 휴대 단말기는 정렬된 플래시 이미지를 이용하여 평균 이동 필터링 처리에 필요한 필터 가중치들 및 커널 함수들을 계산한다(205). 그리고 휴대 단말기는 계산된 필터 가중치들을 비플래시 이미지에 적용하여 필터가 비플래시 이미지로부터 노이즈를 제거하도록 한다. 또한, 휴대 단말기는 특정 이미지를 획득하기 위해 디테일 이동(detail transfer)을 수행한다(206). 여기서 디테일 이동은 플래시 이미지에서 보이는 플래시 이미지에서 가시적 디테일이 주변 이미지로 이동되는 것을 보장한다. 그리고 휴대 단말기는 특정 이미지를 필터링함으로써 플래시 이미지의 선명성 및 비플래시 이미지의 자연스러운 주변이 보정된 노이즈 없는 이미지를 획득한다.

앞에서 설명한 노이즈 제거 방법(200)의 다양한 동작들은 제시된 순서로, 다른 순서로, 또는 동시에 수행된 수 있다. 또한, 일부 실시 예에서, 도 2에 열거된 일부 동작을 생략할 수도 있다.

본 발명은 플래시 이미지로부터의 데이터를 사용하여 주변 이미지에서의 노이즈를 감소시키는 방법을 기술하고 있다. 이를 위해, 본 발명은 조인트 평균 이동 필터를 사용하는 것을 제안한다. 여기서, 조인트 평균 이동 필터는 단일 이미지에 대한 평균 이동 필터링 절차에 의거하여 구축된다. 그리고 조인트 평균 이동 필터는 조인트 공간-레인지 도메인(joint spatial-range domain)을 이용하는데, 공간 도메인(spatial domain)은 격자 그리드 사이트(lattice grid site)들로 구성되고, 레인지 도메인(range domain)은 L^* 컴포넌트 데이터 값들로 구성된다.

평균 이동 필터를 이용한 가중치 계산 절차는 다음과 같다. 평균 이동 절차는 밀도의 추정 없이 제로(zero)들(기본 밀도(underlying density)

를 갖는 특징 공간의)을 위치시키는 방법을 제공한다. 가중치 계산 절차에서는 그래디언트의 제로들

사이에 모드(mode)들을 위치시킨다. 주어진 데이터 포인트들의 집합에 대한 밀도 추정량(density estimator)은 아래와 같이 나타낼 수 있다.

수학식 1에서,

는 커널 프로파일을 나타내고,

는 대역폭 파라미터를 나타낸다. 이 경우, 모드들을 추정하는 문제는 그래디언트 밀도를 추정하는 문제로 해석된다. 또한, 그래디언트 밀도는 수학식 2와 같이 나타낼 수 있다.

수학식 2에서, 첫 번째 항은 커널

로 계산된 x에서의 밀도 추정량에 비례한다. 또한, 커널 G로 계산된 x에서의 밀도 추정량은 다음과 같다.

두 번째 항은 평균 이동 항이다.

즉, 평균 이동 항은 가중치들에 대한 커널

를 사용한 가중 평균과 커널(윈도)의 중심 x 간의 차이다. 수학식 2는 수학식 3과 4를 이용하면, 수학식 5와 같이 유도된다.

수학식 5로부터 아래의 수학식 6이 유도된다.

수학식 6은 위치 x에서 커널

로 계산된 평균 이동 벡터가 커널

로 얻은 정규화된 밀도 그래디언트 추정량에 비례한다는 것을 보여준다. 정규화는 커널

로 계산된 x에서의 밀도 추정량에 의해 된다. 따라서 평균 이동 벡터는 항상 밀도의 최대 증가의 방향 쪽을 향하게 된다.

앞에서 언급된 절차는 조인트 평균 이동 필터를 이용하고, 일반적인 양방향 필터 절차에 의한 일반적인 평균 이동 필터 절차의 모든 이점들을 구하고 있다.

본 발명의 특징은 비플래시 이미지 대신에 플래시 이미지로부터 필터 가중치들을 계산하는데에 있다. 그리고 본 발명의 특징은 평균 이동 필터의 반복 방법을 단일 반복 단계로 대체하여 방법의 계산 효율을 개선하는데 있다.

위의 방법은 플래시 이미지를 사용하여 필터 가중치들을 계산하기 때문에, 결과적으로 비플래시 이미지만을 사용하는 것보다 노이즈 감소가 더 우수하게 된다. 이것은 플래시 이미지가 주변 이미지보다 더 높은 신호대 잡음 비를 갖는다는 사실에 의해 설명될 수 있다. 플래시 이미지에서 커널

를 계산하는 것은 비플래시 이미지에서 동일 커널을 계산하는 것보다 더 신뢰성 있는 추정량을 산출한다.

또한, 유효 커널에 대한 조건을 충족하는 임의의 적절한 커널을 제안되는 방법을 실시하는데에 사용할 수 있다. 특정 실시 예에서, 균일 커널(uniform kernel)을 사용하는 것은 만족스러운 결과를 내는 것으로 판명되었다. 균일 커널이 유한한 수의 단계들에서 수렴(convergence)을 보장하는 것으로 나타난다. 이것은 본 방법의 실제 실시에 있어서 중요한 사항이다. 물론 균일 커널뿐만 아니라 다른 커널 프로파일들도 사용할 수 있다는 것을 유의하여야 할 수 있다.

다른 특정 실시 예에서, 정규 커널(normal kernel)을 사용하면, 그 결과가 거의 항상 현저히 더 좋을지라도 정규 프로파일에 의한 수렴률은 더 느리다.

본 방법을 실시함에 있어 다른 중요한 측면은 필터 대역폭 파라미터인 단일 파라미터

를 변경/선택함으로써 필터링(평할화 또는 노이즈 제거)의 정도를 설정할 수 있다는 것이다. 이것은 사용자 또는 조작자가 다수의 복잡한 파라미터들을 선택할 필요가 없기 때문에 상당한 이점이 된다.

본 발명은 주변 이미지의 분석에 의거하여 자동화된 방식으로 대역폭 파라미터

를 선택하는 것도 제안하고 있다. 본 발명은 주변 이미지의 노이즈 추정량을 계산하여 적절한 대역폭 파라미터를 선택할 수 있다. 이제부터, 도 3을 이용하여 대역폭 파라미터를 선택하는 것에 대하여 설명하고자 한다.

도 3은 본 발명의 실시 예에 따라 조인트 평균 이동 필터를 이용한 필터링 메커니즘을 나타내는 흐름도이다. 본 발명은 주변 이미지의 분석에 의거하여 자동화된 방식으로 대역폭 파라미터

를 선택하는 것을 지원한다. 그리고 본 발명은 주변 이미지의 노이즈 추정량을 계산하여 적절한 대역폭 파라미터를 선택할 수 있다.

휴대 단말기는 주변 이미지와 플래시 이미지에 대해 별개로 웨이블릿 분해들을 계산한다(301). 이때, 휴대 단말기는 단일 웨이블릿 분해를 수행한다. 그리고 휴대 단말기는 플래시 웨이블릿 분해와 주변 웨이블릿 분해의 HH 부대역들을 비교하여 유효 에지들을 식별한다(302). 그리고 휴대 단말기는 주변 이미지에 대한 액티비티 스코어를 계산한다(303). 여기서, 액티비티 스코어는 주변 이미지 중의 노이즈 레벨의 지표이다. 이때, 휴대 단말기는 단계 302에서 계산된 HH 부대역과 에지 정보를 감안하여 계산한다.

좀 더 자세히 설명하면, 휴대 단말기는 지정된 임계치에 대해 웨이블릿 계수들을 임계치화(thresholding)하고 HH 부대역의 미리 주어진 영역(소정의 윈도)에서 웨이블릿 계수들의 총수에 대한 임계치를 넘는 계수들의 분율을 계산함으로써 상기 액티비티 스코어를 계산한다. 여기서, 임계치는 플래시 이미지와 주변 이미지 또는 그들 중의 하나의 HH 부대역 사이의 차를 분석함으로써 설정될 수 있다. 그리고 휴대 단말기는 윈도에 대해 계산되는 액티비티 스코어를 전체 이미지에 걸쳐 겹치지 않는 윈도들에 대해 계산한다. 그리고 휴대 단말기는 주변 이미지에 대한 액티비티 스코어를 검사된 모든 윈도들에 대한 액티비티 스코어들의 평균으로서 계산한다.

그리고 휴대 단말기는 노이즈 액티비티 스코어를 이용하여 평균 이동 필터에 대한 소정의 커널 크기들 중에서 선택을 하는데(304), 소정의 커널 크기들은 오리지널 주변 이미지 중의 노이즈의 정도에 해당하는 낮음(low), 높음(high), 및 중간(midium)(또는 약함, 평균, 및 강함)일 수 있다. 그리고 휴대 단말기는 플래시 이미지와 주변 이미지를 L^*a^*b^* 색 공간으로 변환한다(305).

그리고 휴대 단말기는 플래시 이미지를 사용하여 주어진 커널에 대한 가중치들을 계산한다(306). 이때, 휴대 단말기는 커널 함수를 사용하여 필터 가중치들을 계산할 수 있는데, 여기서 커널 함수에 대한 독립 변수는 필터링되는 이미지의 픽셀 값들 대신에 플래시 이미지의 픽셀 값들이 된다. 그리고 휴대 단말기는 계산된 커널 가중치들을 이용하여 주변 이미지를 필터링해서 주변 이미지로부터 노이즈를 제거한다(307). 그리고 휴대 단말기는 필터링되는 픽셀 또는 입력 픽셀의 이웃(조인트 공간-레인지 도메인에서의)에 걸쳐 커널 함수 값들을 계산한다. 그리고 휴대 단말기는 주변 이미지를 필요한 포맷으로 변환한다(308). 이러한 포맷은 L^*a^*b^*로부터 RGB로의 변환 등일 수 있다.

도 3에 도시된 동작들은 제시된 순서로, 다른 순서로, 또는 동시에 수행될 수 있다. 또한, 일부 실시 예에서, 도 3에 도시된 일부 동작은 생략될 수도 있다.

도 4는 본 발명의 실시 예에 따른 필터링 메커니즘을 나타내는 블록도이다.

도 4를 참조하면, 플래시 이미지 획득부(101)는 플래시 이미지를 촬영하고, 촬영된 플래시 이미지를 웨이블릿 분해부(401a)와 L^*a^*b^* 변환부(405a)로 출력한다. 그리고 주변 이미지 획득부(102)는 주변 이미지를 촬영하고, 촬영된 주변 이미지를 웨이블릿 분해부(401b)와 L^*a^*b^* 변환부(405b)로 출력한다. 그리고 웨이블릿 분해부(401a)는 미리 지정된 웨이블릿 분해 방식을 이용하여 입력된 플래시 이미지를 분해함으로써 플래시 이미지에 대한 웨이블릿을 획득한다. 그리고 웨이블릿 분해부(401b)는 미리 지정된 웨이블릿 분해 방식을 이용하여 입력된 주변 이미지를 분해함으로써 주변 이미지에 대한 웨이블릿을 획득한다.

그리고 에지 식별부(402)는 플래시 이미지와 주변 이미지 간의 HH 부대역들을 비교하여 유효 에지들을 식별한다. 여기서, 에지들은 주변 이미지에 대한 노이즈 레벨의 지표를 제공한다. 그리고 노이즈 액티비티 계산부(403)는 계산된 비플래시 이미지(주변 이미지)의 HH 부대역과 에지 정보를 이용하여 노이즈 액티비티를 계산한다. 여기서, 에지 정보는 유효 에지들에 관한 정보를 포함한다.

그리고 커널 추정부(404)는 노이즈 액티비티의 스코어(score)를 이용하여 평균 이동 필터에 대한 소정의 커널 크기들(낮음, 높음, 및 중간) 중에서 어느 하나를 선택을 한다(커널 추정). 그리고 L^*a^*b^* 변환부(405a)는 플래시 이미지를 L^*a^*b^*색 공간으로 변환하고, L^*a^*b^* 변환부(405b)는 주변 이미지를 L^*a^*b^*색 공간으로 변환한다. 예를 들면, 주변 이미지와 플래시 이미지가 RGB 색 공간상에 존재하는 경우, L^*a^*b^* 변환부들(405a, 405b)은 주변 이미지와 플래시 이미지를 L^*a^*b^*색 공간으로 변환할 수 있다.

그리고 필터(406)는 추정된 커널 크기에 대한 가중치를 이용하여 주변 이미지를 필터링을 한다. 이때, 필터는 위에서 제시된 알고리즘들과 수학식들을 이용하여 조인트 평균 이동 필터에 이용된 필터에 필요한 가중치들을 계산할 수 있다. 이와 같이, 계산된 커널 가중치들을 이용하여 주변 이미지를 필터링함으로써 노이즈가 없는 최종 주변 이미지를 획득한다. 그리고 RGB 변환부(407)는 최종 주변 이미지를 RGB 색 공간으로 변환한다.

위와 같은 동작을 통해, 본 발명은 평균 이동 필터의 단일 반복을 제공하여 비플래시 이미지의 필터링된(노이즈가 감소된) 픽셀 값을 계산할 수 있다.

그리고 본 발명은 조인트 평균 이동 필터 절차를 적절히 수행할 수 있다. 즉, 본 발명은 주변 조명 이미지 픽셀 데이터를 최종 이미지에서 어떠한 열화도 없도록 필터링된 픽셀 데이터로 대체할 수 있다.

그리고 본 발명은 전술한 방법을 애플리케이션에서 실행하는 컴퓨터 프로그램에 의해 구현될 수 있다. 이러한 경우, 이러한 컴퓨터 프로그램은 모든 동작들에 정수 산술만을 사용한다. 또한, 이러한 컴퓨터 프로그램은 입력 이미지 또는 이미지들의 분석을 기반으로 대역폭 파라미터 벡터

를 적응적으로 선택하는 자동화된 방법을 사용할 수 있다.

도 5는 본 발명의 실시 예에 따라 필터링된 이미지들의 스냅 사진들이다.

501 화면은 플래시 이미지의 주변 환경이 결여되어 있는 것을 나타낸다. 그리고 503 화면은 저조도 조건 하에서 촬영된 주변 이미지를 나타내고 있고, 505 화면은 필터링된 이미지를 나타낸다. 여기서, 필터링된 이미지는 앞에서 언급된 알고리즘들을 이용하여 필터링된 것이다. 필터링된 이미지가 노이즈를 덜 가지며 오리지널 이미지의 주변 환경을 유지하고 있는 것을 알 수 있다.

도 6은 본 발명의 실시 예에 따라 필터링된 이미지들의 스냅 사진들이다.

601 화면은 플래시 이미지의 주변 환경이 결여되어 있는 것을 나타낸다. 그리고 603 화면은 저조도 조건 하에서 촬영된 주변 이미지를 나타내고 있고, 605 화면은 필터링된 이미지를 나타낸다. 여기서, 필터링된 이미지는 앞에서 언급된 알고리즘들을 이용하여 필터링된 것이다. 필터링된 이미지가 노이즈를 덜 가지며 오리지널 이미지의 주변 환경을 유지하고 있는 것을 알 수 있다.

본 명세서에 개시된 실시예들은 적어도 하나의 하드웨어 장치에서 실행되어 요소들을 제어하는 네트워크 관리 기능들을 수행하는 적어도 하나의 소프트웨어를 통해 구현될 수 있다. 도 1 및 도 4에 도시된 요소들은 하드웨어 장치 및 하드웨어 장치와 소프트웨어 모듈의 조합 중의 적어도 하나일 수 있는 블록들을 포함한다.

상술한 본 발명의 설명에서는 휴대 단말기와 같은 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.

101: 플래시 이미지 획득부 102: 주변 이미지 획득부
401a, 401b: 웨이블릿 분해부 402: 에지 식별부
403: 노이즈 액티비티 계산부 404: 커널 추정부
405a, 405b: L^*a^*b^* 변환부 406: 필터
407: RGB 변환부

Claims

디지털 사진에서 노이즈를 제거하는 방법에 있어서,
플래시를 실행하지 않고 촬영한 주변 이미지와 상기 플래시를 실행하여 촬영한 적어도 하나의 플래시 이미지를 연속으로 캡처하는 단계와,
상기 주변 이미지와 상기 플래시 이미지에 이미지 정렬 기법을 적용하는 단계와,
상기 플래시 이미지에 조인트 평균 이동 필터링을 적용함으로써 필터 가중치들을 획득하는 단계와,
상기 주변 이미지에 상기 필터 가중치들을 적용하여 상기 주변 이미지의 노이즈를 제거하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
제 1 항에 있어서, 상기 정렬 기법을 적용하는 단계는, 상기 주변 이미지와 상기 플래시 이미지로부터 관심 포인트 검출기에 의해 계산된 포인트들을 포함하는 후보 포인트 집합을 사용하는 것을 특징으로 하는 노이즈 제거 방법.
제 2 항에 있어서, 상기 관심 포인트 검출기는 해리스 코너 검출기와 SIFT 검출기 중에서 적어도 어느 하나인 것을 특징으로 하는 노이즈 제거 방법.
제 2 항에 있어서, 상기 정렬 기법을 적용하는 단계는, 그래디언트 오리엔테이션을 이용하여 상기 후보 포인트 집합에 포함된 포인트들 중에서 매칭되지 않는 포인트 쌍을 제거함으로써 상기 후보 포인트 집합을 개선하는 것을 특징으로 하는 노이즈 제거 방법.
제 1 항에 있어서, 상기 조인트 평균 이동 필터링을 적용하는 단계는, 상기 주변 이미지와 상기 플래시 이미지의 컬러 이미지 데이터를 지각적 균일 색 공간으로 변환하는 것을 특징으로 하며,
상기 지각적 균일 색 공간은 L^*u^*v^* 색 공간과 L^*a^*b^*색 공간 중에서 하나인 것을 특징으로 하는 노이즈 제거 방법.
제 1 항에 있어서, 상기 조인트 평균 이동 필터링은 조인트 공간-레인지 도메인을 포함하며,
상기 조인트 공간-레인지 도메인 중에서 공간 도메인은 격자 그리드 사이트(site)들을 포함하고, 상기 조인트 공간-레인지 도메인 중에서 레인지 도메인은 L^* 컴포넌트 데이터 값들을 포함하는 것을 특징으로 하는 노이즈 제거 방법.
제 1 항에 있어서, 상기 조인트 평균 이동 필터링은 상기 주변 이미지를 필터링하는 단일 반복 평균 이동 필터를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
제 1 항에 있어서, 상기 조인트 평균 이동 필터에 대한 대역폭 파라미터를 선택함으로써 필터링의 정도를 선택하는 단계를 더 포함하는 것을 특징으로 하는 노이즈 제거 방법.
제8항에 있어서,
상기 필터링의 정도를 선택하는 단계는,
상기 플래시 이미지와 상기 주변 이미지의 웨이블릿 분해들을 계산하는 단계와,
상기 주변 이미지의 웨이블릿 분해의 부대역와 상기 플래시 이미지의 웨이블릿 분해의 부대역을 비교하여 유효 에지들을 식별하는 단계와,
상기 주변 이미지에 대한 상기 부대역과 상기 식별된 유효 에지에 대한 정보를 포함하는 에지 정보를 이용하여 노이즈 액티비티 스코어를 계산하는 단계와,
상기 노이즈 액티비티 스코어를 이용하여 상기 조인트 평균 이동 필터에 대한 커널의 크기들을 획득하는 단계와,
상기 플래시 이미지를 이용하여 상기 커널의 크기들에 대한 가중치들을 계산하는 단계와,
상기 가중치들을 이용하여 상기 주변 이미지를 필터링하는 단계를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
제 9 항에 있어서, 상기 웨이블릿 분해들을 계산하는 단계는, 상기 플래시 이미지와 상기 주변 이미지에 대한 단일 웨이블릿 분해들을 계산하는 것을 특징으로 하는 노이즈 제거 방법.
디지털 사진에서 노이즈를 제거하는 장치에 있어서,
플래시를 실행하지 않고 촬영한 주변 이미지와 상기 플래시를 실행하여 촬영한 적어도 하나의 플래시 이미지를 연속으로 캡처하는 카메라부와,
상기 주변 이미지와 상기 플래시 이미지에 이미지 정렬 기법을 적용하며, 상기 플래시 이미지에 조인트 평균 이동 필터링을 적용함으로써 필터 가중치들을 획득하고, 상기 주변 이미지에 상기 필터 가중치들을 적용하여 상기 주변 이미지의 노이즈를 제거하는 이미지 처리부를 포함하는 것을 특징으로 하는 노이즈 제거 장치.
제 11 항에 있어서, 상기 이미지 처리부는, 상기 주변 이미지와 상기 플래시 이미지로부터 관심 포인트 검출기에 의해 계산된 포인트들을 포함하는 후보 포인트 집합을 사용하는 것을 특징으로 하는 노이즈 제거 장치.
제 12 항에 있어서, 상기 관심 포인트 검출기는, 해리스 코너 검출기와 SIFT 검출기 중에서 적어도 어느 하나인 것을 특징으로 하는 노이즈 제거 장치.
제 12 항에 있어서, 상기 이미지 처리부는, 그래디언트 오리엔테이션을 이용하여 상기 후보 포인트 집합에 포함된 포인트들 중에서 매칭되지 않는 포인트 쌍을 제거함으로써 상기 후보 포인트 집합을 개선하는 것을 특징으로 하는 노이즈 제거 장치.
제 11 항에 있어서, 상기 이미지 처리부는, 상기 주변 이미지와 상기 플래시 이미지의 컬러 이미지 데이터를 지각적 균일 색 공간으로 변환하는 것을 특징으로 하며,
상기 지각적 균일 색 공간은 L^*u^*v^* 색 공간과 L^*a^*b^*색 공간 중에서 하나인 것을 특징으로 하는 노이즈 제거 장치.
제 11 항에 있어서, 상기 조인트 평균 이동 필터링은 조인트 공간-레인지 도메인을 포함하며,
상기 조인트 공간-레인지 도메인 중에서 공간 도메인은 격자 그리드 사이트(site)들을 포함하고, 상기 조인트 공간-레인지 도메인 중에서 레인지 도메인은 L^* 컴포넌트 데이터 값들을 포함하는 것을 특징으로 하는 노이즈 제거 장치.
제 11 항에 있어서, 상기 조인트 평균 이동 필터링은 상기 주변 이미지를 필터링하는 단일 반복 평균 이동 필터를 포함하는 것을 특징으로 하는 노이즈 제거 장치.
제 1 항에 있어서, 이미지 처리부는, 상기 조인트 평균 이동 필터에 대한 대역폭 파라미터를 선택함으로써 필터링의 정도를 선택하는 것을 특징으로 하는 노이즈 제거 장치.
제18항에 있어서,
상기 이미지 처리부는, 상기 플래시 이미지와 상기 주변 이미지의 웨이블릿 분해들을 계산하는 웨이블릿 분해부와,
상기 주변 이미지의 웨이블릿 분해의 부대역와 상기 플래시 이미지의 웨이블릿 분해의 부대역을 비교하여 유효 에지들을 식별하는 에지 식별부와,
상기 주변 이미지에 대한 상기 부대역과 상기 식별된 유효 에지에 대한 정보를 포함하는 에지 정보를 이용하여 노이즈 액티비티 스코어를 계산하는 노이즈 액티비티 계산부와,
상기 노이즈 액티비티 스코어를 이용하여 상기 조인트 평균 이동 필터에 대한 커널의 크기들을 획득하는 커널 추정부와,
상기 플래시 이미지를 이용하여 상기 커널의 크기들에 대한 가중치들을 계산하고, 상기 가중치들을 이용하여 상기 주변 이미지를 필터링하는 필터를 포함하는 것을 특징으로 하는 노이즈 제거 장치.
제 19 항에 있어서, 상기 웨이블릿 분해부는, 상기 플래시 이미지와 상기 주변 이미지에 대한 단일 웨이블릿 분해들을 계산하는 것을 특징으로 하는 노이즈 제거 장치.