KR102265887B1 - 에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서 - Google Patents

에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서 Download PDF

Info

Publication number
KR102265887B1
KR102265887B1 KR1020140136186A KR20140136186A KR102265887B1 KR 102265887 B1 KR102265887 B1 KR 102265887B1 KR 1020140136186 A KR1020140136186 A KR 1020140136186A KR 20140136186 A KR20140136186 A KR 20140136186A KR 102265887 B1 KR102265887 B1 KR 102265887B1
Authority
KR
South Korea
Prior art keywords
vertices
signal
edge
layer
data points
Prior art date
Application number
KR1020140136186A
Other languages
English (en)
Other versions
KR20150043979A (ko
Inventor
헨리 레비 나단
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/054,087 external-priority patent/US9275446B2/en
Priority claimed from US14/199,132 external-priority patent/US9280811B2/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20150043979A publication Critical patent/KR20150043979A/ko
Application granted granted Critical
Publication of KR102265887B1 publication Critical patent/KR102265887B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

데이터 포인트들을 갖는 디지털 신호에 대해 에지-보존 저역 통과 필터링을 수행하는 에지-보존 장치는 데이터를 저장하기 위한 메모리와, 프로세서를 포함한다. 상기 프로세서는 적어도 두 개의 그리드들의 꼭지점들에서 신호 층(signal layer)의 가중 평균들을 계산하고, 상기 데이터 포인트들 각각에 대해, 상기 데이터 포인트들에 이웃하는 상기 적어도 두 개의 그리드들 각각의 꼭지점들에서 상기 신호 층의 상기 가중 평균들에 기초하여 큰-반경의 에지 보존 저역-통과 필터된 신호를 생성하고, 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들은 상기 데이터 포인트들의 서로 다른 부분 집합이고 상기 꼭지점들의 양은 상기 데이터 포인트들의 양보다 적다.

Description

에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서{EDGE-PRESERVING DEVICE, METHOD THEREOF, AND DIGITAL SIGNAL PROCESSOR}
본 발명의 개념에 따른 실시 예는 에지-보존 저역-통과 필터링에 관한 것으로, 특히 에지들을 보존하는 동안 효율적으로 디지털 이미지들을 매끄럽게 하기 위해 상기 디지털 이미지에 상기 가중 평균을 하여 큰 반경의 에지-보존 저역-통과 필터된 신호를 생성하는 에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서에 관한 것이다.
동적 범위(dynamic range(DR))는 변화량의 최대가능 값과 최소가능 값 사이의 비율을 의미한다. 이미지 처리에서, 종종 "명암비(contrast ratio)"라 불리는 상기 동적 범위(DR))는 휘도의 범위이다. 이미징 장치 또는 디스플레이 장치의 상기 동적 범위와 자연 영상에서의 상기 동적 범위는 종종 큰 차이가 있다.
그러므로, 디지털 카메라를 이용하여 생성된 자연 영상에서의 디지털 이미지가 컴퓨터 디스플레이에서 디스플레이될 때, 톤 맵핑(tone mapping) 기술을 이용하여 상기 디지털 신호의 상기 동적 범위를 압축하는 것이 바람직하다.
톤 맵핑 또는 동적 범위 압축(dynamic range compression(DRC))은 종종 디지털 카메라의 이미지 센서에서 캡쳐된 장면의 휘도의 동적 범위를 감소시키는데 사용된다. 그 결과는 그림자 영역과 낮은 조명 영역에서 디테일(detail)을 증가하도록 초점 면에서 노출한다. 비록, 이것은 디스플레이에서 이용가능한 고정된 동적 범위를 증가하는 것은 아니지만, 실제로 이용가능한 동적 범위를 확장한다.
DRC를 수행하기 위해, 이미지는 종종 비슷한 휘도의 영역들(zones)로 분할되고, 알고리즘은 상기 영역들 내에서 로컬 컨트라스트 레벨(local contrast level)을 유지하기 위해 시도된다. 이미지를 상기 영역들로 분할하기 위해 비슷한 휘도 레벨을 가지는 이미지의 영역들을 결정하는 것이 바람직하다. 상기 휘도 영역들을 결정하기 위해, 저역- 통과 필터를 적용하는 것이 바람직하다.
종래의 저역-통과 필터는 인접한 픽셀 값들을 평균하여 선형의 일방향 필터링을 수행한다. 그러나, 일방향 필터는 에지들을 흐릿하게 할 수 있고, 다양한 휘도 영역들을 혼합할 수 있다. 상기 휘도 영역들 각각의 내부에서 필터링 동작을 수행하는 저역-통과 필터를 적용하는 것은 바람직하다. 그러나, 에지들 사이에서 상기 필터를 적용하지 않음으로써 상기 휘도 영역들 사이의 상기 에지들이 보존된다.
저역-통과 필터는 멀리 떨어져 있지만 여전히 같은 휘도 영역에 속하는 픽셀들 사이에서 휘도 평균을 내기 위해 큰 반경(large radius)을 가진다.
에지-보존 필터링은 에지들을 보존하는 동안 이미지들을 매끄럽게 하기 위한 비선형 필터링 기술이다. 상기 에지 보존 필터링 기술은 양방향 필터링이다. 양방향 필터링은 에지들을 가로지르는 값들을 특이점으로 고려하는 추정기(estimator)이다. 양방향 필터링에서, 디지털 이미지의 각 픽셀에서 명암 값은 인근 픽셀들로부터의 명암 값의 가중 평균에 의해 대체되는데, 가중값은 픽셀들 사이의 거리뿐만 아니라 큰 명암 차를 갖는 픽셀들 사이에서 감소되는 명암 차이에 의존한다.
상기 각 픽셀의 명암 값을 상기 양방향 가중 평균으로 대체함으로써, 픽셀 휘도에 관한 유사성과 그들의 공간 입자들 모두에 기초하여 서로 유사한 두 픽셀들을 결정하고, 휘도 영역들 사이의 날카로운 에지들(sharp edges)은 보존될 수 있다. 그러나, 종래 양방향 필터는 종종 가중 평균에 기여하고, 높은 장비 비용과 낮은 처리 속도를 유도하는 중요한 특성들을 보존하는 동안에 효과적으로 잡음을 제거하기 위해 서포트(support)로 잘 알려진 픽셀들의 큰 세트를 요구한다.
본 발명이 이루고자 하는 기술적인 과제는, 각 그리드의 꼭지점들에서 신호 층의 가중 평균을 계산하고, 상기 신호 층의 가중 평균에 기초하여 데이터 포인트들 각각에 대해 큰 반경의 에지-보존 저역-통과 필터된 신호를 생성하여 선명한 디지털 이미지를 확보할 수 있는 에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서를 제공하는 것이다.
본 발명의 실시 예에 따른 데이터 포인트들을 갖는 디지털 신호에 대해 에지-보존 저역 통과 필터링을 수행하는 에지-보존 장치는 데이터를 저장하기 위한 메모리와, 프로세서를 포함한다. 상기 프로세서는 적어도 두 개의 그리드들의 꼭지점들에서 신호 층(signal layer)의 가중 평균들을 계산하고, 상기 데이터 포인트들 각각에 대해, 상기 데이터 포인트들에 이웃하는 상기 적어도 두 개의 그리드들 각각의 꼭지점들에서 상기 신호 층의 상기 가중 평균들에 기초하여 큰-반경의 에지 보존 저역-통과 필터된 신호를 생성하고, 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들은 상기 데이터 포인트들의 서로 다른 부분 집합이고 상기 꼭지점들의 양은 상기 데이터 포인트들의 양보다 적다.
상기 프로세서는 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들에서 객체 층(object layer)의 값들을 결정하고, 상기 꼭지점들에서 상기 객체 층의 상기 값들을 메모리에 저장하고, 상기 객체 층은 상기 신호 층에 기초한다.
상기 디지털 신호는 이미지 신호이고, 상기 신호 층은 상기 이미지 신호의 YUV 포맷화된 형태(formatted version)의 y-채널 성분이고, 상기 객체 층은 상기 신호 층의 흐릿한 형태(blurred version)일 수 있다.
상기 프로세서는 상기 꼭지점들 각각에 대해 상기 꼭지점들 각각을 둘러싸고 있는 영향 영역(influence zone)을 결정하는 것과, 상기 꼭지점들 각각에 대해 상기 영향 영역 내에서 상기 신호 층의 상기 데이터 포인트들의 상기 신호 층의 상기 가중 평균들을 계산하는 것에 의해, 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들 각각에서 상기 신호 층의 상기 가중 평균들을 계산한다.
본 발명의 실시 예에 따른 데이터 포인트들을 갖는 디지털 신호를 수신하는 디지털 신호 프로세서는 적어도 두 개의 그리드들의 꼭지점들에서 신호 층(signal layer)의 가중 평균들을 계산하는 것과, 상기 데이터 포인트들 각각에 대해 상기 데이터 포인트들에 이웃하는 상기 적어도 두 개의 그리드들 각각의 꼭지점들에서 상기 신호 층의 상기 가중 평균들에 기초하여 큰-반경 에지-보존 저역-통과 필터된 신호를 생성하는 것에 의해 에지-보존 저역-통과 필터된 이미지를 생성하는 에지-보존 프로세서와, 상기 큰-반경 에지-보존 저역-통과 필터된 신호를 이용하여 상기 디지털 신호에 대한 동적 범위 압축을 수행하여 압축된 신호를 생성하는 동적 범위 압축(dynamic range compression (DRC)) 프로세서를 포함하고, 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들은 상기 데이터 포인트들의 서로 다른 부분 집합이고 상기 꼭지점들의 양은 상기 데이터 포인트들의 양보다 적다.
상기 에지-보존 프로세서는 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들에서 객체 층의 값들을 결정하고, 상기 꼭지점들에서 상기 객체 층의 값들을 메모리에 저장하고, 상기 객체층은 상기 신호 층의 흐릿한 형태(blurred version)이다.
상기 에지-보존 프로세서는 상기 꼭지점들 각각에 대해 상기 꼭지점들 각각을 둘러싸고 있는 영향 영역(influence zone)을 결정하는 것과, 상기 꼭지점들 각각에 대해 상기 영향 영역 내에서 상기 신호 층의 상기 데이터 포인트들의 상기 신호 층의 상기 가중 평균들을 계산하는 것에 의해, 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들 각각에서 상기 신호 층의 상기 가중 평균들을 계산한다.
상기 디지털 신호의 Y-채널 성분을 나타내는 상기 신호 층을 생성하는 베이어(Bayer)-YUV 프로세서를 더 포함한다.
상기 DRC 프로세서는 상기 압축된 신호를 출력 장치로 공급하고, 상기 압축된 신호는 상기 출력 장치에서 이용가능한 동적 범위 내에서 압축되는 상기 동적 범위를 갖는다.
본 발명의 실시 예에 따른 데이터 포인트들을 갖는 디지털 신호에 대해 에지-보존 저역 통과 필터링을 수행하는 방법은 적어도 두 개의 그리드들의 꼭지점들에서 신호 층(signal layer)의 가중 평균들을 계산하는 단계와, 상기 데이터 포인트들 각각에 대해, 상기 데이터 포인트들에 이웃하는 상기 적어도 두 개의 그리드들 각각의 꼭지점들에서 상기 신호 층의 상기 가중 평균들에 기초하여 큰-반경의 에지 보존 저역-통과 필터된 신호를 생성하는 단계를 포함하고, 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들은 상기 데이터 포인트들의 서로 다른 부분 집합이고 상기 꼭지점들의 양은 상기 데이터 포인트들의 양보다 적다.
본 발명의 실시 예에 따른 에지-보존 저역-통과 필터링 방법은 신호 층의 가중 평균과 에지-보존 저역-통과 필터링을 통하여 원본 디지털 이미지보다 선명한 디지털 이미지를 얻을 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 이미지 센서를 포함하는 이미지 감지 시스템의 개략적인 블록도이다.
도 2는 본 발명의 실시 예에 따른 디지털 신호 프로세서에 포함된 이미지 처리 블록의 개략적인 블록도이다.
도 3은 본 발명의 실시 예에 따른 큰 반경 에지 보존 방법을 설명하기 위한 플로우차트이다.
도 4는 본 발명의 실시 예에 따른 디지털 신호 프로세서에 포함된 베이어 (Bayer)-YUV 프로세서의 개략적인 블록도이다.
도 5는 본 발명의 실시 예에 따른 베이어(Bayer)-YUV 프로세서에 포함된 블러링 필터(blurring)에 의해 블러링되는 픽셀 윈도우(pixel window)를 나타낸다.
도 6은 본 발명의 실시 예에 따라 객체 층 o(x,y) 이미지에 대한 래스터 스캔을 수행함으로써 상기 객체 층 o(x,y) 이미지 내의 꼭지점들 (X,Y)의 값들을 결정하는 에지-보존 저역-통과 필터 프로세서의 실시 예를 나타낸다.
도 7a부터 도 7c는 본 발명의 실시 예에 따라 큰 반경 에지-보존 저역-통과 필터링 방법(large radius edge-preserving low-pass filtering method)에 의해 사용되는 픽셀 어레이들의 작동 다이어그램들을 나타낸다.
도 8은 본 발명의 실시 에에 따라 에지-보존 저역-통과 필터링이 수행된 디지털 이미지를 나타낸다.
도 9는 본 발명의 다른 실시 예에 따른 디지털 신호 프로세서에 포함된 이미지 처리 블록의 개략적인 블록도이다.
도 10은 본 발명의 실시 예에 따른 다중-스케일(multi-scale) 큰 반경 에지-보존 방법을 설명하기 위한 플로우 차트를 나타낸다.
도 11은 본 발명의 실시 예에 따라 객체 층(o(x,y)) 이미지에 대한 래스터 스캔들을 수행하여 상기 객체 층(o(x,y)) 이미지의 꼭지점들(Xi,Yi)에서의 값들을 결정하는 다중-스케일 에지-보존 저역-통과 필터 프로세서의 실시 예를 나타낸다.
도 12는 본 발명의 실시 예에 따라 신호 층(Si(Xi,Yi))의 가중 평균들로부터 에지-보존 저역-통과 필터된 버전(/s(x,y))을 생성하는 것을 나타낸다.
도 13은 본 발명의 실시 예에 따라 다중-스케일 에지-보존 저역-통과 필터링이 수행된 디지털 이미지를 나타낸다.
도 14는 본 발명의 실시 예에 따른 사용자 장비(user equipment)를 나타낸다.
도 15는 본 발명의 실시 예에 따른 음향 신호와 상기 음향 신호에 상응하는 큰 반경 에지-보존 저역-통과 필터된 버전의 그래프를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 포함하는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시 예에 따라, 소프트웨어 구현 측면이 전형적으로 일부 프로그램 저장 매체의 인코딩되거나, 일부 타입의 전송 매체로 구현되는 것을 주목해야한다. 프로그램 저장 매체는 자기(예를 들어, 플로피 디스크 또는 하드 디스크) 또는 광(예를 들어, 메모리 또는 "CD ROM"만 읽는 컴팩트 디스크)과 같은 임의의 비휘발성 저장 매체일 수 있다. 비슷하게, 전송 매체는 뒤틀린 와이어 쌍, 동축 케이블, 광섬유 또는 기술분야에 잘 알려진 다른 적절한 전송 매체일 수 있다. 실시 예는 이렇게 주어진 구현 측면에만 한정되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 이미지 센서를 포함하는 이미지 감지 시스템의 개략적인 블록도이다.
도 1을 참조하면, 이미지 감지 시스템(image sensing system; 10)은 이미지 센서(100), 디지털 신호 프로세서(200), 디스플레이 유닛(300) 및/또는 렌즈(500)를 포함한다.
이미지 감지 시스템(10)은 디지털 카메라 또는 디지털 카메라를 포함하는 휴대용 장치, 예컨대 모바일 사용자 단말기에 사용될 수 있다. 이미지 감지 시스템 (10)은, 디지털 신호 프로세서(200)의 제어에 따라, 렌즈(500)를 통해 입력된 객체 (400)의 이미지를 감지할 수 있다.
이미지 센서(100)는 픽셀 어레이(110), 로우 드라이버 블록(120), 타이밍 생성기(170), 컨트롤 레지스터 블록(180) 및 리드아웃 블록(190)을 포함할 수 있다.
픽셀 어레이(110)는 복수의 픽셀들을 포함할 수 있고, 상기 복수의 픽셀들은 복수의 로우들과 복수의 컬럼들에 매트릭스 형태로 배열된다. 픽셀 어레이(110)는 복수의 광전 변환 소자들(예컨대, 포토 다이오드들 또는 핀드(pinned) 포토 다이오드들)을 이용하여 빛을 감지하고, 상기 빛을 전기 신호로 바꾸어 이미지 신호를 생성한다.
복수의 픽셀들 각각은 컬러 필터를 포함한다. 예컨대, 상기 컬러 필터는 레드 파장 영역에서 빛을 통과시키는 레드 필터(red filter), 그린 파장 영역에서 빛을 통과시키는 그린 필터(green filter), 또는 블루 파장 영역에서 빛을 통과시키는 블루 필터(blue filter)일 수 있다.
실시 예에 따라, 상기 컬러 필터는 시안(cyan) 필터, 마젠타(magenta) 필터 또는 옐로우(yellow) 필터일 수 있다.
디지털 신호 프로세서(200)는 카메라 컨트롤러(210), 이미지 처리 블록 (220), 인터페이스(I/F;230) 및 메모리(240)를 포함할 수 있다.
카메라 컨트롤러(210)는, I2C(inter-integrated circuit)를 이용하여, 컨트롤 레지스터 블록(180)을 통해 이미지 센서(100)를 제어할 수 있으나 이에 한정되는 것은 아니다.
이미지 처리 블록(220)은 리드아웃 블록(140)에 의해 변환되고 이미지 센서 (100)에 의해 출력된 이미지 신호를 처리함으로써 이미지를 생성할 수 있고, 생성된 이미지를 인터페이스(I/F;230)를 통해 디스플레이 유닛(300)으로 출력할 수 있고, 생성된 이미지를 메모리(240)에 저장할 수 있다. 디스플레이 유닛(300)은 이미지를 디스플레이할 수 있는 모든 장치를 포함한다.
타이밍 생성기(170)는 제어 신호들을 출력함으로써 로우 드라이버 블록(160)과 리드아웃 블록(190)을 제어할 수 있다.
제어 레지스터 블록(175)은, 카메라 컨트롤러(210)의 제어에 따라, 이미지 센서(100)의 작동을 제어할 수 있다.
로우 드라이버 블록(160)은, 타이밍 생성기(170)에 의해 생성된 로우 제어 신호에 기초하여, 로우 선택 신호를 발행함으로써 픽셀 어레이(110)의 로우(row)를 구동할 수 있다.
픽셀 어레이(110)는 로우 드라이버 블록(160)으로부터 공급된 로우 선택 신호와 게이트 선택 신호에 의해 선택적으로 구동된 로우로부터 픽셀 신호를 리드아웃 블록(190)으로 출력할 수 있다.
리드아웃 블록(190)은 픽셀 어레이(11)로부터 출력된 픽셀 신호들을 일시적으로 저장하고, 상기 픽셀 신호들을 디지털 이미지로 변환하는 아날로그-디지털 컨버터를 포함할 수 있고, 상기 변환된 디지털 이미지를 이미지 처리 블록, 예컨대 이미지 신호 프로세서(220)로 출력할 수 있다.
에지들( edges )을 보존하는데 사용되는 신호 층( signal layer )의 단일 가중 평균( single weighted average )
도 2는 본 발명의 실시 예에 따른 디지털 신호 프로세서에 포함된 이미지 처리 블록의 개략적인 블록도를 나타낸다.
도 1과 도 2를 참조하면, 이미지 처리 블록(220)은 베이어(Bayer)-투(to)-YUV 프로세서(222), 에지-보존 저역-통과 필터 프로세서(224), 동적 범위 압축 (dynamic range compression(DRC)) 프로세서(226) 및 캐시(228)를 포함할 수 있다.
이미지 처리 블록(220)은 도 2에 도시되지 않은 특징들(features)을 포함할 수 있고, 도 2에 도시된 특징들에 한정되지 않는다. 프로세서들(222, 224, 및 226)이 이미지 처리 블록(220)의 내부에 도시되었으나, 프로세서들(222, 224, 및 226)은 이미지 처리 블록(220)의 외부에 구현될 수 있다.
베이어(Bayer)-YUV 프로세서(222), 에지-보존 저역-통과 필터 프로세서(224) 및 DRC 프로세서(226)는 이미지 데이터를 처리할 수 있는 모든 장치들을 포함할 수 있다. 상기 장치들은 입력 데이터에 기초하여 특정 작동들을 수행하거나 컴퓨터로 읽을 수 있는 코드에 포함된 명령어들(instructions)을 실행할 수 있는 마이크로프로세서를 포함할 수 있다. 컴퓨터로 읽을 수 있는 코드는 캐시(228)에 저장될 수 있다.
캐시(228)는 데이터를 저장할 수 있는 모든 장치를 포함한다, 상기 장치는 자기 기억 장치, 또는 플래시 저장 장치 등을 포함한다. 캐시(228)는 이미지 처리 블록(220), 예컨대 이미지 신호 프로세서의 일부분일 수 있고, 외부 장치의 위에 물리적으로 위치할 수 있다.
도 3은 본 발명의 실시 예에 따른 큰 반경 에지 보존 방법(large radius edge-preserving method)을 설명하기 위한 플로우 차트이다.
도 1부터 도 3을 참조하면, 도 3에 도시된 바와 같이, 프로세스(300)에서, 이미지 처리 블록(220)의 에지-보존 저역-통과 필터 프로세서(224)는 큰 반경 에지-보존 저역-통과 필터된 디지털 이미지를 생성하기 위해 수신된 디지털 이미지에 대해 래스터 스캔(raster scan) 순서에서 3단계를 수행할 수 있다.
S310 단계에서, 에지-보존 저역-통과 필터 프로세서(224)는 디지털 이미지의 신호 층(signal layer; s(x,y)) 이미지와 객체 층(object layer; o(x,y)) 이미지를 수신한다.
신호 층(s(x,y)) 이미지는 수신된 디지털 이미지의 픽셀들 각각의 휘도 레벨 (luminance level)을 나타낸다. 신호 층(s(x,y)) 이미지는 높은 동적 범위(high dynamic range((HDR)), 예컨대 컨트라스트(contrast)의 8비트보다 큰 이미지를 갖는 이미지일 수 있다.
객체 층(o(x,y))은 신호 층 값들(s(x,y))을 평균할 때 픽셀들(x,y)에 할당된 가중치를 결정하는 식별 층을 나타낼 수 있다. 객체 층(o(x,y))은, 픽셀(x,y) 주위의 작은 서포트(support)를 갖는 가지는 콘벌루션 매트릭스(convolution matrix)를 이용하여, 객체 층(o(x,y)) 이미지에서 각 픽셀의 휘도 값을 평균함으로써 형성될 수 있다. 상기 객체 층을 형성하는 실시 예는 도 5를 참조하여 상세히 설명될 것이다.
수신된 디지털 이미지는 베이어-패턴(Bayer-pattern)의 포맷일 수 있고, 각 픽셀은 빨강 강도 레벨(red intensity level), 파랑 강도 레벨 또는 녹색 강도 레벨을 가질 수 있다. 생성된 신호 층(s(x,y))과 생성된 객체 층(o(x,y))은 하나의 휘도 성분(Y)과 두 채도 성분들(UV)을 갖는 YUV 형태의(YUV formatted) 디지털 이미지들일 수 있다. 예컨대, 신호 층(s(x,y))은 YUV 형태의 디지털 이미지의 휘도 성분(Y-채널)일 수 있고, 객체 층(o(x,y))은 상기 휘도 성분(Y-채널)의 흐릿한 형태(blurred version)일 수 있다.
도 4는 본 발명의 실시 예에 따른 디지털 신호 프로세서에 포함된 베이어 (Bayer)-YUV 프로세서의 개략적인 블록도이다.
도 2부터 도 4를 참조하면, 베이어(Bayer)-YUV 프로세서(222)는, 리드아웃 블록(190)로부터 수신된 디지털 이미지에 기초하여, 신호 층(s(x,y))과 객체 층 (o(x,y))을 발생시킬 수 있다.
베이어(Bayer)-YUV 프로세서(222)는 베이어-투(to)-RGB 필터(410), RGB-투 (to)-YUV 필터(420) 및 블러링 필터(blurring filter; 430)를 포함할 수 있다.
베이어-RGB 필터(410)는 베이어 패턴 포맷을 갖는 디지털 이미지를 수신할 수 있고, RGB 형태의 디지털 이미지를 발생할 수 있다. RGB-YUV 필터(420)는 상기 RGB 형태의 디지털 이미지를 YUV 형태의 디지털 이미지로 변환할 수 있고, 상기 YUV 형태의 디지털 이미지의 휘도 성분(Y-채널)을 신호 층(s(x,y))으로 활용할 수 있다. 블러링 필터(430)는 상기 YUV 형태의 디지털 이미지를 가우시안(Gaussian) 값들의 커널(kernel)로 컨벌브(convolve)함으로써 객체 층(o(x,y))을 생성할 수 있다. 상기 가우시안 커널은 고주파 신호들을 감쇠하는 저역-통과 필터의 한 형태일 수 있다.
도 5는 본 발명의 실시 예에 따른 베이어(Bayer)-YUV 프로세서에 포함된 블러링 필터(blurring)에 의해 블러링되는 픽셀 윈도우(pixel window)를 나타낸다.
도 5에 도시된 바와 같이, 블러링 필터(430)로 입력된 신호 층(s(x,y))은 복수의 픽셀들(510)을 포함할 수 있다. 블러링 필터(430)는, 신호 층(o(x,y))에서 복수의 흐릿한(blurred) 픽셀들(530)을 생성하기 위해, 슬라이딩 윈도우(520)에서 가우시안 커널의 적용과 슬라이딩 원도우(520) 내에서 픽셀들(510)의 가중 평균의 수행함에 따라 픽셀들(510) 각각을 흐릿하게 할 수 있다. 슬라이딩 윈도우(520)는 도 5에 도시된 바와 같이 5x5 픽셀 윈도우(또는 샘플링 윈도우)일 수 있으나, 이에 한정되지 않고, 블러링 필터(430)는 객체 층(o(x,y))에서 흐릿한 픽셀들(530)을 생성하기 위해 다양한 슬라이딩 윈도우들을 샘플 데이터로 활용할 수 있다.
베이어-YUV 프로세서(222)는 신호 층(s(x,y))과 객체 층(o(x,y))을 생성할 수 있고, 신호 층(s(x,y)) 이미지와 객체 층(o(x,y)) 이미지는 에지-보존 저역-통과 필터 프로세서(224)의 입력들이고, 외부 입력, 예컨대 메모리(240)를 통해, 전-처리(pre-processed)되고 에지-보존 저역-통과 필터 프로세서(224)로 공급될 수 있다.
도 2와 도 3을 다시 참조하면, S320 단계에서, 에지-보존 저역-통과 필터 프로세서(224)는 객체 층(o(x,y)) 이미지에 래스터 스캔을 수행하여 객체 층(o(x,y)) 이미지에 위치하는 꼭지점들(X,Y)에서의 값들을 결정할 수 있고, 결정된 객체 층 꼭지점들(o(X,Y))을 메모리(240) 및/또는 캐시(228)에 저장할 수 있다.
에지-보존 저역-통과 필터 프로세서(224)는 디지털 이미지를 델타(Δ) 픽셀들 간격으로 떨어져 있는 꼭지점들(X,Y)을 갖는 그리드(grid)로 나눠서 꼭지점들 (X,Y)을 결정할 수 있다. 상기 델타(Δ)는 에지-보존 저역 통과 필터의 유효 반경이다. 예컨대, 꼭지점들(X,Y)은 객체 층(o(X,Y)) 이미지의 2차원에서 서로 25 픽셀들과 75 픽셀들 사이에서 떨어져 있을 수 있다. 게다가, 꼭지점들(X,Y)은 디지털 이미지의 해상도에 따라 다르게 간격을 두고 있을 수 있다. 예컨대, 디지털 이미지의 해상도가 증가함에 따라, 꼭지점들(X,Y) 사이의 거리(Δ)는 증가할 수 있다. 유효 반경(Δ)은 10 픽셀들과 20 픽셀들 사이에서 한정된 종래의 이미지 신호 프로세서의 유효 반경보다 클 수 있다.
예컨대, 도 7a에 도시된 바와 같이, 에지-보존 저역-통과 필터 프로세서 (224)는 꼭지점((x,y); 710)으로부터 델타(Δ) 픽셀들만큼 떨어진 픽셀들(700)을 결정할 수 있다. 그러므로, 객체 층(o(x,y))의 꼭지점들(X,Y)을 메모리(240) 및/또는 캐시(228)에 저장하기 위해 요구된 공간의 양은 객체 층(o(x,y))의 데이터의 양에 비해 희박(sparse)할 수 있다.
도 6은 본 발명의 실시 예에 따라 객체 층 o(x,y) 이미지에 대한 래스터 스캔을 수행함으로써 상기 객체 층 o(x,y) 이미지 내의 꼭지점들 (X,Y)의 값들을 결정하는 에지-보존 저역-통과 필터 프로세서의 실시 예를 나타낸다.
도 6에 도시된 바와 같이, 2차원 평면에서 객체 층(o(x,y))은 Δ=14 픽셀들 간격을 두고 떨어져 있는 꼭지점 픽셀들(o(X,Y); 620)을 포함하는 복수의 픽셀들 (610)을 포함한다.
에지-보존 저역-통과 필터 프로세서(224)가 픽셀들(610)에 대해 래스터 이미지 스캔(raster image scan)을 수행할 때, 에지-보존 저역-통과 필터 프로세서 (224)는 꼭지점들(o(X,Y); 620)에서의 객체 층(o(x,y))의 픽셀 값들을 메모리, 예컨대 캐시(228)에 저장한다. 도 6은 Δ=14 픽셀들 간격으로 떨어져 있는 꼭지점 픽셀들(o(X,Y); 620)을 도시하였으나, 본 발명의 실시 예는 이에 한정되지 않는다. 예컨대, 앞서 언급한 바와 같이, 꼭지점들(o(X,Y))은 객체 층(o(x,y)) 이미지의 2차원에서 Δ=25 픽셀들과 Δ=75 픽셀들 사이의 간격으로 서로 떨어질 수 있다.
도 2와 도 3을 다시 참조하면, S330 단계에서, 에지-보존 저역-통과 필터 프로세서(224)는 아래의 수학식 1과 수학식 2를 이용하여 결정된 꼭지점들(X,Y) 각각에 대한 신호 층(s(x,y)) 이미지의 가중 평균(weighted average)을 계산할 수 있다.
에지-보존 저역-통과 필터 프로세서(224)는, 신호 층(s(x,y)) 이미지의 래스터 스캔 동안, 각 관심 꼭지점(X,Y)에 대해, 각 관심 꼭지점(X,Y)을 둘러싸고 있는 (2Δ)2 픽셀들에 의해 정의된 영향 영역(influence zone) 내에서 신호 층(s(x,y)) 이미지 내의 모든 픽셀들(x,y)의 가중 평균을 계산함으로써 신호 층(s(x,y))의 가중 평균(S(X,Y))을 결정할 수 있다. 그러므로, 관심 꼭지점(X,Y)의 특정 꼭지점에 대한 영향 영역은 신호 층(s(x,y)) 이미지 내의 픽셀들(x,y)의 범위, 즉 |x-X|〈 Δ 및 |y-Y|〈 Δ일 수 있다. 즉, 상기 영향 영역은 관심 꼭지점(X,Y)을 둘러싸고 있는 2Δ* 2Δ2 내에서 픽셀들(x,y)을 포함하는 것으로 정의될 수 있다.
[수학식 1]
Figure 112014096243294-pat00001
[수학식 2]
Figure 112014096243294-pat00002
수학식 1과 수학식 2에서 알 수 있듯이, 각 픽셀(x,y)에 대해, 가중치 함수 (w(x,y,X,Y))는 각 픽셀(x,y)에 할당된 가중치를 결정하는 판별자로서 각 픽셀에 대한 객체 층의 값, S320 단계에서 메모리(228 및/또는 240)에 저장된 그리드 꼭지점(o(X,Y))에서의 객체 층 이미지의 값뿐만 아니라 선택적 파라미터(selectivity parameter; σ)에 의존한다.
그러므로, 신호 층(s(x,y)) 이미지의 래스터 스캔을 수행하는 것뿐만 아니라, 꼭지점들(X,Y)에 대한 신호 층(s(x,y))의 가중 평균(S(X,Y))을 결정하기 위해, 에지-보존 저역-통과 필터 프로세서(224)는 가중치 함수(w(x,y,X,Y))를 결정하기 위해 객체 층(o(x,y)) 이미지를 래스터 스캔할 수 있다. 예컨대, 에지-보존 저역-통과 필터 프로세서(224)는 신호 층(s(x,y))과 객체 층(o(x,y))을 동시에 래스터 스캔할 수 있다.
수학식 2의 가중치 함수(w(x,y,X,Y))에서, 선택적 파라미터(σ)의 값이 증가함에 따라, 픽셀의 객체 층 값과 꼭지점의 객체 층 값 사이의 차이, 예컨대 휘도가 신호 층(s(x,y))의 가중 평균(S(X,Y)에 영향을 덜 줄 수 있다. 그러므로, 선택적 파라미터(σ)의 값이 무한대로 증가함에 따라, 상기 필터는 덜 선택적이고 덜 에지 보존적일 것이다. 반대로 선택적 파라미터(σ)의 값이 영(zero)으로 근접할수록, 상기 필터는 매우 선택적이고, 그리드 꼭지점(o(X,Y))의 객체 층 값과 같은 객체 층 값(o(x,y))을 갖는 픽셀들만이 그리드 꼭지점(X,Y)에 대한 신호 층(s(x,y))의 가중 평균(S(X,Y))에 영향을 줄 수 있다.
수학식 2는 가중치 함수로써 사용되는 가우시안 커널을 도시하는 반면에, 당해 기술 분야의 통상의 기술자는 어떠한 가중치 함수도 픽셀 (x,y)에 할당된 가중치 결정을 구별하는 데 사용될 수 있음을 인식할 것이다. 예컨대, 가중치 함수는, 픽셀(o(x,y))에 대한 객체 층과 꼭지점(o(X,Y))에 대한 객체 층 사이의 차이의 절대값(abs(o(x,y)-o(X,Y)))이 임계값 이하일 때, 가중치로서 '1'을 생성하는 함수일 수 있고, 그외의 경우에 가중치는 0일 수 있다.
S340 단계에서, 에지-보존 저역-통과 필터 프로세서(224)는 아래 수학식 3 및 수학식 4를 이용하여 신호 층의 가중 평균(S(X,Y))에서 이웃하는 꼭지점들(X,Y)의 값들을 평균함으로써 신호 층의 가중 평균(S(X,Y))의 에지-보존 저역-통과 필터된 형태(edge-preserving low-pass filtered version)(/s(x,y)=
Figure 112014096243294-pat00003
)를 생성할 수 있다.
에지-보존 저역-통과 필터 프로세서(224)는, 객체 층(o(x,y))의 래스터 스캔 동안, 픽셀들(x,y) 각각을 둘러싸고 있는 4개의 꼭지점들(X,Y)에서의 신호 층의 가중 평균(S(X,Y))과, 가중 함수(w(x,y,X,Y))와, 픽셀들(x,y) 각각을 둘러싸고 있는 4개의 꼭지점들(X,Y)에 각각에 대한 공간 함수(b)를 곱하여, 에지-보존 저역-통과 필터된 형태(/s(x,y))를 생성할 수 있다.
[수학식 3]
Figure 112014096243294-pat00004
[수학식 4]
Figure 112014096243294-pat00005
수학식 2에 나타난 바와 같이, 각 픽셀(x,y)에 대해, 가중치 함수 (w(x,y,X,Y))는 각 픽셀(o(x,y))에 대한 객체 층의 값, S320 단계에서 메모리(228 및/또는 240)에 저장된 그리드 꼭지점(o(X,Y))에서의 객체 층의 값, 뿐만 아니라 선택적 파라미터(σ)에 의존할 수 있다.
또한, 수학식 4에 나타난 바와 같이, 공간 함수(b)는 저역 통과 필터의 유효반경(Δ)의 함수이다. 따라서, 가중치(w(x,y,X,Y))가 1이라면, 에지-보존 저역-통과 필터된 형태(/s(x,y))는 이중 선형 보간(bilinear interpolation)의 결과가 될 것이다. 수학식 3에서 가중치 함수(w(x,y,X,Y))를 계산하는데 사용되는 선택적 파라미터(σ)는 수학식 1과 수학식 2에서 사용된 선택적 파라미터(σ)와 동일할 수 있다.
도 7a부터 도 7c는 본 발명의 실시 예에 따라 큰 반경 에지-보존 저역-통과 필터링 방법(large radius edge-preserving low-pass filtering method)에 의해 사용되는 픽셀 어레이들의 작동 다이어그램들을 나타낸다.
도 7a는 수신된 디지털 이미지, 생성된 신호 층(s(x,y)) 이미지, 및 객체 층 (o(x,y)) 이미지를 나타내는 픽셀 윈도우를 나타낸다. 도 7a에 도시된 바와 같이, 상기 수신된 디지털 이미지, 상기 생성된 신호 층(s(x,y)), 및 객체 층(o(x,y)) 이미지는 복수의 픽셀들(700)에 의해 모두 정의될 수 있다.
객체 층(o(x,y))은 픽셀들(x,y) 각각의 주위의 작은 서포트 윈도우(support window)에 대한 객체 층(o(x,y)) 내에서 픽셀들(x,y)의 휘도 평균값을 그 안에 저장하는 신호 층(s(x,y))의 흐릿한 형태(blurred version)인 반면, 신호 층(s(x,y)) 이미지는 수신된 디지털 이미지의 복수의 픽셀들(700) 각각의 휘도 값을 그 안에 저장할 수 있다. 예컨대, 상기 서포트 윈도우는 각 픽셀(x,y) 주위의 3*3 픽셀들 또는 5*5 픽셀들일 수 있다.
도 7b는 꼭지점들(X,Y) 각각에서 신호 층(s(x,y))의 가중 평균(S(x,y))을 생성하는 방법을 나타낸다. 도 7b에 도시된 바와 같이, 그림의 중앙에서 관심 꼭지점 (X,Y)에 대한 신호 층의 가중 평균(S(x,y))은 관심 꼭지점(X,Y)을 둘러싸고 있는 (2Δ)2 픽셀들로 정의되는 영향 영역 내에서 픽셀들 각각에 대한 신호층(s(x,y))의 가중 평균을 계산함으로써 결정될 수 있다.
도 7c는 신호 층의 가중 평균(S(x,y))으로부터 에지-보존 저역-통과 필터된 형태(/s(x,y))를 생성하는 방법을 나타낸다. 도 7c에 도시된 바와 같이, 픽셀 ((x,y); 700)에 대해, 에지-보존 저역-통과 필터 프로세서(224)는 픽셀(x,y)을 둘러싸고 있는 4개의 꼭지점들(X,Y) 각각에 대해 가중치 함수(w(x,y,X,Y))와 공간 함수(b(x,y,X,Y))를 이용하여 픽셀((x,y); 700)을 둘러싸고 있는 4개의 꼭지점들 (X,Y)에서 신호 층의 가중 평균(S(X,Y))의 값들의 양 방향성 평균을 계산함으로써 에지-보존 저역-통과 필터된 형태(/s(x,y)를 생성할 수 있다.
이웃하는 4개의 꼭지점들(X,Y)을 이용하여 계산된 이미지의 에지-보존 저역- 통과 필터된 형태(/s(x,y)는 도 7c에 도시되었다. 이미지의 에지-보존 저역-통과 필터된 형태(/s(x,y))는 이웃하는 16개의 꼭지점들(X,Y)을 이용하여 계산될 수 있고, 이 경우 공간 함수(b)는 바이큐빅(bicubic) 함수일 수 있다. 또한, 공간 함수 (b)는 픽셀(x,y)과 꼭지점(X,Y) 사이의 공간 거리에 기초하여 식별되는 가우시안 커널(Gaussian Kernel)과 같은 공간 함수 일 수 있다.
도 2를 다시 참조하면, DRC 프로세서(226)는, 에지-보존 저역-통과 필터된 형태(/s(x,y)) 이미지로서 정의된 다른 휘도 영역들을 다르게 처리함으로써 향상된 콘트라스트를 갖는 이미지를 생성하기 위해, 디지털 이미지의 에지-보존 저역-통과 필터된 형태(/s(x,y))를 이용하여, 리드아웃 블록(190)으로부터 수신된 상기 디지털 이미지에 대한 동적 범위 압축을 수행할 수 있다.
예컨대, DRC 프로세서(226)는 에지-보존 저역-통과 필터된 형태(/s(x,y)) 이미지가 임계값보다 작은 저-휘도 영역들을 밝게 하고, 에지-보존 저역-통과 필터된 형태(s(x,y)) 이미지가 상기 임계값보다 높은 고-휘도 영역들을 어둡게 할 수 있다.
도 8은 본 발명의 실시 에에 따라 에지-보존 저역-통과 필터링이 수행된 디지털 이미지를 나타낸다.
도 8을 참조하면, 수신된 디지털 이미지(810)는 디스플레이 상에 디지털 이미지(810)를 디스플레이하는데 사용된 동적 범위의 비트들(예컨대, 수신된 디지털 이미지(810)의 8개의 MSB들(most significant bits))을 가질 수 있다. 수신된 디지털 이미지(810)는, 그레이(gray) 레벨들을 갖는 수신된 디지털 이미지(810)의 에지-보존 저역-통과 필터된 형태(/s(x,y); 840)를 생성하기 위해, 에지-보존 저역-통과 필터 프로세서(224)에 의해 처리될 수 있다. 상기 그레이 레벨들은 서로 다른 휘도 영역들을 뚜렷하게 분리할 수 있다.
예컨대, 수신된 디지털 이미지(810)에서, 휘도 영역(811)은 디지털 이미지 (810)의 나머지보다 보다 더 높은 휘도를 갖는다. 에지-보존 저역-통과 필터 프로세서(224)는 수신된 디지털 이미지(810)의 휘도 성분(Y-채널)을 나타내는 신호 층 (s(x,y)) 이미지(820)를 수신할 수 있다.
수신된 신호 층(s(x,y))에 기초하여, 에지-보존 저역-통과 필터 프로세서 (224)는 꼭지점들(X,Y)에서의 신호 층의 가중 평균S(X,Y)과 상기 신호 층의 가중 평균S(X,Y)의 에지-보존 저역-통과 필터된 형태(/s(x,y);840)를 생성할 수 있다.
큰 반경(large-radius) 에지-보존 저역-통과 필터된 형태(/s(x,y);840)를 이용하여, DRC 프로세서(226)는 다른 휘도 영역들을 다르게 처리함으로써 이미지의 디테일들(details)을 강조할 수 있다.
예컨대, DRC 프로세서(226)는 에지-보존 저역-통과 필터된 형태(/s(x,y)) 이미지가 임계값보다 낮은 저-휘도 영역들(812)을 밝게 하고 에지-보존 저역-통과 필터된 형태(/s(x,y)) 이미지가 임계값보다 높은 고-휘도 영역들(811)을 어둡게 하여 여 낮은 동적 범위 이미지(850)를 생성할 수 있다.
낮은 동적 범위 이미지(850)는 수신된 디지털 이미지(810), 예컨대 8-비트의 동적 범위)의 동적 범위 비트들과 같은 양의 비트들을 가질 수 있으나, 저-휘도 영역들(예컨대, 812)과 고휘도 영역들(예컨대, 811)에서의 디테일(detail)은 휘도 영역들 각각으로 공급되는 다른 처리 때문에 더 뚜렷해질 수 있다.
에지들을 보존하는데 사용되는 신호 층의 멀티플 가중 평균들( multiple weighted averages )
도 9는 본 발명의 다른 실시 예에 따른 디지털 신호 프로세서에 포함된 이미지 처리 블록의 개략적인 블록도이다. 도 1과 도 9를 참조하면, 이미지 처리 블록(220')은 베이어(Bayer)-YUV 프로세서(Bayer-to-YUV processor; 222), 다중-스케일 에지-보존 저역-통과 필터 프로세서(924), DRC 프로세서(226) 및 캐시(228)를 포함할 수 있다.
베이어-YUV 프로세서(222), DRC 프로세서(226) 및 캐시(228)는 도 2에 도시된 것들(222, 226, 및 228)과 동일하므로, 설명의 편의를 위해 이등에 대한 설명은 생략한다.
도 10은 본 발명의 실시 예에 따른 다중-스케일 큰 반경 에지-보존 방법을 설명하기 위한 플로우 차트를 나타낸다.
도 1, 도 9 및 도 10을 참조하면, 도 10에 도시된 프로세스(1000)에서, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는, 큰 반경 에지-보존 저역-통과 필터된 디지털 이미지를 생성하기 위해, 수신된 디지털 이미지에 대한 래스터 스캔 순서로 세 단계들을 수행할 수 있다.
S910 단계에서, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는 신호 층 (s(x,y)) 이미지와, 디지털 이미지의 객체 층(o(x,y)) 이미지 형태들 (versions)을 수신한다. 신호 층(s(x,y)) 이미지와 객체 층(o(x,y)) 이미지는 도 3부터 도 5를 참조하여 설명한 내용과 동일하므로 이들에 대한 자세한 설명은 생략한다.
S920 단계에서, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는 객체 층(o(x,y))에 대해 래스터 스캔을 수행한다.
래스터 스캔 동안, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는 Δi픽셀들 간격으로 떨어진 꼭지점들(Xi,Yi)을 갖는 그리드들(i)을 형성할 수 있고, Δi는 객체 층(o(x,y))을 래스터 스캐닝할 때, 상기 층을 생성하는데 사용되는 유효 반경이다. 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는, 객체 층(x,y)의 단일 스캔 동안, 그리드들(i) 전부를 형성할 수 있다.
래스터 스캔 동안, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는 객체 층(o(x,y)) 이미지와 Δi 픽셀들 간격으로 떨어져 위치하는 그리드들(i) 각각에서 꼭지점들(Xi,Yi)의 값들을 결정하고, 결정된 객체 층 꼭지점들(o(Xi,Yi))을 메모리(240) 및/또는 캐시(228)에 저장할 수 있다.
예컨대, 그리드들(i) 각각에서, 꼭지점들(Xi,Yi) 각각은, 객체 층(o(x,y)) 이미지의 2차원에서, 25 픽셀들과 75 픽셀들 사이에서 서로 떨어져 위치할 수 있다. 그러므로, 그리드(i)에 연관된 유효 반경(Δi)은 10 픽셀들과 20 픽셀들 사이에서 제한될 수 있는 종래의 이미지 신호 프로세서의 유효 반경보다 더 클 수 있다. 또한, 대조적으로, 단일의 그리드가 사용될 때. 본 발명에서 멀티플 그리드들(i)이 사용될 수 있기 때문에, 신호 층의 멀티플 가중 평균(Si(Xi,Yi))은, 에지 보존 평균화가 수행될 때, 이용될 수 있다.
도 11은 본 발명의 실시 예에 따라 객체 층(o(x,y)) 이미지에 대한 래스터 스캔들을 수행하여 상기 객체 층(o(x,y)) 이미지의 꼭지점들(Xi,Yi)에서의 값들을 결정하는 다중-스케일 에지-보존 저역-통과 필터 프로세서의 실시 예를 나타낸다.
도 11을 참조하면, 객체 층(o(x,y))은 2차원 평면에서 Δi 픽셀들 간격으로 떨어진 꼭지점 픽셀들(o(Xi,Yi); 920)을 포함하는 복수의 픽셀들(1110)을 포함한다.
다중-스케일 에지-보존 저역-통과 필터 프로세서(924)가 픽셀들(1110)에 대해 래스터 이미지 스캔을 수행하는 동안, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는 Δi 간격으로 떨어진 각 그리드(i)의 꼭지점들(o(Xi,Yi)에서 객체 층(o(x,y))의 픽셀 값들을 메모리, 예컨대 캐시(928)에 저장한다.
예컨대, 도 11에서, 제1그리드(i=1)에서, 꼭지점 픽셀들(o(X1,Y1))은 Δ1=14 픽셀들 간격으로 떨어져 있고, 제2그리드(i=2)에서 꼭지점 픽셀들(o(X2,Y2))은 Δ2=14 픽셀들 간격으로 떨어져 있으나, +7 픽셀들의 오프셋을 갖는다. 그러나, 도 11에 도시된 실시 예는 단지 설명을 위한 것으로서 이들에 한정되지 않는다. 예컨대, 위에서 설명한 바와 같이, 그리드들(i) 각각에서 꼭지점 픽셀들(o(Xi,Yi))은, 객체 층(o(x,y)) 이미지의 2차원에서, 25 픽셀들과 75 픽셀들 사이에서 서로 떨어질 수 있다.
도 9와 도 10을 다시 참조하면, S930 단계에서, 그리드(i)에서 꼭지점들의 각 세트에 대해, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는, 아래의 수학식 5와 수학식 6을 이용하여, 결정된 꼭지점들(Xi,Yi) 각각에 대해 신호 층(s(x,y)) 이미지의 가중 평균(Si(Xi,Yi))을 계산할 수 있다.
다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는, 신호 층(s(x,y)) 이미지의 래스터 스캔 동안, 그리드들(i)의 각 관심 꼭지점(Xi,Yi)에 대해, 관심 꼭지점(Xi,Yi)을 둘러싸고 있는 (2Δi)2 픽셀들에 의해 정의된 영향 영역(influence zone) 내에서 신호 층(s(x,y)) 내의 모든 픽셀들(X,Y)의 가중 평균을 계산하여, 신호 층의 가중 평균(S(X,Y))을 결정할 수 있다.
그러므로, 특정 그리드(i)에 대해, 특정 관심 꼭지점(Xi,Yi)에 대한 영향 영역은 신호 층(s(x,y)) 이미지 내의 픽셀들(x,y)의 범위, 즉 |x-X|<Δi 및 |y-Y|<Δi일 수 있다. 즉, 영향 영역은 관심 꼭지점(Xi,Yi)을 둘러싸고 있는 2Δi * 2Δi 정사각형 내에서 픽셀들(x,y)을 포함하는 것으로 정의될 수 있다.
[수학식 5]
Figure 112014096243294-pat00006
[수학식 6]
Figure 112014096243294-pat00007

수학식 5와 수학식 도 6과 같이, 각 픽셀(x,y)에 대해, 가중 함수 (w(w,y,Xi,Yi))는 픽셀(x,y)에 할당된 가중치의 결정에 판별자로서, 각 픽셀 (o(x,y))에 대한 객체 층 값, S320 단계에서 메모리(228 및/또는 240)에 저장된 그리드 꼭지점(o(X,Y))에서의 객체 층 이미지의 값뿐만 아니라 선택적 파라미터(σ)의 값에 의존한다.
그러므로, 신호 층(s(x,y)) 이미지의 래스터 스캔을 수행할 뿐만 아니라, 그리드(i)에서의 꼭지점들(Xi,Yi)에 대한 신호 층의 가중 평균(Si(Xi,Yi))을 결정하기 위해, 에지-보존 저역-통과 필터 프로세서(224)는 가중 함수(w(w,y,Xi,Yi))를 결정하기 위해 객체 층(o(x,y)) 이미지를 래스터 스캔할 수 있다.
예컨대, 에지-보존 저역-통과 필터 프로세서(224)는 신호 층(s(x,y))과 객체 층(o(x,y))을 동시에 래스터 스캔할 수 있다. 래스터 스캔 동안, S930 단계에서, 에지-보존 저역-통과 필터 프로세서(224)는, 신호 층(s(x,y))의 가중 평균들 (Si(Xi,Yi))이 존재하는 그리드들(i) 각각에 대한 신호 층의 분리된 가중 평균 (Si(Xi,Yi))을 생성할 수 있다.
S940 단계에서, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는, 아래의 수학식 7과 수학식 8을 이용하여, 신호 층의 가중 평균들(Si(Xi,Yi))에서 이웃하는 꼭지점들(Xi,Yi)의 값을 평균하여 신호 층들의 가중 평균들(Si(Xi,Yi))의 에지-보존 저역-통과 필터된 형태(/s(x,y))를 생성할 수 있다.
다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는, 그리드들(i) 각각에 대해, 객체 층(o(x,y))의 래스터 스캔 동안, 픽셀들(x,y) 각각에 대해, 픽셀들 (x,y) 각각을 둘러싸고 있는 그리드(i) 내에서 4개의 꼭지점들(Xi,Yi)에서의 신호 층의 가중 평균(Si(Xi,Yi))과, 가중 함수(w(x,y,Xi,Yi))와, 픽셀들(x,y) 각각을 둘러싸고 있는 그리드(i) 내에서 4개의 꼭지점들(Xi,Yi) 각각에 대한 공간 함수(bi)를 곱하여, 에지-보존 저역-통과 필터된 형태(/s(x,y)=
Figure 112014096243294-pat00008
)를 생성할 수 있다.
[수학식 7]
Figure 112014096243294-pat00009
[수학식 8]
Figure 112014096243294-pat00010
수학식 8을 참조하면, 특정 그리드(i)에 대해, 공간 함수(bi)는 그리드(i)에 대한 저역-통과 필터의 유효 반경(Δi)의 함수이고, 가중치(w(x,y,Xi,Yi))가 1이면, 그리드(i)에 대해, 에지-보존 저역-통과 필터된 형태(/s(x,y)) 층은 이중 선형 보간법의 결과일 수 있다.
도 12는 본 발명의 실시 예에 따라 신호 층(Si(Xi,Yi))의 가중 평균들로부터 에지-보존 저역-통과 필터된 버전(/s(x,y))을 생성하는 것을 나타낸다.
도 12를 참조하면, 픽셀((x,y);1200)에 대해, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는, 픽셀(x,y)을 둘러싸고 있는 제1그리드의 꼭지점들 ((Xi,Yi); 1210)과 제2그리드의 꼭지점들((Xi,Yi); 1220) 각각에 대한 가중 함수 (w(x,y,Xi,Yi))와 공간 함수(bi(x,y,Xi,Yi))를 이용하여, 픽셀((x,y); 1200)을 둘러싸고 있는 제1그리드의 네 개의 꼭지점들((X1,Y1); 1210)과 제2그리드의 네 개의 꼭지점들((X2,Y2);1220)에서 신호 층의 가중 평균들(Si(Xi,Yi))의 값들의 양방향 평균을 계산하여 에지-보존 저역-통과 필터된 버전(/s(x,y))을 생성할 수 있다.
위에서 설명한 바와 같이, 수학식 7에 포함된 가중 함수(weight function)는, 픽셀(x,y)에서, 객체 층에 비해 작은 차이를 갖는 객체 층의 꼭지점들(Xi,Yi)에 더 큰 가중치를 제공한다. 그러므로, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)가 멀티플 그리드들(1210과 1220)을 사용하므로, 픽셀(1200)의 값을 계산할 때, 하나 또는 그 이상의 꼭지점들((X1,Y1) (X2,Y2))이 픽셀의 객체 값을 나타낼 가능성은 증가한다, 따라서, 신호 층의 에지-보존 저역-통과 필터된 형태(/s(x,y))는 신호 층(s(x,y))의 더 좋은 표현일 수 있다.
도 13은 본 발명의 실시 예에 따라 다중-스케일 에지-보존 저역-통과 필터링이 수행된 디지털 이미지를 나타낸다.
도 13을 참조하면, 수신된 디지털 이미지(1310)는 디스플레이에서 이미지를 디스플레이하기 위해 사용된 동적 범위(dynamic range)의 비트들의 양을 가질 수 있다. 수신된 디지털 이미지(1310)는 그레이 레벨들(gray levels)을 갖는 수신된 디지털 이미지(1310)의 다중-스케일 에지-보존 저역-통과 필터된 형태(/s(x,y); 1340)를 생성하기 위해 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)에 의해 처리될 수 있다. 상기 그레이 레벨들은 다른 휘도 영역들을 뚜렷하게 분리할 수 있다.
예컨대, 수신된 디지털 이미지(1310) 내에서, 휘도 영역(1311)은 디지털 이미지(1310)의 나머지보다 더 높은 휘도를 갖는다. 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는 수신된 디지털 이미지(1310)의 휘도 성분(Y-채널)을 나타내는 신호 층(s(x,y)) 이미지(1320)를 수신할 수 있다. 신호 층(s(x,y))에 기초하여, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는 꼭지점들(Xi,Yi)에서 신호 층의 다중 가중 평균들(Si(Xi,Yi); 1330)과 신호 층의 다중 가중 평균들 (Si(Xi,Yi))의 에지-보존 저역-통과 필터된 형태(/s(x,y); 1340)를 생성할 수 있다.
도 13에 도시된 바와 같이, 에지-보존 저역-통과 필터된 형태(/s(x,y); 1340)는 신호 층들의 다중 가중 평균들(Si(Xi,Yi); 1330)을 사용한다. 픽셀 값들에서 급격한 변화가 있는 영역(예컨대, 영역(1342))에서, 신호 층-상기 신호 층의 그리드는 상대적으로 작은 유효 반경(Δi)을 가짐-의 다중 가중 평균들(Si(Xi,Yi); 1330)은 수학식 7에서 상당히 큰 가중치를 부여 받을 수 있다. 따라서, 에지-보존 저역-통과 필터된 버전(/s(x,y); 1340)에 에지 보존(edge preservation)은 증가한다.
반대로, 픽셀 값들에서 급격한 변화가 일어나지 않는 영역들(예컨대, 영역(1341))에서, 신호 층-상기 신호 층의 그리드는 더 큰 유효 반경(Δi)을 가짐-의 다중 가중 평균들(Si(Xi,Yi) 1330)은 수학식 7에서 더 큰 가중치를 부여 받을 수 있으므로, 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는 더 큰 유효 반경을 갖게 될 것이다.
도 14는 본 발명의 실시 예에 따른 사용자 장비(user equipment)를 나타낸다. 도 14를 참조하면, 사용자 장비(900)는 카메라(910), 이미지 처리 블록(920), 디스플레이 유닛(930), 송신기(940), 메모리(950), CPU(960), 수신기(970) 및 버스 (980)를 포함할 수 있다. 각 구성 요소(910~970)는 버스를 통해 데이터를 주거나 받을 수 있다.
카메라(910)는 렌즈를 통하여 입력된 객체(object)의 이미지를 감지할 수 있고, 감지된 이미지를 디지털 이미지로 변환할 수 있다. 이미지 처리 블록(920)은 상기 디지털 이미지에 큰 반경을 갖는 에지-보존 저역-통과 필터링과 동적 범의 압축을 수행할 수 있는 에지-보존 필터링 프로세서를 포함할 수 있다. 디스플레이 유닛(930)은, CPU(960)의 제어에 따라, 처리된 이미지를 사용자에게 디스플레이할 수 있다. 카메라(910), 이미지 처리 블록(920), 디스플레이 유닛(930) 및 메모리 (950)는 도 1의 이미지 감지 시스템(10)을 나타낼 수 있다.
송신기(940)와 수신기(970) 각각은, CPU(960)의 제어에 따라, 신호들을 전송하고 수신할 수 있다. 송신기(940)와 수신기(970)는, 무선 신호들을 전송하고 수신하기 위해, 하드웨어와 필요한 소프트웨어를 포함한다. 상기 무선 신호들은 하나 또는 그 이상의 무선 접속 장치들을 통해 데이터 신호들, 제어 신호들, 신호 강도 정보 및/또는 신호 품질 정보를 다른 네트워크 장치들로 전송할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
특히, 신호 층 s(x,y)는 수신된 디지털 신호의 휘도를 나타내는 것으로 설명되었으나, 신호 층 s(x,y)은 상기 수신된 디지털 이미지의 휘도 변화를 나타내는 층일 수 있다. 예컨대, 신호 층(s(x,y))은 수신된 디지털 이미지의 휘도의 로그 (logarithm)일 수 있고, 객체 층(o(x,y))은 상기 휘도의 로그의 흐릿한 형태 (blurred version)를 나타낼 수 있다.
또한, 본 명세서에서 에지-보존 저역-통과 필터된 형태(/s(x,y)) 이미지가 영역들 사이에서 휘도 레벨들의 차이를 조절하는데 사용되는 것으로 설명되었으나, 신호 층 s(x,y)는 픽셀(x,y) 주위의 5*5 윈도우에서 변화될 수 있고, 에지-보존 저역-통과 필터된 형태(/s(x,y)) 이미지는 상기 이미지의 영역들 사이에서 텍스쳐 (texture) 차이를 나타내는 것으로 사용될 수 있다. 그러므로, 노이스 감소 프로세서는 텍스쳐가 없는 영역들에서 더 강한 노이즈 감소를 수행할 수 있다.
또한, 본 발명의 실시 예는 디지털 이미지 신호의 큰 반경을 갖는 에지-보존 저역-통과 필터된 버전을 생성하는 것을 참조하여 설명하였지만, 본 발명의 실시 예는 여기에 한정되지 않는다.
도 15는 본 발명의 실시 예에 따른 음향 신호(sound signal)와 상기 음향 신호에 상응하는 큰 반경 에지-보존 저역-통과 필터된 버전의 그래프를 나타낸다.
도 2, 도 9 및 도 15를 참조하면, 에지-보존 저역-통과 필터 프로세서(224) 및/또는 다중-스케일 에지-보존 저역-통과 필터 프로세서(924)는 디지털 오디오 신호(1010)를 수신하고, 선명한 에지 볼륨들(sharp edges volume)을 보존하는 디지털 오디오 신호의 에지-보존 저역-통과 필터된 형태(1020)를 생성할 수 있다.
DRC 프로세서(226)는 오디오 처리를 수행하기 위해 상기 디지털 오디오 신호의 에지-보존 저역-통과 필터된 형태를 사용할 수 있다. 예컨대, DRC 프로세서 (226)는 오디오 신호를 생성하기 위해 상기 볼륨의 에지-보존 저역-통과 필터된 형태를 활용할 수 있고, 상기 오디오 신호의 동적 범위는 텔레비젼 신호 또는 라디오 신호에서 광고 방송 동안에 종종 생성되는 상기 디지털 오디오 신호의 볼륨 내에서 뚜렷한 변화를 제거하기 위해 압축되어 왔다.
객체 층(o(x,y))에서 픽셀들(x,y)의 모든 값이 아닌 객체 층(o(x,y))에서의 그리드 꼭지점들(Xi,Yi, i≥)에서 픽셀들의 값들만을 저장함으로써, 메모리 요구량 (memory requirements)은 현저히 감소한다. 또한, 처리량은 꼭지점들(Xi,Yi)에서만의 신호 층의 가중 평균 S(Xi,Yi)을 계산함으로써 그리고 그리드들(i) 각각에서 픽셀(x,y)을 둘러싸고 있는 꼭지점들(예컨대, 4개의 이웃하는 꼭지점들)의 값들만을 평균하여 각 픽셀의 에지-보존 저역-통과 필터된 형태(/s(x,y)) 값을 계산함으로써 현저히 감소한다.
또한, 픽셀(x,y)의 값을 계산할 때 멀티플 그리드들(i)을 사용함으로써, 하나 또는 그 이상의 꼭지점들(Xi,Yi)이 픽셀(x,y)의 객체 값(o(x,y))을 나타내는 확률은 증가할 수 있으므로, 신호 층의 에지 보존 저역-통과 필터된 형태(/s(x,y))는 신호 층(s(x,y))의 더 좋은 표현일 수 있다.
10 : 이미지 감지 시스템 100 : 이미지 센서
110 : 픽셀 어레이 160 : 로우 드라이버 블록
170 : 타이밍 생성기 180 : 컨트롤 레지스터 블록
190 : 리드아웃 블록 200 : 디지털 신호 처리 장치
210 : 카메라 컨트롤러 220 : 이미지 처리 블록
222 : Bayer-YUV 프로세서 224 : 에지-보존 저역-통과 필터 프로세서
226 : DRC 프로세서 228 : 캐시
230 : 인터페이스 240 : 메모리
300 : 디스플레이 유닛 400 : 객체
410 : 베이어-RGB 필터 420 : RGB-YUV 필터
430 : 블러링 필터 500 : 렌즈
510 : 픽셀 520 : 슬라이딩 윈도우
530 : 흐릿한 픽셀 610, 700, 1110, 1200 : 픽셀
620 : 꼭지점 픽셀 710 : 꼭지점
900 : 사용자 장비 910 : 카메라
920 : 이미지 처리 블록
924 : 다중-스케일 에지-보존 저역-통과 필터 프로세서
930 : 디스플레이 유닛 940 : 송신기
950 : 메모리 960 : CPU
970 : 수신기 980 : 데이터 버스

Claims (10)

  1. 데이터 포인트들을 갖는 디지털 신호에 대해 에지-보존 저역 통과 필터링 (edge-preserving low-pass filtering)을 수행하는 에지-보존 장치에 있어서,
    데이터를 저장하기 위한 메모리; 및
    프로세서를 포함하고, 상기 프로세서는,
    적어도 두 개의 그리드들의 꼭지점들에서 신호 층(signal layer)의 가중 평균들을 계산하고,
    상기 데이터 포인트들 각각에 대해, 상기 데이터 포인트들에 이웃하는 상기 적어도 두 개의 그리드들 각각의 꼭지점들에서 상기 신호 층의 상기 가중 평균들 및 가중치 함수에 기초하여 큰-반경의 에지 보존 저역-통과 필터된 신호를 생성하고,
    상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들은 상기 데이터 포인트들의 서로 다른 부분 집합이고 상기 꼭지점들의 양은 상기 데이터 포인트들의 양보다 적고,
    상기 가중치 함수는, 상기 꼭지점들에 대한 객체 층의 값과 상기 데이터 포인트들 각각의 객체 층의 값의 차이의 절대값과 임계값을 비교하여 ‘1’ 또는 ‘0’의 가중치를 제공하는 에지-보존 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들에서 객체 층(object layer)의 값들을 결정하고,
    상기 꼭지점들에서 상기 객체 층의 상기 값들을 메모리에 저장하고,
    상기 객체 층은 상기 신호 층에 기초하는 에지-보존 장치.
  3. 제2항에 있어서,
    상기 디지털 신호는 이미지 신호이고, 상기 신호 층은 상기 이미지 신호의 YUV 포맷화된 형태(formatted version)의 Y-채널 성분이고, 상기 객체 층은 상기 신호 층의 흐릿한 형태(blurred version)인 에지-보존 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 꼭지점들 각각에 대해 상기 꼭지점들 각각을 둘러싸고 있는 영향 영역 (influence zone)을 결정하는 것과, 상기 꼭지점들 각각에 대해 상기 영향 영역 내에서 상기 신호 층의 상기 데이터 포인트들의 상기 신호 층의 상기 가중 평균들을 계산하는 것에 의해, 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들 각각에서 상기 신호 층의 상기 가중 평균들을 계산하는 에지-보존 장치.
  5. 데이터 포인트들을 갖는 디지털 신호를 수신하는 디지털 신호 프로세서에 있어서, 상기 디지털 신호 프로세서는,
    적어도 두 개의 그리드들의 꼭지점들에서 신호 층(signal layer)의 가중 평균들을 계산하는 것과, 상기 데이터 포인트들 각각에 대해 상기 데이터 포인트들에 이웃하는 상기 적어도 두 개의 그리드들 각각의 꼭지점들에서 상기 신호 층의 상기 가중 평균들 및 가중치 함수에 기초하여 큰-반경 에지-보존 저역-통과 필터된 신호를 생성하는 것에 의해 에지-보존 저역-통과 필터된 이미지를 생성하는 에지-보존 프로세서; 및
    상기 큰-반경 에지-보존 저역-통과 필터된 신호를 이용하여 상기 디지털 신호에 대한 동적 범위 압축을 수행하여 압축된 신호를 생성하는 동적 범위 압축 (dynamic range compression (DRC)) 프로세서를 포함하고,
    상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들은 상기 데이터 포인트들의 서로 다른 부분 집합이고 상기 꼭지점들의 양은 상기 데이터 포인트들의 양보다 적고,
    상기 가중치 함수는, 상기 꼭지점들에 대한 객체 층의 값과 상기 데이터 포인트들 각각의 객체 층의 값의 차이의 절대값과 임계값을 비교하여 ‘1’ 또는 ‘0’의 가중치를 제공하는 디지털 신호 프로세서.
  6. 제5항에 있어서, 상기 에지-보존 프로세서는,
    상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들에서 객체 층의 값들을 결정하고, 상기 꼭지점들에서 상기 객체 층의 값들을 메모리에 저장하고,
    상기 객체층은 상기 신호 층의 흐릿한 형태(blurred version)인 디지털 신호 프로세서.
  7. 제5항에 있어서, 상기 에지-보존 프로세서는,
    상기 꼭지점들 각각에 대해 상기 꼭지점들 각각을 둘러싸고 있는 영향 영역 (influence zone)을 결정하는 것과, 상기 꼭지점들 각각에 대해 상기 영향 영역 내에서 상기 신호 층의 상기 데이터 포인트들의 상기 신호 층의 상기 가중 평균들을 계산하는 것에 의해, 상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들 각각에서 상기 신호 층의 상기 가중 평균들을 계산하는 디지털 신호 프로세서.
  8. 제5항에 있어서,
    상기 디지털 신호의 Y-채널 성분을 나타내는 상기 신호 층을 생성하는 베이어(Bayer)-YUV 프로세서를 더 포함하는 디지털 신호 프로세서.
  9. 제5항에 있어서,
    상기 DRC 프로세서는 상기 압축된 신호를 출력 장치로 공급하고,
    상기 압축된 신호는 상기 출력 장치에서 이용가능한 동적 범위 내에서 압축되는 상기 동적 범위를 갖는 디지털 신호 프로세서.
  10. 데이터 포인트들을 갖는 디지털 신호에 대해 에지-보존 저역 통과 필터링 (edge-preserving low-pass filtering)을 수행하는 방법에 있어서,
    적어도 두 개의 그리드들의 꼭지점들에서 신호 층(signal layer)의 가중 평균들을 계산하는 단계; 및
    상기 데이터 포인트들 각각에 대해, 상기 데이터 포인트들에 이웃하는 상기 적어도 두 개의 그리드들 각각의 꼭지점들에서 상기 신호 층의 상기 가중 평균들 및 가중치 함수에 기초하여 큰-반경의 에지 보존 저역-통과 필터된 신호를 생성하는 단계를 포함하고,
    상기 적어도 두 개의 그리드들 각각의 상기 꼭지점들은 상기 데이터 포인트들의 서로 다른 부분 집합이고 상기 꼭지점들의 양은 상기 데이터 포인트들의 양보다 적고,
    상기 가중치 함수는, 상기 꼭지점들에 대한 객체 층의 값과 상기 데이터 포인트들 각각의 객체 층의 값의 차이의 절대값과 임계값을 비교하여 ‘1’ 또는 ‘0’의 가중치를 제공하는 에지-보존 저역 통과 필터링을 수행하는 방법
KR1020140136186A 2013-10-15 2014-10-08 에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서 KR102265887B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/054,087 2013-10-15
US14/054,087 US9275446B2 (en) 2013-10-15 2013-10-15 Large radius edge-preserving low-pass filtering
US14/199,132 US9280811B2 (en) 2014-03-06 2014-03-06 Multi-scale large radius edge-preserving low-pass filtering
US14/199,132 2014-03-06

Publications (2)

Publication Number Publication Date
KR20150043979A KR20150043979A (ko) 2015-04-23
KR102265887B1 true KR102265887B1 (ko) 2021-06-17

Family

ID=53036361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140136186A KR102265887B1 (ko) 2013-10-15 2014-10-08 에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서

Country Status (1)

Country Link
KR (1) KR102265887B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299769A1 (en) 2009-01-20 2011-12-08 Andre Leitao Image processing using a bilateral grid
WO2013019327A1 (en) * 2011-08-02 2013-02-07 Raytheon Company Local area contrast enhancement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299769A1 (en) 2009-01-20 2011-12-08 Andre Leitao Image processing using a bilateral grid
WO2013019327A1 (en) * 2011-08-02 2013-02-07 Raytheon Company Local area contrast enhancement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Sylvain Paris ET AL:"A Fast Approximation of the Bilateral Filter Using a Signal Processing Approach", International Journal of Computer Vision, volume 81, pages 24-52(2009)(2007.12.18.) 1부.*

Also Published As

Publication number Publication date
KR20150043979A (ko) 2015-04-23

Similar Documents

Publication Publication Date Title
US9280811B2 (en) Multi-scale large radius edge-preserving low-pass filtering
US7432985B2 (en) Image processing method
US9641820B2 (en) Advanced multi-band noise reduction
US8594451B2 (en) Edge mapping incorporating panchromatic pixels
KR102523505B1 (ko) 역 톤 매핑을 위한 방법 및 장치
EP2130176B1 (en) Edge mapping using panchromatic pixels
JP5197414B2 (ja) 画像処理装置及び画像処理方法
KR101059403B1 (ko) 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터
JP5773984B2 (ja) ビデオカメラ
US20170186142A1 (en) Method for image processing using local statistics convolution
JP4460839B2 (ja) デジタル画像鮮鋭化装置
JP4803178B2 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
US20110096987A1 (en) Noise reduced color image using panchromatic image
JP2004040235A (ja) 画像処理装置、及び画像処理方法
JP2012256202A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2009512290A (ja) 複数の画像フレームに基づく画像形成方法、画像処理システム、およびデジタルカメラ
JP2010218110A (ja) ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
KR101812341B1 (ko) 이미지의 에지 향상 방법
US8831346B2 (en) Image processing apparatus and method, and program
US9153013B2 (en) Image processing apparatus, image processing method and computer readable medium
US8559716B2 (en) Methods for suppressing structured noise in a digital image
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
US9275446B2 (en) Large radius edge-preserving low-pass filtering
CN110996015B (zh) 空间多重曝光
JP6957665B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant