KR20190109242A

KR20190109242A - 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치

Info

Publication number: KR20190109242A
Application number: KR1020190019859A
Authority: KR
Inventors: 샤오강 동
Original assignee: 소니 주식회사
Priority date: 2018-03-15
Filing date: 2019-02-20
Publication date: 2019-09-25
Also published as: CN110290310B; EP3540685A1; US20190287218A1; US10467730B2; JP6738053B2; EP3540685B1; CN110290310A; JP2019160297A; KR102183518B1

Abstract

계단 아티팩트들을 감소 또는 제거하기 위한 이미지 프로세싱 장치 및 방법은 이미지 센서 및 회로를 포함한다. 이미지 센서는 입력 이미지 신호를 캡처하도록 구성된다. 회로는 계단 아티팩트를 보이는 입력 이미지 신호의 제1 부분을 식별하도록 구성된다. 회로는 식별에 기초하여 제1 관심 영역에 대응하는 슬로프의 경사도 파라미터에 기초하여 슬로프 신호를 생성하도록 추가로 구성된다. 회로는 입력 이미지 신호의 제1 부분과 생성된 슬로프 신호 사이의 차이에 기초한 차이 신호를 생성하도록 구성된다. 회로는 생성된 차이 신호 및 생성된 슬로프 신호에 기초하여 잡음 제거된 이미지 신호를 생성하여 입력 이미지 신호의 제1 부분에서 계단 아티팩트를 감소시키도록 구성된다.

Description

이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치{IMAGE-PROCESSING APPARATUS TO REDUCE STAIRCASE ARTIFACTS FROM AN IMAGE SIGNAL}

관련 출원들에 대한 상호 참조/참조에 의한 인용

없음.

기술분야

본 개시내용의 다양한 실시예는 이미지 센서 및 카메라 기술들에 관한 것이다. 보다 구체적으로는, 본 개시내용의 다양한 실시예는 이미지 신호로부터의 계단 아티팩트(staircase artifact)들을 감소시키는 이미지 프로세싱 장치에 관한 것이다.

카메라 기술들 및 소비자 전자(consumer electronic)(CE) 디바이스들의 분야에서 최근의 발전들은 이미지 프로세싱 기술들의 급속한 기술 개발들에 크게 기인한다. 카메라 기술 분야에서 최근의 발전들로 인해, 오늘날의 카메라들은 사용자들이 낮은 조명 조건들에서 이미지들을 캡처할 수 있게 해준다. 낮은 조명 조건에서 캡처된 이미지는 컬러 또는 광도(luminosity)가 서서히 변화하는 하나 이상의 영역을 포함할 수 있다. 캡처된 이미지가 잡음 패치(noise patch)들로 가득 차있는 경우들에 있어서, 통상적인 이미지 프로세싱 장치는 캡처된 이미지를 잡음 제거할 수 있다. 이러한 경우들에서, 통상적인 이미지 프로세싱 장치는 계단 아티팩트들이라 불리는 원하지 않는 아티팩트들을 하나 이상의 영역에다 들여놓을 수 있다.

계단 아티팩트들은 1차원 신호 잡음 제거, 2차원 이미지 잡음 제거 및 비디오 잡음 제거와 같은 많은 잡음 제거 작업들에서 관찰될 수 있는 일반적인 아티팩트들이다. 기존의 이미지 잡음 제거 기술들은 이미지 신호의 하나 이상의 영역을 평탄화함으로써 이미지 신호에서 계단 아티팩트들이 생기게 할 수 있다. 그 결과, 계단 아티팩트들이 이미지 신호의 하나 이상의 영역에서, 그렇지 않았더라면 부드럽게 변화하는 이미지 신호에서 원하지 않는 가짜 단차들 또는 원하지 않는 평탄 영역들로서 드러날 수 있다. 캡처된 이미지에서 계단 아티팩트들은 선들 또는 경계들 값은 계단 형태의 존재, 세부묘사(detail)의 손실, 및 윤곽 형성(contouring)과 같은 원하지 않는 불일치들로서 드러날 수 있다

통상적이고 전통적인 접근법들의 추가적인 제한들 및 단점들은 본 출원의 나머지 부분에서 도면을 참조하여 제시되는 바와 같이, 설명된 시스템을 본 개시내용의 일부 양태들과 비교함으로써, 관련 기술분야에서 통상의 기술자에게 명백해질 것이다.

이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치는 청구범위에서 보다 완전하게 제시되는 바와 같이, 도면들 중 적어도 하나에서 실질적으로 도시되고 및/또는 도면들 중 적어도 하나와 관련하여 설명된다.

본 개시내용의 이러한 특징들과 이점들 및 다른 특징들과 이점들은 동일한 참조 부호들이 전체적으로 동일한 부분들을 지칭하는 첨부 도면들과 함께 본 개시내용의 다음의 상세한 설명을 검토함으로써 인식될 수 있다.

도 1은 본 개시내용의 실시예에 따라서, 이미지 프로세싱 장치가 이미지 신호로부터 계단 아티팩트들을 감소시키는 예시적인 환경을 도시한다.
도 2는 본 개시내용의 실시예에 따라서, 이미지 신호로부터 계단 아티팩트들의 감소를 위한 도 1의 이미지 프로세싱 장치의 예시적인 동작들을 도시한다.
도 3은 본 개시내용의 실시예에 따른 예시적인 이미지 프로세싱 장치를 도시한다.
도 4a 내지 도 4c는 본 개시내용의 실시예에 따라서, 이미지 신호로부터 계단 아티팩트들을 감소시키는 예시적인 동작들을 일괄하여 도시한다.
도 5는 본 개시내용의 실시예에 따라서, 이미지 신호로부터 계단 아티팩트들의 감소를 위한 도 3의 이미지 프로세싱 장치의 예시적인 동작들을 도시한다.
도 6은 본 개시내용의 실시예에 따라서, 이미지 신호로부터 계단 아티팩트들을 감소시키는 예시적인 방법을 도시하는 제1 흐름도를 도시한다.
도 7a 및 도 7b는 본 개시내용의 실시예에 따라서, 이미지로부터 계단 아티팩트들을 감소시키는 예시적인 방법을 도시하는 제2 흐름도를 하나로 모아 도시한다.

다음에 설명되는 구현예들은 계단 아티팩트들을 감소시키는 개시된 이미지 프로세싱 장치에서 찾아볼 수 있다. 본 개시내용의 예시적인 양태들은 이미지 센서 및 회로를 포함하는 이미지 프로세싱 장치를 포함할 수 있다. 이미지 센서는 입력 이미지 신호를 캡처하도록 구성될 수 있다. 회로는 계단 아티팩트들을 보이는 입력 이미지 신호의 제1 부분을 식별하도록 구성될 수 있다. 회로는 제1 부분에 대응하는 슬로프의 경사도 파라미터(steepness parameter)에 기초하여 슬로프 신호를 생성하도록 추가로 구성될 수 있다. 슬로프 신호는 식별에 기초하여 생성될 수 있다. 회로는 입력 이미지 신호의 제1 부분과 생성된 슬로프 신호 간의 차이에 기초한 차이 신호를 생성하도록 구성될 수 있다. 또한, 회로는 생성된 차이 신호 및 생성된 슬로프 신호에 기초하여 잡음 제거된 이미지 신호를 생성하여 입력 이미지 신호의 제1 부분에서 계단 아티팩트들을 감소시키도록 구성될 수 있다.

실시예에 따르면, 회로는 계단 아티팩트를 보이는 하나 이상의 관심 영역의 식별에 기초하여, 계단 아티팩트를 보이는 그리고 계단 아티팩트가 없을 수 있는 입력 이미지 신호의 복수의 부분을 분류하도록 구성될 수 있다. 하나 이상의 관심 영역은 계단 아티팩트를 보이는 식별된 제1 부분에 대응하는 제1 관심 영역을 포함할 수 있다. 회로는 계단 아티팩트를 보이는 입력 이미지 신호의 복수의 부분 중 하나 이상의 부분을 구분하여 제1 프로세싱 파이프 라인에서 처리되도록 구성될 수 있다. 회로는 계단 아티팩트가 없는 복수의 부분 중 나머지 하나 이상의 부분을 구분하여 제2 프로세싱 파이프 라인에서 처리되도록 구성될 수 있다. 제2 프로세싱 파이프 라인은 제1 프로세싱 파이프 라인과 상이할 수 있다. 구분은 입력 이미지 신호의 복수의 부분의 분류에 기초하여 행해질 수 있다.

실시예에 따르면, 회로는 계단 아티팩트를 보이는 제1 부분의 식별을 위해 입력 이미지 신호의 제1 부분으로부터 샘플 값들을 획득하도록 구성될 수 있다. 회로는 입력 이미지 신호의 제1 부분의 획득된 샘플 값들의 시퀀스에 기초하여 제1 수평 그레디언트 값 세트의 및 제1 수직 그레디언트 값 세트를 생성하도록 구성될 수 있다.

실시예에 따르면, 회로는 제1 수직 그레디언트 값 세트의 제1 계산된 평균 및 제1 수평 그레디언트 값 세트의 제2 계산된 평균에 기초하여 경사도 파라미터를 계산하도록 구성될 수 있다. 입력 이미지 신호의 제1 부분은 이미지 센서에 의해 캡처된 이미지의 제1 이미지 패치(image patch)에 대응한다. 회로는 제1 이미지 패치의 각 행마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하여 제1 수평 그레디언트 값 세트를 생성하도록 구성될 수 있다. 회로는 제1 이미지 패치의 각 열마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하여 제1 수직 그레디언트 값 세트를 생성하도록 구성될 수 있다. 계단 아티팩트를 보이는 제1 부분의 식별은 정의된 기준 세트에 기초할 수 있다.

실시예에 따르면, 회로는 제1 이미지 패치의 픽셀 값 세트의 평균 값이 정의된 중간 그레이 범위(defined mid-gray range) 내에 있을 수 있는 것으로 결정하도록 구성될 수 있다. 평균 값은 정의된 기준 세트의 제1 기준으로서 결정된다. 정의된 기준 세트의 제2 기준으로서, 회로는 제1 수평 그레디언트 값 세트의 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이가 정의된 한계 미만일 수 있는 것으로 결정하도록 구성될 수 있다. 회로는 정의된 기준 세트의 제3 기준으로서, 제1 수직 그레디언트 값 세트의 제1 수직 그레디언트 값과 제2 수직 그레디언트 값 사이의 차이가 정의된 한계 미만일 수 있는지를 결정하도록 추가로 구성된다. 회로는 정의된 기준 세트의 제4 기준으로서, 제1 수평 그레디언트 값 세트 및 제1 수직 그레디언트 값 세트에 기초하여 문턱 값 미만일 수 있는 슬로프의 경사도 파라미터를 결정하도록 추가로 구성될 수 있다.

도 1은 본 개시내용의 실시예에 따라서, 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치를 도시한다. 도 1을 참조하면, 이미지 프로세싱 장치(102)가 도시된다. 이미지 프로세싱 장치(102)는 이미지 센서(104)와 통신 가능하게 연결될 수 있다. 이미지 센서(104)는 제1 그래프(108)에서 도시된 바와 같이, 입력 이미지 신호(106)를 캡처할 수 있다. 입력 이미지 신호(106)는 제1 이미지 내의 다수의 픽셀들의 픽셀 값들을 포함할 수 있다. 제1 그래프(108)의 "X"축은 픽셀 위치를 나타낼 수 있다. 제1 그래프(108)의 "Y"축은 각각의 픽셀 위치에 있는 픽셀의 픽셀 값을 나타낼 수 있다. 입력 이미지 신호(106)는 복수의 부분을 포함할 수 있다. 입력 이미지 신호(106)의 복수의 부분 중 하나 이상의 부분은 서서히 변화하는 컬러 또는 광도를 가질 수 있다. 입력 이미지 신호(106)의 복수의 부분 중 이러한 부분들은 계단 아티팩트들을 보일 수 있다. 실시예에 따르면, 입력 이미지 신호(106)는 1차원 신호일 수 있다. 다른 실시예들에서, 입력 이미지 신호(106)는 2차원 이미지 신호일 수 있다. 입력 이미지 신호(106)는 예시적인 목적들을 위해 도 1에서 1차원 신호로 표현되어 있다. (도 1에서) 도시된 이미지 프로세싱 장치(102)의 다양한 기능성 및 동작은 1차원 신호 및 2차원 이미지 신호 모두에 적용 가능하다.

이미지 프로세싱 장치(102)는 이미지 센서(104)로부터 수신된 입력 이미지 신호(106)를 처리하도록 구성될 수 있는 적절한 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. 이미지 프로세싱 장치(102)는 이미지 신호(106)를 처리하여 계단 아티팩트들을 보일 수 있는 입력 이미지 신호(106)의 하나 이상의 부분을 식별하도록 구성될 수 있다. 이미지 프로세싱 장치(102)의 예들은 이것으로 제한되는 것은 아니지만, 스마트 가전, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 뮤직 플레이어, 태블릿 컴퓨터, 이동 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어(예를 들어, DVD 라이터/플레이어, 고화질 디스크 라이터/플레이어, 초고화질 디스크 라이터/플레이어)를 포함할 수 있다. 이미지 프로세싱 장치(102)의 다른 예들은 이것으로 제한되는 것은 아니지만, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 주얼리(smart jewelry)(예를 들어, 스마트 시계) 또는 임의의 다른 적절한 컴퓨팅 디바이스를 포함할 수 있다.

이미지 센서(104)는 이미지 센서(104)의 시야로부터 입력 이미지 신호(106)를 캡처하도록 구성될 수 있는 적합한 로직, 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. 입력 이미지 신호(106)는 1차원 이미지 신호, 2차원 이미지 신호 또는 비디오 신호일 수 있다. 이미지 센서(104)는 특정 장면 및/또는 특정 물체를 이미지 센서(104) 상에 포커싱할 수 있는 포커싱 렌즈들과 같은 적합한 광학 기기들을 가질 수 있다. 이미지 센서(104)의 구현의 예들은 이것으로 제한되는 것은 아니지만, 반도체 전하 결합 디바이스(charged coupled device) 기반 이미지 센서, 상보형 금속 산화물 반도체(Complementary Metal-Oxide-Semiconductor)(CMOS) 기반 이미지 센서(104), N-형 금속 산화물 반도체 기반 이미지 센서, 또는 다른 이미지 센서를 포함할 수 있다.

동작시, 이미지 센서(104)는 이미지 센서(104)의 시야로부터 입력 이미지 신호(106)를 캡처하도록 구성될 수 있다. 일부 경우들에서, 이미지 프로세싱 장치(102)의 사용자는 이미지 센서 센서(104)를 특정 장면으로 향하게 하여 특정 장면의 입력 이미지 신호(106)를 캡처할 수 있다. 하나의 예에서, 특정 장면은 불충분하게 조명될 수 있고 몇 개의 낮은 조명 영역을 포함할 수 있다. 다른 예에서, 이미지 센서(104)는 불충분하게 조명될 수 있는 특정 물체를 향하게 될 수 있다. 그러한 경우들에서, 입력 이미지 신호(106)는 낮은 신호 대 잡음비(signal-to-noise ratio)(SNR)를 가질 수 있는 하나 이상의 부분을 포함할 수 있다. 낮은 SNR을 갖는 하나 이상의 부분은 계단 아티팩트들을 보일 수 있다.

이미지 프로세싱 장치(102)는 입력 이미지 신호(106)를 처리하여 계단 아티팩트들을 보일 수 있는 입력 이미지 신호(106)의 하나 이상의 부분을 식별하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 계단 아티팩트들을 보이는 입력 이미지 신호(106)의 부분(들) 및 계단 아티팩트들을 보이지 않는 부분(들)을 식별하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 복수 부분 중의 제1 부분이 계단 아티팩트들을 보이는지 또는 보이지 않는지를 결정하도록 구성될 수 있다. 제1 부분이 계단 아티팩트를 보이는지를 식별하기 위해, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 제1 부분으로부터 샘플 값들(예를 들어, 픽셀 값들)의 시퀀스를 획득하도록 구성될 수 있다. 또한, 이미지 프로세싱 장치(102)는 획득된 샘플 값들의 시퀀스가 정의된 기준 세트를 충족시키는지를 식별하도록 구성될 수 있다. 획득된 샘플 값들이 정의된 기준 세트를 충족시키는 경우, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 제1 부분이 복수의 공지된 이미지 잡음 제거 동작을 이용하여 잡음 제거된다면 제1 부분이 계단 아티팩트들을 보일 수 있는 것으로 식별하도록 구성될 수 있다.

일부 경우들에서, 입력 이미지 신호(106)는 1차원(one-dimensional)(1D) 이미지 신호일 수 있다. 정의된 기준 세트의 제1 기준으로서, 이미지 프로세싱 장치(102)는 샘플 값들의 시퀀스가 정의된 중간 그레이 범위 내에 있는 것으로 검출하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 샘플 값들의 시퀀스의 계산된 평균이 정의된 중간 그레이 범위 내에 있는지를 검출하도록 구성될 수 있다. 입력 이미지 신호(106) 내 복수의 픽셀 값이 "0" 내지 "255"의 범위인 경우, 정의된 중간 그레이 범위는 산술 숫자들 "92" 내지 "198"일 수 있다. 계산된 평균이 정의된 중간 그레이 범위 내에 있는 경우들에 있어서, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)가 정의된 기준 세트의 제1 기준을 충족시키는 것으로 검출하도록 구성될 수 있다.

정의된 기준 세트의 제2 기준으로서, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 제1 부분이 일정한 비율로 변화하는지를 (예를 들어, 증가 또는 감소하는지를) 검출하도록 구성될 수 있다. 입력 이미지 신호(106)가 변화할 수 있는 비율의 일관성은 샘플 값들의 시퀀스에서 인접한 샘플 값들의 각 쌍 사이의 그레디언트 값들로부터 결정될 수 있다. 그러므로, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)와 연관된 그레디언트 값 세트를 계산하도록 구성될 수 있다. 그레디언트 값 세트는 샘플 값들의 시퀀스에서 인접한 샘플 값들의 각각의 쌍 사이의 차이들을 포함할 수 있다. 특정 시나리오들에서, 그레디언트 값 세트에서 하나의 가장 큰 그레디언트 값과 하나의 가장 낮은 그레디언트 값 사이의 차이는 입력 이미지 신호(106)가 변화하는 일관성을 나타낼 수 있다. 예를 들어, 이미지 프로세싱 장치(102)는 그레디언트 값 세트에서 두 번째로 높은 그레디언트 값과 두 번째로 낮은 그레디언트 값 사이의 차이를 계산하도록 구성될 수 있다. 또한, 이미지 프로세싱 장치(102)는 계산된 차이가 정의된 한계(예를 들어, 8) 미만일 수 있는지를 검출하여 입력 이미지 신호(106)가 일관되게 변화하는지를 결정하도록 구성될 수 있다. 계산된 차이가 정의된 한계 미만인 경우에, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 제1 부분이 제2 기준을 충족시키는 것으로 검출하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 그레디언트 값 세트의 그레디언트 값들이 양의(positive) 그레디언트 값들 또는 음의(negative) 그레디언트 값들인지를 결정하도록 구성될 수 있다.

정의된 기준 세트의 다른 기준으로서, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)가 문턱 비율을 초과할 수 있는 비율로 변화(증가 또는 감소)하는지를 검출하도록 구성될 수 있다. 입력 이미지 신호(106)가 변화하는 비율은 그레디언트 값 세트로부터 결정될 수 있다. 그러므로 이미지 프로세싱 장치(102)는 그레디언트 값 세트 내의 하나 이상의 그레디언트 값을 하나 이상의 한계 또는 문턱 값과 비교하도록 구성될 수 있다.

그레디언트 값 세트가 양의 그레디언트 값들인 경우들에서, 이미지 프로세싱 장치(102)는 그레디언트 값 세트에서 두 번째로 낮은 그레디언트 값이 양의 문턱 값(예를 들어, 6)을 초과하는지를 검출하도록 구성될 수 있다. 두 번째로 낮은 그레디언트 값이 양의 문턱 값을 초과하는 경우들에서, 이미지 프로세싱 장치(102)는 각각의 기준이 충족되는 것으로 검출할 수 있다.

그레디언트 값 세트가 음의 그레디언트 값들인 경우들에서, 이미지 프로세싱 장치(102)는 그레디언트 값 세트에서 두 번째로 높은 그레디언트 값이 음의 문턱 값(예를 들어, -6) 미만인지를 검출하도록 구성될 수 있다. 두 번째로 높은 그레디언트 값이 음의 문턱 값 미만인 경우들에서, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)가 각각의 기준을 충족시키는 것으로 검출할 수 있다.

샘플 값들의 시퀀스가 정의된 기준 세트를 충족시키는 경우들에서, 이미지 프로세싱 장치(102)는 제1 부분이 계단 아티팩트를 보이는 것으로 식별하도록 구성될 수 있다. 샘플 값들의 시퀀스가 정의된 기준 세트를 충족시키지 못하는 경우들에서, 이미지 프로세싱 장치(102)는 제1 부분이 계단 아티팩트가 없을 수 있는 것으로 식별하도록 구성될 수 있다. 제1 부분이 계단 아티팩트를 보이는 경우, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 제1 부분에 대한 경사도 파라미터를 계산하도록 구성될 수 있다. 입력 이미지 신호(106)의 제1 부분의 경사도 파라미터는 입력 이미지 신호(106)의 평균 변화 비율을 나타낼 수 있다. 특정 시나리오들에서, 경사도 파라미터는 그레디언트 값 세트 내 그레디언트 값들의 평균과 동일할 수 있다. 그러므로 이미지 프로세싱 장치(102)는 그레디언트 값 세트의 평균을 계산하여, 입력 이미지 신호(106)의 제1 부분의 경사도 파라미터를 결정하도록 구성될 수 있다. 경사도 파라미터는 입력 이미지 신호(106)의 제1 부분에 대응하는 슬로프를 나타낼 수 있다.

실시예에 따르면, 이미지 프로세싱 장치(102)는 슬로프의 경사도 파라미터에 기초하여 슬로프 신호를 생성하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 슬로프 신호의 변화(증가 또는 감소)의 비율이 경사도 파라미터와 동일할 수 있도록 슬로프 신호를 생성하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 제1 부분과 생성된 슬로프 신호 사이의 차이를 계산하도록 구성될 수 있다. 하나의 예에서, 이미지 프로세싱 장치(102)는 생성된 슬로프 신호를 입력 이미지 신호(106)의 제1 부분에서 감산하여 차이 신호를 생성하도록 구성될 수 있다.

실시예에 따르면, 이미지 프로세싱 장치(102)는 이미지 잡음 제거 필터들을 사용하여, 생성된 차이 신호를 필터링하도록 구성될 수 있다. 잡음 제거 필터의 예들은 이것으로 제한되는 것은 아니지만, 공간 선형 필터, 메디안 필터, 적응형 메디안 필터 및 다른 비선형 필터들을 포함할 수 있다. 이미지 프로세싱 장치(102)는 생성된 차이 신호를 잡음 제거하여 잡음 제거된 차이 신호를 생성하도록 구성될 수 있다. 특정 시나리오들에서, 이미지 프로세싱 장치(102)는 생성된 차이 신호 및 생성된 슬로프 신호에 기초한 잡음 제거된 이미지 신호를 생성하여 입력 이미지 신호(106)의 제1 부분에서 계단 아티팩트를 감소시키도록 구성될 수 있다. 특정 시나리오들에서, 이미지 프로세싱 장치(102)는 생성된 차이 신호와 생성된 슬로프 신호의 합을 계산하여 잡음 제거된 이미지 신호를 생성하도록 구성될 수 있다. 일부 예에서, 입력 이미지 신호(106)는 2차원 이미지 신호로서 처리될 수 있다. 계단 아티팩트를 보일 수 있는 부분으로서 2차원 이미지 신호의 제1 부분의 식별은, 예를 들어, 도 3에서 상세하게 설명된다.

도 2는 본 개시내용의 실시예에 따라서, 이미지 신호로부터의 계단 아티팩트들의 감소를 위한, 도 1의 이미지 프로세싱 장치(102)의 예시적인 동작들을 도시한다. 도 2는 본 개시내용의 실시예에 따라서, 이미지 신호로부터 계단 아티팩트들의 감소를 위한, 도 1의 이미지 프로세싱 장치(102)의 예시적인 동작들을 도시한다. 도 2는 도 1의 요소들과 함께 설명된다. 입력 이미지 신호(106)는 예시적인 목적들을 위해 도 2에서 1차원 신호로 표현되었다. 1차원 신호에 적용 가능하게 (도 2에) 도시된 이미지 프로세싱 장치(102)의 각종 기능성들 및 동작들은 2차원 이미지 신호에도 적용 가능할 수 있다.

202에서, 입력 이미지 신호의 제1 부분(204)은 이미지 프로세싱 장치(102)에 의해 처리될 수 있다. 이미지 프로세싱 장치(102)는 제1 부분(204)이 계단 아티팩트들을 보일 수 있는 것으로 식별하도록 구성될 수 있다. 또한, 이미지 프로세싱 장치(102)는, 예를 들어, 도 1에서 논의된 바와 같이, 입력 이미지 신호(106)의 제1 부분(204)의 경사도 파라미터를 계산하도록 구성될 수 있다.

206에서, 계산된 경사도 파라미터에 기초하여 이미지 프로세싱 장치(102)에 의해 슬로프 신호(210)가 생성될 수 있다. 생성된 슬로프 신호(210)는 계산된 경사도 파라미터에 대응하는 비율로 증가 또는 감소할 수 있다.

208에서, 생성된 슬로프 신호(210)는 입력 이미지 신호(106)의 제1 부분(204)으로부터 감산될 수 있다. 이미지 프로세싱 장치(102)는 생성된 슬로프 신호(210)를 입력 이미지 신호(106)의 제1 부분(204)으로부터 감산하도록 구성될 수 있다.

212에서, 생성된 슬로프 신호(210)와 입력 이미지 신호(106)의 제1 부분(204)(제1 그래프 구성요소(204)로 표시됨) 사이의 계산된 차이에 기초하여 이미지 프로세싱 장치(102)에 의해 차이 신호(214)가 생성될 수 있다. 이미지 프로세싱 장치(102)는 생성된 슬로프 신호(210)를 입력 이미지 신호(106)의 제1 부분(204)(제1 그래프 구성요소(204)로 표시됨)으로부터 감산함으로써 차이 신호(214)를 생성하도록 구성될 수 있다.

216에서, 생성된 차이 신호(214)는 잡음 제거될 수 있다. 이미지 프로세싱 장치(102)는 도 1에서 논의된 바와 같이, 잡음 제거 필터들을 사용하여, 생성된 차이 신호(214)를 잡음 제거하도록 구성될 수 있다.

218에서, 잡음 제거된 차이 신호(220)가 생성된 차이 신호(214)에 기초하여 생성될 수 있다. 이미지 프로세싱 장치(102)는 잡음 제거 필터들을 사용하여 잡음 제거된 차이 신호(220)를 생성하도록 구성될 수 있다.

222에서, 생성된 잡음 제거된 차이 신호(220)와 생성된 슬로프 신호(210)의 합이 이미지 프로세싱 장치(102)에 의해 계산될 수 있다. (226)에서, 잡음 제거된 이미지 신호(228)가 생성된 잡음 제거된 차이 신호(220) 및 생성된 슬로프 신호(210)에 기초하여 이미지 프로세싱 장치(102)에 의해 생성된다.

도 3은 본 개시내용의 실시예에 따라서, 이미지 신호로부터 계단 아티팩트들을 감소시키는 예시적인 이미지 프로세싱 장치를 도시하는 블록도이다. 도 3은 도 1의 요소들과 함께 설명된다. 도 3을 참조하면, 이미지 프로세싱 장치(102)가 도시된다.

이미지 프로세싱 장치(102)는 이미지 신호들을 캡처, 저장, 처리 및/또는 전달하도록 구성될 수 있는 적합한 로직, 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. 일반적으로, 이미지 프로세싱 장치(102)를 구현하는데 적합한 하드웨어 구조는 회로(302), 이미지 센서(104) 및 메모리(304)를 포함한다. 회로(302)는 프로세서(306), 입출력(Input-Output)(I/O) 디바이스들(308) 및 이미지 잡음 제거 하드웨어(310)(HW(310)로 도시됨)를 포함할 수 있다. 이미지 프로세싱 장치(102)는 버스(312), 이미지 잡음 제거 애플리케이션(314) 및 저장 디바이스(316)를 더 포함할 수 있다. 메모리(304), 프로세서(306), I/O 디바이스(들)(308), 이미지 잡음 제거 하드웨어(310) 및 저장 디바이스(316)는 버스(312)를 통해 서로 통신 가능하게 연결될 수 있다. 회로(302)는 복수의 이미지 잡음 제거 동작을 수행하여 입력 이미지 신호(106)를 처리하고, 캡처된 입력 이미지 신호(106)에서 계단 아티팩트들을 감소시키도록 구성될 수 있다. 회로(302)는 프로세서(306), 이미지 잡음 제거 하드웨어(310) 및/또는 이미지 잡음 제거 애플리케이션(314)을 사용함으로써 복수의 이미지 잡음 제거 동작을 수행할 수 있다. 프로세서(306)와 이미지 잡음 제거 하드웨어(310)의 조합은 회로(302)에 의해 실행 가능한 복수의 이미지 잡음 제거 동작을 수행하도록 구성될 수 있다.

이미지 센서(104)는 이미지 센서(104)의 시야로부터 입력 이미지 신호(106)를 캡처하도록 구성될 수 있는 적합한 로직, 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. 입력 이미지 신호(106)는 이미지 프로세싱 장치(102)에 의해 1차원 신호, 2차원 이미지 신호 또는 비디오 신호로서 처리될 수 있다. 입력 이미지 신호(106)는 이미지 센서(104)의 시야 내에 존재하는 특정 장면 및/또는 특정 물체의 비디오 또는 이미지를 포함할 수 있다. 이미지 센서(104)는 특정 장면 및/또는 특정 물체를 이미지 센서(104) 상에 포커싱할 수 있는 포커싱 렌즈들과 같은 적합한 광학 기구들을 가질 수 있다. 이미지 센서(104)의 구현의 예들은 이것으로 제한되는 것은 아니지만, 반도체 전하 결합 디바이스(CCD) 기반 이미지 센서, 상보형 금속 산화물 반도체(CMOS) 기반 이미지 센서 및 N-형 금속 산화물 반도체 기반 이미지 센서를 포함할 수 있다.

메모리(304)는 프로세서(306)에 의해 실행 가능한 머신 코드 및/또는 명령어 세트를 저장하도록 구성될 수 있는 적합한 로직, 회로, 및/또는 인터페이스들을 포함할 수 있다. 메모리(304)는 이미지 센서(104)로부터 수신된 입력 이미지 신호(106)를 저장하도록 추가로 구성될 수 있다. 메모리(304)는 하나 이상의 이미지 잡음 제거 필터에 대응할 수 있는 머신 코드 및/또는 명령어 세트를 저장하도록 구성될 수 있다. 메모리(304)의 구현의 예들은 이것으로 제한되는 것은 아니지만, 랜덤 액세스 메모리(Random Access Memory)(RAM), 판독 전용 메모리(Read Only Memory)(ROM), 하드 디스크 드라이브(Hard Disk Drive)(HDD), 보안 디지털 (Secure Digital)(SD) 카드 및/또는 다른 고체-상태 디바이스(Solid-State Device)(SSD)를 포함할 수 있다. 메모리(304)는 관련기술 분야에서 공지된 임의의 통상적인 컴퓨터 메모리일 수 있다.

프로세서(306)는 메모리(304)에 저장된 명령어 세트를 실행하도록 구성될 수 있는 적합한 로직, 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. 하나의 예에서, 이미지 센서(104)에 의해 캡처된 입력 이미지 신호(106)는 프로세서(306)에 의해 2차원 이미지 신호로서 처리될 수 있다. 충분한 속도를 가진 적합한 프로세서가 선택되는 한 프로세서의 선택은 중요하지 않다. 프로세서(306)의 구현의 예들은 X86 기반 프로세서, 축소 명령어 세트 컴퓨팅(Reduced Instruction Set Computing)(RISC) 프로세서, 주문형 집적 회로(Application-Specific Integrated Circuit)(ASIC) 프로세서, 복합 명령어 세트 컴퓨팅(Complex Instruction Set Computing)(CISC) 프로세서, 및/또는 다른 프로세서들일 수 있다.

I/O 디바이스들(308)은 이미지 프로세싱 장치(102)의 사용자로부터 하나 이상의 입력을 수신하고 사용자에게 정보를 디스플레이하도록 구성될 수 있는 적합한 로직, 회로, 인터페이스들 및/또는 코드를 포함할 수 있다. I/O 디바이스들(308)의 구현의 예들은 키보드, 마우스, 모니터, 스크린, 프린터, 모뎀, 터치스크린, 버튼 인터페이스 및 다른 디바이스들일 수 있다.

이미지 잡음 제거 하드웨어(310)는 입력 이미지 신호(106)를 잡음 제거하도록 구성될 수 있는 적합한 로직, 회로, 및/또는 인터페이스들을 포함할 수 있다. 하나의 예에서, 이미지 잡음 제거 하드웨어(310)는 입력 이미지 신호(106)와 같은 신호들을 처리하는 하나 이상의 회로를 포함할 수 있다.

이미지 센서(104)에 의해 캡처된 입력 이미지 신호(106)를 잡음 제거하고 계단 아티팩트들을 감소시키도록 구성될 수 있는 이미지 잡음 제거 애플리케이션(314)은 저장 디바이스(316)에 설치될 수 있다. 실시예에 따르면, 이미지 잡음 제거 애플리케이션(314)은 저장소(316)에 설치된 소프트웨어 컴포넌트를 포함할 수 있다. 실시예에 따르면, 이미지 잡음 제거 애플리케이션(314)의 기능성들은 프로세서(306)의 일부로서 구현될 수 있다.

복수의 이미지 잡음 제거 알고리즘을 저장하도록 구성될 수 있는 저장소(316)는 적합한 로직, 회로(302) 및/또는 인터페이스들을 포함할 수 있다. 저장소(316)는 이미지 센서(104)로부터 수신된 입력 이미지 신호(106)를 저장하도록 추가로 구성될 수 있다. 저장소(316)의 구현의 예들은 이것으로 제한되는 것은 아니지만, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크 드라이브(HDD), 보안 디지털(SD) 카드, 다른 고체 상태 디바이스(SSD), 콤팩트 디스크 판독 전용 메모리(Compact Disc Read Only Memory)(CDROM), 콤팩트 디스크 판독 가능 기입 가능(Compact Disc Readable Writeable)(CDRW), 디지털 다기능 디스크(Digital Versatile Disc)(DVD), 디지털 다기능 디스크 판독 가능 기입 가능(Digital Versatile Disc Readable Writeable)(DVDRW), 블루-레이 드라이브, 플래시 메모리 카드 또는 임의의 다른 저장 디바이스를 포함할 수 있다.

동작시, I/O 디바이스들(308)은 이미지 센서(104)로부터 입력 이미지 신호(106)를 수신할 수 있다. 실시예에 따르면, 프로세서(306)는 입력 이미지 신호(106)를 2차원 이미지 신호로서 처리하도록 구성될 수 있다. 2차원 이미지 신호는 이미지 센서(104)에 의해 캡처된 이미지를 포함할 수 있다. 캡처된 이미지는 복수의 픽셀 및 복수의 픽셀과 연관된 복수의 픽셀 값을 포함할 수 있다. 이러한 경우에, 입력 이미지 신호(106)의 제1 부분은 캡처된 이미지의 제1 이미지 패치에 대응할 수 있다.

회로(302)는 입력 이미지 신호(106)의 제1 부분으로부터 샘플 값들의 시퀀스를 획득하도록 구성될 수 있다. 획득된 샘플 값들의 시퀀스는 제1 이미지 패치 내 픽셀 세트의 픽셀 값들에 대응할 수 있다. 픽셀 세트는 제1 이미지 패치에서 복수의 행 및 복수의 열로 배열될 수 있다. 하나의 예에서, 이미지 프로세싱 장치(102)는 제1 이미지 패치 내의 픽셀 세트를 다운 샘플링된 픽셀 세트로 다운 샘플링하도록 구성될 수 있다. 픽셀 세트의 다운 샘플링은 예를 들어, 도 4a에서 상세히 설명된다.

도 4a 내지 도 4c는 본 개시내용의 실시예에 따라, 이미지 신호로부터의 계단 아티팩트들을 감소시키는 예시적인 동작들을 일괄하여 도시한다. 도 4a를 참조하면, 256 픽셀을 포함하는 제1 픽셀 세트(402)가 도시된다. 회로(302)는 제1 픽셀 세트를 16 픽셀을 포함하는 제2 픽셀 세트로 다운 샘플링하도록 구성될 수 있다.

하나의 예에서, 제2 픽셀 세트의 픽셀 값 세트는 4 개의 행 및 4 개의 열을 포함하는 제1 행렬(404)로 표현될 수 있다. 제1 행렬의 제1 행은 픽셀 값들(P1, P2, P3 및 P4)을 각각 포함할 수 있다. 제1 행렬(404)의 제2 행은 픽셀 값들(P5, P6, P7 및 P8)을 각각 포함할 수 있다. 제1 행렬(404)의 제3 행은 픽셀 값들(P9, P10, P11 및 P12)을 각각 포함할 수 있다. 제1 행렬의 제4 행은 픽셀 값들(P13, P14, P15 및 P16)을 각각 포함할 수 있다. 유사하게, 제1 행렬(404)의 제1 열은 픽셀 값들(P1, P5, P9 및 P13)을 각각 포함할 수 있다. 제1 행렬(404)의 제2 열은 픽셀 값들(P2, P6, P10 및 P14)을 각각 포함할 수 있다. 제1 행렬(404)의 제3 열은 픽셀 값들(P3, P7, P11 및 P15)을 각각 포함할 수 있다. 제1 행렬(404)의 제4 열은 픽셀 값들(P4, P8, P12 및 P16)을 각각 포함할 수 있다.

회로(302)는 획득된 샘플 값들의 시퀀스에 기초하여 제1 수평 그레디언트 값 세트 및 제1 수직 그레디언트 값 세트를 생성하도록 추가로 구성될 수 있다. 제1 수평 그레디언트 값 세트를 생성하기 위해, 회로(302)는 제1 이미지 패치의 각각의 행마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하도록 구성될 수 있다. 제1 수직 그레디언트 값 세트를 생성하기 위해, 회로(302)는 제1 이미지 패치의 각각의 열마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하도록 구성될 수 있다.

제1 수직 그레디언트 값 세트의 생성은, 예를 들어, 도 4b에서 상세하게 설명된다. 도 4b를 참조하면, 제2 픽셀 세트와 연관된 픽셀 값 세트를 포함하는 제1 행렬(404)이 도시된다. 회로(302)는 제1 행렬(404)로부터 제1 수직 그레디언트 값 세트를 계산하도록 구성될 수 있다. 제1 수직 그레디언트 값 세트는 4 개의 행을 포함하는 제2 행렬(406)로 표현될 수 있다. 제2 행렬(406)의 제1 행은 수직 그레디언트 값들(V1, V2 및 V3)을 각각 포함할 수 있다. 제2 행렬(406)의 제2 행은 수직 그레디언트 값들(V4, V5 및 V6)을 각각 포함할 수 있다. 제2 행렬(406)의 제3 행은 수직 그레디언트 값들(V7, V8 및 V9)을 각각 포함할 수 있다. 제2 행렬(406)의 제4 행은 수직 그레디언트 값들(V10, V11 및 V12)을 각각 포함할 수 있다. 하나의 예에서, 제2 행렬(406)의 제1 행의 수직 그레디언트 값들은 제1 행렬(404)의 제1 열의 픽셀 값들로부터 계산될 수 있다. 예를 들어, (V1)은 (P1)과 (P5) 사이의 제1 차이일 수 있다. (V2)는 (P5)와 (P9 )사이의 제2 차이일 수 있다. (V3)은 (P9)와 (P13) 사이의 제3 차이일 수 있다. 유사하게, 픽셀 값들(P2, P6, P10 및 P14)은 회로(302)에 의해 수직 그레디언트 값들(V4, V5 및 V6)을 계산하는데 사용될 수 있다. 픽셀 값들(P3, P7, P11 및 P15)은 회로(302)에 의해 수직 그레디언트 값들(V7, V8 및 V9)을 계산하는데 사용될 수 있다. 픽셀 값들(P4, P8, P12 및 P16)은 회로(302)에 의해 수직 그레디언트 값들(V10, V11 및 V12)을 각각 계산하는데 사용될 수 있다.

제1 수평 그레디언트 값 세트의 생성은, 예를 들어, 도 4c에서 상세히 설명된다. 도 4c를 참조하면, 제2 픽셀 세트의 픽셀 값 세트를 포함하는 제1 행렬(404)이 도시된다. 회로(302)는 제1 행렬(404)로부터 제1 수평 그레디언트 값 세트를 계산하도록 구성될 수 있다. 제1 수평 그레디언트 값 세트는 4 개의 행을 포함하는 제3 행렬(408)로 표현될 수 있다. 제3 행렬(408)의 제1 행은 수평 그레디언트 값들(H1, H2 및 H3)을 각각 포함할 수 있다. 제3 행렬(408)의 제2 행은 수평 그레디언트 값들(H4, H5 및 H6)을 각각 포함할 수 있다. 제3 행렬(408)의 제3 행은 수평 그레디언트 값들(H7, H8 및 H9)을 각각 포함할 수 있다. 제3 행렬(408)의 제4 행은 수평 그레디언트 값들(H10, H11 및 H12)을 각각 포함할 수 있다. 제1 수평 그레디언트 값 세트를 생성하기 위해, 회로(302)는 제1 이미지 패치의 각각의 행마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하도록 구성될 수 있다. 제3 행렬(408)의 제1 행의 수평 그레디언트 값들은 제1 행렬(404)의 제1 행의 픽셀 값들로부터 계산될 수 있다. 예를 들어, (H1)은 (P1)과 (P2) 사이의 제1 차이로부터 계산될 수 있다. (H2)는 (P2)와 (P3) 사이의 제2 차이로부터 계산될 수 있다. (H3)은 (P3)과 (P4) 사이의 제3 차이일 수 있다. 유사하게, 픽셀 값들(P5, P6, P7 및 P8)은 회로(302)에 의해 수평 그레디언트 값들(H4, H5 및 H6)을 계산하는데 사용될 수 있다. 픽셀 값들(P9, P10, P11 및 P12)는 회로(302)에 의해 수평 그레디언트 값들(H7, H8 및 H9)을 계산하는데 사용될 수 있다. 픽셀 값들(P13, P14, P15 및 P16)은 회로(302)에 의해 수평 그레디언트 값들(H10, H11 및 H12)을 각각 계산하는데 사용될 수 있다.

회로(302)는 제1 이미지 패치의 픽셀 값 세트가 정의된 기준 세트를 충족시키는지를 검출하도록 구성될 수 있다. 실시예에 따르면, 정의된 기준 세트는 제1 기준, 제2 기준, 제3 기준 및 제4 기준을 포함할 수 있다. 회로(302)는 픽셀 값 세트의 평균 값을 계산하도록 구성될 수 있다. 제1 기준으로서, 회로(302)는 제1 이미지 패치의 픽셀 값 세트의 계산된 평균 값이 정의된 중간 그레이 범위 내에 있을 수 있는지를 결정하도록 구성될 수 있다. 제1 이미지 패치의 픽셀 값 세트가 "0" 내지 "255" 범위에 있는 경우들에서, 정의된 중간 그레이 범위는 64 내지 192에 걸쳐 있는 숫자들의 범위일 수 있다. 이러한 경우에, 이미지 프로세싱 장치(102)는 계산된 평균이 64를 초과하고 192 미만인지를 검출하도록 구성될 수 있다. 계산된 평균이 정의된 중간 그레이 범위 내에 있을 수 있는 경우들에서, 회로(302)는 제1 이미지 패치의 픽셀 값 세트가 제1 기준을 충족시키는 것으로 검출하도록 구성될 수 있다.

실시예에 따르면, 제2 기준 및 제3 기준으로서, 이미지 프로세싱 장치(102)는 픽셀 값 세트의 공간적 일관성(spatial consistency)이 정의된 또는 특정의 한계 또는 문턱 값 내에 있을 수 있는지를 검출하도록 구성될 수 있다. 공간적 일관성은 픽셀 값 세트와 연관된 픽셀들의 광도의 공간적 일관성에 대응할 수 있다. 공간적 일관성은 제1 수평 그레디언트 값 세트 및 제1 수직 그레디언트 값 세트 내 하나 이상의 그레디언트 값으로부터 결정될 수 있다.

예를 들어, 회로(302)는 제1 수평 그레디언트 값 세트로부터 제1 수평 그레디언트 값 및 제2 수평 그레디언트 값을 선택하도록 구성될 수 있다. 하나의 예에서, 제1 수평 그레디언트 값은 제1 수평 그레디언트 값 세트 중 두 번째로 큰 수평 그레디언트 값일 수 있다. 다른 예에서, 제1 수평 그레디언트 값은 제1 수평 그레디언트 값 세트 중 세 번째로 큰 수평 그레디언트 값일 수 있다. 유사하게, 제2 수평 그레디언트 값은 제1 수평 그레디언트 값 세트 중 두 번째로 낮은 수평 그레디언트 값일 수 있다. 다른 예에서, 제2 수평 그레디언트 값은 제1 수평 그레디언트 값 세트 중 세 번째로 낮은 수평 그레디언트 값일 수 있다.

특정 시나리오들에서, 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이는 픽셀 세트의 공간적 일관성을 나타낼 수 있다. 그러므로, 회로(302)는 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이를 계산하여 픽셀 세트의 공간적 일관성을 계산하도록 구성될 수 있다. 이러한 시나리오들에서, 회로(302)는 픽셀 세트의 결정된 공간적 일관성이 정의된 한계(예를 들어, 8) 미만인지를 검출하도록 구성될 수 있다. 공간적 일관성이 정의된 한계 미만인 경우, 이미지 프로세싱 장치(102)는 캡처된 이미지의 제1 이미지 패치가 정의된 기준 세트의 제2 기준을 충족시키는지를 검출하도록 구성될 수 있다.

특정 시나리오들에서, 회로(302)는 제1 수직 그레디언트 값 세트로부터 제1 수직 그레디언트 값 및 제2 수직 그레디언트 값을 선택하도록 구성될 수 있다. 제1 수직 그레디언트 값은 제1 수직 그레디언트 값 세트 중 두 번째로 큰 수직 그레디언트 값일 수 있다. 다른 예에서, 제1 수직 그레디언트 값은 제1 수직 그레디언트 값 세트 중 세 번째로 큰 수직 그레디언트 값일 수 있다. 유사하게, 제2 수직 그레디언트 값은 제1 수직 그레디언트 값 세트 중 두 번째로 낮은 수직 그레디언트 값일 수 있다. 다른 예에서, 제2 수직 그레디언트 값은 제1 수직 그레디언트 값 세트의 세 번째로 낮은 수직 그레디언트 값일 수 있다.

특정 시나리오들에서, 픽셀 세트의 공간적 일관성은 제1 수직 그레디언트 값과 제2 수직 그레디언트 값 사이의 차이와 동일할 수 있다. 그러므로 회로(302)는 제1 수직 그레디언트 값과 제2 수직 그레디언트 값 사이의 차이를 계산하도록 구성될 수 있다. 이러한 시나리오들에서, 이미지 프로세싱 장치(102)는 픽셀 세트의 결정된 공간적 일관성이 정의된 한계(예를 들어, 픽셀 값 8) 미만일 수 있는지를 검출하도록 구성될 수 있다. 공간적 일관성이 정의된 한계 미만인 경우, 이미지 프로세싱 장치(102)는 캡처된 이미지의 제1 이미지 패치가 정의된 기준 세트의 제3 기준을 충족시키는 것으로 검출하도록 구성될 수 있다.

실시예에 따르면, 회로(302)는 제1 수직 그레디언트, 제2 수직 그레디언트, 제1 수평 그레디언트 및 제2 수평 그레디언트를 양의 그레디언트 및 음의 그레디언트 중 하나로서 식별하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 정의된 기준 세트의 제4 기준으로서, 입력 이미지 신호(106)의 제1 부분의 경사도 파라미터가 정의된 문턱 값을 초과할 수 있는지를 검출하도록 구성될 수 있다. 경사도 파라미터는 입력 이미지 신호(106)가 변화하는(증가 또는 감소하는) 비율을 나타낼 수 있다. 하나의 예에서, 입력 이미지 신호(106)의 경사도 파라미터는 제1 수직 그레디언트 값(즉, 두 번째로 큰 또는 세 번째로 큰 수직 그레디언트 값), 제2 수직 그레디언트 값(즉, 두 번째로 낮은 또는 세 번째로 낮은 수직 그레디언트 값), 제1 수평 그레디언트 값(즉, 두 번째로 큰 또는 세 번째로 큰 수평 그레디언트 값) 및 제2 수평 그레디언트 값(즉, 두 번째로 낮은 또는 세 번째로 낮은 수평 그레디언트 값) 중 하나에 대응할 수 있다.

제1 수직 그레디언트, 제2 수직 그레디언트, 제1 수평 그레디언트 및 제2 수평 그레디언트가 양의 그레디언트들인 경우들에서, 회로(302)는 제2 수직 그레디언트 값(즉, 두 번째로 낮은 또는 세 번째로 낮은 수직 그레디언트 값) 또는 제2 수평 그레디언트 값(즉, 두 번째로 낮은 또는 세 번째로 낮은 수평 그레디언트 값)이 정의된 양의 문턱 값(예를 들어, 6)을 초과할 수 있는지를 검출하도록 구성될 수 있다. 제2 수직 그레디언트 값 또는 제2 수평 그레디언트 값이 정의된 양의 문턱 값을 초과할 수 있는 경우들에서, 회로(302)는 캡처된 이미지의 제1 이미지 패치가 제4 기준을 충족시키는 것으로 검출하도록 구성될 수 있다. 달리 설명하면, 회로(302)는 제2 수직 그레디언트 값 또는 제2 수평 그레디언트 값의 절대 값이 정의된 양의 문턱 값(예를 들어, 6)을 초과할 수 있는지를 검출하도록 구성될 수 있다. 제2 수직 그레디언트 값 또는 제2 수평 그레디언트 값이 정의된 양의 문턱 값을 초과할 수 있는 경우들에서, 회로(302)는 경사도 파라미터가 정의된 문턱 값을 초과하는 것으로 검출하도록 구성될 수 있다. 이러한 경우들에서, 캡처된 이미지의 제1 이미지 패치는 제4 기준을 충족시킨다.

제1 수직 그레디언트, 제2 수직 그레디언트, 제1 수평 그레디언트 및 제2 수평 그레디언트가 음의 그레디언트들인 다른 경우들에서, 회로(302)는 제1 수직 그레디언트 값(즉, 두 번째로 큰 또는 세 번째로 큰 수직 그레디언트 값) 또는 제1 수평 그레디언트 값(즉 두 번째로 큰 또는 세 번째로 큰 수평 그레디언트 값)이 정의된 음의 문턱 값(예를 들어, -6) 미만일 수 있는지를 검출하도록 구성될 수 있다. 제1 수직 그레디언트 값 또는 제1 수평 그레디언트 값이 정의된 음의 문턱 값 미만일 수 있는 경우들에서, 회로(302)는 캡처된 이미지의 제1 이미지 패치가 제4 기준을 충족시키는 것으로 검출하도록 구성될 수 있다. 달리 설명하면, 회로(302)는 제1 수직 그레디언트 값 또는 제1 수평 그레디언트 값의 절대 값이 정의된 양의 문턱 값(예를 들어, 6)을 초과할 수 있는지를 검출하도록 구성될 수 있다. 제1 수직 그레디언트 값 또는 제1 수평 그레디언트 값이 정의된 양의 문턱 값을 초과할 수 있는 경우들에서, 회로(302)는 경사도 파라미터가 정의된 문턱 값을 초과하는 것으로 검출하도록 구성될 수 있다. 이러한 경우들에서, 캡처된 이미지의 제1 이미지 패치는 제4 기준을 충족시킨다.

특정 시나리오들에서, 경사도 파라미터는 제1 수직 그레디언트 값 세트 및 제1 수평 그레디언트 값 세트 중 한 세트의 계산된 평균에 대응할 수 있다. 회로(302)는 제1 수직 그레디언트 값 세트의 제1 계산된 평균 및 제1 수평 그레디언트 값 세트의 제2 계산된 평균에 기초하여 경사도 파라미터를 계산하도록 구성될 수 있다.

입력 이미지 신호(106)의 제1 부분이 정의된 기준 세트를 충족시키는 경우들에서, 회로(302)는 계단 아티팩트를 보이는 제1 부분을 식별하도록 구성될 수 있다. 특정 시나리오들에서, 회로(302)는 식별에 기초하여, 제1 부분이 계단 아티팩트를 보일 수 있는지를 결정하도록 구성될 수 있다. 제1 부분이 정의된 기준 세트 중의 적어도 하나를 충족시키지 못하는 경우들에서, 이미지 프로세싱 장치(102)는 제1 부분이 계단 아티팩트가 없는 것으로 식별하도록 구성될 수 있다.

실시예에 따르면, 회로(302)는 제1 부분을 제1 부분 세트 및 제2 부분 세트 중 하나로 분류하도록 구성될 수 있다. 제1 부분 세트는 계단 아티팩트를 보일 수 있다. 계단 아티팩트가 없는(즉, 계단 아티팩트를 갖지 않는) 제2 부분 세트. 유사하게, 이미지 프로세싱 장치(102)는 식별에 기초하여, 입력 이미지 신호(106)의 복수의 부분을 계단 아티팩트를 보이는 제1 부분 세트 및 계단 아티팩트가 없을 수 있는 제2 부분 세트 중 하나로 분류하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 계단 아티팩트를 보이는 (복수의 부분에서) 하나 이상의 관심 영역을 식별하도록 구성될 수 있다. 하나 이상의 관심 영역은 계단 아티팩트를 보일 수 있는 식별된 제1 부분에 대응하는 제1 관심 영역을 포함할 수 있다.

실시예에 따르면, 이미지 프로세싱 장치(102)는 계단 아티팩트를 보이는 입력 이미지 신호(106)의 복수의 부분 중 (제1 부분 세트와 같은) 하나 이상의 부분을 구분하여 제1 프로세싱 파이프 라인에서 처리되도록 구성될 수 있다. 또한, 이미지 프로세싱 장치(102)는 계단 아티팩트가 없을 수 있는 복수의 부분 중 (제2 부분 세트와 같은) 나머지 하나 이상의 부분을 구분하여 제2 프로세싱 파이프 라인에서 처리되도록 구성될 수 있다. 제1 프로세싱 파이프 라인은 제2 프로세싱 파이프 라인과 상이할 수 있다. 복수의 부분을 제1 프로세싱 파이프 라인 및 제2 프로세싱 파이프 라인으로 구분하는 것은 예를 들어 도 5에서 상세하게 설명되었다.

도 5는 본 개시내용의 실시예에 따라서, 이미지 신호로부터 계단 아티팩트들의 감소를 위한 도 3의 이미지 프로세싱 장치의 예시적인 동작들을 도시한다. 도 5를 참조하면, 여러 동작들(502 내지 512 및 516), 및 제1 관심 영역(514)이 도시된다. 이미지 센서(104)는 입력 이미지 신호(106)를 캡처하도록 구성될 수 있다. 이미지 센서(104)는 캡처된 이미지 신호를 회로(302)에 전달하도록 구성될 수 있다.

502에서, 입력 이미지 신호(106)의 복수의 부분은 제1 부분 세트 및 제2 부분 세트 중 하나로 분류될 수 있다. 회로(302)는 복수의 부분을 분류하도록 구성될 수 있다. 제1 부분 세트는 계단 아티팩트를 보일 수 있다. 제2 부분 세트는 계단 아티팩트가 없을 수 있다(계단 아티팩트를 갖지 않을 수 있다). 회로(302)는 계단 아티팩트를 보일 수 있는 제1 부분 세트를 구분하여 제1 프로세싱 파이프 라인(504)에서 처리되도록 구성될 수 있다. 회로(302)는 제2 부분 세트를 구분하여 제2 프로세싱 파이프 라인(506)에서 처리되게 추가로 구성될 수 있다.

508에서, 도 3에서 논의된 바와 같이, 입력 이미지 신호(106)의 경사도 파라미터가 계산될 수 있다. 회로(302)는 입력 이미지 신호(106)의 경사도 파라미터를 계산하도록 구성될 수 있다.

510에서, 슬로프 신호는 계산된 경사도 파라미터에 기초하여 생성될 수 있다. 회로(302)는 입력 이미지 신호(106)와 생성된 슬로프 신호 사이의 차이에 기초한 차이 신호를 생성하도록 구성될 수 있다. 회로(302)는 생성된 차이 신호에 기초하여 잡음 제거된 차이 신호를 생성하도록 구성될 수 있다. 회로(302)는 생성된 잡음 제거된 차이 신호와 생성된 슬로프 신호를 가산하여 잡음 제거된 차이 신호를 생성하도록 구성될 수 있다.

512에서, 잡음 제거된 이미지 신호는 입력 이미지 신호(106)에 기초하여 생성될 수 있다. 회로(302)는 입력 이미지 신호(106)에 기초하여 잡음 제거된 이미지 신호를 생성하도록 구성될 수 있다. (516)에서, 회로(302)는 입력 이미지 신호(106) 내의 제1 관심 영역(514)(예를 들어, 특정 얼굴 영역) 내의 계단 아티팩트들을 감소시키도록 구성될 수 있다.

도 6은 본 개시내용의 실시예에 따라서, 이미지 신호로부터 계단 아티팩트를 감소시키는 예시적인 방법을 도시하는 제1 흐름도를 도시한다. 도 6을 참조하면, 흐름도(600)가 도시된다. 흐름도(600)는 도 1, 도 2, 도 3, 도 4a, 도 4b, 도 4c 및 도 5와 함께 설명된다. 방법은 602에서 시작하여 604로 진행한다.

604에서, 입력 이미지 신호(106)가 이미지 센서(104)의 시야로부터 캡처될 수 있다. 이미지 센서(104)는 입력 이미지 신호(106)를 캡처하도록 구성될 수 있다. 이미지 프로세싱 장치(102)의 I/O 디바이스(308)는 이미지 센서(104)로부터 캡처된 입력 이미지 신호(106)를 수신하도록 구성될 수 있다. 일부 경우들에서, 이미지 프로세싱 장치(102)의 사용자는 이미지 센서(104)를 특정 장면 쪽으로 향하게 하여 특정 장면으로부터 입력 이미지 신호(106)를 캡처할 수 있다. 특정 장면은 불충분하게 조명될 수 있고 여러 개의 낮은 조명 영역을 포함할 수 있다. 실시예에 따르면, 이미지 프로세싱 장치(102)는 제1 부분이 계단 아티팩트를 보이는지 또는 계단 아티팩트가 없는지를 식별하도록 구성될 수 있다.

606에서, 샘플 값들의 시퀀스가 입력 이미지 신호(106)의 제1 부분으로부터 획득될 수 있다. 회로(302)는 입력 이미지 신호(106)로부터 샘플 값들의 시퀀스를 획득하도록 구성될 수 있다.

608에서, 입력 이미지 신호(106)의 제1 부분이 계단 아티팩트를 보이는지가 결정될 수 있다. 입력 이미지 신호(106)의 제1 부분이 계단 아티팩트를 보일 수 있는지를 결정하기 위해, 회로(302)는 획득된 샘플 값들의 시퀀스가 정의된 기준 세트를 충족시키는지를 검출하도록 구성될 수 있다. 획득된 샘플 값들이 정의된 기준 세트를 충족시킬 수 있는 경우, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 제1 부분이 계단 아티팩트를 보일 수 있는 것으로 결정하도록 구성될 수 있다. 이러한 경우에, 제어는 610으로 넘어갈 수 있다. 제1 부분이 계단 아티팩트를 보이는 경우, 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 제1 부분에 대한 경사도 파라미터를 계산하도록 구성될 수 있다. 입력 이미지 신호(106)의 제1 부분의 경사도 파라미터는 입력 이미지 신호의 평균 변화율을 나타낼 수 있다. 획득된 샘플 값들의 시퀀스가 정의된 기준 세트를 충족시키지 못하는 경우, 이미지 프로세싱 장치(102)는 제1 부분이 계단 아티팩트가 없을 수 있는 것으로 검출하도록 구성될 수 있다. 이러한 경우에, 제어는 616으로 넘어갈 수 있다.

610에서, 슬로프 신호는 제1 부분에 대응하는 슬로프의 경사도 파라미터에 기초하여 생성될 수 있다. 회로(302)는 슬로프 신호의 변화(증가 또는 감소)의 비율이 경사도 파라미터에 대응할 수 있도록 슬로프 신호를 생성하도록 구성될 수 있다.

612에서, 입력 이미지 신호(106)의 제1 부분과 생성된 슬로프 신호 사이의 차이에 기초한 차이 신호가 생성될 수 있다. 회로(302)는 차이 신호를 생성하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 입력 이미지 신호(106)의 제1 부분과 생성된 슬로프 신호 사이의 차이를 계산하도록 구성될 수 있다. 하나의 예에서, 이미지 프로세싱 장치(102)는 생성된 슬로프 신호를 입력 이미지 신호(106)로부터 감산함으로써 입력 이미지 신호(106)의 제1 부분과 생성된 슬로프 신호 사이의 차이를 계산하도록 구성될 수 있다. 회로(302)는 이미지 잡음 제거 필터들을 사용하여 생성된 차이 신호를 잡음 제거하도록 구성될 수 있다. 하나의 예에서, 이미지 프로세싱 장치(102)는 도 1에서 논의된 바와 같이, 디지털 필터를 사용함으로써, 하나 이상의 정의된 또는 특정한 파라미터에 기초하여 생성된 차이 신호를 필터링하도록 구성될 수 있다. 이미지 프로세싱 장치(102)는 생성된 차이 신호를 잡음 제거하여 잡음 제거된 차이 신호를 생성하도록 구성된다.

614에서, 잡음 제거된 이미지 신호는 생성된 차이 신호 및 생성된 슬로프 신호에 기초하여 생성되어, 입력 이미지 신호(106)의 제1 부분에서 계단 아티팩트를 감소시킬 수 있다. 회로(302)는 생성된 잡음 제거된 차이 신호와 생성된 슬로프 신호의 합에 기초하여 잡음 제거된 이미지 신호를 생성하도록 구성된다.

616에서, 잡음 제거된 이미지 신호는 입력 이미지 신호(106)에 기초하여 이미지 프로세싱 장치(102)에 의해 생성될 수 있다. 회로(302)는 도 1에서 논의된 바와 같이, 잡음 제거 필터들을 사용함으로써, 입력 이미지 신호(106)를 잡음 제거하도록 구성될 수 있다. 제어는 종료(618)로 넘어갈 수 있다.

도 7a 및 도 7b는 본 개시내용의 실시예에 따라서, 2차원(2D) 이미지로부터 계단 아티팩트들을 감소시키는 예시적인 방법을 도시하는 제2 흐름도를 하나로 모아 도시한다. 도 7a를 참조하면, 흐름도(700)가 도시된다. 흐름도(700)는 도 1, 도 2, 도 3, 도 4a, 도 4b, 도 4c, 도 5, 도 7a 및 도 7b와 함께 설명된다. 방법은 702에서 시작하여 704로 진행한다.

704에서, 제1 이미지가 캡처될 수 있다. 이미지 프로세싱 장치(102)의 이미지 센서(104)는 제1 이미지를 캡처하도록 구성될 수 있다. 이미지 센서(104)는 제1 이미지를 이미지 프로세싱 장치(102)에 전달하도록 구성될 수 있다. 캡처된 이미지는 복수의 픽셀 및 복수의 픽셀과 연관된 복수의 픽셀 값을 포함할 수 있다.

706에서, 캡처된 제1 이미지의 제1 이미지 패치가 선택될 수 있다. 회로(302)는 제1 이미지 패치를 선택하도록 구성될 수 있다. 제1 이미지 패치는 캡처된 제1 이미지 내 복수의 이미지 패치 중 하나일 수 있다.

708에서, 픽셀 값 세트가 캡처된 제1 이미지의 제1 이미지 패치로부터 획득될 수 있다. 회로(302)는 캡처된 제1 이미지로부터 제1 이미지 패치를 획득하도록 구성될 수 있다.

710에서, 제1 수평 그레디언트 값 세트 및 제1 수직 그레디언트 값 세트가 획득된 픽셀 값 세트로부터 생성될 수 있다. 회로(302)는 제1 수평 그레디언트 값 세트 및 제1 수직 그레디언트 값 세트를 생성하도록 구성될 수 있다. 제1 수평 그레디언트 값 세트를 생성하기 위해, 회로(302)는 제1 이미지 패치의 각각의 행마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하도록 구성될 수 있다. 제1 수직 그레디언트 값 세트를 생성하기 위해, 회로(302)는 제1 이미지 패치의 각각의 열마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하도록 구성될 수 있다.

712에서, 픽셀 값 세트가 정의된 중간 그레이 범위 내에 있는지가 결정될 수 있다. 회로(302)는 픽셀 값 세트가 정의된 중간 그레이 범위 내에 있는지를 결정하도록 구성될 수 있다. 특정 시나리오들에서, 픽셀 값 세트의 평균이 정의된 중간 그레이 범위와 비교될 수 있다. 픽셀 값 세트의 평균이 정의된 중간 그레이 범위 밖에 있을 수 있는 경우, 제어는 734로 넘어갈 수 있다. 하나 이상의 동작(예컨대, 714, 716 및 722)은 병렬 프로세싱에 의해 하나 이상의 다른 동작(예컨대, 718, 720 및 724)과 동시에 실행될 수 있다. 그러므로 픽셀 값 세트의 평균 값이 정의된 중간 그레이 범위 내에 있을 수 있는 경우, 제어는 714 및 718로 동시에 넘어갈 수 있다.

714에서, 제1 수평 그레디언트 값 및 제2 수평 그레디언트 값이 제1 수평 그레디언트 값 세트로부터 선택될 수 있다. 회로(302)는 하나 이상의 파라미터에 기초하여 제1 수평 그레디언트 값 및 제2 수평 그레디언트 값을 선택하도록 구성될 수 있다. 예를 들어, 제1 수평 그레디언트 값은 제1 수평 그레디언트 값 세트의 두 번째로 큰 수평 그레디언트 값일 수 있다. 유사하게, 제2 수평 그레디언트 값은 제1 수평 그레디언트 값 세트의 두 번째로 낮은 수평 그레디언트 값일 수 있다.

716에서, 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이가 계산될 수 있다. 회로(302)는 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이를 계산하여 픽셀 세트의 공간적 일관성을 결정하도록 구성될 수 있다. 제어는 716으로부터 722로 넘어간다.

722에서, 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이가 정의된 한계 미만인지가 결정될 수 있다. 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이가 정의된 한계 미만일 수 있는 경우, 제어는 726으로 넘어갈 수 있다. 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이가 정의된 한계를 초과할 수 있는 경우, 제어는 734로 넘어갈 수 있다.

718에서, 제1 수직 그레디언트 값 및 제2 수직 그레디언트 값이 제1 수직 그레디언트 값 세트로부터 선택될 수 있다. 회로(302)는 제1 수직 그레디언트 값 및 수직 수평 그레디언트 값을 선택하도록 구성될 수 있다. 제1 수직 그레디언트 값은 제1 수직 그레디언트 세트의 두 번째로 큰 수직 그레디언트 값일 수 있다. 유사하게, 제2 수직 그레디언트 값은 제1 수직 그레디언트 세트의 두 번째로 낮은 수직 그레디언트 값일 수 있다.

720에서, 제1 수직 그레디언트 값과 제2 수직 그레디언트 값 사이의 차이가 계산될 수 있다. 회로(302)는 제1 수직 그레디언트 값과 제2 수직 그레디언트 값 사이의 차이를 계산하여 픽셀 세트의 공간적 일관성을 결정하도록 구성될 수 있다.

724에서, 제1 수직 그레디언트 값과 제2 수직 그레디언트 값 사이의 차이가 정의된 한계 미만인지가 결정될 수 있다. 제1 수직 그레디언트 값과 제2 수직 그레디언트 값 사이의 차이가 정의된 한계 미만일 수 있는 경우, 제어는 726으로 넘어갈 수 있다. 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이가 정의된 한계를 초과하는 경우에, 제어는 734로 넘어갈 수 있다. 실시예에 따르면, 회로(302)는 제1 수직 그레디언트, 제2 수직 그레디언트, 제1 수평 그레디언트 및 제2 수평 그레디언트를 양의 그레디언트 및 음의 그레디언트 중 하나로서 식별하도록 구성될 수 있다.

726에서, 정의된 기준 세트의 제4 기준으로서, 입력 이미지 신호(106)의 제1 부분의 경사도 파라미터가 정의된 문턱 값을 초과할 수 있는지가 결정될 수 있다. 경사도 파라미터는 입력 이미지 신호(106)가 변화하는 (증가 또는 감소하는) 비율을 나타낼 수 있다. 하나의 예에서, 입력 이미지 신호(106)의 경사도 파라미터는 제1 수직 그레디언트 값(즉, 두 번째로 큰 또는 세 번째로 큰 수직 그레디언트 값), 제2 수직 그레디언트 값(즉, 두 번째로 낮은 또는 세 번째로 낮은 수직 그레디언트 값), 제1 수평 그레디언트 값(즉, 두 번째로 큰 또는 세 번째로 큰 수평 그레디언트 값) 및 제2 수평 그레디언트 값(즉, 두 번째로 낮은 또는 세 번째로 낮은 수평 그레디언트 값) 중 하나에 대응할 수 있다.

제1 수직 그레디언트, 제2 수직 그레디언트, 제1 수평 그레디언트 및 제2 수평 그레디언트가 양의 그레디언트들인 경우, 회로(302)는 제2 수직 그레디언트 값(즉, 두 번째로 낮은 또는 세 번째로 낮은 수직 그레디언트 값) 또는 제2 수평 그레디언트 값(즉, 두 번째로 낮은 또는 세 번째로 낮은 수평 그레디언트 값)이 정의된 양의 문턱 값(예를 들어, 6)을 초과할 수 있는지를 검출하도록 구성될 수 있다. 달리 설명하면, 회로(302)는 제2 수직 그레디언트 값 또는 제2 수평 그레디언트 값의 절대 값이 정의된 양의 문턱 값(예를 들어, 6)를 초과하는지를 검출하도록 구성될 수 있다. 제2 수직 그레디언트 값 또는 제2 수평 그레디언트 값이 정의된 양의 문턱 값을 초과할 수 있는 경우, 회로(302)는 경사도 파라미터가 정의된 문턱 값을 초과하는 것으로 검출하도록 구성될 수 있다. 이러한 경우들에서, 캡처된 이미지의 제1 이미지 패치는 제4 기준을 충족시킨다.

제1 수직 그레디언트, 제2 수직 그레디언트, 제1 수평 그레디언트 및 제2 수평 그레디언트가 음의 그레디언트들인 다른 경우들에서, 회로(302)는 제1 수직 그레디언트 값(즉, 두 번째로 큰 또는 세 번째로 큰 수직 그레디언트 값) 또는 제1 수평 그레디언트 값(즉, 두 번째로 큰 또는 세 번째로 큰 수평 그레디언트 값)이 정의된 음의 문턱 값(예를 들어, -6) 미만일 수 있는지를 검출하도록 구성될 수 있다. 달리 설명하면, 회로(302)는 제1 수직 그레디언트 값 및 제1 수평 그레디언트 값의 절대 값이 정의된 문턱 값(예를 들어, 6)을 초과할 수 있는지를 검출하도록 구성될 수 있다. 제1 수직 그레디언트 값 또는 제1 수평 그레디언트 값이 정의된 음의 문턱 값 미만일 수 있는 경우들에서, 회로(302)는 경사도 파라미터가 정의된 문턱 값을 초과하는 것으로 검출하도록 구성될 수 있다. 이러한 경우들에서, 캡처된 이미지의 제1 이미지 패치는 제4 기준을 충족시킨다. 경사도 파라미터가 정의된 문턱 값을 초과하는 경우, 제어는 728로 넘어갈 수 있다. 경사도 파라미터가 문턱 값 미만일 수 있는 경우, 제어는 734로 넘어갈 수 있다.

728에서, 제1 수직 그레디언트 값 세트의 제1 계산된 평균 및 제1 수평 그레디언트 값 세트의 제2 계산된 평균이 계산될 수 있다. 회로(302)는 제1 계산된 평균 및 제2 계산된 평균을 계산하도록 구성될 수 있다.

730에서, 제1 수직 그레디언트 값 세트의 제1 계산된 평균 및 제1 수평 그레디언트 값 세트의 제2 계산된 평균에 기초하여 차이 이미지가 생성될 수 있다. 회로(302)는 제1 계산된 평균 및 제2 계산된 평균에 기초하여, 제1 이미지 패치 내의 하나 이상의 픽셀 값을 수정함으로써 차이 이미지를 생성하도록 구성될 수 있다.

732에서, 잡음 제거된 이미지가 생성된 차이 이미지에 기초하여 생성될 수 있다. 회로(302)는 잡음 제거 필터들을 사용하여 생성된 차이 이미지를 잡음 제거하여 잡음 제거된 차이 이미지를 생성하도록 추가로 구성될 수 있다. 회로(302)는 제1 계산된 평균 및 제2 계산된 평균에 기초하여, 생성된 잡음 제거된 차이 이미지 내의 하나 이상의 픽셀 값을 수정함으로써 잡음 제거된 이미지를 생성하도록 구성될 수 있다.

734에서, 잡음 제거된 이미지가 캡처된 제1 이미지에 기초하여 생성될 수 있다. 회로(302)는 도 1에서 논의된 바와 같이, 캡처된 제1 이미지에 대해 디지털 필터를 사용함으로써 잡음 제거된 이미지를 생성하도록 구성될 수 있다. 제어는 종료(736)로 넘어갈 수 있다.

현재, 낮은 조명 조건에서 캡처된 이미지는 컬러 또는 광도가 서서히 변화하는 하나 이상의 영역을 포함할 수 있다. 캡처된 이미지가 잡음 패치들로 가득 차있는 경우, 통상적인 이미지 프로세싱 장치는 캡처된 이미지를 잡음 제거할 수 있다. 이러한 경우들에 있어서, 통상적인 이미지 프로세싱 장치는 계단 아티팩트들이라 불리는 특정한 원하지 않는 아티팩트들을 하나 이상의 영역에다 들여놓을 수 있다. 기존의 이미지 잡음 제거 기술들은 이미지 신호의 하나 이상의 영역을 평탄화함으로써 이미지 신호 내에 계단 아티팩트들이 생기게 할 수 있다. 그 결과, 계단 아티팩트들이 이미지 신호의 하나 이상의 영역에서, 그렇지 않았더라면 부드럽게 변화하는 이미지 신호에서 원하지 않는 가짜 단차들 또는 바람직하지 않은 평탄 영역들로서 드러날 수 있다. 달리 설명하면, 전통적인 정규 잡음 감소 접근법들은 1D 신호, 2D 이미지 및 비디오에서 서서히 변화하는 신호들(또는 슬로프들)에서 잡음을 감소시키려 할 때 흔히 "계단" 모양의 아티팩트들을 생성한다. 또한, 계단 단차들의 위치들은 한 비디오 프레임에서 다른 비디오 프레임으로 바뀔 수 있고, 결과적으로 비디오 잡음 제거 결과들에서 상당한 시간적 변동을 일으킨다.

본 개시내용의 실시예에 따르면, 이미지 신호 내의 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치(예컨대, 이미지 프로세싱 장치(102)(도 1))는 이미지 센서(예컨대 이미지 센서(104)(도 1)) 및 회로(예컨대 회로(302)(도 3))를 포함할 수 있다. 이미지 센서(104)는 입력 이미지 신호(예컨대 입력 이미지 신호(106)(도 1))를 캡처하도록 구성될 수 있다. 회로(302)는 계단 아티팩트를 보이는 입력 이미지 신호(106)의 제1 부분을 결정 또는 식별하도록 구성될 수 있다. 회로(302)는 결정 또는 식별에 기초하여 제1 부분에 대응하는 슬로프의 경사도 파라미터에 기초하여 슬로프 신호를 생성하도록 추가로 구성될 수 있다. 회로(302)는 입력 이미지 신호(106)의 제1 부분과 생성된 슬로프 신호 사이의 차이에 기초한 차이 신호를 생성하도록 구성될 수 있다. 또한, 회로(302)는 생성된 차이 신호 및 생성된 슬로프 신호에 기초하여 잡음 제거된 이미지 신호를 생성하여 입력 이미지 신호(106)의 제1 부분에서 계단 아티팩트를 감소 시키도록 구성될 수 있다. 따라서 이미지 신호에서 계단 아티팩트들을 감소 또는 제거하기 위해, 개시된 이미지 프로세싱 장치(102)는 그러한 서서히 변화하는 슬로프들을 식별하고 슬로프의 경사도를 추정하는 새로운 분류 기반의 접근법을 제공한다. 회로(302)는 먼저 계단 아티팩트를 보이는 입력 이미지 신호(106)의 (제1 부분과 같은) 특정 영역들을 정확하게 결정하거나 식별한다. 제1 부분은 서서히 변화하는 슬로프들일 수 있다. 계단 아티팩트를 보이는 것으로서 입력 이미지 신호(106)의 제1 부분의 식별은 도 1, 도 2, 도 3, 도 4a, 도 4b, 도 4c, 도 5, 도 6, 도 7a 및 도 7b에서 논의된 바와 같이, 정의된 기준 세트에 기초한다.

회로(302)는 계단 아티팩트를 보이는 하나 이상의 관심 영역의 식별에 기초하여, 계단 아티팩트를 보이는 그리고 계단식 아티팩트가 없는 입력 이미지 신호(106)의 복수의 부분을 분류하도록 구성될 수 있다. 하나 이상의 관심 영역은 계단 아티팩트를 보이는 식별된 제1 부분을 포함하는 서서히 변화하는 슬로프들일 수 있다. 일단 회로(302)에 의해 계단 아티팩트를 보이는 제1 부분의 결정 또는 식별이 자동적으로 이루어지면, 입력 이미지 신호(106)의 제1 부분의 슬로프의 경사도 파라미터(또는 슬로프의 경사도)가 결정될 수 있다. 슬로프의 이러한 경사도 파라미터에 기초하여, 슬로프 신호와 같은 새로운 정보가 생성될 수 있다. 이후, 잡음 신호에 직접 적용하는 대신, 정규의 잡음 제거 접근법이 사용되어 (예를 들어, 입력 이미지 신호(106)와 같은) 잡음 신호와 생성된 슬로프 신호의 차이를 잡음 제거할 수 있다.

통상적인 기술들에서, 잡음 제거는 (잡음으로서 제1 부분을 갖는 입력 이미지 신호(106)와 같은) 잡음 신호에 직접 행해진다. 이것은 계단 아티팩트의 발현을 증가시킨다. 대조적으로, 개시된 이미지 프로세싱 장치(102)의 회로(302)는 입력 이미지 신호(106)의 제1 부분과 생성된 슬로프 신호 사이의 차이에 기초한 차이 신호를 생성한다. 통상적인 시스템들에서와 같이 잡음 신호를 직접 잡음 제거하는 대신에, 개시된 이미지 프로세싱 장치(102)는 생성된 차이 신호 및 생성된 슬로프 신호에 기초하여 잡음 제거된 이미지 신호를 생성하여 입력 이미지 신호(106)의 제1 부분의 계단 아티팩트를 감소시키거나 제거한다.

회로(302)는 입력 이미지 신호(106)의 어떤 부분들이 계단 아티팩트(잡음 신호)를 보일 수 있는지를 정확하게 식별하는 (또는 결정하는) 기능을 이미지 프로세싱 장치(102)에 제공한다. 이후, 회로(302)는 잡음 제거된 차이 신호와 생성된 슬로프 신호의 합에 의해 잡음 제거된 슬로프를 생성함으로써, 입력 이미지 신호(106)를 효율적이고 효과적으로 잡음 제거하는 기능을 이미지 프로세싱 장치(102)에 제공한다. 이러한 잡음 제거된 슬로프들은 "계단" 아티팩트들을 훨씬 적게 겪으며, 1D 신호, 2D 이미지에서 및 비디오에서도 이미지 품질의 상당한 개선을 제공한다. 이것은 결국 비디오 잡음 제거 결과들에서 시간적 변동을 또한 상당히 감소시킨다.

본 개시내용의 다양한 실시예는 이미지 신호로부터 계단 아티팩트들을 감소시키기 위해 머신 및/또는 컴퓨터에 의해 실행 가능한 명령어 세트가 저장된 비일시적 컴퓨터 판독 가능 매체 및/또는 저장 매체를 제공할 수 있다. 적어도 하나의 코드 섹션은 머신 및/또는 컴퓨터로 하여금 이미지 센서를 이용하여 입력 이미지 신호를 캡처하는 것을 포함하는 단계들을 수행하게 할 수 있다. 동작들은 계단 아티팩트를 보일 수 있는 입력 이미지 신호의 제1 부분의 식별 및 그 식별에 기초하여 제1 부분에 대응하는 슬로프의 경사도 파라미터에 기초한 슬로프 신호의 생성을 더 포함할 수 있다. 동작들은 입력 이미지 신호의 제1 부분과 생성된 슬로프 신호 사이의 차이에 기초한 차이 신호의 생성을 더 포함할 수 있다. 또한, 동작들은 생성된 차이 신호 및 생성된 슬로프 신호에 기초하여 잡음 제거된 이미지 신호를 생성하여 입력 이미지 신호의 제1 부분에서 계단 아티팩트를 감소시키는 것을 포함할 수 있다.

본 개시내용은 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은 적어도 하나의 컴퓨터 시스템에서 중앙집중 방식으로 또는 서로 다른 요소들이 몇몇 상호 연결된 컴퓨터 시스템들에 걸쳐 퍼져 있을 수 있는 분산된 방식으로 실현될 수 있다. 본 명세서에서 설명된 방법들을 수행하도록 적응된 컴퓨터 시스템 또는 다른 장치가 적합할 수 있다. 하드웨어와 소프트웨어의 조합은 로딩되고 실행될 때 본 명세서에서 설명된 방법들을 수행하도록 컴퓨터 시스템을 제어할 수 있는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들을 또한 수행하는 집적 회로의 일부분을 포함하는 하드웨어로 실현될 수 있다.

본 개시내용은 본 명세서에서 설명된 방법들의 구현을 가능하게 하고, 컴퓨터 시스템에 로딩될 때 이러한 방법들을 수행할 수 있는 모든 특징을 포함하는 컴퓨터 프로그램 제품에 또한 내장될 수 있다. 본 맥락에서, 컴퓨터 프로그램은 정보 프로세싱 능력을 갖춘 시스템으로 하여금 특정 기능을 직접적으로 수행하도록 또는 다음의 것: a) 다른 언어, 코드 또는 표기법으로 변환하는 것; b) 상이한 자료 형태로 재생성하는 중 어느 하나 또는 둘 모두의 이후에 수행하도록 의도된 명령어 세트의 임의의 언어, 코드 또는 표기법으로 임의로 표현한 것을 의미한다.

본 개시내용이 특정 실시예를 참조하여 설명되었지만, 관련 기술분야에서 통상의 기술자에 의해 본 개시내용의 범위를 벗어나지 않으면서 다양한 변경이 이루어질 수 있고 등가물들로 대체될 수 있다는 것이 이해될 것이다. 또한, 본 개시내용의 범위를 벗어나지 않으면서 특정 상황 또는 재료를 본 개시내용의 교시들에 적용하는 많은 수정이 이루어질 수 있다. 그러므로 본 개시내용은 개시된 특정 실시예로 제한되지 않으며, 본 개시내용은 첨부된 청구항의 범위 내에 속하는 모든 실시예를 포함하는 것으로 의도된다.

Claims

이미지 프로세싱 장치로서,
입력 이미지 신호를 캡처하도록 구성된 이미지 센서; 및
회로
를 포함하고, 상기 회로는:
계단 아티팩트를 보이는 그리고 상기 계단 아티팩트가 없는 입력 이미지 신호의 복수의 부분을 분류하고;
상기 입력 이미지 신호의 상기 복수의 부분으로부터 상기 계단 아티팩트를 보이는 적어도 제1 부분을 식별하고 - 상기 식별된 적어도 제1 부분은 상기 입력 이미지 신호에서 상기 계단 아티팩트의 경향이 있는 서서히 변화하는 슬로프 영역(slow-varying slope region)임 -;
상기 식별에 기초하여, 상기 제1 부분에 대응하는 슬로프의 경사도 파라미터(steepness parameter)에 기초하여 슬로프 신호를 생성하고;
상기 입력 이미지 신호의 상기 제1 부분과 상기 생성된 슬로프 신호 사이의 차이에 기초한 차이 신호를 생성하고;
상기 생성된 차이 신호 및 상기 생성된 슬로프 신호에 기초하여 잡음 제거된 이미지 신호를 출력하여 상기 입력 이미지 신호의 상기 적어도 제1 부분에서 상기 계단 아티팩트를 최소화하도록
구성되는, 이미지 프로세싱 장치.
제1항에 있어서,
상기 입력 이미지 신호의 상기 복수의 부분은 상기 계단 아티팩트를 보이는 하나 이상의 관심 영역의 식별에 기초하여 분류되고, 상기 하나 이상의 관심 영역은 서서히 변화하는 슬로프 영역들이고, 상기 계단 아티팩트를 보이는 상기 식별된 제1 부분에 대응하는 제1 관심 영역을 포함하는, 이미지 프로세싱 장치.
제2항에 있어서,
상기 회로는 상기 입력 이미지 신호의 상기 복수의 부분의 분류에 기초하여, 상기 계단 아티팩트를 보이는 상기 입력 이미지 신호의 상기 복수의 부분 중 하나 이상의 부분을 구분하여 제1 프로세싱 파이프 라인에서 처리되도록 하고, 상기 계단 아티팩트가 없는 상기 복수의 부분 중 나머지 하나 이상의 부분을 구분하여 상기 제1 프로세싱 파이프 라인과 상이한 제2 프로세싱 파이프 라인에서 처리되도록 추가로 구성되는, 이미지 프로세싱 장치.
제1항에 있어서,
상기 회로는 상기 계단 아티팩트를 보이는 상기 제1 부분의 상기 식별을 위해, 1차원(one-dimensional)(1D) 신호 또는 2차원(two-dimensional)(2D) 이미지 신호인 상기 입력 이미지 신호의 상기 제1 부분으로부터 샘플 값들을 획득하도록 추가로 구성되는, 이미지 프로세싱 장치.
제4항에 있어서,
상기 회로는 상기 입력 이미지 신호의 상기 제1 부분의 상기 획득된 샘플 값들의 시퀀스에 기초하여 제1 수평 그레디언트 값 세트(first set of horizontal gradient values) 및 제1 수직 그레디언트 값 세트를 생성하도록 추가로 구성되는, 이미지 프로세싱 장치.
제5항에 있어서,
상기 회로는 상기 제1 수직 그레디언트 값 세트의 제1 계산된 평균 및 상기 제1 수평 그레디언트 값 세트의 제2 계산된 평균에 기초하여 상기 경사도 파라미터를 계산하도록 추가로 구성되는, 이미지 프로세싱 장치.
제5항에 있어서,
상기 입력 이미지 신호의 상기 제1 부분은 상기 이미지 센서에 의해 캡처된 이미지의 제1 이미지 패치(image patch)에 대응하고,
상기 회로는 상기 제1 이미지 패치의 각 행마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하여 상기 제1 수평 그레디언트 값 세트를 생성하도록 추가로 구성되고,
상기 회로는 상기 제1 이미지 패치의 각 열마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하여 상기 제1 수직 그레디언트 값 세트를 생성하도록 추가로 구성되는, 이미지 프로세싱 장치.
제5항에 있어서,
상기 계단 아티팩트를 보이는 상기 제1 부분의 상기 식별은 정의된 기준 세트에 기초하며, 상기 회로는 상기 정의된 기준 세트의 제1 기준으로서, 상기 제1 이미지 패치의 픽셀 값 세트의 평균 값이 정의된 중간 그레이 범위(defined mid-gray range) 내에 있는지를 결정하도록 추가로 구성되는, 이미지 프로세싱 장치.
제8항에 있어서,
상기 회로는, 상기 정의된 기준 세트의 제2 기준으로서, 상기 제1 수평 그레디언트 값 세트의 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이가 정의된 한계 미만인지를 결정하도록 추가로 구성되는, 이미지 프로세싱 장치.
제8항에 있어서,
상기 회로는, 상기 정의된 기준 세트의 제3 기준으로서, 상기 제1 수직 그레디언트 값 세트의 제1 수직 그레디언트 값과 제2 수직 그레디언트 값 사이의 차이가 정의된 한계 미만인지를 결정하도록 추가로 구성되는, 이미지 프로세싱 장치.
제8항에 있어서,
상기 회로는, 상기 정의된 기준 세트의 제4 기준으로서, 상기 제1 수평 그레디언트 값 세트 및 제1 수직 그레디언트 값 세트에 기초하여 문턱 값을 초과하는 상기 슬로프의 상기 경사도 파라미터를 결정하도록 추가로 구성되는, 이미지 프로세싱 장치.
계단 아티팩트들을 감소시키기 위한 방법으로서,
이미지 센서 및 회로를 포함하는 이미지 프로세싱 장치에서,
상기 회로에 의해, 상기 이미지 센서를 통해 입력 이미지 신호를 캡처하는 단계;
상기 회로에 의해, 계단 아티팩트를 보이는 그리고 상기 계단 아티팩트가 없는 상기 입력 이미지 신호의 복수의 부분을 분류하는 단계;
상기 회로에 의해, 상기 입력 이미지 신호의 상기 복수의 부분으로부터 상기 계단 아티팩트를 보이는 적어도 제1 부분을 식별하는 단계 - 상기 식별된 적어도 제1 부분은 상기 입력 이미지 신호에서 상기 계단 아티팩트의 경향이 있는 서서히 변화하는 슬로프 영역임 -;
상기 회로에 의해, 상기 식별에 기초하여, 상기 제1 부분에 대응하는 슬로프의 경사도 파라미터에 기초하여 슬로프 신호를 생성하는 단계;
상기 회로에 의해, 상기 입력 이미지 신호의 상기 제1 부분과 상기 생성된 슬로프 신호 사이의 차이에 기초한 차이 신호를 생성하는 단계; 및
상기 이미지 잡음 제거 하드웨어에 의해, 상기 생성된 차이 신호 및 상기 생성된 슬로프 신호에 기초하여 잡음 제거된 이미지 신호를 출력하여 상기 입력 이미지 신호의 상기 적어도 제1 부분에서 상기 계단 아티팩트를 최소화하는 단계
를 포함하는, 방법.
제12항에 있어서,
상기 입력 이미지 신호의 상기 복수의 부분은 상기 계단 아티팩트를 보이는 하나 이상의 관심 영역의 식별에 기초하여 분류되고, 상기 하나 이상의 관심 영역은 서서히 변화하는 슬로프 영역들이고, 상기 계단 아티팩트를 보이는 상기 식별된 제1 부분에 대응하는 제1 관심 영역을 포함하는, 방법.
제13항에 있어서,
상기 회로에 의해, 상기 입력 이미지 신호의 상기 복수의 부분의 분류에 기초하여, 상기 계단 아티팩트를 보이는 상기 입력 이미지 신호의 상기 복수의 부분 중 하나 이상의 부분을 구분하여 제1 프로세싱 파이프 라인에서 처리되도록 하고, 상기 계단 아티팩트가 없는 상기 입력 이미지 신호의 상기 복수의 부분 중 나머지 하나 이상의 부분을 구분하여 상기 제1 프로세싱 파이프 라인과 상이한 제2 프로세싱 파이프 라인에서 처리되도록 하는 단계를 더 포함하는, 방법.
제12항에 있어서,
상기 회로에 의해, 상기 계단 아티팩트를 보이는 것으로서 상기 입력 이미지 신호의 상기 제1 부분의 상기 식별을 위해, 1차원(1D) 신호 또는 2차원(2D) 이미지 신호인 상기 입력 이미지 신호의 상기 제1 부분으로부터 샘플 값들을 획득하는 단계를 더 포함하는, 방법.
제15항에 있어서,
상기 회로에 의해, 상기 입력 이미지 신호의 상기 제1 부분의 상기 획득된 샘플 값들의 시퀀스에 기초하여 제1 수평 그레디언트 값 세트 및 제1 수직 그레디언트 값 세트를 생성하는 단계를 더 포함하는, 방법.
제16항에 있어서,
상기 회로에 의해, 상기 제1 수직 그레디언트 값 세트의 제1 계산된 평균 및 상기 제1 수평 그레디언트 값 세트의 제2 계산된 평균에 기초하여 상기 경사도 파라미터를 계산하는 단계를 더 포함하는, 방법.
제16항에 있어서,
상기 입력 이미지 신호의 상기 제1 부분은 상기 이미지 센서에 의해 캡처된 이미지의 제1 이미지 패치에 대응하고,
상기 회로는 상기 제1 이미지 패치의 각 행마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하여 상기 제1 수평 그레디언트 값 세트를 생성하도록 추가로 구성되고,
상기 회로는 상기 제1 이미지 패치의 각 열마다 인접한 픽셀 값들의 각 쌍 간의 차이를 계산하여 상기 제1 수직 그레디언트 값 세트를 생성하도록 추가로 구성되는, 방법.
제16항에 있어서,
상기 계단 아티팩트를 보이는 것으로서 상기 입력 이미지 신호의 상기 제1 부분의 상기 식별은 정의된 기준 세트에 기초하며, 상기 제1 이미지 패치의 픽셀 값 세트의 평균 값이 정의된 중간 그레이 범위 내에 있는지 여부는 상기 정의된 기준 세트의 제1 기준으로서 결정되는, 방법.
제19항에 있어서,
상기 회로에 의해, 상기 정의된 기준 세트의 제2 기준으로서, 상기 제1 수평 그레디언트 값 세트의 제1 수평 그레디언트 값과 제2 수평 그레디언트 값 사이의 차이가 정의된 한계 미만인지를 결정하는 단계를 더 포함하는, 방법.
제19항에 있어서,
상기 회로에 의해, 상기 정의된 기준 세트의 제3 기준으로서, 상기 제1 수직 그레디언트 값 세트의 제1 수직 그레디언트 값과 제2 수직 그레디언트 값 사이의 차이가 정의된 한계 미만인지를 결정하는 단계를 더 포함하는, 방법.
제19항에 있어서,
상기 회로에 의해, 상기 정의된 기준 세트의 제4 기준으로서, 상기 슬로프의 상기 경사도 파라미터가 상기 제1 수평 그레디언트 값 세트 및 상기 제1 수직 그레디언트 값 세트에 기초하여 문턱 값을 초과하는지를 결정하는 단계를 더 포함하는, 방법.