KR101394766B1 - 이미지에서 아티팩트를 감소시키는 시스템 및 방법 - Google Patents

Abstract

본 발명의 시스템 및 방법은 이미지에서 아티팩트를 감소시키기 위한 블록 또는 영역 기반 오차 확산 프로세스를 제공한다. 이 시스템 및 방법은 압축 처리를 통해 용이하게 통과될 수 있는 방식으로, 예컨대 이미지에 인가될 잡음과 같은 마스킹 신호의 공간 주파수의 생성 및 제어를 허용한다. 상기 시스템 및 방법은 상기 이미지의 픽셀들의 블록 크기를 선택하는 단계, 상기 이미지에 마스킹 신호를 부가하는 단계, 상기 이미지에서 적어도 하나의 블록에 대해 양자화 오차를 결정하는 단계, 및 상기 이미지에서 아티팩트를 마스킹하기 위해 상기 이미지에서 인접 블록들에게 상기 양자화 오차를 분산하는 단계를 제공한다. 출력 이미지는 그후 압축 기능으로 인코딩된다(214).

아티팩트, 오차 확산 프로세스, 마스킹 신호, 양자화 오차

Description

이미지에서 아티팩트를 감소시키는 시스템 및 방법{SYSTEM AND METHOD FOR REDUCING ARTIFACTS IN IMAGES}

본 출원은 2007년 1월 16일에 출원된 미국 가출원 60/880,650의 35 U.S.C. §119에 따른 우선권 주장 출원이다.

본 발명은 일반적으로 디지털 이미지 처리 및 디스플레이 시스템에 관한 것으로, 특히 이미지에서 아티팩트(artifacts)를 감소시키는 시스템 및 방법에 관한 것이다.

디지털 샘플링된 이미지를 고화질로 표현하기 위해 필요한 데이터 파일의 큰 사이즈 때문에, 인식되는 이미지 화질에 악영향을 미치지 않으면서 데이터 파일의 사이즈를 감소시키기 위해 데이터 파일에 대해 다양한 형태의 압축을 적용하는 것이 일반적이다. 다양한 공지의 기술 및 표준이 이러한 필요성을 해결하기 위해 개발되었다. 대표적인 기술로는 이미지 인코딩을 위한 JPEG (Joint Photographic Experts Group) 표준이 있다. JPEG와 유사한 것으로, 모션 시퀀스에서의 연속하는 프레임들의 유사성을 활용하는 인터 프레임 인코딩을 추가한 MPEG (Moving Pictures Expert Group) 표준이 있다. 다른 표준 및 독점 시스템은 웨이블릿 변환 (wavelet transforms)에 기초하여 개발되었다.

상업 영화 DVD/HD-DVD 배포의 과정에서, 종래의 영화 또는 컴퓨터 애니메이션 영화로부터 스캔된 디지털 이미지는 일반적으로 10비트 데이터를 갖고 일부 경우에는 최대 16비트 데이터를 갖는다. 이 데이터는 압축을 위해 8비트 YUV 포맷으로 변환되어야 한다. 비트 심도(bit depth) 정밀도의 감소 때문에, 띠 모양의 아티팩트(banding artifacts)가 스무드한(smooth) 컬러 변화를 갖는 이미지의 영역들 또는 이미지들에서 종종 나타난다. 디더링(dithering) 및 오차 확산(error diffusion) 알고리즘은 흔히 이 띠 모양의 아티팩트를 감소시키기 위해 사용된다. 대부분의 디더링 알고리즘에서, 높은 공간 주파수를 갖는 디지털 신호가 이미지에 추가되어 이 띠 모양 효과가 마스크 아웃(mask out)된다. 그러나, DVD/HD-DVD 내에서의 압축은 높은 공간 주파수를 갖는 신호를 제거하는 손실성 압축이다. 따라서, 띠 모양이 압축 전의 디더링 프로세스에 의해 마스크 아웃되더라도 압축 후에 띠 모양 아티팩트가 흔히 나타난다.

디더링이나 컬러 심도(color depth) 감소를 위한 종래의 방법은 디스플레이 애플리케이션 및 프린팅 서비스를 위한 것이다. 디더링은 처리 연쇄 과정에서 최종 단계이므로, 추가된 높은 공간 주파수가 잘 유지되고 컬러 심도가 감소될 때 띠 모양 효과를 마스킹하는 목적에 도움이 된다. 오차 확산은 또다른 흔한 방법으로서, 양자화 오차가 인접 셀들에 분산(distribute)되어 마스킹 효과를 생성하고 전체 이미지 세기를 보존한다. 그러나, 이 방법들은 고주파수 신호를 감소시키거나 절단(truncate)하는 MPEG1,2,4 또는 H.264와 같은 손실성 압축의 효과를 고려하지 않는다. 따라서, 압축 인코더가 추가된 양자화 오차를 나타내기 위해 다수의 비트 를 사용하고 이미지를 나타내기 위해 더 적은 갯수의 비트를 가질 것이므로, 대부분의 오차 확산 방법은 압축 처리에서 비트 레이트(bit rate) 효율을 감소시킬 것이다. 한편, 띠 모양 아티팩트는 마스킹 신호가 감소되거나 절단되었으므로 압축 후에 나타나기 쉽다.

따라서, 손실성 압축 처리 후에 아티팩트가 감소되거나 억제된 상태에 남아 있도록 이미지에서 아티팩트를 감소시키는 기술이 필요하다. 또한, 높은 비트 레이트 효율을 유지하면서 이미지에서 아티팩트를 감소시킬 기술이 필요하다.

본 발명의 시스템 및 방법은 이미지에서 아티팩트를 감소시키기 위한 블록 또는 영역 기반 오차 확산 알고리즘을 제공한다. 이 시스템 및 방법은, 예컨대 잡음과 같은 마스킹 신호가 압축 처리를 용이하게 통과해 나갈 수 있는 방식으로 이미지에 적용될 수 있게, 마스킹 신호의 공간 주파수의 생성 및 제어를 허용한다. 블록 기반 오차 확산 방법에서는, 예컨대 한 이미지의 주어진 블록에 대한 압축 처리에서 대부분 생존할 수 있는 낮은 데서부터 중간까지의 공간 주파수 응답을 갖는 디더링 신호 생성되고, 동일한 잡음이 상기 블록 내의 각 픽셀에 대해 사용될 수 있어서 잡음 패턴의 공간 주파수가 상기 블록 내에서 낮을 것인데, 이는 전체 이미지에서 잡음의 전반적 공간 주파수를 감소시킨다. 상기 시스템 및 방법은 또한 PSNR (peak signal to noise ratio)이 동일한 비트 레이트를 갖는 압축에 대해 개선된다는 것, 즉 압축에서 코딩 효율을 개선한다는 것을 보여 준다. 또한, 블록 기반 오차 확산 알고리즘은 상업용 DVD/HD-DVD 릴리즈 프로세스에서 띠 모양의 아티팩트를 감소시키는데, 특히 스무드한 컬러 전이를 갖는 이미지 영역에서 띠 모양 아티팩트가 현저한 애니메이션 필름에서 그러하다.

본 발명의 일 양태에 따르면, 이미지에서 아티팩트를 감소시키는 방법에 있어서, 상기 이미지의 픽셀들의 블록 크기를 선택하는 단계, 상기 이미지에 마스킹 신호를 부가하는 단계, 상기 이미지에서 적어도 하나의 블록에 대해 양자화 오차를 결정하는 단계; 및 상기 이미지에서 아티팩트를 마스킹하기 위해 상기 이미지에서 인접 블록들에게 상기 양자화 오차를 분산하는 단계를 포함하는 방법이 제공된다.

일 양태에서, 상기 마스킹 신호는 잡음 신호이다.

다른 양태에서, 상기 방법은, 상기 분산 단계 후에, 압축 기능으로 상기 이미지를 인코딩하는 단계를 더 포함한다. 압축 기능은 MPEG 1, 2, 4, h.264 등과 같은 손실성 압축이다.

다른 양태에서, 상기 양자화 오차를 결정하는 단계는, 상기 적어도 하나의 블록에서 각 픽셀을 절단하는 단계, 각 픽셀에 대해 양자화 오차를 결정하는 단계, 및 상기 적어도 하나의 블록에서 각 픽셀의 상기 양자화 오차를 합산하는 단계를 더 포함한다.

본 발명의 다른 양태에 따르면, 이미지에서 아티팩트를 감소시키는 시스템이 제공된다. 이 시스템은 이미지에 인가될 마스킹 신호를 생성하도록 구성된 신호 생성기, 상기 이미지의 픽셀들의 블록 크기를 선택하도록 구성된 블록 선택기; 및 상기 이미지의 적어도 하나의 블록에서 양자화 오차를 결정하고 상기 이미지에서의 아티팩트를 감소시키기 위해 상기 오차를 인접 블록들에 분산하도록 구성된 오차 확산 모듈을 포함한다.

다른 양태에서, 상기 시스템은 압축 기능으로 상기 이미지를 인코딩하도록 구성된 인코더를 포함한다.

다른 양태에서, 상기 오차 확산 모듈은 상기 양자화 오차의 일부를 가중치 계수에 기초하여 인접 블록들에 분산하도록 구성된 오차 분산 모듈을 더 포함한다. 오차 분산 모듈은 상기 양자화 오차를 인과관계 방식으로 분산하도록 더 적용된다.

다른 양태에 따르면, 기계에 의해 판독가능하고, 이미지에서 아티팩트를 감소시키는 방법의 단계들을 수행하도록 상기 기계에 의해 실행가능한 명령어들의 프로그램이 실체적으로 수록(embody)되는 프로그램 저장 장치로서, 상기 방법은, 상기 이미지의 픽셀들의 블록 크기를 선택하는 단계, 상기 이미지에 마스킹 신호를 부가하는 단계, 상기 이미지에서 적어도 하나의 블록에 대해 양자화 오차를 결정하는 단계, 상기 이미지에서 아티팩트를 마스킹하기 위해 상기 이미지에서 인접 블록들에게 상기 양자화 오차를 분산하는 단계, 및 압축 기능으로 상기 이미지를 인코딩하는 단계를 포함하는 프로그램 저장 장치가 제공된다.

본 발명의 상기 및 다른 양태, 특징 및 이점은 첨부 도면과 관련하여 이하의 바람직한 실시예에 대한 설명으로부터 명백해질 것이다.

도면에서, 유사한 번호는 유사한 요소를 나타낸다.

도 1은 본 발명의 일 양태에 따라 블록 기반 오차 확산 방법을 도시하는 흐름도이다.

도 2는 본 발명의 일 양태에 따라 이미지에서 아티팩트를 감소시키는 예시적 시스템을 도시한다.

도 3은 본 발명의 일 양태에 따라 이미지에서 아티팩트를 감소시키는 예시적 방법의 흐름도이다.

도 4는 픽셀 기반 오차 확산 방법으로 처리되는 이미지에 대한 오차 맵이다.

도 5는 본 발명에 따라 도 4에서 처리된 동일 이미지가 블록 기반 오차 확산 방법으로 처리되는 오차 맵이다.

도 6은 블록 기반 오차 확산 방법에 비해 픽셀 기반 오차 확산 방법을 이용한 PSNR (Peak Signal to Noise Ratio)을 도시한 그래프이다.

본 도면은 본 발명의 개념을 설명하기 위한 목적이며 반드시 본 발명을 설명하는 유일한 가능한 구성인 것이 아님은 물론이다.

도면에 도시된 요소들은 다양한 형태의 하드웨어, 소프트웨어 또는 그 조합으로 구현될 수 있음은 물론이다. 바람직하게는, 이 요소들은 프로세서, 메모리 및 입출력 인터페이스를 포함할 수 있는 하나 또는 그 이상의 적절히 프로그램된 범용 장치에서 하드웨어 및 소프트웨어의 조합으로 구현된다.

본 명세서는 본 발명의 원리를 설명한다. 따라서, 당업자라면 명시적으로 여기 설명되거나 도시되지 않더라도 본 발명의 원리를 실시하고 본 발명의 사상 및 범위에 포함되는 다양한 경우를 고안할 수 있을 것이다.

여기 언급된 모든 예들 및 조건적 언어는 본 발명의 원리 및 당해 기술을 진 전시키기 위해 본 발명자가 기여한 개념의 이해를 돕기 위한 것이며 따라서 특정적으로 언급된 예와 조건에 한정되지 않는 것으로 해석되어야 한다.

또한, 본 발명의 원리, 양태 및 실시예 뿐만 아니라 그 특정 예를 언급하는 모든 설명은 구조적 및 기능적 균등물을 포함하는 것이다. 또한, 이러한 균등물은 현재 알려진 균등물 뿐만 아니라 미래에 개발될 균등물, 즉 구조에 상관없이 동일한 기능을 수행하도록 개발된 어떠한 요소들도 모두 포함하는 것이다.

따라서, 예컨대, 당업자라면 여기 제시된 블록도는 본 발명의 원리를 실시하는 예시적 회로의 개념도를 나타낸다는 것을 이해할 것이다. 마찬가지로, 임의의 흐름도, 상태 전이도, 의사코드 등이 컴퓨터 판독가능 매체에서 실질적으로 표현될 수 있고 명시적으로 도시되었는지 여부에 상관 없이 컴퓨터나 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것을 이해할 것이다.

도면에 도시된 다양한 요소들의 기능은 전용 하드웨어 뿐만 아니라 적절한 소프트웨어와 연관되어 소프트웨어를 실행할 수 있는 하드웨어를 사용하여 제공될 수 있다. 이 기능들이 프로세서에 의해 제공될 때, 단일의 전용 프로세서, 단일의 공유 프로세서, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, "프로세서"나 "제어기"라는 용어의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 배타적으로 언급하는 것으로 해석되지 않아야 하고, 디지털 신호 프로세서 ("DSP") 하드웨어, 소프트웨어 저장용 ROM (read only memory), RAM (random access memory), 및 비휘발성 저장 장치 등에만 한정되는 것은 아니지만 이들을 내재적으로 포함할 수 있다.

종래의 및/또는 주문형의 다른 하드웨어도 포함될 수 있다. 마찬가지로, 도면에 도시된 임의의 스위치는 개념적인 것이다. 그 기능은 프로그램 논리의 동작을 통해, 전용 논리를 통해, 프로그램 제어 및 전용 논리의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있고, 특정 기술은 맥락에서 볼 때 좀 더 구체적으로 이해된다면 구현자에 의해 선택가능하다.

청구항에서, 특정 기능을 수행하는 수단으로 표현된 요소는, 예컨대 a) 그 기능을 수행하는 회로 요소들의 조합 또는 b) 그 기능을 수행하도록 소프트웨어를 실행시키는 적절한 회로와 조합된, 펌웨어, 마이크로코드 등을 포함하는 임의 형태의 소프트웨어를 포함하여 그 기능을 수행하는 어떠한 방식도 포괄하는 것이다. 이 청구항들에 의해 정의되는 본 발명은 여러가지의 기재된 수단에 의해 제공된 기능들이 청구항이 요구하는 방식으로 결합되고 제공된다는 사실에 존재한다. 따라서, 이 기능들을 제공할 수 있는 어떠한 수단도 여기 도시된 것과 균등하다고 간주된다.

본 발명의 시스템 및 방법은 이미지에서 아티팩트를 감소시키는 블록 또는 영역 기반 오차 확산 알고리즘을 제공한다. 이 시스템 및 방법은 압축 처리를 용이하게 통과할 수 있는 방식으로 예컨대 잡음과 같은 마스킹 신호의 공간 주파수의 생성 및 제어를 허용한다. 블록 기반 오차 확산 알고리즘은 대부분 압축 처리에서 생존할 수 있는 낮은 데서부터 중간까지의 공간 주파수 응답을 갖는 디더링(dithering) 신호를 생성한다. 상기 시스템 및 방법은 또한 동일한 비트 레이트를 갖는 압축에 대해 피크 신호 대 잡음비 (peak signal to noise ratio: PSNR)가 개선된다는 것, 즉 압축에서 코딩 효율을 개선한다는 것을 보여준다.

종래의 픽셀 기반 방법에서 각 픽셀의 양자화 오차는 그 인접 픽셀들에 분산되는 한편, 본 발명의 블록 기반 방법에서는 양자화 오차가 각 블록으로부터 계산되어 그 인접 블록들로 분산된다. 블록 기반 방법은 블록 크기로 추가된 양자화 오차의 공간 주파수 및 각 블록 내의 오차 분산을 제어하는 방법을 제공한다. 주어진 이미지 블록에 대해, 동일한 잡음이 블록 내 각 픽셀에 대해 사용될 수 있어서 잡음 패턴의 공간 주파수는 블록 내에서 낮을 것이고, 이것은 전체 이미지에서 잡음의 전반적인 공간 주파수를 감소시킨다. 블록 단위로 원하는 공간 주파수 응답을 갖는 오차 확산 잡음을 추가함으로써, 아티팩트의 감소는 픽셀 기반 방법에서 보다 다운스트림 처리의 손실성 압축에서 더 잘 유지될 것이다.

도 1을 참조하면, 본 발명의 시스템 및 방법의 전체 흐름이 도시된다. 압축될 이미지는 다양한 공지의 수단에 의해 획득된다. 이 이미지는 단일 정지 프레임 디지털 이미지 또는 동영상이나 영화의 이미지 시퀀스에서의 하나의 디지털 이미지일 수 있다. 이 이미지는 다수의 블록, 예컨대 B_{m ,n} (m, n은 블록 인덱스)으로 분할된다. 마스킹 신호, 예컨대 잡음 신호가 이 이미지에 추가된다. 절단 (truncating) 기능이 이미지 내의 각각의 블록에 대해 수행되어 블록 내 픽셀들의 비트 심도를 감소시킨다. 양자화 오차는 각각의 블록 내 픽셀에 대해 결정되고 모든 오차의 합산은 블록 양자화 오차 E를 생성한다. 블록 양자화 오차 E는 인접 블록들 각각에 가중치 인자에 의해 분산되고, 인접 블록들의 각각의 픽셀은 이 분산 된 오차에 의해 새로운 값으로 변환되는데, 이것은 띠 모양의 아티팩트를 마스킹하고 압축에서 생존할 것이다. 본 발명의 이 처리는 인과적 프로세스이므로, 블록들은 도 1에 도시된 처리 방향에 따라 순서대로 처리될 것이다. 이 프로세스는 제1 블록, 예컨대 B₀₀으로 시작할 것이다. 블록 B₀₀은 먼저 양자화 및 오차 확산으로 처리되고 블록 B₀₁이 다음에 처리된다. 블록 B₀₁의 처리에서, E는 블록 B₀₁의 총 양자화 오차이다. "e"는 그 인접 블록들, 예컨대 B₁₀, B₁₁, B₀₂에 분산되는 총 양자화 오차 E의 일부이다. 각각의 인접 블록에 분산된 오차는 서로 다를 수 있지만, 그 합산은 총 양자화 오차 E와 동일하다. 블록 B₀₂는 이전 처리 블록, 예컨대 블록 B₀₁로부터의 오차가 추가된 후에 처리된다. 이 처리는 인과적 프로세스이므로, 이 처리는 일 방향으로 흐르고 처리된 블록에 다시 오차를 가산하지 않을 것이다. 당업자에게 잘 알려진 바와 같이, 인과적 프로세스 또는 시스템은 오직 현재 및 이전 입력 값에만 종속되는 출력 및 내부 상태들을 갖는 프로세스이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 바람직한 시스템 컴포넌트들이 도시된다. 스캐닝 장치(103)는 필름 프린트(104), 예컨대 카메라 기원 필름 네가티브를 스캐닝하여 디지털 포맷, 예컨대 시네온(Cineon) 포맷 또는 SMPTE DPX 파일을 생성하기 위해 제공될 수 있다. 스캐닝 장치(103)는 예컨대 비디오 출력을 갖는 Arri LocPro^TM과 같은 필름으로부터 비디오 출력을 생성할 예컨대 텔레신 (telecine)이나 임의의 장치를 포함할 수 있다. 대안으로는, 필름 촬영 후의 편집 을 거친 또는 디지털 시네마(106)로부터의 파일(예컨대, 컴퓨터 판독 가능 형태의 파일)이 직접 사용될 수 있다. 컴퓨터 판독 가능 파일의 가능한 소스는 AVID^TM 편집기, DPX 파일, D5 테이프 등이다.

스캐닝된 필름 프린트는 후처리 장치(102), 예컨대 컴퓨터로 입력된다. 컴퓨터는 예컨대 하나 또는 그 이상의 CPU, RAM 및/또는 ROM과 같은 메모리(110), 및 키보드, 커서 제어 장치(예컨대, 마우스, 조이스틱 등) 및 디스플레이 장치와 같은 입출력 (I/O) 사용자 인터페이스(112) 등의 하드웨어를 갖는 공지의 다양한 컴퓨터 플랫폼 중 임의의 것에서 구현된다. 컴퓨터 플랫폼은 또한 운영체제 및 마이크로 명령어 코드를 포함한다. 여기 설명된 다양한 프로세스 및 기능들은 운영체제를 통해 실행되는 마이크로 명령어 코드의 일부나 소프트웨어 애플리케이션 프로그램의 일부(또는 그 조합)일 수 있다. 또한, 다양한 다른 주변 장치는 병렬 포트, 직렬 포트 또는 USB (universal serial bus)와 같은 다양한 인터페이스 및 버스 구조에 의해 컴퓨터 플랫폼에 연결될 수 있다. 다른 주변 장치는 추가적인 저장 장치(124) 및 프린터(128)를 포함할 수 있다. 프린터(128)는 예컨대 입체 버전의 필름과 같은 수정 버전의 필름(126)을 프린트하기 위해 이용될 수 있다.

대안으로는, 이미 컴퓨터 판독가능 형태를 갖는 파일/필름 프린트(106)(예컨대, 외부 하드 드라이브(124)에 저장될 수 있는 디지털 시네마 등)는 직접 컴퓨터(102)로 입력될 수 있다. 여기서 "필름"이라는 용어는 필름 프린트 또는 디지털 시네마를 가리킬 수 있음에 유의한다.

소프트웨어 프로그램은 이미지에서 아티팩트를 감소시키기 위해 메모리(110)에 저장된 오차 확산 모듈(114)을 포함한다. 오차 확산 모듈(114)은 이미지에서 아티팩트를 마스킹할 신호를 생성하는 잡음 또는 신호 생성기(116)를 포함한다. 잡음 신호는 백색 잡음, 가우스 잡음, 서로 다른 차단 주파수 필터로 변조된 백색 잡음 등일 수 있다. 절단(truncation) 모듈(118)은 이미지의 블록의 양자화 오차를 결정하기 위해 제공된다. 오차 확산 모듈(114)은 또한 인접 블록에 양자화 오차를 분산하도록 구성된 오차 분산 모듈(120)을 포함한다.

인코더(122)는 출력 이미지를 MPEG 1, 2, 4, h.264 등과 같은 임의의 공지의 압축 표준으로 인코딩하기 위해 제공된다.

도 3은 본 발명의 일 양태에 따라 이미지에서 아티팩트를 감소시키는 바람직한 방법의 흐름도이다. 처음에, 후처리 장치(102)는 적어도 하나의 2차원 (2D) 이미지를 획득한다 (단계(202)). 후처리 장치(102)는 상기한 바와 같이 컴퓨터 판독가능 포맷으로 디지털 마스터 비디오 파일을 얻음으로써 적어도 하나의 2D 이미지를 획득한다. 디지털 비디오 파일은 비디오 이미지의 시간적 시퀀스를 디지털 비디오 카메라로 캡처링함으로써 획득될 수 있다. 대안으로는, 비디오 시퀀스는 종래의 필름형 카메라에 의해 캡처링될 수 있다. 이 시나리오에서, 필름은 스캐닝 장치(103)를 통해 스캐닝된다.

필름이 스캐닝되는지 또는 이미 디지털 형태이던지 간에, 이 필름의 디지털 파일은 프레임들의 위치에 대한 표시나 정보, 예컨대 프레임 번호, 필름의 시작으로부터의 시간 등을 포함할 것이다. 디지털 비디오 파일의 각 프레임은 하나의 이 미지, 예컨대 l₁, l₂,..., l_n을 포함할 것이다.

단계(204)에서, 블록 크기가 선택된다. 이미지는 임의 갯수의 블록으로 분할된다. 한 블록은 직사각형 영역에 포함된 다수의 픽셀이다. 이 블록은 도 1에 B_m,n으로 도시되고, 여기서 m,n은 블록 인덱스를 나타낸다. 모든 블록은 동일 크기, 예컨대 2×2, 3×3 등을 가질 수 있다. 블록 크기는 또한 로컬 이미지 속성에 따라 달라질 수 있다. 블록 크기는 사용자 인터페이스(112)를 통해 조작자에 의해 선택될 수 있거나, 일정한 비율이 서로 다른 이미지 크기에 대해 유지되도록 이미지 크기에 의해 결정될 수 있다. 본 발명의 오차 확산 방법은 이하에서 설명되는 바와 같이 블록 레벨에서 작용한다. 블록 크기가 일단 선택되면, 블록 크기는 동일 이미지에 대해 동일하게 유지될 것이다.

일단 블록 크기가 결정되면, 각 블록 내에서 두개의 기능, 즉 절단 기능 및 오차 분산 기능이 수행될 것이다. 처음에, 단계(205)에서, 잡음 신호 N, 예컨대 마스킹 신호가 잡음 생성기(116)를 통해 이미지에 부가된다. 단계(206)에서, 절단 기능이 절단 모듈(118)을 통해 이미지 내 각각의 블록에 대해 수행된다. 절단 기능은 비트 심도값을 일정한 양자화 인수 Q, 즉 2의 거듭제곱으로 나눔으로써 블록 내 각 픽셀에 대한 비트 심도를 감소시키도록 이용된다. 일반적으로, 양자화 인자 Q는 2^x (여기서 x는 절단될 비트의 수)이다. 예컨대, 10비트 데이터에서 8비트 데이터로의 절단의 경우, 일정한 양자화 인자 Q는 4, 즉 Q=2²일 것이다. 절단 함수는 다음과 같이 정의된다.

여기서, I_{i ,j}는 블록 내 픽셀 값이고, N_{i ,j}는 잡음 생성기(116)에 의해 절단 전에 부가된 신호이고, Q는 양자화 인자이다. I'_{i ,j}는 절단된 픽셀 값이다. 절단 프로세스에서, 픽셀 값들에 대해 어림값 문제(rounding problem)가 존재한다. 예컨대, I'_{i ,j}가 1.75이면, 즉 4(Q)로 나눈 7(I'_{i ,j} + N_{i ,j})이면, I'_{i ,j}는 정수로 표현될 필요가 있을 것이다. I'_{i ,j}는 잘 알려진 바와 같이 서로 다른 어림값 방법에 기초하여 2 또는 1일 수 있다.

수학식 (1)에서, N_{i ,j}는 잡음, 예컨대 백색 잡음이고, 이것은 구조(structure) 아티팩트를 감소시킨다. 일반적으로, N_{i ,j}는 무작위 신호 분포를 갖는다. 사용자 인터페이스(112)를 통해, 조작자는 수동으로 N_{i ,j}의 값 범위를 제어할 수 있다. 디폴트로, N_{i ,j}의 값 범위는 0 부터 Q-1까지이다. 이미지의 선택된 블록 내의 각각의 픽셀에 대해 동일한 잡음을 사용함으로써, 잡음 패턴의 공간 주파수는 블록 내에서 낮을 것이고, 이것은 전체 이미지에서 잡음의 전반적 공간 주파수를 감소시킨다. 잡음의 공간 주파수가 감소되므로, 잡음, 즉 마스킹 신호는 압축 처리에서 생존할 것이고 압축 해제 동안에 아티팩트를 억제할 것이다.

단계(208)에서, 양자화 오차가 아래 수학식 (2)에서 도시된 바와 같이 블록 내 각각의 픽셀에 대해 결정되고, 단계(210)에서, 모든 양자화 오차의 합산은 블록 양자화 오차 E_{m ,n}을 생성하는데, 이것은 오차 확산 계수들에 기초하여 인접 블록들로 분산된다.

총 블록 양자화 오차 E_{m ,n}에 대해, 양자화 오차 e의 일부가 다음과 같이 인접 블록들에 분산될 것이다.

여기서, c(m,n)은 오차 확산 계수이다.

단계(212)에서, 블록 양자화 오차는 오차 분산 모듈(120)을 통해 인접 블록들로 분산된다. 각각의 블록 내의 오차 분산 기능은 다음과 같이 정의된다.

여기서, e는 블록 B_{m ,n}에 분산된 총 오차이고, N, M은 블록의 차원이고, w_{i ,j}는 블록 B_{m ,n}에 대한 가중치 계수들이다. 일 실시예에서, 수학식 (5)에 도시된 바와 같은 균일한 분산은 가중치 계수들을 계산하기 위해 사용된다. w_{i ,j}를 계산하기 위해 더 복잡한 함수가 고안될 수 있는데, 예컨대 w_{i ,j}는 l(i,j)에 비례하도록 설정될 수 있다.

블록 B_m,n의 크기는 오차 확산 프로세스에서 제어될 수 있는 공간 주파수의 양을 결정하고 아티팩트를 마스킹하는 최선의 효과를 달성하도록 선택된다. 그러나, 큰 블록 크기는 구조화된 아티팩트(structured artifacts)를 생성하는 경향이 있고, 이것은 오차 확산 프로세스에서 바람직하지 않다. 이러한 구조화된 아티팩트는 블록 경계 (block-boundary) 아티팩트를 포함하는데 여기서 2개의 서로 다른 블록 내의 2개의 인접 셀은 서로 달리 변환될 것이다. 수학식 (1)의 N_{i ,j}는 또한 무작위 잡음을 포함시켜 잠재적인 구조화된 아티팩트를 파괴하기 위해 사용된다. 2×2의 예시적 블록 크기는 가시적인 블록 아티팩트 없이 720×480 픽셀 (예컨대, DVD 해상도)의 이미지를 처리하기에 충분한 것으로 밝혀졌다. 다른 블록 크기 및 이미지 크기가 가시적 아티팩트를 낳지 않고 이용될 수 있음은 물론이다.

이미지가 오차 분산 기능에 의해 수정된 후, 이미지는 후처리 장치의 메모리, 예컨대 저장 장치(124)에 저장될 수 있다. 특정 필름의 모든 이미지가 일단 수정되면, 이미지는 MPEG 1, 2, 4, h.264 등과 같은 임의의 종래의 압축 표준에 따라 인코더(122)를 통해 인코딩될 수 있다 (단계(214)). 압축된 필름(130)은 저장 장치, 예컨대 저장 장치(124)에 저장되거나 이동식 저장 장치, 예컨대 DVD로 전송될 수 있다.

도 4 및 도 5는 절단된 이미지와 원 이미지의 차이인 오차를 도시한다. 도 5는 본 발명의 블록 기반 방법이 종래의 방법, 예컨대 픽셀 기반 방법에 의해 처리된 도 4의 오차 맵에 비해 덜 높은 공간 주파수 성분들을 갖는다는 것을 보여준다.

본 발명의 블록 기반 오차 확산 방법은 또한 MPEG2 압축 처리에서 PSNR (Peak Signal to Noise Ratio)을 개선한다. 도 6을 참조하면, PSNR은 픽셀 기반 오차 확산 방법에 비해 대략 0.2 내지 0.5 dB 개선된다. 동일한 비트스트림 크기에 대해, 본 발명의 블록 기반 방법은 더 우수한 디코딩된 이미지 화질을 제공할 것이고, 또는 동일한 이미지 화질에 대해, 더 적은 비트를 사용할 것이다.

본 발명을 포함하는 실시예가 여기에 구체적으로 도시되고 설명되었지만, 당업자라면 본 발명을 포함하는 많은 다른 변경 실시예들을 용이하게 고안할 수 있을 것이다. 이미지에서 아티팩트를 감소하는 시스템 및 방법에 대한 바람직한 실시예들을 설명하였지만 (예시적인 것이며 한정하는 것이 아니다), 상기 본 발명의 관점에서 당업자에 의해 수정 및 변경이 가능하다. 따라서, 첨부된 청구범위에 기재된 바와 같이 본 발명의 범위 및 사상 내에서 본 발명의 특정 실시예들에 대해 변경이 이루어질 수 있음은 물론이다. 특허법에 의해 요구되는 상세한 사항 및 특수성으로 본 발명을 설명하였지만, 특허권에 의해 보호되는 내용은 첨부된 청구범위에서 설명된다.

Claims (20)

1. 손실성 압축 이미지에서 아티팩트(artifact)의 생성을 방지하는 방법으로서,

   상기 이미지의 픽셀들의 블록 크기를 선택하는 단계(204);

   상기 이미지에 마스킹(masking) 신호를 부가하는 단계(205);

   상기 이미지의 픽셀들의 적어도 하나의 블록에서 각각의 픽셀을 절단(truncating)하는 단계;

   각각의 픽셀에 대해 양자화 오차(quantization error)를 결정하는 단계;

   상기 이미지의 적어도 하나의 블록에서 각각의 픽셀의 양자화 오차를 합산하는 단계(210); 및

   상기 이미지에서 아티팩트들을 마스킹하기 위해 상기 이미지에서의 인접 블록들에게 상기 양자화 오차를 분산(distribute)시키는 단계(212)

   를 포함하는 아티팩트 생성 방지 방법.
2. 제1항에 있어서,

   상기 분산 단계 후에, 압축(compression) 기능으로 상기 이미지를 인코딩하는 단계(214)를 더 포함하는 아티팩트 생성 방지 방법.
3. 제2항에 있어서,

   상기 압축 기능은 손실성 압축(lossy compression) 기능인 아티팩트 생성 방지 방법.
4. 제1항에 있어서,

   상기 마스킹 신호는 잡음(noise) 신호인 아티팩트 생성 방지 방법.
5. 삭제
6. 제1항에 있어서,

   상기 분산 단계는 가중치 계수(weighting coefficient)에 기초하여 인접 블록들에게 상기 양자화 오차의 일부를 분산시키는 단계를 더 포함하는 아티팩트 생성 방지 방법.
7. 제1항에 있어서,

   상기 분산 단계는 상기 인접 블록들의 각각에 상기 양자화 오차의 동일한 양을 분산시키는 단계를 더 포함하는 아티팩트 생성 방지 방법.
8. 제1항에 있어서,

   상기 분산 단계는 인과적(causal)인 아티팩트 생성 방지 방법.
9. 제1항에 있어서,

   상기 블록 크기는 상기 이미지의 크기에 비례하는 아티팩트 생성 방지 방법.
10. 손실성 압축 이미지에서 아티팩트의 생성을 방지하는 시스템(100)으로서,

    상기 이미지에 가해질 마스킹 신호를 생성하도록 구성된 신호 생성기(116);

    상기 이미지의 픽셀들의 블록 크기를 선택하도록 구성된 블록 선택기; 및

    상기 이미지의 적어도 하나의 블록에서 양자화 오차를 결정하도록 구성된 오차 확산 모듈(114)

    을 포함하고,

    상기 오차 확산 모듈(114)은 상기 적어도 하나의 블록에서 각각의 픽셀을 절단하고 각각의 픽셀에 대해 양자화 오차를 결정하고 상기 적어도 하나의 블록에서 각각의 픽셀의 양자화 오차를 합산하도록 구성된 절단 모듈(118)을 더 포함하고, 상기 오차 확산 모듈(114)은 상기 이미지에서의 아티팩트들을 감소시키기 위해 상기 양자화 오차를 인접 블록들에 분산시키도록 더 구성되는 아티팩트 생성 방지 시스템.
11. 제10항에 있어서,

    상기 신호 생성기(116)는 잡음 신호를 생성하도록 구성되는 아티팩트 생성 방지 시스템.
12. 제10항에 있어서,

    압축 기능으로 상기 이미지를 인코딩하도록 구성된 인코더(122)를 더 포함하는 아티팩트 생성 방지 시스템.
13. 제12항에 있어서,

    상기 압축 기능은 손실성 압축 기능인 아티팩트 생성 방지 시스템.
14. 삭제
15. 제10항에 있어서,

    상기 오차 확산 모듈(114)은 상기 양자화 오차의 일부를 가중치 계수에 기초하여 인접 블록들에 분산시키도록 구성된 오차 분산 모듈(120)을 더 포함하는 아티팩트 생성 방지 시스템.
16. 제15항에 있어서,

    상기 오차 분산 모듈(120)은 양자화 오차를 인과적 방식으로 분산시키도록 더 적응되는 아티팩트 생성 방지 시스템.
17. 제10항에 있어서,

    상기 오차 확산 모듈(114)은 상기 인접 블록들의 각각에 상기 양자화 오차의 동일한 양을 분산시키도록 구성된 오차 분산 모듈(120)을 더 포함하는 아티팩트 생성 방지 시스템.
18. 제10항에 있어서,

    상기 블록 크기는 상기 이미지의 크기에 비례하는 아티팩트 생성 방지 시스템.
19. 손실성 압축 이미지에서 아티팩트의 생성을 방지하는 방법의 단계들을 수행하도록 머신에 의해 실행가능한 명령어들의 프로그램을 실재적으로 수록한, 머신에 의해 판독가능한 프로그램 저장 장치로서, 상기 방법은,

    상기 이미지의 픽셀들의 블록 크기를 선택하는 단계(204);

    상기 이미지에 마스킹 신호를 부가하는 단계(205);

    상기 이미지의 픽셀들의 적어도 하나의 블록에서 각각의 픽셀을 절단하는 단계;

    각각의 픽셀에 대해 양자화 오차를 결정하는 단계;

    상기 적어도 하나의 블록에서 각각의 픽셀의 양자화 오차를 합산하는 단계(210);

    상기 이미지에서 아티팩트를 마스킹하기 위해 상기 이미지에서의 인접 블록들에게 상기 양자화 오차를 분산시키는 단계(212); 및

    압축 기능으로 상기 이미지를 인코딩하는 단계(214)를 포함하는

    프로그램 저장 장치.
20. 제19항에 있어서,

    상기 마스킹 신호는 잡음 신호인 프로그램 저장 장치.

Images