KR20140019884A - 이미지에서 아티팩트를 감소시키는 시스템 및 방법 - Google Patents

Abstract

본 발명의 시스템 및 방법은 이미지에서 아티팩트를 감소시키기 위한 영역 기반 오차 확산 알고리즘 또는 기능을 제공한다. 본 시스템 및 방법은 이미지에서 ROI (Region of Interest)에 대한 지식을 이용하고, 디더링이나 오차 확산과 같은 효과를 예컨대 밴딩 현상 (banding phenomenon)과 같은 아티팩트가 보이는 구역 혹은 영역(area or region)에 적용한다. 본 시스템 및 방법은 적어도 하나의 제1 이미지에서 하나의 영역을 정의하는 단계(204) - 상기 정의된 영역은 적어도 하나의 아티팩트를 가짐 - ; 상기 정의된 영역을 적어도 하나의 제2 이미지로 트래킹하는 단계(212); 및 상기 적어도 하나의 제1 및 제2 이미지에서 상기 적어도 하나의 아티팩트를 마스킹(mask)하기 위해 상기 정의된 영역에 오차 확산 기능 (error diffusion function)을 적용하는 단계(514)를 제공한다.

Description

이미지에서 아티팩트를 감소시키는 시스템 및 방법{SYSTEM AND METHOD FOR REDUCING ARTIFACTS IN IMAGES}

본 출원은 35 U.S.C. §119 하에 2007년 1월 16일 미국에 출원된 가출원 60/880,650의 이득을 청구한다.

본 발명은 전반적으로 디지털 이미지 처리 및 디스플레이 시스템에 관한 것으로, 특히 이미지에서 아티팩트(artifacts)를 감소시키는 시스템 및 방법에 관한 것이다.

이미지 아티팩트는 디지털 이미지, 또는 이미지들, 이를테면 영화에서의 일련의 이미지를 처리하는 동안에 발견된다. 통상적인 아티팩트 현상은 밴딩(banding)으로, 가변하는 세기 및 컬러 레벨의 밴드가 이미지의 원래의 원활한 선형 변화 영역(original smooth linear transition area)에 디스플레이된다. 컬러 보정, 스케일링, 컬러 공간 전환, 및 압축과 같은 처리가 밴딩 효과(banding effect)를 도입할 수 있다. 밴딩은 이미지가 고주파수 성분 및 최소 잡음을 갖는 인공적인 애니메이션 자료에서 가장 현저하다. 제한된 대역폭을 갖는 임의의 처리는 불가피하게 앨리어스(alias), "링잉(ringing)" 또는 밴딩을 야기할 것이다.

현재의 기술은 디더링(dithering) 및 오차 확산과 같은 잡음을 부가하여 이미지에서 아티팩트를 감소시키고 있다. 이 잡음은 이 현상을 어느 정도 마스킹하지만 이미지의 다른 부분에서 원하지 않는 잡음을 도입하고 압축과 같은 다른 처리에 추가적인 부담을 준다.

관련 분야에서, 디지털 방식으로 샘플링된 이미지를 고화질로 표현하기 위해 큰 사이즈의 데이터 파일이 요구되기 때문에, 인식되는 이미지 화질에 악영향을 미치지 않고 데이터 파일의 사이즈를 줄이기 위한 시도로서 데이터 파일에 다양한 형태의 압축을 적용하는 것이 일반적인 관행이다. 다양한 공지의 기술 및 표준은 이러한 필요성을 다루기 위해 발전되었다. 대표적인 기술로는 이미지 인코딩을 위한 JPEG (Joint Photographic Experts Group) 표준이 있다. JPEG와 유사한 것으로, 동작 시퀀스에서 연속 프레임의 유사성을 이용하기 위해 인터 프레임 인코딩을 추가한 MPEG (Moving Pictures Expert Group) 표준이 있다. 다른 표준 및 사유 시스템(standards and proprietary systems)은 웨이블릿 변환 (wavelet transforms)에 기초하여 개발되었다.

상업 영화 DVD/HD-DVD 발매의 과정에서, 종래의 영화 또는 컴퓨터 애니메이션 영화로부터 스캔된 디지털 이미지는 통상적으로 10비트 데이터를 갖고, 어떤 응용에서는, 최대 16비트 데이터를 갖는다. 이 데이터는 압축을 위해 8비트 YUV 포맷으로 변환되도록 요구된다. 비트 심도 (bit depth) 정밀도의 감소 때문에, 밴딩 아티팩트(banding artifacts)가 원활한 컬러 변화(smooth color change)를 갖는 이미지의 영역 또는 이미지들에서 종종 나타난다. 상술한 바와 같이, 디더링 (dithering) 및 오차 확산 알고리즘은 밴딩 아티팩트를 감소시키기 위해 일반적으로 사용된다. 대부분의 디더링 알고리즘에서, 높은 공간 주파수를 갖는 디지털 신호가 밴딩 효과를 제거하기 위해 이미지에 추가된다. 그러나, DVD/HD-DVD 내에서의 압축은 높은 공간 주파수를 갖는 신호를 제거하는 손실 압축(lossy compression)이다. 따라서, 밴딩이 압축 전의 디더링 프로세스에 의해 제거되더라도 압축 후에 밴딩 아티팩트가 흔히 나타난다.

디더링이나 컬러 심도 감소(color depth reduction)를 위한 종래의 접근법은 디스플레이 애플리케이션 및 프린팅 서비스를 위한 것이다. 디더링은 처리 과정에서 최종 단계이므로, 추가된 높은 공간 주파수가 잘 유지되어 컬러 심도가 감소될 때 밴딩 효과를 제거하려는 의도에 도움이 된다. 오차 확산은 또다른 일반적인 접근법으로서, 양자화 오차가 인접 셀들에 분산되어 마스킹 효과를 생성하여 전체 이미지 세기를 보존한다. 그러나, 이 접근법들은 고주파수 신호를 감소시키거나 절단(truncate)하는 경향이 있는 MPEG1,2,4 또는 H.264와 같은 손실 압축의 효과를 고려하지 못한다. 따라서, 압축 인코더가 추가된 디더링 잡음이나 양자화 오차를 나타내기 위해 다수의 비트를 사용하고 이미지를 나타내기 위해 더 적은 비트를 가질 것이므로, 대부분의 디더링 및 오차 확산 접근법은 압축 과정에서 비트율 효율을 감소시킬 것이다. 한편, 밴딩 아티팩트는 마스킹 신호가 감소되거나 절단되었으므로 압축 후에 나타나기 쉽다.

따라서, 예컨대 손실 압축 프로세스와 같은 이미지 처리 후에 아티팩트가 감소되거나 억제되도록 이미지에서 아티팩트를 감소시키는 기술이 필요하다.

본 발명의 시스템 및 방법은 이미지에서 아티팩트를 감소시키기 위한 영역 기반 오차 프로세스를 제공한다. 이 시스템 및 방법은 이미지의 ROI (Region of Interest)에 대한 지식을 이용하고, 디더링이나 오차 확산과 같은 효과를 예컨대 밴딩 현상(banding phenomenon)과 같은 아티팩트가 보이는 영역에 적용한다. 본 발명의 상기 시스템 및 방법은 이 현상을 나타내는 장면의 제1 프레임에서 ROI를 정의하는 것을 제공하고, 유사한 특징을 갖는 다수의 프레임에 대해 자동적으로 ROI를 탐지한다. 상기 시스템 및 방법은 ROI와 이미지의 나머지(the rest of image) 사이의 원활한 변화(smooth transition)를 제공한다. 또한, 본 발명은 메타데이터와 같은 ROI에 대한 정보를 획득에서 분산으로의 처리로 전달하는 메커니즘을 제공한다.

본 발명의 일양태에 따르면, 적어도 하나의 이미지에서 아티팩트를 감소시키는 방법이 제공된다. 이 방법은, 적어도 하나의 제1 이미지에서 하나의 영역을 정의하는 단계 - 상기 정의된 영역은 적어도 하나의 아티팩트를 가짐 - ; 적어도 하나의 제2 이미지로 상기 정의된 영역을 트래킹하는 단계; 및 상기 적어도 하나의 제1 및 제2 이미지에서 상기 적어도 하나의 아티팩트를 마스킹하기 위해 상기 정의된 영역에 오차 확산 기능을 적용하는 단계를 포함한다.

다양한 실시예에서, 상기 하나의 영역을 정의하는 단계는 상기 영역의 윤곽을 그림으로써 수동으로 수행되거나 또는 검출 기능에 의해 자동적으로 수행된다.

다른 양태에서, 상기 적용 단계는, 상기 적어도 하나의 이미지의 픽셀들의 블록 크기를 선택하는 단계; 적어도 하나의 블록이 상기 정의된 영역에 있는지 결정하는 단계; 상기 적어도 하나의 블록에 마스킹 신호를 부가하는 단계; 상기 적어도 하나의 이미지에서 상기 적어도 하나의 블록에 대해 양자화 오차를 결정하는 단계; 및 상기 양자화 오차를 인접 블록들에 분산하는 단계를 더 포함한다.

또 다른 양태에서, 상기 마스킹 신호를 부가하는 단계는, 상기 적어도 하나의 블록 내의 적어도 하나의 픽셀에서의 상기 정의된 영역의 경계까지의 거리를 결정하는 단계; 및 상기 결정된 거리에 기초하여 상기 적어도 하나의 픽셀과 연관된 마스킹 신호에 하나의 값을 할당하는 단계를 포함한다.

다른 양태에서, 상기 트래킹 단계는, 상기 적어도 하나의 제1 이미지의 상기 정의된 영역에 대해 이진 마스크를 생성하는 단계; 및 상기 정의된 영역을 트래킹하기 위해 상기 적어도 하나의 제2 이미지에 상기 이진 마스크를 투영시키는 단계를 더 포함한다. 또 다른 양태에서, 상기 투영 단계는 상기 적어도 하나의 제1 이미지에서 상기 적어도 하나의 제2 이미지까지 상기 정의된 영역의 움직임을 추정하는 단계를 더 포함한다. 또 다른 양태에서, 상기 생성 단계는 트래킹될 상기 적어도 하나의 제1 이미지의 특징을 캡처링하기 위해 상기 정의된 영역을 더 큰 영역으로 변형하는(transforming) 단계를 더 포함한다.

본 발명의 다른 양태에 따르면, 적어도 하나의 이미지에서 아티팩트를 감소시키는 시스템에 있어서, 적어도 하나의 제1 이미지 내의 정의된 영역을 적어도 하나의 제2 이미지로 트래킹하도록 구성된 트래킹 모듈 - 상기 정의된 영역은 적어도 하나의 아티팩트를 가짐 - ; 및 상기 적어도 하나의 제1 및 제2 이미지에서 상기 적어도 하나의 아티팩트를 마스킹하기 위해 상기 정의된 영역에 오차 확산 기능을 적용하도록 구성된 오차 확산 모듈을 포함하는 시스템이 제공된다. 일실시예에서, 상기 시스템은 상기 적어도 하나의 제1 이미지에서 상기 영역을 정의하도록 구성된 사용자 인터페이스를 더 포함한다.

본 발명의 또 다른 양태에 따르면, 이미지에서 아티팩트를 감소시키는 방법 단계들을 수행하도록 기계에 의해 실행가능한 명령들의 프로그램을 실체적으로 구현하는, 상기 기계에 의해 판독가능한 프로그램 저장 장치가 제공되며, 상기 방법은, 적어도 하나의 제1 이미지에서 하나의 영역을 정의하는 단계 - 상기 정의된 영역은 적어도 하나의 아티팩트를 가짐 - ; 적어도 하나의 제2 이미지로 상기 정의된 영역을 트래킹하는 단계; 및 상기 적어도 하나의 제1 및 제2 이미지에서 상기 적어도 하나의 아티팩트를 마스킹하기 위해 상기 정의된 영역에 오차 확산 기능을 적용하는 단계를 포함한다.

도 1은 본 발명의 일양태에 따라 이미지에서 아티팩트를 감소시키는 시스템의 예시적인 도면이다.
도 2는 본 발명의 일양태에 따라 이미지에서의 영역 기반 트래킹을 위한 예시적인 방법의 흐름도이다.
도 3은 트래킹될 정의된 영역을 갖는 이미지이다.
도 4는 본 발명에 따른 트래킹 모델을 도시한다.
도 5는 본 발명의 일양태에 따라 이미지에서 아티팩트를 감소시키는 예시적인 방법의 흐름도이다.

본 발명의 상기 및 다른 양태, 특징 및 이점은 첨부 도면과 관련하여 이하의 바람직한 실시예에 대한 상세한 설명으로부터 명백해질 것이다.

도면에서, 동일한 참조 번호는 유사한 요소를 나타낸다.

본 도면(들)은 본 발명의 개념을 설명하기 위한 것이며 반드시 본 발명을 설명하는 유일한 가능 구성은 아님은 물론이다.

도면에 도시된 요소들은 다양한 형태의 하드웨어, 소프트웨어 또는 그 조합으로 구현될 수 있음은 물론이다. 바람직하게는, 이 요소들은 프로세서, 메모리 및 입출력 인터페이스를 포함할 수 있는 하나 이상의 적절히 프로그램된 범용 장치에서 하드웨어 및 소프트웨어의 조합으로 구현된다.

본 설명은 본 발명의 원리들을 설명한다. 따라서, 이 분야의 기술자들은, 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리들을 구현하고 본 발명의 사상 및 범위 내에 포함되는 다양한 배열을 고안할 수 있을 것이라는 것을 이해할 것이다.

여기에 설명되는 모든 예 및 조건부 언어는 본 발명자(들)에 의해 기술의 발전에 기여되는 본 발명의 원리들 및 개념들을 독자가 이해하는 것을 돕기 위한 교육적인 목적들을 위해 의도되며, 구체적으로 설명되는 예들 및 조건들로 제한되지 않는 것으로 해석되어야 한다.

더욱이, 본 명세서에서 본 발명의 원리들, 양태들 및 실시예들은 물론, 본 발명의 특정 예들을 설명하는 모든 진술은 본 발명의 구조적 및 기능적 균등물들을 모두 포함하는 것을 의도한다. 또한, 그러한 균등물들은 현재 공지된 균등물들은 물론, 미래에 개발될 균등물들, 즉 구조와 관계없이 동일 기능을 수행하는 임의의 개발될 요소들을 모두 포함하는 것을 의도한다.

따라서, 예를 들어, 이 분야의 기술자들은 여기에 제공되는 블록도들이 본 발명의 원리들을 구현하는 예시적인 회로의 개념적인 뷰들을 나타낸다는 것을 알 것이다. 마찬가지로, 임의의 흐름 도표, 흐름도, 상태 전이도, 의사 코드 등은, 컴퓨터 판독가능 매체 내에 실질적으로 표현되고, 따라서 컴퓨터 또는 프로세서가 명확히 지시되는지의 여부와 관계없이, 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스를 나타낸다는 것을 알 것이다.

도면들에 도시된 다양한 요소의 기능들은 전용 하드웨어는 물론, 적절한 소프트웨어와 연계하여 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 기능들은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 더욱이, "프로세서" 또는 "제어기"라는 용어의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어만을 지칭하는 것으로 해석되지 않아야 하며, 제한 없이 암시적으로 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리(ROM), 랜덤 액세스 메모리(ROM) 및 비휘발성 저장 장치를 포함할 수 있다.

종래 및/또는 맞춤형의 다른 하드웨어도 포함될 수 있다. 마찬가지로, 도면들에 도시된 임의의 스위치들은 단지 개념적이다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호작용을 통해, 또는 심지어 수동으로 수행될 수 있으며, 문맥으로부터 더 구체적으로 이해되는 바와 같이, 구현자에 의해 특정 기술이 선택될 수 있다.

본 발명의 청구범위에서, 지정된 기능을 수행하기 위한 수단으로서 표현되는 임의의 요소는 예를 들어 a) 그 기능을 수행하는 회로 요소들의 조합 또는 b) 임의 형태의 소프트웨어, 따라서 기능을 수행하도록 소프트웨어를 실행하기 위한 적절한 회로와 결합되는 펌웨어, 마이크로코드 등을 포함하는 임의 형태의 소프트웨어를 포함하는 그 기능을 수행하는 임의의 방법을 포함하는 것을 의도한다. 그러한 청구범위에 의해 정의되는 바와 같은 본 발명의 원리들은 기재된 다양한 수단에 의해 제공되는 기능들이 청구항들이 요청하는 방식으로 조합되고 결합된다는 사실에 있다. 따라서, 그러한 기능들을 제공할 수 있는 임의의 수단들은 여기에 설명되는 것들과 등가인 것으로 간주된다.

밴딩 현상은 두 가지 카테고리로 분류될 수 있다. 컬러 비트 감소 또는 컬러 양자화의 프로세스에서, 감소된 신호 정밀도 때문에 밴딩이 나타날 수 있다. 이런 종류의 오차는 대부분의 경우에 오차 확산 알고리즘에 의해 효과적으로 제거될 수 있다. 그러나, 컬러 보정, 스케일링, 및 컬러 공간 변환과 같은 다른 프로세스는 제한된 처리 대역폭 때문에 밴딩 아티팩트의 원인이 된다. 이런 종류의 밴딩은 오차 확산에 의해 효과적으로 처리될 수 없다. 마스킹 신호는 이 밴딩 아티팩트를 제거하기 위해 필요하다. 부가된 마스킹 신호의 양은 밴딩 아티팩트의 세기에 직접 관련된다. 밴딩 아티팩트는 원활한 선형 변화에서 가장 잘 나타날 것이므로, 프레임 기반 접근법은 불필요한 마스킹 신호를 밴딩 아티팩트가 없는 영역으로 도입할 것이고, 이에 따라 이미지 화질이 떨어진다. 본 발명의 시스템 및 방법은 상기 두 카테고리의 밴딩을 효과적으로 제거하는 ROI (region of interest) 기반 접근법을 제공하는데, 여기서, 부가되는 마스킹 신호의 양은 가능한 최선의 이미지 화질을 달성하도록 조작자에 의해 조정될 수 있다.

본 발명의 시스템 및 방법은 이미지에서 아티팩트를 감소시키기 위한 영역 기반 오차 확산 알고리즘을 제공한다. 본 발명은 예컨대 조작자에 의해 또는 자동 검출 알고리즘이나 기능에 의해 처음 정의된 ROI에 기초하여 원하지 않는 밴딩 현상을 제거하는 인터랙티브 시스템을 제공한다. 본 발명은 또한 트래킹되는 영역에서 밴딩을 제거하고 예컨대 압축 프로세스와 같은 다른 처리에서 부작용(side-effects)을 최소화하도록 설계된 ROI 기반 오차 확산 및 밴딩 마스킹 방식을 제공한다. 이 시스템이 필름/비디오 처리에서 실제적인 애플리케이션에 효율적이기 위해서, 영역 기반 트래킹 알고리즘은 다수의 다음 프레임으로 ROI를 트래킹하여 조작자의 수고를 경감하도록 제공된다.

도면을 참조하면, 본 발명의 일실시예에 따른 예시적인 시스템 컴포넌트들이 도 1에 도시된다. 스캐닝 장치(103)는 필름 프린트(104), 예컨대 카메라 원래의 필름 네가티브를 디지털 포맷, 예컨대 시네온(Cineon) 포맷 또는 SMPTE DPX 파일로 스캐닝하기 위해 제공될 수 있다. 스캐닝 장치(103)는 예컨대 비디오 출력을 갖는 Arri LocPro^TM과 같은 필름으로부터 비디오 출력을 생성할 예컨대 텔레비전 영화 (telecine)나 임의의 장치를 포함할 수 있다. 대안적으로, 필름 촬영 후의 편집 프로세스(post production)나 디지털 시네마(106)로부터의 파일 (예컨대, 컴퓨터 판독 형태의 파일)이 직접 사용될 수 있다. 컴퓨터 판독 파일의 가능한 소스는 AVID^TM 편집기, DPX 파일, D5 테이프 등이다.

스캐닝된 필름 프린트는 후처리 장치(102), 예컨대 컴퓨터로 입력된다. 컴퓨터는 예컨대 하나 이상의 중앙처리장치 (CPU), RAM 및/또는 ROM과 같은 메모리(110), 및 키보드, 커서 제어 장치 (예컨대, 마우스, 조이스틱 등) 및 디스플레이 장치와 같은 입출력 (I/O) 사용자 인터페이스(112)와 같은 하드웨어를 갖는 공지의 다양한 컴퓨터 플랫폼 중 임의의 것에서 구현된다. 컴퓨터 플랫폼은 또한 운영체제 및 마이크로 명령 코드를 포함한다. 여기 설명된 다양한 프로세스 및 기능들은 운영체제를 통해 실행되는 마이크로 명령 코드의 일부나 소프트웨어 애플리케이션 프로그램의 일부 (또는 그 조합)일 수 있다. 또한, 다양한 다른 주변 장치는 다양한 인터페이스, 및 병렬 포트, 직렬 포트 또는 USB (universal serial bus)와 같은 버스 구조에 의해 컴퓨터 플랫폼에 연결될 수 있다. 다른 주변 장치는 추가적인 저장 장치(124) 및 프린터(128)를 포함할 수 있다. 프린터(128)는 예컨대 입체 버전의 필름과 같은 수정 버전의 필름(126)을 프린트하기 위해 이용될 수 있다.

대안적으로, 이미 컴퓨터 판독가능 형태인 파일/필름 프린트(106) (예컨대, 외부 하드 드라이브(124)에 저장될 수 있는 디지털 시네마)는 직접 컴퓨터(102)로 입력될 수 있다. 여기서 "필름"이라는 용어는 필름 프린트 또는 디지털 시네마를 가리킬 수 있음에 유의한다.

소프트웨어 프로그램은 이미지에서 아티팩트를 감소하기 위해 메모리(110)에 저장된 오차 확산 모듈(114)을 포함한다. 오차 확산 모듈(114)은 이미지에서 아티팩트를 마스크할 신호를 생성하는 잡음 또는 신호 생성기(116)를 포함한다. 잡음 신호는 백색 잡음, 가우스 잡음, 서로 다른 차단 주파수 필터로 변조된 백색 잡음 등일 수 있다. 절단(truncation) 모듈(118)은 이미지의 블록의 양자화 오차를 결정하기 위해 제공된다. 오차 확산 모듈(114)은 또한 인접 블록에 양자화 오차를 분산하도록 구성된 오차 분산 모듈(120)을 포함한다.

또한 한 장면(a scene)의 여러 프레임을 통해 ROI(region of interest)를 트래킹하기 위해 트래킹 모듈(132)이 제공된다. 트래킹 모듈(132)은 한 장면의 각 이미지나 프레임에 대해 이진(binary) 마스크를 생성하는 마스크 생성기(134)를 포함한다. 이진 마스크는 예컨대 ROI 주변에 그려진 사용자 입력 다각형에 의해 또는 자동 검출 알고리즘이나 기능에 의해 이미지에서 정의된 ROI로부터 생성된다. 이진 마스크는 1 또는 0의 픽셀 값을 갖는 이미지이다. ROI 내의 모든 픽셀은 1의 값을 갖고, 다른 픽셀들은 0의 값을 갖는다. 트래킹 모듈(132)은 예컨대 한 장면의 프레임마다 한 이미지로부터 다른 이미지로 ROI의 트래킹 정보를 추정하는 트래킹 모델(136)을 더 포함한다.

인코더(122)는 출력 이미지를 MPEG 1, 2, 4, h.264 등과 같은 임의의 공지의 압축 표준으로 인코딩하기 위해 제공된다.

도 2은 본 발명의 일양태에 따라 이미지에서 ROI를 트래킹하는 예시적인 방법의 흐름도이다. 처음에, 단계(202)에서, 후처리 장치(102)는 적어도 하나의 2차원 (2D) 이미지를 획득한다. 후처리 장치(102)는 상기한 바와 같이 컴퓨터 판독가능 포맷으로 디지털 마스터 비디오 파일을 얻음으로써 적어도 하나의 2D 이미지를 획득한다. 디지털 비디오 파일은 비디오 이미지의 시간적 시퀀스를 디지털 비디오 카메라로 캡처링함으로써 획득될 수 있다. 대안적으로, 이 비디오 시퀀스는 종래의 필름형 카메라에 의해 캡처링될 수 있다. 이 시나리오에서, 이 필름은 스캐닝 장치(103)를 통해 스캐닝된다.

필름이 스캐닝되는지 또는 이미 디지털 포맷이던지 간에, 이 필름의 디지털 파일은 프레임들의 위치에 대한 표시나 정보, 예컨대 프레임 번호, 필름의 시작 시간 등을 포함할 것이다. 디지털 비디오 파일의 각 프레임은 한 이미지, 예컨대 l₁, l₂,..., l_n을 포함할 것이다.

단계(204)에서, 관심 영역 R이 적어도 하나의 이미지에서 정의된다. 일실시예에서, 조작자는 사용자 인터페이스(112)와 같은 인터랙티브 사용자 인터페이스를 이용하여 밴딩 아티팩트를 갖는 영역을 정의한다. 도 3을 참조하면, 이 영역은 이미지 상에 다각형 영역의 윤곽을 그림으로써 정의된다. 다른 실시예에서, 이 영역은 자동 검출 알고리즘 또는 기능에 의해 검출된다. 자동 검출 알고리즘은 조작자에 의해 식별되는 통상적인 아티팩트를 포함할 복수의 처리된 필름으로부터 수집되는(compiled) 지식 기반과 상호작용할 것이다.

도 2를 참조하면, ROI의 다각형으로부터, 이진 마스크가 생성되어 ROI를 트래킹하는 시스템에서 사용된다. 이진 마스크는 1 또는 0의 픽셀 값을 갖는 이미지이다. 다각형 내부의 모든 픽셀은 1의 값을 갖고, 그 외의 픽셀들은 0의 값을 갖는다. 이진 마스크는 ROI를 나타내기 위해 사용될 수 있고, 이것은 다각형에서 정의된 ROI와 같다. 이 장면의 다음 프레임이 단계(206)에서 판독된다.

밴딩 아티팩트는 원활한 컬러 그레이딩 영역에서 나타난다. 그러나, 일반적인 트래킹 알고리즘은 강력하고 정확한 트래킹을 위한, 영역에 존재하는 몇가지 분명한 특징을 필요로 한다. 따라서, 서로 다른 트래킹 영역을 이용하는 트래킹 방식이 제공된다. 단계(208)에서, ROI R은 더 큰 영역으로 증대되고(grow) 변형되어 트래킹을 위한 영역의 보다 현저한 특징을 캡처링한다. 몇가지 현저한 특징을 갖는 이 더 큰 영역은 트래킹 영역 Rt라고 한다. 이 영역 증대 알고리즘(region growing algorithm)은 ROI의 경계 픽셀을 시드(seeds)로서 이용하고 "분기점(watershed)" 구현을 이용하여 이 영역을 증대시킨다.

트래킹 정보를 추정하기 위해, 6개의 파라미터 트래킹 모델(136) (예컨대, 아핀 움직임 모델 (affine motion model))이 이 영역을 트래킹하기 위해 사용된다 (단계(210)). 트래킹 영역은 우선 16×16 블록으로 분할되고, 각 블록에 대한 움직임 벡터는 휘도 세기를 이용하여 다음 프레임에서 최선의 블록 매치를 찾음으로써 얻어진다. 모든 블록의 움직임 벡터는 도 4에 도시된 바와 같이 트래킹 모델에서 6개의 파라미터를 추정하기 위해 사용된다. 선형 회귀(regression) 절차는 예측된 픽셀과 실제 픽셀 사이의 오차를 최소화하는 최선의 파라미터를 찾기 위해 사용된다. 단계(212)에서, ROI의 이진 마스크는 6개의 파라미터 트래킹 모델을 이용하여 다음 프레임으로 투영(project)된다. 단계(214)에서, 이 시스템은 이 장면의 마지막 프레임이 처리되었는지 여부를 결정한다. 처리되지 않았으면, 이 시스템은 장면의 모든 프레임이 처리될 때까지 단계(206)로 되돌아갈 것이다. 일단 ROI가 다수의 프레임에 대해 이용가능하면, 이 프로세스는 자동적으로 나머지 장면에 용이하게 적용될 수 있다.

이 시스템은 트래킹 결과에서 실시간 피드백을 제공한다. 단계(216)에서, 조작자는 이 결과를 평가할 수 있고, 단계(218)에서, 결과가 만족스럽지 않으면 ROI를 수정할 수 있다. 예컨대, 조작자는 ROI가 적절히 트래킹되었는지 결정하기 위해 사용자 인터페이스(112)의 디스플레이에서 ROI를 볼 수 있다. 조작자가 만족하지 않으면, ROI는 수정될 수 있고 트래킹 프로세스가 반복될 것이다. 단계(220)에서, 각 이미지나 프레임에 대한 ROI의 이진 마스크는 이진 파일로 저장되고 ROI 기반 오차 확산 및 밴딩 마스킹을 위해 ROI로서 사용되는데, 이에 대해서는 이하에서 상술된다. 또한, ROI의 이진 마스크는 이진 파일로 저장되어 다음 스테이지로 넘어갈 수 있다. 예컨대, 다음 스테이지가 MPEG4 AVC 인코딩이면, ROI의 정보는 ROI에 대한 적절한 비트를 할당하기 위해 인코더에 의해 사용될 수 있다. 이 메타데이터는 다른 프로세스에서 이용될 수 있도록, 저장 장치(124)에 저장될 수 있고 이미지들과 연관될 수 있다.

ROI 기반 오차 확산 및 밴딩 마스킹 방식의 흐름도가 도 5에 도시된다. 상기한 바와 같이, 처리될 적어도 하나의 이미지가 단계(502)에서 획득된다.

단계(504)에서, 블록 크기가 선택된다. 이미지는 임의 갯수의 블록으로 분할된다. 한 블록은 직사각형 영역에 포함된 다수의 픽셀로, 예컨대 B_{m ,n}으로 도시되고, 여기서 m,n은 블록 인덱스를 나타낸다. 모든 블록은 동일 크기, 예컨대 2×2, 3×3 등을 가질 수 있다. 블록 크기는 또한 로컬 이미지 속성에 따라 달라질 수 있다. 블록 크기는, 사용자 인터페이스(112)를 통해 조작자에 의해 선택될 수 있거나, 서로 다른 이미지 크기에 대해 일정한 비율이 유지되도록 이미지 크기에 의해 결정될 수 있다. 본 발명의 오차 확산 방법은 이하에서 설명되는 바와 같이 블록 레벨에서 작용한다. 블록 크기가 일단 선택되면, 블록 크기는 동일 이미지에 대해 동일하게 유지될 것이다.

블록 크기는 단일 픽셀에서 2×2, 2×3, 4×4와 같은 임의의 크기로 가변할 수 있다. 서로 다른 블록 크기의 사용은 마스킹 신호의 공간 주파수의 시스템 제어를 제공한다. 이것은 다음 프로세스가 높은 공간 주파수를 제거하는 경향이 있는 손실 압축인 경우 중요하다. 잘 제어된 마스킹 신호를 부가하면 압축 아티팩트를 감소시킬 것이고 손실 압축 후에 밴딩이 다시 나타나는 것을 방지할 것이다.

블록 크기가 일단 선택되면, 이미지를 구성하는 모든 블록은 단계(506)에서 제1 블록부터 시작하여 처리될 것이다. 처음에, 단계(508)에서, 이 시스템은 블록이 정의된 ROI에 있는지 결정할 것이다. 블록이 이 ROI에 있지 않으면, 단계(516)에서, 간단한 양자화 방식이 사용되어 컬러 비트 심도 (color bit depth)를 감소시키는데, 예컨대, 블록의 최하위 비트(the least significant bits)가 제거되고 양자화 오차가 보상되지 않는다. 단계(516) 후에, 단계(518)에서, 이 시스템은 이미지 내 다음 블록으로 진행할 것이다.

블록이 ROI에 있다면, 단계(510)에서, 잡음 신호, 예컨대 마스킹 신호가 잡음 생성기(116)를 통해 이미지에 부가된다. 0부터 255까지의 레벨이 영역 경계까지의 거리, 예컨대 근접도에 기초하여 픽셀들에 할당된다. 블록 내의 적어도 하나의 픽셀에서 정의된 영역의 경계까지의 거리가 결정되고, 결정된 거리에 기초하여 상기 적어도 하나의 픽셀에 할당된 마스킹 신호의 하나의 값이 할당된다. 이 레벨들은 마스킹 신호의 세기를 축소(scale down)하기 위해 사용되어, 영역 경계부에서 원활한 변화가 이루어지게 된다. ROI에서 픽셀 컬러값들의 평균 및 편차(variance)가 계산된다. 평균과 한 픽셀의 컬러 차가 편차보다 3배 더 크면, 이것은 밴딩 아티팩트가 존재하지 않을 것 같다는 중요한 특징임을 나타낸다. 이 특징을 보존하기 위해, 레벨 0이 이 픽셀에 할당되는데, 이것은 어떠한 잡음도 이 픽셀에 부가되지 않을 것임을 의미한다. 이에 대한 예가 도 3에 도시된 바와 같이 별들이 있는 파란 하늘의 장면인데, 여기서는 하늘에 밴딩 아티팩트가 나타난다. 조작자는 파란 하늘을 밴딩 제거 처리를 위한 ROI로서 선택할 수 있다. 하늘의 모든 별은 그 컬러 값이 ROI에서 픽셀들의 평균값과 크게 다를 때 적절히 보존된다.

단계(512)에서, 양자화 오차가 블록에 대해 결정된다. 처음에, 절단(truncation) 기능이 절단 모듈(118)을 통해 이미지 내 각 블록에서 수행된다. 절단 기능은 비트 심도값을 2의 거듭제곱인 일정한 양자화 인수 Q로 나눔으로써 블록 내 각 픽셀에 대한 비트 심도를 줄이도록 사용된다. 일반적으로, 양자화 인수 Q는 2^x (여기서 x는 절단될 비트의 수)이다. 예컨대, 10비트 데이터에서 8비트 데이터로의 절단의 경우, 일정한 양자화 인수 Q는 4, 즉 Q=2²일 것이다. 절단 함수는 다음과 같이 정의된다.

여기서, I_{i ,j}는 블록 내 픽셀 값이고, N_{i ,j}는 잡음 생성기(116)에 의한 절단 전에 부가된 신호이고, Q는 양자화 인수이다. I'_{i ,j}는 절단된 픽셀 값이다. 절단 프로세스에서, 픽셀 값에 대해 주의해야 할 반올림 문제(rounding issue)가 존재한다. 예컨대, I'_{i ,j}가 1.75이면, 즉 4(Q)로 나눈 7(I'_{i ,j} + N_{i ,j})이면, I'_{i ,j}는 정수로 표현될 필요가 있을 것이다. I'_{i ,j}는 잘 알려진 바와 같이 서로 다른 반올림 방식(rounding schemes)에 기초하여 2 또는 1일 수 있다.

수학식 (1)에서, N_{i ,j}는 잡음, 예컨대 백색 잡음이고, 이것은 구조(structure) 아티팩트를 감소시킨다. 일반적으로, N_{i ,j}는 불규칙 신호 분산(random signal distribution)을 갖는다. 사용자 인터페이스(112)를 통해, 조작자는 수동으로 N_{i ,j}의 값 범위를 제어할 수 있다. 디폴트로, N_{i ,j}의 값 범위는 0 부터 Q-1이다. 이미지의 선택된 블록 내 각 픽셀에 대해 동일한 잡음을 사용함으로써, 잡음 패턴의 공간 주파수는 블록 내에서 낮을 것이고, 이것은 전체 이미지에서 잡음의 전체 공간 주파수를 감소시킨다. 잡음의 공간 주파수가 감소되므로, 잡음, 즉 마스킹 신호는 압축 프로세스에서 생존할 것이고 압축해제 동안에 아티팩트를 억제할 것이다.

다음으로, 양자화 오차가 아래 수학식 (2)에서 도시된 바와 같이 블록 내 각 픽셀에 대해 결정되고, 모든 양자화 오차의 합산은 블록 양자화 오차 E_{m ,n}을 생성하는데, 이것은 오차 확산 계수에 기초하여 인접 블록들로 분산된다.

총 블록 양자화 오차 E_{m ,n}에 대해, 양자화 오차 e의 일부가 다음과 같이 결정되어 인접 블록에 분산될 것이다.

여기서, c(m,n)은 오차 확산 계수이다.

단계(514)에서, 블록 양자화 오차는 오차 분산 모듈(120)을 통해 인접 블록들로 분산된다. 각 블록 내의 오차 분산 기능은 다음과 같이 정의된다.

여기서, e는 블록 B_{m ,n}에 분산된 총 오차이고, N, M은 블록의 치수이고, w_{i ,j}는 블록 B_{m ,n}에 대한 가중치 계수이다. 일실시예에서, 수학식 (5)에 도시된 바와 같은 균일한 분산이 가중치 계수를 계산하기 위해 사용된다. w_{i ,j}를 계산하기 위해 더 복잡한 기능이 고안될 수 있는데, 예컨대 w_{i ,j}는 l(i,j)에 비례하도록 설정될 수 있다.

블록 B_{m ,n}의 크기는 오차 확산 프로세스에서 제어될 수 있는 공간 주파수의 양을 결정하고 아티팩트를 마스킹하는 최선의 효과를 달성하도록 선택된다. 그러나, 큰 블록 크기는 구조화된 아티팩트 (structured artifacts)를 생성하는 경향이 있고, 이것은 오차 확산 프로세스에서 바람직하지 않다. 이러한 구조화된 아티팩트는 블록 경계 (block-boundary) 아티팩트를 포함하는데 여기서 2개의 서로 다른 블록 내의 2개의 인접 픽셀은 서로 달리 변환될 것이다. 수학식 (1)의 N_{i ,j}는 또한 불규칙 잡음 포함으로 잠재적인 구조화된 아티팩트를 파괴하기 위해 사용된다. 2×2의 바람직한 블록 크기는 가시적인 블록 아티팩트가 없는 720×480 픽셀 (예컨대, DVD 해상도)의 이미지를 처리하기에 충분한 것으로 밝혀졌다. 결과적으로 가시적 아티팩트가 없는 다른 블록 크기 및 이미지 크기가 이용될 수 있음은 물론이다.

양자화가 단계(516)이나 단계(510) 내지 단계(514)에서 수행된 후, 이 시스템은, 단계(518)에서, 이미지 내 모든 블록이 처리될 때까지 이미지 내 다음 블록으로 진행할 것이다. 이미지가 오차 분산 기능에 의해 수정된 후, 이미지는 후처리 장치의 메모리, 예컨대 저장 장치(124)에 저장될 수 있다. 특정 필름의 모든 이미지가 일단 수정되면, 이미지는 MPEG 1, 2, 4, h.264 등과 같은 임의의 종래의 압축 표준에 따라 인코더(122)를 통해 인코딩될 수 있다. 그 다음, 압축된 필름(130)은 저장 장치, 예컨대 저장 장치(124)에 저장되거나 이동식 저장 장치, 예컨대 DVD로 전송될 수 있다.

본 발명을 포함하는 실시예가 여기에 구체적으로 도시되고 설명되었지만, 당업자라면 본 발명을 포함하는 많은 다른 변경 실시예들을 용이하게 고안할 수 있을 것이다. 이미지에서 아티팩트를 감소하는 시스템 및 방법에 대한 바람직한 실시예들을 설명하였지만 (예시적인 것이며 한정하는 것이 아니다), 상기 본 발명의 관점에서 당업자에 의해 수정 및 변경이 가능하다. 따라서, 첨부된 청구범위에 기재된 바와 같이 본 발명의 범위 및 사상 내에서 본 발명의 특정 실시예들에 대해 변경이 이루어질 수 있음은 물론이다.

Claims (1)

1. 방법에 있어서,
   

Images