KR101350853B1 - 이미지들에서 아티팩트들을 감소시키기 위한 장치 및 방법 - Google Patents

이미지들에서 아티팩트들을 감소시키기 위한 장치 및 방법 Download PDF

Info

Publication number
KR101350853B1
KR101350853B1 KR1020097027350A KR20097027350A KR101350853B1 KR 101350853 B1 KR101350853 B1 KR 101350853B1 KR 1020097027350 A KR1020097027350 A KR 1020097027350A KR 20097027350 A KR20097027350 A KR 20097027350A KR 101350853 B1 KR101350853 B1 KR 101350853B1
Authority
KR
South Korea
Prior art keywords
image
zone
banding
pixels
color
Prior art date
Application number
KR1020097027350A
Other languages
English (en)
Other versions
KR20100037054A (ko
Inventor
주 구오
동-칭 장
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20100037054A publication Critical patent/KR20100037054A/ko
Application granted granted Critical
Publication of KR101350853B1 publication Critical patent/KR101350853B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 장치 및 방법은 컬러 강도의 평탄한 선형 전이를 가지고, 이미지 처리시 밴딩 아티팩트들을 가지기 쉬운 이미지 구역을 검출하기 위한 자동 밴딩 구역 검출 함수를 제공한다. 이 장치 및 방법은 밴딩 구역을 검출하기 위해 파라미터 모델 기반의 접근을 사용한다. 이 장치 및 방법은 적어도 하나의 제 1 이미지를 적어도 하나의 균일한 컬러 구역으로 분할하는 단계(304), 적어도 하나의 균일한 컬러 구역에 관한 컬러 강도의 선형 전이를 추정하는 단계(308), 및 컬러 강도의 선형 전이가 실질적으로 평탄하다면, 적어도 하나의 균일한 컬러 구역을 밴딩 구역으로 분류하는 단계(310)를 제공한다.

Description

이미지들에서 아티팩트들을 감소시키기 위한 장치 및 방법{APPARATUS AND METHOD FOR REDUCING ARTIFACTS IN IMAGES}
본 발명은 일반적으로 디지털 이미지 처리 및 디스플레이 시스템에 관한 것으로, 더 구체적으로는 이미지에서의 아티팩트(artifact)들을 감소시키는 장치 및 방법에 관한 것으로, 이 경우 밴딩 구역과 같이, 아티팩트들을 포함하는 이미지에서의 구역은, 사용자 조정(intervention) 없이 자동으로 검출된다.
이미지 아티팩트들은 영화의 이미지들의 시퀀스와 같이, 디지털 이미지나 이미지들의 처리 동안 인지된다. 강도와 컬러 레벨들이 변하는 밴드(band)들이 이미지의 본래의 평탄한 선형 전이 영역에 디스플레이되는 공통 아티팩트 현상이 밴딩(banding)된다. 컬러 정정, 크기 조정(scaling), 컬러 공간 변환, 및 압축과 같은 처리가 밴딩 효과를 도입할 수 있다. 밴딩은, 이미지들이 고 주파수 성분들과 최소의 잡음으로 사람에 의해 만들어지는 애니메이션 자료에서 가장 흔하다. 대역폭이 제한된 임의의 처리는 불가피하게 일명(alias), "링잉(ringing)"이나 밴딩을 야기한다.
관련 분야의 현재 기술은 이미지에서의 아티팩트들을 감소시키기 위해, 디더링(dithering)과 에러 확산과 같은 잡음을 추가하는 것이다. 잡음은 어느 정도까지는 그러한 현상을 차단하지만, 그 이미지의 다른 부분에 원하지 않는 잡을 도입하고, 압축과 같은 다른 처리에 추가적인 부담을 도입한다.
관련된 분야에서는, 디지털 방식으로 샘플링된 이미지의 고품질 표현을 만들기 위해 요구된 데이터 파일들의 큰 크기로 인해, 인식된 이미지 품질에 역효과를 일으키지 않고, 데이터 파일의 크기를 감소시키려는 시도로 데이터 파일에 다양한 형태의 압축을 적용하는 것이 일반적이다. 다양한 공지된 기술들과 표준들은 이러한 필요성을 다루기 위해 발전되었다. 이들 기술 중 대표적인 것인 이미지 인코딩에 관한 JPEG(Joint Photographic Experts Group) 표준이다. JPEG과 유사하지만, 동작(motion) 시퀀스에서 연속적인 프레임들의 유사성을 이용하기 위해 인터-프레임(inter-frame) 인코딩을 추가하는 것이 MPEG(Moving Pictures Experts Group) 표준이다. 다른 표준 및 독점(proprietary) 시스템들은 소파동(wavelet) 변환들에 기초하여 개발되었다.
상업 영화 DVD/HD-DVD 배포판의 공정 중에는, 일반적인 필름, 또는 컴퓨터 애니메이션 영화로부터 스캐닝되는 디지털 이미지는, 일반적으로 10비트의 데이터를 가지고, 어떤 정해진 응용예들에서는 최대 16비트 데이터를 가진다. 이 데이터는 압축을 위해 8비트의 YUV 포맷으로 변환되는 것이 요구된다. 비트 깊이 정밀도의 감소로 인해, 밴딩 아티팩트들은 종종 평탄한 컬러 변경을 통해 이미지(들)의 영역들에서 나타난다. 전술한 바와 같이, 디더링이나 에러 확산 알고리즘들이 밴딩 아티팩트들을 감소시키기 위해 흔히 사용된다. 대부분의 디더링 알고리즘들에서, 높은 공간 주파수를 지닌 디지털 신호가 이미지에 추가되어 밴딩 효과를 차단한다. 하지만, DVD/HD-DVD 내부의 압축은 높은 공간 주파수를 갖는 신호들을 제거하는 손실이 있는 압축이다. 그러므로, 심지어 밴딩이 압축 전에 디더링 공정에 의해 차단되는 경우라도, 압축 후 밴딩 아티팩트들이 자주 나타난다.
디더링이나 컬러 깊이 감소에 관한 종래의 접근은 디스플레이 응용예들과 인쇄(printing) 서비스를 위한 것이다. 디더링이 공정 계통(chain)에서의 마지막 단계이므로, 추가된 높은 공간 주파수는 잘 보존되고, 컬러 깊이가 감소될 때 밴딩 효과를 차단할 목적의 역할을 한다. 에러 확산은 또 다른 흔한 접근으로, 이 경우 양자화 에러는 이웃하는 픽셀들 부근에 분포되어, 차단 효과들을 발생시키고 전체적인 이미지 강도를 보존한다. 하지만, 이들 접근은 rh 주파수 신호를 감소시키거나 끝을 자르는(truncated) 경향이 있는 MPEG1,2,4 또는 H.264와 같이 손실이 있는 압축의 영향을 고려하지 않는다. 그러므로, 대부분의 디더링 및 에러 확산 접근은 압축 공정에서 비트 속도 효율을 감소시키는데, 이는 압축 인코더가 추가된 디더링 잡음이나 양자화 에러를 나타내기 위해 다수의 비트를 사용하고, 이미지를 나타내기 위해서는 더 적은 수의 비트를 사용하기 때문이다. 한편, 압축 후 밴딩 아티팩트들이 나타나기 쉬운데, 이는 차단 신호가 감소되거나 끝이 잘리기 때문이다.
또한, 아티팩트 감소 공정은 이미지 어디에서 아티팩트가 등장하는지를 결정하기 위해, 사용자 조정을 요구함으로써 더 복잡하다. 이는 아티팩트 감소 공정을 사용자나 조작자(operator)에 있어 시간 소비적인 공정이 되게 한다.
그러므로, 아티팩트들이 손실이 있는 압축 공정과 같은 이미지 처리 후 감소되거나 억제된 채로 남아있게 되는 이미지들에서의 아티팩트들을 감소시키는 기술들에 대한 필요성이 존재한다. 게다가, 조작자 조정을 줄이기 위해, 아티팩트들을 포함하는 이미지에서 구역을 자동으로 검출하는 기술에 대한 필요성이 존재한다.
본 발명의 장치 및 방법은, 컬러 강도의 평탄한 선형 전이를 가지고, 이미지 처리시 밴딩 아티팩트들을 가지기 쉬운 이미지 구역을 검출하기 위한 자동 밴딩 구역 검출 알고리즘 또는 기능을 제공한다. 이 장치 및 방법은 밴딩 구역을 검출하기 위해, 파라미터 모델 기반의 접근을 사용한다. 밴딩 구역은 평탄한 강도 또는 컬러 전이를 지닌 구역으로서 정의된다. 이러한 타입의 구역은 양자화, 컬러 정정 등과 같은 이미지 처리 후 밴드들이나 허위 윤곽선들을 가지는 경향이 있다. 선형 표면 모델은 그 구역에서의 픽셀들의 강도를 모델링하기 위해 사용된다. 그 구역이 선형 표면 모델에 의해 면밀히 묘사될 수 있으면, 그 구역은 밴딩 구역으로서 분류된다.
이 장치 및 방법은 먼저 이미지를 균일한 컬러 구역들로 분할한다. 가장자리 구역, 조직(texture) 구역, 및 평탄한 구역과 같은 상이한 타입의 구역들이 동일한 이미지에 존재할 수 있으므로, 이 장치 및 방법은 그 이미지를 그것들의 컬러 또는 휘도 강도에 기초하여 다수의 구역으로 분할한다. 분할된 구역들이 크기, 통계적 컬러 분포 등과 같은 어떤 정해진 기준을 만족한다면, 분할된 구역이 밴딩 구역들에 관한 후보로서 선택된다. 그 구역에서의 픽셀들의 강도 또는 컬러는, 그 구역이 밴딩 구역임을 입증하기 위해 선형 표면에 맞추어지게 된다. 파라미터 모델은 각 구역에 관한 컬러 선형 전이를 추정하기 위해 사용된다. 컬러 강도의 평탄한 선형 전이가 어떤 구역에 존재하게 되면, 그 구역은 밴딩 구역으로서 분류된다.
본 발명의 일 양상에 따르면, 이미지에서 밴딩 구역을 검출하는 방법이 제공된다. 이 방법은 적어도 하나의 제 1 이미지를 적어도 하나의 균일한 컬러 구역으로 분할하는 단계, 적어도 하나의 균일한 컬러 구역에 관한 컬러 강도의 선형 전이(transition)를 추정하는 단계, 및 컬러 강도의 상기 선형 전이가 실질적으로 평탄하다면, 상기 적어도 하나의 균일한 컬러 구역을 밴딩 구역으로 분류하는 단계를 포함한다.
또 다른 양상에서는, 이미지에서 밴딩 구역을 검출하는 장치는 적어도 하나의 제 1 이미지를 적어도 하나의 균일한 컬러 구역으로 분할하도록 구성된 이미지 분할 모듈, 적어도 하나의 균일한 컬러 구역에 관한 컬러 강도의 선형 전이를 추정하도록 구성된 선형 전이 추정기, 및 컬러 강도의 상기 선형 전이가 실질적으로 평탄하다면, 상기 적어도 하나의 균일한 컬러 구역을 밴딩 구역으로 분류하도록 구성된 구역 검출 모듈을 포함한다.
본 발명의 또 다른 양상에 따르면, 이미지에서 밴딩 구역을 검출하는 장치는 적어도 하나의 제 1 이미지를 적어도 하나의 균일한 컬러 구역으로 분할하는 수단, 적어도 하나의 균일한 컬러 구역에 관한 컬러 강도의 선형 전이를 추정하는 수단, 및 컬러 강도의 선형 전이가 실질적으로 평탄하다면, 적어도 하나의 균일한 컬러 구역을 밴딩 구역으로서 분류하는 수단을 포함한다.
또 다른 양상에서는, 이미지에서 밴딩 구역을 검출하기 위한 방법 단계들을 수행하기 위해, 기계에 의해 실행 가능한 명령어들의 프로그램을 명백히 구현하는, 기계에 의해 판독 가능한 프로그램 저장 디바이스가 제공되고, 이 방법은 적어도 하나의 제 1 이미지를 적어도 하나의 균일한 컬러 구역으로 분할하는 단계, 적어도 하나의 균일한 컬러 구역에 관한 컬러 강도의 선형 전이를 추정하는 단계, 및 컬러 강도의 선형 전이가 실질적으로 평탄하다면, 적어도 하나의 균일한 컬러 구역을 밴딩 구역으로 분류하는 단계를 포함한다.
본 발명의 이들 및 다른 양상, 특성, 및 장점은, 첨부 도면들과 관련하여 읽혀질 후속하는 바람직한 실시예의 상세한 설명으로부터 설명되거나 명백해진다.
도면에서, 동일한 참조 번호는 도면 전체에 걸쳐 유사한 요소들을 가리킨다.
도 1은 본 발명의 일 양상에 따른 이미지들에서의 아티팩트들을 감소시키기 위한 장치를 예시하는 도면.
도 2는 본 발명의 일 양상에 따른 이미지들에서의 구역-기반 추적을 위한 예시적인 방법의 흐름도.
도 3은 본 발명의 일 양상에 따라 이미지에서 밴딩 구역을 검출하는 예시적인 방법의 흐름도.
도 4는 본 발명의 일 양상에 따라 이미지 구역에서 픽셀들의 강도를 모델링하기 위한 예시적인 방법의 흐름도.
도 5는 본 발명의 일 양상에 따라 이미지들에서 아티팩트를 감소시키기 위한 예시적인 방법의 흐름도.
도면(들)은 본 발명의 개념을 예시하기 위한 것이고, 반드시 본 발명을 예시하기 위한 유일하게 가능한 구성은 아니라는 점이 이해되어야 한다.
도면들에서 도시된 요소들은 다양한 형태의 하드웨어, 소프트웨어 또는 그것들의 결합으로 구현될 수 있다는 점이 이해되어야 한다. 바람직하게, 이들 요소는 프로세서, 메모리, 및/또는 입력/출력 인터페이스들을 포함할 수 있는 하나 이상의 적절히 프로그래밍된 다목적(general-purpose) 디바이스에서의 하드웨어와 소프트웨어의 결합으로 구현된다.
본 설명은 본 발명의 원리들을 설명한다. 그러므로 당업자가, 본 명세서에 명시적으로 기재되거나 도시되지 않았으나, 본 발명의 원리를 구현하며 본 발명의 사상 및 범위 내에 포함되는, 다양한 장치를 구상하는 것이 가능할 것이라는 것이 이해될 것이다.
본 명세서에 상술된 모든 예시들 및 조건적 언어는 해당 기술을 진전시키기 위해 본 발명자에 의해 공헌된 본 발명의 원리 및 개념을 독자가 이해하는 것을 돕기 위한 교육적인 목적을 위한 것이며, 그러한 특정하게 상술한 예시들 및 조건들로 제한되지 않는 것으로 해석되어야 한다.
또한, 본 명세서에서 본 발명의 원리, 양상, 및 실시예들, 그리고 본 발명의 특정 예시들을 상술하는 모든 진술은, 본 발명의 구조적 그리고 기능적 등가물들을 모두 포함하도록 의도되었다. 또한, 그러한 등가물들은 현재 알려진 등가물 및 미래에 개발될 등가물 모두, 즉, 구조에 관계없이 동일한 기능을 수행하도록 개발되는 임의의 요소를 포함하도록 의도되었다.
그러므로, 예컨대, 본 명세서에 제공된 블록도는 본 발명의 원리를 구현하는 예시적 회로의 개념적 개관을 나타낸다는 것이 당업자에 의해 이해될 것이다. 마찬가지로, 임의의 순서도, 흐름도, 상태 전이도, 의사 코드(pseudocode), 그리고 이와 유사한 것들은, 실질적으로 컴퓨터 판독 가능한 매체에 제공되며 따라서, 컴퓨터 또는 프로세서가 명시적으로 도시되어있든지 그렇지 않든지 간에, 컴퓨터 또는 프로세서에 의해 실행되는 다양한 프로세스들을 나타낸다는 것이 이해될 것이다.
도면들에 도시된 다양한 요소들의 기능들은 전용 하드웨어 및, 적절한 소프트웨어와 결합하여 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수도 있다. 프로세서에 의해 제공될 때, 단일의 전용 프로세서에 의해, 단일의 공유된 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별적인 프로세서에 의해 기능들이 제공될 수도 있다. 또한, 용어 "프로세서(processor)" 또는 "제어기(controller)"의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되어서는 안 되며, 이들은, 제한 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독-전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 그리고 비-휘발성 저장 장치를 암묵적으로 포함할 수도 있다.
종래의 및/또는 맞춤화된 다른 하드웨어가 또한 포함될 수도 있다. 마찬가지로, 도면들에 도시된 임의의 스위치들은 오직 개념적인 것이다. 그러한 스위치들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어와 전용 로직의 상호작용을 통해, 또는 수동으로 수행될 수도 있으며, 문맥으로부터 더욱 특정하게 이해되는 것과 같이, 특정 기술은 구현자에 의해 선택될 수 있다.
본 명세서의 청구항들에서, 특정 기능을 수행하는 수단으로 표현된 임의의 요소들은, 예컨대, a) 그러한 기능을 수행하는 회로 요소들의 결합 또는 b) 그러한 기능을 수행하기 위해 소프트웨어를 실행시키기 위한 적절한 회로와 결합된 펌웨어, 마이크로코드 또는 이와 유사한 것들을 포함하는, 임의의 형태의 소프트웨어를 포함하는, 그러한 기능을 수행하기 위한 임의의 방법을 포함하도록 의도되었다. 그러한 청구항들에 의해 한정되는 본 발명은, 다양한 상술한 수단들에 의해 제공되는 기능이 결합될 수 있으며 그러한 청구항들이 청구하는 방식으로 함께 제공될 수 있다는 사실에 존재한다. 그러므로, 그러한 기능들을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 수단들과 등가인 것으로 간주된다.
밴딩 현상은 2개의 카테고리로 분류될 수 있다. 컬러 비트 감소 또는 컬러 양자화의 공정에서, 밴딩은 감소된 신호 정밀도로 인해 등장할 수 있다. 이러한 타입의 에러는 대부분의 경우에 에러 확산 알고리즘을 사용함으로써 효과적으로 제거될 수 있다. 하지만, 컬러 정정, 크기 조정(scaling), 및 컬러 공간 변환과 같은 다른 공정들은, 그것들의 제한된 처리 대역폭으로 인한 밴딩 아티팩트들의 원인이 된다. 이러한 타입의 밴딩은 에러 확산에 의해 효과적으로 다루어질 수 없다. 이들 밴딩 아티팩트들을 차단하기 위해 마스킹 신호가 요구된다. 추가된 마스킹 신호의 양은 밴딩 아티팩트들의 강도들에 직접 관련된다.
게다가, 강도와 컬러 레벨들이 변하는 밴드들이 이미지의 본래의 평탄한 선형 전이 영역에서 일반적으로 디스플레이된다. 밴딩 영역은 밴드들의 효과적인 제거를 위해 식별되는 것이 요구된다. 밴딩 아티팩트들이 대부분 평탄한 선형 전이시 등장하므로, 프레임-기반의 접근이 불필요한 마스킹 신호를 밴딩 아티팩트들이 없는 구역들로 도입하게 되고, 따라서 이미지 품질을 감소시킨다. 본 발명의 장치 및 방법은 밴딩을 효과적으로 제거하는 구역 또는 ROI(region of interest)-기반의 접근을 제공하고, 이 경우 추가된 마스킹 신호의 양은 최상의 가능한 이미지 품질을 달성하기 위해 조작자에 의해 조정될 수 있다. 본 발명의 장치 및 방법은 또한 밴딩 구역들의 자동 검출을 제공한다.
본 발명의 장치 및 방법은, 컬러 강도의 평탄한 선형 전이를 가지고, 이미지 처리시 밴딩 아티팩트들을 가지기 쉬운 이미지 구역을 검출하기 위한 자동 밴딩 구역 검출 알고리즘이나 기능을 제공한다. 이 장치 및 방법은 밴딩 구역을 검출하기 위해 파라미터 모델 기반의 접근을 사용한다. 밴딩 구역은 평탄한 강도 또는 컬러 전이를 지닌 구역으로서 정의된다. 이러한 타입의 구역은 양자화, 컬러 정정 등과 같은 이미지 처리 후, 밴드들 또는 허위 윤곽선들을 가지는 경향이 있다. 선형 표면 모델은 그 구역에서 픽셀들의 강도를 모델링하기 위해 사용된다. 그 구역이 선형 표면 모델에 의해 밀접하게 묘사될 수 있으면, 그 구역은 밴딩 구역으로서 분류된다.
이 장치 및 방법은 먼저 이미지를 균일한 컬러 구역들로 분할한다. 가장자리 구역, 조직 구역, 및 평탄한 구역과 같은 상이한 타입의 구역들이 동일한 이미지에 존재할 수 있으므로, 이 장치 및 방법은 그 이미지를 그것들의 컬러 또는 휘도 강도에 기초하여 다수의 구역으로 분할한다. 분할된 구역들이 크기와, 통계적 컬러 분포 등과 같은 어떤 정해진 기준을 만족한다면, 분할된 구역이 밴딩 구역들에 관한 후보로서 선택된다. 그 구역에서의 픽셀들이 강도 또는 컬러는, 그 구역이 밴딩 구역임을 입증하기 위해 선형 표면에 맞추어지게 된다. 파라미터 모델은 각 구역에 관한 컬러 선형 전이를 추정하기 위해 사용된다. 컬러 강도의 평탄한 선형 전이가 어떤 구역에 존재하게 되면, 그 구역은 밴딩 구역으로서 분류된다.
자동 밴딩 구역 검출은 구역-기반의 밴딩 제거 시스템이나 장치에 통합될 수 있다. 본 발명은 또한 ROI-기반의 에러 확산과, 검출된 밴딩 구역에서 밴딩을 제거하고, 압축 공정과 같은 다른 처리시 부차적인 영향(side-effect)들을 최소화하도록 설계된 밴드-마스킹 체계를 제공한다. 필름/비디오 처리시 실제적인 응용예를 위해 장치가 효율적이 되도록 하기 위해, 다수의 후속하는 프레임들 내로 검출된 대역 구역과 같은 ROI를 추적하여, 조작자의 노력을 경감하는 구역-기반의 추적 알고리즘이 제공된다.
이제 도면들을 참조하면, 도 1에는 본 발명의 일 실시예에 따른 예시적인 장치 성분들이 도시된다. 카메라-오리지널(camara-original) 필름 네거티브(negative)들과 같은 필름 프린트들(104)을 시네온(cineon) 포맷이나 SMPTE DPX 파일들과 같은 디지털 포맷으로 스캐닝하기 위한 스캐닝 디바이스 또는 장치(103) 가 제공될 수 있다. 스캐닝 디바이스(103)는, 텔레시네(telecine) 또는, 비디오 출력으로 Arri LocProTM과 같은 필름으로부터 비디오 출력을 발생시키는 임의의 디바이스를 포함할 수 있다. 대안적으로, 후 제작 공정이나 디지털 시네마(106)로부터의 파일들(예컨대, 이미 컴퓨터-판독 가능한 형태로 된 파일들)이 직접 사용될 수 있다. 컴퓨터-판독 가능한 파일들의 잠재적인 소스들은 AVIDTM 편집기들, DPX 파일들, D5 테이프들 등이다.
스캐닝된 필름 프린트들은 컴퓨터와 같은 후-처리(post-processing) 장치(102)로 입력된다. 컴퓨터는 하나 이상의 CPU(central processing unit), RAM(random access memory) 및/또는 ROM(read only memory)와 같은 메모리(110), 키보드, 커서(cursor) 제어 디바이스(예컨대, 마우스, 조이스틱 등)과 같은 입/출력(I/O) 사용자 인터페이스(들)(112), 및 디스플레이 디바이스와 같은 하드웨어를 가지는 다양한 알려진 컴퓨터 플랫폼(platform)들 중 임의의 것에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체제와 마이크로 명령어 코드를 포함한다. 본 명세서에서 설명된 다양한 공정들 및 기능들은 마이크로 명령어 코드의 부분이거나, 운영 체제를 통해 실행되는 소프트웨어 응용 프로그램의 부분(또는 이들의 결합)일 수 있다. 일 실시예에서, 소프트웨어 응용 프로그램은 프로그램 저장 디바이스에서 명백히 구현되고, 후-처리 장치(102)와 같은 임의의 적합한 기계에 업로드되고 실행될 수 있다. 또한, 다양한 다른 주변 디바이스가 병렬 포트, 직렬 포트 또는 USB(universal serial bus)와 같은 다양한 인터페이스들과 버스 구조들에 의해 컴 퓨터 플랫폼에 연결될 수 있다. 다른 주변 디바이스들은 추가 저장 디바이스들(124)과 프린터(128)를 포함할 수 있다. 프린터(128)는 필름의 입체(stereoscopic) 버전과 같이, 필름(126)의 개정된 버전을 인쇄하기 위해 이용될 수 있다.
대안적으로, 이미 컴퓨터-판독 가능한 형태로 된 파일들/필름 프린트들(106){예컨대, 외부 하드 드라이브(124)에 저장될 수 있는 디지털 시네마와 같은}은 컴퓨터(102)에 직접 입력될 수 있다. 본 명세서에서 사용된 "필름"이라는 용어는 필름 프린트들이나 디지털 시네마를 가리킬 수 있다는 점을 주목하라.
소프트웨어 프로그램은 이미지들에서의 아티팩트들을 감소시키기 위해, 메모리(110)에 저장된 에러 확산 모듈(114)을 포함한다. 에러 확산 모듈(114)은 그 이미지에서의 아티팩트들을 차단하기 위한 신호를 발생시키는 잡음 또는 신호 발생기(116)를 포함한다. 잡음 신호는 백색 잡음, 가우시안(Gaussian) 잡음, 상이한 차단(cutoff) 주파수 필터들로 변조된 백색 잡음 등일 수 있다. 이미지 블록들의 양자화 에러를 결정하기 위한 끝 자르기(truncation) 모듈(118)이 제공된다. 에러 확산 모듈(114)은 또한 양자화 에러를 이웃하는 블록들에 분포하도록 구성된 에러 분포 모듈(120)을 포함한다.
적어도 하나의 이미지에서 밴딩 구역들을 검출하기 위한 구역 검출 모듈(111)이 제공된다. 구역 검출 모듈(111)은 적어도 하나의 제 1 이미지를 적어도 하나의 균일한 컬러 구역으로 분할하기 위해 구성된 이미지 분할 모듈(113)을 포함한다. 분할된 균일한 컬러 구역에 관한 컬러 강도의 선형 전이를 추정하기 위해, 선형 전이 추정기(115)가 제공되고 구성된다. 선형 전이 추정기(115)는 분할된 구역의 표면을 모델링하기 위한 선형 파라미터 모델을 이용한다. 구역 검출 모듈(115)은, 또한 컬러 강도의 선형 전이가 실질적으로 평탄하면, 균일한 컬러 구역을 밴딩 구역으로서 분류하기 위해 추가로 구성되고, 그 세부 사항은 아래에 설명된다.
추적 모듈(132)이 또한 장면의 여러 프레임들을 통해 검출된 밴딩 구역과 같은 ROI를 추적하기 위해 제공된다. 추적 모듈(132)은 어떤 장면의 각각의 이미지 또는 프레임에 관한 2진 마스크(binary mask)를 발생시키기 위한 마스크 발생기(134)를 포함한다. 2진 마스크는, 예컨대 ROI 부근에 그려진 사용자 입력 다각형이나 구역 검출 모듈(111)에 의해 이미지에서 정의된 ROI로부터 발생된다. 2진 마스크는 1이나 0인 픽셀 값을 지닌 이미지이다. ROI 내의 모든 픽셀은 1의 값을 가지고, 다른 픽셀은 0의 값을 가진다. 추적 모듈(132)은 또한 한 장면의 프레임마다와 같이, 이미지마다 ROI의 추적 정보를 추정하기 위한 추적 모델(136)을 더 포함한다.
MPEG1,2,4,h.264 등과 같은 임의의 알려진 압축 표준으로 출력 이미지를 인코딩하기 위한 인코더(122)가 제공된다.
도 2는 본 발명의 일 양상에 따라 이미지들에서 ROI 영역을 추적하기 위한 예시적인 방법의 흐름도이다. 처음에, 후-처리 장치(102)가 적어도 하나의 2차원 이미지를 획득한다(단계 202). 후-처리 장치(102)는 전술한 바와 같이, 컴퓨터-판독 가능한 포맷으로 디지털 마스터 비디오 파일을 얻음으로써, 적어도 하나의 2차 원 이미지를 획득한다. 디지털 비디오 파일은 디지털 비디오 카메라로 비디오 이미지들의 시간적 시퀀스를 포착함으로써 획득될 수 있다. 대안적으로, 비디오 시퀀스는 종래의 필름-타입 카메라에 의해 포착될 수 있다. 이러한 시나리오에서는, 필름이 스캐닝 디바이스(103)를 통해 스캐닝된다.
필름이 스캐닝되거나 이미 디지털 포맷이건 간에, 필름의 디지털 파일은 프레임 개수와 같은 프레임들의 위치들, 그 필름의 시작으로부터의 시간 등에 대한 표시 또는 정보를 포함하게 된다는 것이 인식될 것이다. 디지털 비디오 파일의 각각의 프레임은 I1,I2,...In과 같은 하나의 이미지를 포함하게 된다.
단계(204)에서, 관심 구역(R)은 적어도 하나의 이미지에서 정의되거나 검출된다. 일 실시예에서, 조작자는 예컨대 다각형 구역을 이미지 상에 윤곽을 그림(outlining)으로써, 사용자 인터페이스(112)와 같은 인터랙티브(interactive) 사용자 인터페이스를 사용하여 밴딩 아티팩트들을 지닌 구역을 한정한다. 또 다른 실시예에서, 그 구역은 도 3과 관련하여 설명되는 바와 같이, 자동 검출 알고리즘이나 기능에 의해 검출된다.
도 3을 참조하면, 2차원 이미지가 획득된다(단계 302). 단게(304)에서는, 분할 모듈(113)에 의해 적어도 하나의 균일한 컬러 구역으로 이미지가 분할된다. 본 발명의 컬러 분할시, 그 이미지에서의 우세한 컬러들을 찾기 위해 평균 시프트(shift) 알고리즘이나 기능이 사용된다. 평균 시프트 기능은 국부적인 최대값을 찾기 위해 컬러 히스토그램 공간에서 반복적으로 사용된다. 국부적인 최대값에 대 응하는 컬러는 우세한 컬러로서 지정되고, 그 히스토그램으로부터 제거된다. 이 공정은 그 다음 우세한 컬러를 찾기 위해 반복된다. 이러한 반복 공정은 더 이상 우세한 컬러가 존재하지 않게 되면 멈춘다. 이미지는 이들 우세한 컬러들에 기초하여 구역들로 분할된다.
이미지 분할 후, 크기와 그것의 통계적 분포에 기초하여 밴딩 후보들로서 구역들의 목록이 선택된다(단계 306). 픽셀들의 개수와 같은 구역 크기가 미리 결정된 임계값보다 작다면, 그 구역은 버려진다. 다양한 실시예에서, 그 임계값은 약 50 픽셀들로부터 약 200 픽셀들까지 설정된다. 그런 다음 그 구역 내부의 픽셀들의 컬러 분포의 분산이 계산된다. 그 분산이 미리 결정된 임계값보다 높다면, 그 구역은 버려진다. 마지막으로, 남은 구역들이 밴딩 구역들에 관한 후보들로서 선택된다.
단계(308)에서는, 선택된 밴딩 구역 후보들에 관한 컬러 강도의 선형 전이가 선형 전이 추정기(115)에 의해 추정된다. 선형 전이는 분할된 구역에서 픽셀들의 강도 표면을 모델링함으로써 추정된다. 표면 모델링은 다음과 같은 선형 파라미터 모델을 사용한다.
Figure 112009081221074-pct00001
여기서 I(x,y)는 위치(x,y)에서의 예상된 컬러 강도이고, a,b,c는 일정한 계수들이다. 위 수학식은 3차원 공간에서의 2차원 평면을 정의한다. 즉, 입력 이미지는 2차원이고, 다른 크기는 컬러 강도이며, 따라서 x,y,I는 3차원 축을 제공하게 된다.
다음은 선형 모델에 관한 표면 계수들이 추정되는 것이 도 4에 예시되어 있다. 표면 계수들은 튼튼하고 반복되는 추정을 사용하여 추정된다. 규칙적인 최소 평균 제곱 추정과는 반대로 튼튼한 추정의 장점은 그것의 외부 물질(outlier)(예컨대, 필름에서의 오물이나 한 구역에서의 작은 부적절한 물건들)들에 대한 튼튼함이다. 처음에 단계(402)에서, 선택된 분할된 구역으로부터의 3차원 포인트들이 수학식 1에 의해 정의된 모델에 입력된다. 튼튼한 추정은 규칙적인 평균 제곱 추정을 사용하여 표면 계수들의 처음 추정으로 시작한다(단계 404). 그런 다음, 예컨대 각각의 픽셀 위치(x,y)에서, 추정된 계수들을 사용하여 2차원 선형 표면이 얻어지고(406), 추정된 휘도 강도가 수학식 1에 의해 계산된다. 포인트들이, 예컨대 미리 결정된 제 1 임계값에 의해 추정된 2차원 표면으로부터 상당히 벗어난다면, 포인트들은 외부 물질로 분류되고, 버려지며, 계수 추정의 다음 실행시 참여하지 않게 된다(단계 408). 외부 물질들에 관한 임계값은 모든 픽셀의 보통의 평균 제곱 차이에 기초한다. 단계(410)에서, 추정 에러가 제 2 임계값보다 작다면(또는 다른 정지 기준을 사용하여), 추정 에러가 제 2의 미리 한정된 임계값보다 작을 때까지, 외부 물질 포인트들을 배제하는 3차원 포인트들을 사용하여 추정 및 외부 물질 거절 공정이 반복된다. 일단 추정 에러가 제 2의 미리 한정된 임계값보다 작다면, 표면 계수들이 저장된다(단계 412).
다시 도 3을 참조하면, 계수들이 얻어진 후, 선택된 분할된 구역의 컬러 강도의 선형 전이가 분석되어, 선형 전이가 평탄한지를 결정하고, 그 전이가 평탄하 다면, 그 구역은 밴딩 구역으로서 분류된다(310). 그 선형 전이는 표면 맞춤 에러를 결정함으로써 분석된다. 표면 맞춤 에러는 이미지에서의 실제 강도 표면과 추정된 강도 표면 사이의 평균 제곱 에러(또는 다른 에러 측정 규준)로서 다음과 같이 한정된다.
Figure 112009081221074-pct00002
여기서, I(x,y)는 이미지 구역(R)에서의 좌표(x,y)에서의 실제 픽셀 값이고, I(x,y)는 좌표(x,y)에서 수학식 1에서의 추정된 계수들(a,b,c)로 표면 수학식을 평가함으로써 추정된 픽셀 값이다. 표면 맞춤 에러가 임계값 아래에 있고, a와 b가 모두 0과 같지 않다면, 선형 전이가 평탄한 것으로 결정되고, 그 구역은 밴딩 구역으로서 분류된다. 그런 다음 공정은 단계(306)로부터 모든 선택된 분할된 구역들이 분류될 때까지 반복된다(단계 312).
단계(314)에서, 구역 검출 모듈(111)은 분류된 밴딩 구역들 중 임의의 것이 공통 경계를 공유하는지를 결정한다. 예컨대, 2개의 구역이 미리 결정된 개수의 픽셀을 공유하면, 구역 검출 모듈(111)은 그 2개의 구역이 공통 경계를 공유한다고 결정하게 된다. 적어도 2개의 분류된 밴딩 구역들이 공통 경계를 공유하게 되면, 구역 검출 모듈(111)은 적어도 2개의 분류된 밴딩 구역들을 단일 밴딩 구역으로 병합하게 된다. 이 공정은 밴딩 구역들 사이에 어떠한 공통 경계들도 존재하지 않을 때까지 반복된다.
일단 그 구역 또는 구역들이 한정되거나 검출되면, 이 방법은 도 2의 단계(206)로 되돌아가게 된다.
ROI로부터, 2진 마스크가 발생되고, 검출된 구역과 같이, ROI를 추적하기 위한 장치에서 사용된다. 2진 마스크는 1이거나 0인 픽셀 값들을 지닌 이미지이다. 사용자-정의된 다각형이나 검출된 구역 내부의 모든 픽셀은 1의 값을 가지고, 다른 픽셀들은 0의 값을 가진다. 2진 마스크는 ROI를 나타내기 위해 사용될 수 있다. 그런 다음 장면의 다음 프레임이 단계(206)에서 읽힌다.
밴딩 아티팩트들은 평탄한 컬러 계조도(grading) 영역들에서 등장한다. 하지만, 일반적인 추적 알고리즘은 튼튼하고 정확한 추적을 위해, 그 구역에 존재하는 일부 독특한 특성들을 요구한다. 그러므로, 상이한 추적 구역을 사용하는 추적 체계가 제공된다. 단계(208)에서는, ROI(R)가 더 큰 구역으로 성장하거나 변환되어, 추적을 위해 그 구역의 더 현저한 특성들을 포착한다. 몇몇 현저한 특성들을 지닌 더 큰 구역은 추적 구역(tracking region) Rt라고 부른다. 구역 성장 알고리즘은 시드(seed)들로서 ROI의 경계 픽셀들을 사용하고, 그 구역을 성장시키기 위해 "워터쉐드(watershed)" 구현예를 사용한다.
추적 정보를 추정하는 경우, 그 구역을 추적하기 위해 6개의 파라미터 추적 모델(136){예컨대, 어파인 움직임(affine motion) 모델}이 사용된다(단계 210). 추적 구역은 16×16 블록들로 먼저 나누어지고, 각각의 블록에 관한 움직임 벡터가 휘도 강도를 사용하여 다음 프레임에서 최상의 블록 매치를 찾음으로써 얻어진다. 모든 블록의 움직임 벡터들은 추적 모델에서 6개의 파라미터를 추정하기 위해 사용 된다. 예측된 픽셀들과 실제 픽셀들 사이의 에러들을 최소화하는 최상의 파라미터들을 찾기 위해, 선형 회기(regression) 절차가 사용된다. ROI의 2진 마스크는 6개의 파라미터 추적 모델을 사용하여 다음 프레임으로 투영된다(단계 212). 단계(214)에서, 장치는 그 장면의 마지막 프레임이 처리되었는지를 결정한다. 만약 처리되지 않았다면, 그 장면의 모든 프레임이 처리될 때까지 장치는 단계(206)로 되돌아가게 된다. 일단 ROI가 다수의 프레임에 관해 이용 가능하게 되면, 공정은 자동으로 장면의 나머지에 쉽게 적용될 수 있다.
장치는 추적 결과에 대한 실시간 피드백을 제공한다. 단계(216)에서, 조작자는 그 결과를 평가할 수 있고, 그 결과가 만족스럽지 않다면 ROI를 수정할 수 있다(단계 212). 예컨대, 조작자는, ROI가 적절히 추적되었는지를 결정하기 위해, 사용자 인터페이스(112)의 디스플레이에서 ROI를 볼 수 있다. 조작자가 만족하지 않는다면, ROI는 수정될 수 있고, 추적 공정이 반복된다. 단계(220)에서는 각각의 이미지나 프레임에 관한 ROI의 2진 마스크가 2진 파일에 저장되고, 아래에 설명되는 것처럼, ROI-기반의 에러 확산 및 밴드 마스킹에 관한 ROI로서 사용된다. 더 나아가, ROI의 2진 마스크는 2진 파일에 저장되고, 다음 단(stage)으로 운반될 수 있다. 예컨대, 다음 단이 MPEG4 AVC 인코딩이라면, ROI의 정보가 인코더에 의해 사용될 수 있어 ROI에 관한 적절한 비트들을 배정하게 된다. 이 메타데이터는 저장 디바이스(124)에 저장될 수 있고, 이미지들과 연관될 수 있어 다른 공정들에서 이용될 수 있다.
ROI-기반의 에러 확산 및 밴드 마스킹 체계의 흐름도가 도 5에 도시되어 있 다. 전술한 바와 같이, 처리될 적어도 하나의 이미지가 단계(502)에서 획득된다.
단계(504)에서, 블록 크기가 선택된다. 이미지는 임의의 개수의 블록들로 나누어질 수 있다. 한 블록은
Figure 112009081221074-pct00003
과 같은 직사각형의 구역에 포함된 다수의 픽셀으로, 여기서 m과 n은 그 블록 지수(index)를 나타낸다. 모든 블록은 2 ×2, 3 ×3 등과 같은 동일한 크기를 가질 수 있다. 그 블록 크기는 또한 국부적인 이미지 속성들에 따라 달라질 수 있다. 블록 크기는 사용자 인터페이스(112)를 통해 조작자에 의해 선택될 수 있거나, 이미지 크기에 의해 결정될 수 있어, 상이한 이미지 크기들에 관해 일정한 비가 유지된다. 본 발명의 에러 확산 방법은 아래에 설명되는 바와 같이, 블록 레벨에 대해 작용한다. 일단 블록 크기가 선택되면, 블록 크기는 동일한 이미지에 관해서는 동일하게 유지된다.
블록 크기가 단일 픽셀로부터 2 ×2, 2 ×3, 4 ×4와 같은 임의의 크기까지 변할 수 있다는 점을 알아야 한다. 상이한 블록 크기들을 사용함으로써 장치가 마스킹 신호의 공간 주파수를 제어할 수 있다. 이는 후속 공정이 높은 공간 주파수를 제거하는 경향이 있는 손실이 있는 압축인 경우 중요하다. 양호하게 제어된 마스킹 신호를 추가함으로써, 압축 아티팩트들을 감소시키고, 손실이 있는 압축 후 다시 등장하는 밴딩을 회피할 수 있다.
일단 블록 크기가 선택되면, 이미지를 구성하는 모든 블록이 제 1 블록에서 시작하여 처리된다(단계 506). 처음에, 장치는 그 블록이 한정되거나 검출된 ROI에 있는지를 결정한다(단계 508). 블록이 ROI에 있지 않으면, 컬러 비트 깊이를 감소시키기 위해 간단한 양자화 체계가 사용되는데(단계 516), 예컨대 블록의 최하위 비트들이 제거되고 양자화 에러가 보상되지 않는다. 단계(516) 후에는, 장치가 그 이미지에서의 다음 블록으로 가게 된다(단계 518).
단계(510)에서는, 마스킹 신호와 같은 잡음 신호가 잡음 발생기(116)를 통해 이미지에 추가된다. 0부터 255까지의 레벨들이 구역 경계까지의 가까운 정도(closeness)와 같은 거리에 기초하여, 픽셀들에 할당된다. 정의된 구역의 경계까지의 블록에서의 적어도 하나의 픽셀의 거리가 결정되고, 적어도 하나의 픽셀과 연관된 마스킹 신호의 값이 결정된 거리에 기초하여 할당된다. 이들 레벨은 마스킹 신호의 강도 크기를 줄이기 위해 사용되어, 그 구역 경계 영역에서 평탄한 전이를 만든다. ROI에서의 픽셀 컬러 값들의 평균과 분산이 계산된다. 평균으로부터의 픽셀의 컬러 차이가 분산보다 3배 더 크면, 그것은 밴딩 아티팩트들이 되지 않는 경향이 있는 상당한 특성이 존재함을 나타낸다. 이러한 특성을 보존하기 위해, 레벨 0이 이 픽셀에 할당되고, 이는 이 픽셀에 어떠한 잡음도 추가되지 않음을 의미한다. 이러한 것의 일 예는 별들이 있는 푸른 하늘의 장면으로, 이 경우 밴딩 아티팩트들이 하늘에 등장한다. 장치(100)는 푸른 하늘을 밴딩 처리에 관한 ROI로서 선택할 수 있다. 하늘에 있는 모든 별은 적절히 보존되는데, 이는 그것들의 컬러 값이 ROI에서의 픽셀들의 평균값과는 상당히 상이하기 때문이다.
단계(512)에서는, 양자화 에러가 그 블록에 관해 결정된다. 처음에, 끝 자르기 함수가 끝 자르기 모듈(118)을 통해, 이미지에서의 각 블록에 대해 수행된다. 끝 자르기 함수는 멱(power)이 2인 일정한 양자화 인자(factor) Q로 비트 깊이 값을 나눔으로써 블록에서의 각 픽셀에 관한 비트 깊이를 감소시키는데 이용된다. 일 반적으로, 양자화 인자 Q는 2X와 같은데, 여기서 x는 끝이 잘릴 비트들의 개수이다. 예컨대, 10비트 데이터로부터 8비트 데이터로의 끝 자르기를 위해, 일정한 양자화 인자 Q는 4가 되는데, 즉 Q=22이다. 끝 자르기 함수는 다음과 같이 정의된다.
Figure 112009081221074-pct00004
여기서 Ii ,j는 블록 내부의 픽셀 값이고, Ni ,j는 잡음 발생기(116)에 의한 끝 자르기 전에 추가된 신호이며, Q는 양자화 인자이다. I'i ,j는 끝이 잘린 픽셀 값이다. 끝 자르기 공정에서는, 픽셀 값들에 관해 처리되어야 할 반올림 이슈(issue)가 존재한다. 예컨대, I'i ,j가 1.75와 같다면, 즉 7(I'i ,j+Ni ,j)/4(Q)와 같다면, I'i ,j는 정수로 표현될 필요가 있게 된다. I'i ,j는 관련 분야에 알려진 것처럼 상이한 반올림 체계들에 기초하여 2 또는 1이 될 수 있다.
수학식 3 내에서, Ni ,j는 백색 잡음과 같은 잡음이고, 그것은 구조적 아티팩트들을 감소시킨다. 일반적으로, Ni ,j는 랜덤한 신호 분포를 가진다. 사용자 인터페이스(112)를 통해, 조작자는 Ni ,j의 값 범위를 수동으로 제어할 수 있다. 애초에, Ni,j의 값 범위는 0부터 Q-1까지이다. 이미지의 선택된 블록 내부의 각 픽셀에 관해 동일한 잡음을 사용함으로써, 잡음 패턴의 공간 주파수가 그 블록 내부에서는 낮게 되는데, 이는 전체 이미지에서의 잡음의 전반적인 공간 주파수를 감소시킨다. 잡음의 공간 주파수가 감소되므로, 잡음, 즉 마스킹 신호가 압축 공정에서 살아남고, 압축 해제 동안 아티팩트들을 억제한다.
그 다음, 아래 수학식 4에서 도시된 것처럼, 블록 내부의 각 픽셀에 대한 양자화 에러가 결정되고, 양자화 에러 전체의 합계가 블록 양자화 에러(Em ,n)를 만들며, 이는 에러 확산 계수들에 기초하여 이웃하는 블록들로 분포된다.
Figure 112009081221074-pct00005
총 블록 양자화 에러(Em ,n)의 경우, 양자화 에러의 일 부분(e)이
Figure 112009081221074-pct00006
에 의해 결정되는 것과 같이 이웃하는 블록들로 분포되고,
여기서, c(m,n)은 에러 확산 계수이다.
단계(514)에서, 블록 양자화 에러는 에러 분포 모듈(120)을 통해 이웃하는 블록들로 분포된다. 각 블록 내부의 에러 분포 함수는 다음과 같이 한정된다.
Figure 112009081221074-pct00007
Figure 112009081221074-pct00008
여기서, e는 블록(
Figure 112009081221074-pct00009
)에 분포된 총 에러이고, N,M은 그 블록의 치수이며,
Figure 112009081221074-pct00010
는 블록(
Figure 112009081221074-pct00011
)에 관한 가중 계수들이다. 일 실시예에서, 수학식 6에 도시된 균일한 분포가 가중 계수들을 계산하기 위해 사용된다. 더 복잡한 함수가
Figure 112009081221074-pct00012
를 계산하도록 설계될 수 있는데, 예컨대
Figure 112009081221074-pct00013
는 I(i,j)에 비례하게 설정될 수 있다.
블록(
Figure 112009081221074-pct00014
)의 크기는 에러 확산 공정에서 제어될 수 있는 공간 주파수의 양을 결정하고, 아티팩트들을 마스킹하는 최상의 결과를 달성하도록 선택된다. 하지만, 큰 블록 크기는 구조화된 아티팩트들을 발생시키는 경향이 있고, 이는 에러 확산 공정에서 바람직하지 않다. 그러한 구조화된 아티팩트들은 2개의 상이한 블록들에서 2개의 이웃하는 픽셀들이 상이하게 변환되는 블록-경계 아티팩트들을 포함한다. 수학식 1에서의 Ni ,j는 또한 랜덤한 잡음이 포함된 잠재적인 구조화된 아티팩트들을 파괴하기 위해 사용된다. 2 ×2의 예시적인 블록 크기가, 가시적인 블록 아티팩트들이 존재하지 않는 720 ×480 픽셀들(예컨대 DVD 해상도)의 이미지를 처리하기에 충분한 것으로 발견되었다. 다른 블록 크기들과 이미지 크기들이 어떠한 결과로서 생기는 가시적인 아티팩트들 없이 이용될 수 있다는 것을 알아야 한다.
단계(516)나 단계(510 내지 514)에 의해 양자화가 수행된 후, 장치는 이미지에서 모든 블록들이 처리될 때까지 그 이미지에서 다음 블록으로 진행한다(단계 518). 이미지가 에러 분포 함수에 의해 수정된 후, 그 이미지는 저장 디바이 스(124)와 같은 후-처리 디바이스의 메모리에 저장될 수 있다. 일단 특별한 필름의 모든 이미지가 수정되면, 그 이미지들은 MPEG1,2,4,h.264 등과 같은 임의의 종래의 압축 표준에 따라 인코더(122)를 통해 인코딩될 수 있다. 그런 다음, 압축된 필름(130)은 저장 디바이스(124)와 같은 저장 디바이스에 저장될 수 있거나, DVD와 같은 제거 가능한 저장 디바이스에 옮겨질 수 있다.
비록 본 발명의 교시를 통합하는 실시예가 본 명세서에서 상세히 도시되고 설명되었지만, 당업자라면 이들 교시를 여전히 통합하는 많은 다른 다양한 실시예들을 바로 안출할 수 있다. 이미지들에서의 아티팩트들을 감소시키기 위한 장치 및 방법에 관한 바람직한 실시예들(이들은 제한적이 아닌 예시적인 것으로 의도된다)을 설명하였지만, 수정예와 변형예가 위 교시의 관점에서 당업자에 의해 만들어질 수 있음이 주목된다. 그러므로, 첨부된 청구항들에 의해 윤곽이 그려진 것처럼, 본 발명의 범주와 사상 내에 있는 개시된 본 발명의 특별한 실시예들에서 변경이 이루어질 수 있음이 이해되어야 한다. 본 발명을 상세히 그리고 특허법에 의해 특별히 요구되도록 설명하였고, 본 특허 명세서에 의해 주장되고 보호되기를 바라는 것은 첨부된 청구항들에서 전개된다.
전술한 바와 같이, 본 발명은 디지털 이미지 처리 및 디스플레이 시스템, 특히 이미지에서의 아티팩트들을 감소시키는 것이 필요한 분야에 이용 가능하다.

Claims (31)

  1. 이미지에서 밴딩(banding) 구역을 검출하는 방법으로서,
    적어도 하나의 제 1 이미지를 적어도 하나의 균일한(homogeneous) 컬러 구역으로 분할하는 단계(304),
    적어도 하나의 균일한 컬러 구역에 관한 컬러 강도의 선형 전이(transition)를 추정하는 단계(308), 및
    컬러 강도의 선형 전이가 평탄하다면, 적어도 하나의 균일한 컬러 구역을 밴딩 구역으로 분류하는 단계(310)를
    포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  2. 제 1항에 있어서,
    상기 추정하는 단계는 선형 표면 모델을 사용하여 분할된 구역에서 픽셀들의 강도 표면을 모델링하는 단계(404)를 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  3. 제 2항에 있어서,
    상기 분류하는 단계는 픽셀들의 모델링된 강도 표면을 적어도 하나의 제 1 이미지 내의 실제 강도 표면에 맞추는 단계를 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  4. 제 3항에 있어서,
    적어도 하나의 제 1 이미지에서 추정된 강도 표면과 실제 강도 표면 사이의 표면 맞춤 에러를 결정하는 단계와,
    표면 맞춤 에러가 미리 결정된 임계값보다 작다면, 컬러 강도의 선형 전이가 평탄하다고 결정하는 단계를
    더 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  5. 제 1항에 있어서,
    상기 분할하는 단계는 적어도 하나의 제 1 이미지에 대해 평균 시프트(mean shift) 기능을 수행하는 단계를 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  6. 제 1항에 있어서,
    적어도 하나의 분할된 구역의 픽셀들의 개수를 결정하는 단계와,
    픽셀들의 개수가 미리 결정된 임계값보다 작다면, 적어도 하나의 분할된 구역을 버리는 단계를
    더 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  7. 제 1항에 있어서,
    적어도 하나의 분할된 구역의 픽셀들의 컬러 분포의 분산을 계산하는 단계와,
    계산된 분산이 미리 결정된 임계값보다 크다면, 적어도 하나의 분할된 구역을 버리는 단계를
    더 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  8. 제 1항에 있어서,
    적어도 하나의 분류된 밴딩 구역들 각각이 공통의 경계를 공유하는지를 결정하는 단계와,
    적어도 2개의 분류된 밴딩 구역이 공통의 경계를 공유한다면, 적어도 2개의 분류된 밴딩 구역을 단일 밴딩 구역으로 병합하는 단계(314)를
    더 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  9. 제 1항에 있어서,
    검출된 밴딩 구역을 적어도 하나의 제 2 이미지로 추적하는 단계(210,212)와,
    적어도 하나의 제 1 이미지 및 제 2 이미지에서 밴딩 아티팩트(artifact)들을 차단하기 위해 검출된 밴딩 구역에 에러 확산 기능을 적용하는 단계(510,512,514)를
    더 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  10. 제 9항에 있어서,
    상기 적용하는 단계는
    적어도 하나의 제 1 이미지 및 제 2 이미지의 픽셀들의 블록 크기를 선택하는 단계(504),
    적어도 하나의 블록이 검출된 밴딩 구역 내에 있는지를 결정하는 단계(508),
    마스킹 신호를 적어도 하나의 블록에 추가하는 단계(510),
    적어도 하나의 제 1 이미지 및 제 2 이미지에서의 적어도 하나의 블록에 관한 양자화 에러를 결정하는 단계(512), 및
    양자화 에러를 이웃하는 블록들에 분포시키는 단계(514)를
    더 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  11. 제 9항에 있어서,
    상기 추적하는 단계는
    적어도 하나의 제 1 이미지의 검출된 밴딩 구역에 관한 2진 마스크(binary mask)를 발생시키는 단계와,
    검출된 밴딩 구역을 추적하기 위해, 2진 마스크를 적어도 하나의 제 2 이미지에 투영하는 단계(212)를
    더 포함하는, 이미지에서 밴딩 구역을 검출하는 방법.
  12. 이미지에서 밴딩 구역을 검출하는 장치(100)로서,
    적어도 하나의 제 1 이미지를 적어도 하나의 균일한 컬러 구역으로 분할하도록 구성된 이미지 분할 모듈(113),
    적어도 하나의 균일한 컬러 구역에 관한 컬러 강도의 선형 전이를 추정하도록 구성된 선형 전이 추정기(115), 및
    컬러 강도의 선형 전이가 평탄하다면, 적어도 하나의 균일한 컬러 구역을 밴딩 구역으로 분류하도록 구성된 구역 검출 모듈(111)을
    포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  13. 제 12항에 있어서,
    선형 전이 추정기(115)는 선형 표면 모델을 사용하여 분할된 구역에서 픽셀들의 강도 표면을 모델링하도록 또한 구성되는, 이미지에서 밴딩 구역을 검출하는 장치.
  14. 제 13항에 있어서,
    구역 검출 모듈(111)은 적어도 하나의 제 1 이미지에서, 픽셀들의 모델링된 강도 표면을 실제 강도 표면에 맞추도록 또한 구성되는, 이미지에서 밴딩 구역을 검출하는 장치.
  15. 제 14항에 있어서,
    구역 검출 모듈(111)은 적어도 하나의 제 1 이미지에서, 추정된 강도 표면과 실제 강도 표면 사이의 표면 맞춤 에러를 결정하도록 또한 구성되고, 표면 맞춤 에러가 미리 결정된 임계값보다 작다면, 컬러 강도의 선형 전이가 평탄하다고 결정하도록 또한 구성되는, 이미지에서 밴딩 구역을 검출하는 장치.
  16. 제 12항에 있어서,
    이미지 분할 모듈(113)은 적어도 하나의 제 1 이미지에 대해 평균 시프트 기능을 수행하도록 또한 구성되는, 이미지에서 밴딩 구역을 검출하는 장치.
  17. 제 12항에 있어서,
    구역 검출 모듈(111)은 적어도 하나의 분할된 구역의 픽셀들의 개수를 결정하도록 또한 구성되고,
    픽셀들의 개수가 미리 결정된 임계값보다 작다면, 적어도 하나의 분할된 구역을 버리도록 또한 구성되는, 이미지에서 밴딩 구역을 검출하는 장치.
  18. 제 12항에 있어서,
    구역 검출 모듈(111)은 적어도 하나의 분할된 구역의 픽셀들의 컬러 분포의 분산을 계산하도록 또한 구성되고,
    계산된 분산이 미리 결정된 임계값보다 크다면, 적어도 하나의 분할된 구역을 버리도록 또한 구성되는, 이미지에서 밴딩 구역을 검출하는 장치.
  19. 제 12항에 있어서,
    구역 검출 모듈(111)은 적어도 하나의 분류된 밴딩 구역들 각각이 공통의 경계를 공유하는지를 결정하도록 또한 구성되고,
    적어도 2개의 분류된 밴딩 구역이 공통의 경계를 공유한다면, 적어도 2개의 분류된 밴딩 구역을 단일 밴딩 구역으로 병합하도록 또한 구성되는, 이미지에서 밴딩 구역을 검출하는 장치.
  20. 제 12항에 있어서,
    적어도 하나의 제 1 이미지에서 검출된 밴딩 구역을 적어도 하나의 제 2 이미지로 추적하도록 구성된 추적 모듈(132)과,
    적어도 하나의 제 1 및 제 2 이미지에서 밴딩 아티팩트들을 차단하기 위해 검출된 밴딩 구역에 에러 확산 기능을 적용하도록 구성된 에러 확산 모듈(114)을
    더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  21. 제 20항에 있어서,
    에러 확산 모듈(114)은 적어도 하나의 제 1 이미지 및 제 2 이미지에 적용될 마스킹 신호를 발생시키도록 구성된 신호 발생기(116)를 더 포함하고,
    에러 확산 모듈(114)은 적어도 하나의 제 1 이미지 및 제 2 이미지의 픽셀들의 블록 크기를 선택하고, 적어도 하나의 블록이 검출된 밴딩 구역 내에 있는지를 결정하며, 적어도 하나의 제 1 이미지 및 제 2 이미지에서의 적어도 하나의 블록에 관한 양자화 에러를 결정하고, 양자화 에러를 이웃하는 블록들에 분포시키도록 또한 구성되는, 이미지에서 밴딩 구역을 검출하는 장치.
  22. 이미지에서 밴딩 구역을 검출하는 장치(100)로서,
    적어도 하나의 제 1 이미지를 적어도 하나의 균일한 컬러 구역으로 분할하는 수단(113),
    적어도 하나의 균일한 컬러 구역에 관한 컬러 강도의 선형 전이를 추정하는 수단(115), 및
    컬러 강도의 선형 전이가 평탄하다면, 적어도 하나의 균일한 컬러 구역을 밴딩 구역으로서 분류하는 수단(111)을
    포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  23. 제 22항에 있어서,
    상기 추정하는 수단(115)은 선형 표면 모델을 사용하여 분할된 구역에서 픽셀들의 강도 표면을 모델링하는 수단을 더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  24. 제 23항에 있어서,
    상기 분류하는 수단(111)은 적어도 하나의 제 1 이미지에서 픽셀들의 모델링된 강도 표면을 실제 강도 표면에 맞추는 수단을 더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  25. 제 24항에 있어서,
    상기 분류하는 수단(111)은 적어도 하나의 제 1 이미지에서, 추정된 강도 표면과 실제 강도 표면 사이의 표면 맞춤 에러를 결정하기 위한 수단을 더 포함하고, 표면 맞춤 에러가 미리 결정된 임계값보다 작다면, 컬러 강도의 선형 전이가 평탄하다고 결정하는 수단을 더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  26. 제 22항에 있어서,
    상기 분할하는 수단(113)은 적어도 하나의 제 1 이미지에 대해 평균 시프트 기능을 수행하는 수단을 더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  27. 제 22항에 있어서,
    상기 분류하는 수단(111)은 적어도 하나의 분할된 구역의 픽셀들의 개수를 결정하는 수단을 더 포함하고, 픽셀들의 개수가 미리 결정된 임계값보다 작다면, 적어도 하나의 분할된 구역을 버리는 수단을 더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  28. 제 22항에 있어서,
    상기 분류하는 수단(111)은 적어도 하나의 분할된 구역의 픽셀들의 컬러 분포의 분산을 계산하는 수단을 더 포함하고, 계산된 분산이 미리 결정된 임계값보다 크다면, 적어도 하나의 분할된 구역을 버리는 수단을 더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  29. 제 22항에 있어서,
    상기 분류하는 수단(111)은 적어도 하나의 분류된 밴딩 구역들 각각이 공통의 경계를 공유하는지를 결정하는 수단을 더 포함하고, 적어도 2개의 분류된 밴딩 구역들이 공통의 경계를 공유한다면, 적어도 2개의 분류된 밴딩 구역들을 단일 밴딩 구역으로 병합하는 수단을 더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  30. 제 22항에 있어서,
    적어도 하나의 제 1 이미지에서의 검출된 밴딩 구역을 적어도 하나의 제 2 이미지로 추적하는 수단(132)과,
    적어도 하나의 제 1 및 제 2 이미지에서 밴딩 아티팩트들을 차단하기 위해, 에러 확산 기능을 검출된 밴딩 구역에 적용하는 수단(114)을
    더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
  31. 제 30항에 있어서,
    상기 분류하는 수단(114)은, 적어도 하나의 제 1 이미지 및 제 2 이미지에 적용될 마스킹 신호를 발생시키는 수단(116), 적어도 하나의 제 1 이미지 및 제 2 이미지의 픽셀들의 블록 크기를 선택하는 수단, 적어도 하나의 블록이 검출된 밴딩 구역 내에 있는지를 결정하는 수단, 적어도 하나의 제 1 이미지 및 제 2 이미지에서의 적어도 하나의 블록에 관한 양자화 에러를 결정하는 수단, 및 양자화 에러를 이웃하는 블록들에 분포시키는 수단을 더 포함하는, 이미지에서 밴딩 구역을 검출하는 장치.
KR1020097027350A 2007-06-29 2007-06-29 이미지들에서 아티팩트들을 감소시키기 위한 장치 및 방법 KR101350853B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2007/015205 WO2009005497A1 (en) 2007-06-29 2007-06-29 Apparatus and method for reducing artifacts in images

Publications (2)

Publication Number Publication Date
KR20100037054A KR20100037054A (ko) 2010-04-08
KR101350853B1 true KR101350853B1 (ko) 2014-01-13

Family

ID=39275987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097027350A KR101350853B1 (ko) 2007-06-29 2007-06-29 이미지들에서 아티팩트들을 감소시키기 위한 장치 및 방법

Country Status (7)

Country Link
US (1) US8472709B2 (ko)
EP (1) EP2171683A1 (ko)
JP (1) JP2010532628A (ko)
KR (1) KR101350853B1 (ko)
CN (1) CN101689295A (ko)
BR (1) BRPI0721839A2 (ko)
WO (1) WO2009005497A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9743078B2 (en) * 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
EP1777938A1 (en) * 2005-10-19 2007-04-25 Thomson Licensing Method, system and device for colour quality control
US8270498B2 (en) 2009-03-26 2012-09-18 Apple Inc. Dynamic dithering for video compression
KR101605832B1 (ko) * 2009-05-20 2016-03-23 마퍼 리쏘그라피 아이피 비.브이. 리소그래픽 처리를 위한 2―레벨 패턴 발생 방법 및 이를 이용한 패턴 발생기
US10477249B2 (en) 2009-06-05 2019-11-12 Apple Inc. Video processing for masking coding artifacts using dynamic noise maps
WO2011011250A1 (en) * 2009-07-24 2011-01-27 Dolby Laboratories Licensing Corporation Image control for displays
JP5676610B2 (ja) * 2009-08-12 2015-02-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法
US20110135011A1 (en) 2009-12-04 2011-06-09 Apple Inc. Adaptive dithering during image processing
JP2011198246A (ja) * 2010-03-23 2011-10-06 Canon Inc 画像処理方法、画像処理装置、プログラム及びプログラム記憶媒体
US8736894B2 (en) * 2011-12-20 2014-05-27 Eastman Kodak Company Producing correction data for printer
EP2780888B1 (en) 2011-11-17 2019-08-14 Koninklijke Philips N.V. Processing an image containing one or more artifacts
US9432694B2 (en) * 2012-03-06 2016-08-30 Apple Inc. Signal shaping techniques for video data that is susceptible to banding artifacts
US9565404B2 (en) * 2012-07-30 2017-02-07 Apple Inc. Encoding techniques for banding reduction
TW201428680A (zh) * 2013-01-02 2014-07-16 Ind Tech Res Inst 影像處理裝置及立體影像前景分離方法
US9888240B2 (en) * 2013-04-29 2018-02-06 Apple Inc. Video processors for preserving detail in low-light scenes
EP3028472B1 (en) 2013-07-29 2020-02-26 Koninklijke KPN N.V. Providing tile video streams to a client
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10397666B2 (en) * 2014-06-27 2019-08-27 Koninklijke Kpn N.V. Determining a region of interest on the basis of a HEVC-tiled video stream
US10694192B2 (en) 2014-06-27 2020-06-23 Koninklijke Kpn N.V. HEVC-tiled video streaming
US9911179B2 (en) 2014-07-18 2018-03-06 Dolby Laboratories Licensing Corporation Image decontouring in high dynamic range video processing
WO2016140954A1 (en) * 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
WO2017029400A1 (en) 2015-08-20 2017-02-23 Koninklijke Kpn N.V. Forming one or more tile streams on the basis of one or more video streams
EP3360330B1 (en) 2015-10-08 2021-03-24 Koninklijke KPN N.V. Enhancing a region of interest in video frames of a video stream
WO2018092715A1 (ja) * 2016-11-17 2018-05-24 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
EP3900335A1 (en) * 2018-12-19 2021-10-27 Dolby Laboratories Licensing Corporation Image debanding using adaptive sparse filtering
CN110268442B (zh) * 2019-05-09 2023-08-29 京东方科技集团股份有限公司 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
CN110262819B (zh) * 2019-06-04 2021-02-26 深圳前海微众银行股份有限公司 一种联邦学习的模型参数更新方法及装置
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949434A (en) * 1997-03-20 1999-09-07 Charlton; Paul Method and apparatus for scaling graphic images
US7239321B2 (en) * 2003-08-26 2007-07-03 Speech Graphics, Inc. Static and dynamic 3-D human face reconstruction

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4959730A (en) * 1990-01-02 1990-09-25 Eastman Kodak Company False density contour suppression using randomly modified input signals for comparison to threshold values
JP2812525B2 (ja) 1990-02-20 1998-10-22 日本電信電話株式会社 距離計測方法
JP3317982B2 (ja) 1991-07-15 2002-08-26 オリンパス光学工業株式会社 画像信号復号化装置
JP3242506B2 (ja) 1993-03-24 2001-12-25 富士写真フイルム株式会社 レンズ付きフイルムユニット用露光画面切替え装置
JPH07212760A (ja) 1994-01-14 1995-08-11 Nippon Telegr & Teleph Corp <Ntt> 動画像の動き補償予測符号化方法
US5822464A (en) 1996-05-30 1998-10-13 Xerox Corporation Method and system for processing image information using video dependent dampened screening and error diffusion
JPH1188909A (ja) 1997-09-11 1999-03-30 Mitsubishi Electric Corp 画像圧縮伝送装置
JP3873477B2 (ja) * 1998-02-17 2007-01-24 富士ゼロックス株式会社 画像処理装置および画像処理方法
JPH11327497A (ja) * 1998-05-14 1999-11-26 Hitachi Ltd 映像信号処理装置および表示装置
JP3883341B2 (ja) 1999-10-29 2007-02-21 株式会社リコー 画像処理方法、装置及び記録媒体
CN1168288C (zh) 1999-11-06 2004-09-22 三星电子株式会社 图像显示系统中的假轮廓校正装置和假轮廓校正方法
JP2003015587A (ja) * 2001-06-28 2003-01-17 Mitsubishi Electric Corp ディスプレイ装置
JP3931651B2 (ja) 2001-12-21 2007-06-20 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
EP1772321A3 (en) 2002-02-02 2007-07-11 Qinetiq Limited Method of Identifying and Tracking Objects
EP1611548A1 (en) * 2003-03-27 2006-01-04 Koninklijke Philips Electronics N.V. Medical imaging system and a method for segmenting an object of interest.
US8064684B2 (en) * 2003-04-16 2011-11-22 Massachusetts Institute Of Technology Methods and apparatus for visualizing volumetric data using deformable physical object
JP2005024717A (ja) * 2003-06-30 2005-01-27 Fujitsu Hitachi Plasma Display Ltd ディスプレイ装置およびディスプレイの駆動方法
US7072494B2 (en) * 2004-02-20 2006-07-04 Siemens Corporate Research, Inc. Method and system for multi-modal component-based tracking of an object using robust information fusion
SE0402576D0 (sv) 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US7733532B2 (en) * 2004-10-27 2010-06-08 Marvell International Technology Ltd. Laser print apparatus with dual halftones
US8078255B2 (en) * 2006-03-29 2011-12-13 University Of Georgia Research Foundation, Inc. Virtual surgical systems and methods
US8600184B2 (en) 2007-01-16 2013-12-03 Thomson Licensing System and method for reducing artifacts in images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949434A (en) * 1997-03-20 1999-09-07 Charlton; Paul Method and apparatus for scaling graphic images
US7239321B2 (en) * 2003-08-26 2007-07-03 Speech Graphics, Inc. Static and dynamic 3-D human face reconstruction

Also Published As

Publication number Publication date
US20100135575A1 (en) 2010-06-03
EP2171683A1 (en) 2010-04-07
CN101689295A (zh) 2010-03-31
US8472709B2 (en) 2013-06-25
BRPI0721839A2 (pt) 2013-05-21
KR20100037054A (ko) 2010-04-08
JP2010532628A (ja) 2010-10-07
WO2009005497A1 (en) 2009-01-08

Similar Documents

Publication Publication Date Title
KR101350853B1 (ko) 이미지들에서 아티팩트들을 감소시키기 위한 장치 및 방법
EP2104918B1 (en) System and method for reducing artifacts in images
EP2316109B1 (en) Use of inpainting techniques for image correction
JP2004201290A (ja) 画像処理方法および画像処理装置、並びに画像処理プログラムおよび記録媒体
JP2005176388A (ja) 動画データのノイズ除去方法
US7327504B2 (en) Method of detecting clipped image pixels
JP5676610B2 (ja) 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法
JP2007512750A (ja) ビデオ信号における局所的な画像空間−時間細部の検出
JP2009044739A (ja) デジタル画像の背景色を決定するための方法およびシステム
JP2013500666A (ja) 信号フィルタリング方法及びフィルタ係数計算方法
JP2005057496A (ja) 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2004192164A (ja) 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2016165065A (ja) 画像用ノイズ低減装置、画像用符号化装置、及びプログラム
JP2004350009A (ja) 画像復号化装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee