KR20120095859A - 비디오 이미지들 내의 블러를 계산하기 위한 방법 및 장치 - Google Patents

비디오 이미지들 내의 블러를 계산하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20120095859A
KR20120095859A KR1020127009171A KR20127009171A KR20120095859A KR 20120095859 A KR20120095859 A KR 20120095859A KR 1020127009171 A KR1020127009171 A KR 1020127009171A KR 20127009171 A KR20127009171 A KR 20127009171A KR 20120095859 A KR20120095859 A KR 20120095859A
Authority
KR
South Korea
Prior art keywords
blur
horizontal
video images
calculating
value
Prior art date
Application number
KR1020127009171A
Other languages
English (en)
Other versions
KR101643026B1 (ko
Inventor
데 빙 리우
지 보 첸
시아오 동 구
펭 수
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20120095859A publication Critical patent/KR20120095859A/ko
Application granted granted Critical
Publication of KR101643026B1 publication Critical patent/KR101643026B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

블러는 이미지 품질과 관련된 가장 중요한 특징들 중 하나이다. 이미지의 블러 레벨의 정확한 추정은 이미지의 품질을 정확하게 평가하는 데에 큰 도움이 된다. 비디오 이미지들의 블러를 계산하기 위한 방법은 수평 블러 값을 계산하는 단계; 및 적어도 프로그레시브/인터레이스드 및 공간 해상도 레벨을 포함하는, 상기 비디오 이미지들의 특성 파라미터들을 결정하는 단계를 포함한다. 상기 비디오 이미지들이 프로그레시브인 경우, 수직 블러 값도 계산하여 이를 상기 수평 블러 값과 결합한다. 다음 단계는 사전 정의된 최소(min) 및 최대(max) 값들에 따라 상기 수평 블러 값 또는 상기 결합된 수평 및 수직 블러 값을 정규화하는 단계이며, 상기 최소 및 최대 값들은 상기 공간 해상도 레벨에 적응된다.

Description

비디오 이미지들 내의 블러를 계산하기 위한 방법 및 장치{METHOD AND DEVICE FOR CALCULATING BLUR IN VIDEO IMAGES}
본 발명은 비디오 이미지들 내의 블러를 결정하고 계산하기 위한 방법 및 장치에 관한 것이다.
블러(blur)는 이미지 품질과 관련된 가장 중요한 특징들 중 하나이다. 이미지의 블러 레벨의 정확한 추정은 이미지의 품질을 정확하게 평가하는 데에 큰 도움이 된다. 이 문제를 해결하기 위해, 예를 들어 "No-Reference Block Based Blur Detection"(Proc. 2009 International Workshop on Quality of Multimedia Experience, pp. 75-80) by Debing Liu, Zhibo Chen, Huadong Ma, Feng Xu and Xiaodong Gu에 또는 "A no-reference perceptual blur metric"(Proc. of IEEE Int. Conf. on Image Processing, vol. 3, Sept. 2002, pp. 57-60) by P. Marziliano, F. Dufaux, S. Winkler, and T. Ebrahimi에 또는 유사한 특허 출원 WO03/092306에서 다양한 방법들이 제안되었다.
현재 공지된 모든 블러 검출 스킴들은 이미지 자체의 정보로부터만 이미지의 블러 레벨을 추정한다. 그러나, 모든 종류의 블러에 대해 높은 성능을 갖는 범용 블러 검출 스킴을 설계하는 것은 어렵다. 블러 검출은 이미지 품질 결정 또는 추정을 위해 또는 블러 제거 전에 이용된다. 둘 다를 위해 블러의 소스가 무엇인지를 아는 것이 바람직하다. 이것은 이미지들만으로는 어렵거나 심지어는 불가능하다. 따라서, 범용 블러 검출 스킴들이 현재 사용되고 있다. 그러한 범용 솔루션은 상이한 사례들에서 특정 블러 타입들을 고려할 수 없으므로, 그의 정확성은 좋지 않다.
H.264 코딩에 의해 또는 MPEG-2 코딩에 의해 생성되는 블러와 같은 많은 종류의 블러가 존재하며, 상이한 종류의 블러는 상이한 특징을 갖는다는 것이 인식되었다. 블러 검출 및 계산은 이미지 해상도, 코딩 구성, 코덱 타입 및 블러 타입과 같은 많은 인자에 의해 영향을 받을 수 있다. 이러한 인자들에 대한 정보의 결여는 블러 검출의 성능에 확실히 영향을 미칠 것이다. 이러한 인자들 중 일부는 이미지 자체만으로부터 얻어질 수 없거나 정확히 추정될 수 없다.
본 발명에서는, 개량된 구성 가능한 블러 검출 및/또는 계산 스킴이 제안된다. 일 양태에서, 블러 검출 및/또는 계산은 수평 블러 값의 계산, 비디오 이미지들의 특성 파라미터들의 결정 및 블러 값의 정규화에 기초한다. 비디오 이미지들이 프로그레시브(progressive) 이미지들인 경우에는 수직 블러 값도 계산되고, 정규화 전에 수평 블러 값과 결합된다. 향상된 블러 값은 이미지 품질 결정 또는 추정을 위해 또는 블러 제거 알고리즘의 제어 파라미터로서 사용될 수 있다.
일 실시예에서, 사용자는 먼저 특성 인자들의 소정 구성을 제공하며, 이어서 사용자 구성에 기초하여 적절한 블러 검출 스킴이 적용된다. 다른 실시예에서, 특성 인자들은 비디오 디코더로부터 직접 얻어진다. 추가적인 정보는 블러 검출의 성능을 크게 향상시킬 것이다.
예를 들어, 비디오들은 인터레이스드(interlaced) 또는 프로그레시브인 것으로 식별될 수 있다. 이들 사이에는 많은 차이가 있으며, 이러한 차이들을 고려하는 것은 블러 결정 및 블러 계산을 개선한다. 본 발명의 일 양태는 인터레이스드 비디오 이미지들에 대해 특정 블러 검출 스킴을 사용하고, 프로그레시브 비디오 이미지들에 대해서는 다른 특정 블러 스킴을 사용한다.
본 발명의 일 양태에 따르면, 비디오 이미지들의 블러를 결정 및/또는 계산하기 위한 방법은 수평 블러 값을 계산하는 단계; 적어도 프로그레시브/인터레이스드 및 공간 해상도 레벨을 포함하는, 상기 비디오 이미지들의 특성 파라미터들을 결정하는 단계; 상기 비디오 이미지들이 프로그레시브 이미지들인 경우, 수직 블러 값도 계산하여 이를 상기 수평 블러 값과 결합하는 단계; 및 사전 정의된 최소(min) 및 최대(max) 값들에 따라 상기 수평 블러 값 또는 상기 결합된 수평 및 수직 블러 값을 정규화하는 단계를 포함하고, 상기 최소 및 최대 값들은 상기 공간 해상도 레벨에 적응된다.
일 실시예에서, 수평 블러 값을 계산하는 상기 단계는 적어도 또는 단지 수직 MB 에지들의 중심들 주위의 이미지 영역들에 대해 수행된다. 일 실시예에서, 수직 블러 값을 계산하는 상기 단계는 수평 MB 에지들의 중심들 주위의 이미지 영역들에 대해 또한 수행된다.
일 실시예에서, 블러 값을 계산하는 상기 단계는 현재 픽셀 주위의 로컬 분산(local variance)을 계산하는 단계를 포함한다.
일 실시예에서, 상기 수평 블러 값에 대한 상기 로컬 분산은 수직선 상의 픽셀들 및 수평선 상의 픽셀들로부터 계산되고, 상기 수직선으로부터보다 상기 수평선으로부터의 더 많은 픽셀이 사용되고, 수평 MB 에지의 상기 중심은 양 선들의 멤버이다. 일 실시예에서, 상기 로컬 분산이 최대 임계치 위이거나 최소 임계치 아래인 경우에 상기 현재 픽셀은 블러 계산으로부터 배제된다.
일 실시예에서, 상기 비디오 이미지들의 상기 특성 파라미터들 중 하나 이상은 사용자 인터페이스를 통해 또는 사용자 인터페이스를 통해 입력된 후에 메모리로부터 얻어진다. 일 실시예에서, 상기 비디오 이미지들의 상기 특성 파라미터들 중 하나 이상은 비디오 디코더로부터 기계 인터페이스를 통해 얻어진다. 일 실시예에서, 상기 비디오 이미지들의 상기 특성 파라미터들 중 하나 이상은 상기 비디오 이미지들과 관련된 메타데이터를 통해 얻어진다. 이러한 상이한 소스들로부터 상이한 특성 파라미터들도 얻어질 수 있다.
본 발명의 다른 양태에 따르면, 컴퓨터 프로그램 제품은 컴퓨터로 하여금 전술한 방법을 실행하게 하기 위한 코드를 포함한다.
본 발명의 다른 양태에 따르면, 비디오 이미지들의 블러를 계산하기 위한 장치는 수평 블러 값을 계산하기 위한 수단; 적어도 프로그레시브/인터레이스드 및 공간 해상도 레벨을 포함하는, 상기 비디오 이미지들의 특성 파라미터들을 결정하기 위한 수단; 상기 비디오 이미지들이 프로그레시브 이미지들인 경우, 수직 블러 값도 계산하여 이를 상기 수평 블러 값과 결합하기 위한 수단; 및 사전 정의된 최소(min) 및 최대(max) 값들에 따라 상기 수평 블러 값 또는 상기 결합된 수평 및 수직 블러 값을 정규화하기 위한 수단을 포함하고, 상기 최소 및 최대 값들은 상기 공간 해상도 레벨에 적응된다.
본 발명의 이로운 실시예들이 종속 청구항들, 아래의 설명 및 도면들에 개시된다.
본 발명의 실시예들은 아래의 첨부 도면들을 참조하여 설명되며, 도면들에서:
도 1은 구성 가능한 블러 검출 스킴의 프로세스이고,
도 2는 프로그레시브 또는 인터레이스드 이미지들에 대한 블러 계산을 나타내고,
도 3은 수평 블러 계산의 예시적인 흐름도이고,
도 4는 로컬 블러 계산을 위한 위치들 및 로컬 분산 계산을 위한 영역들을 나타내고,
도 5는 로컬 블러 계산의 일례를 나타낸다.
본 발명은 유연하고 구성 가능한 블러 검출 및/또는 블러 계산 스킴을 개시한다. 도 1은 3개의 단계를 포함하는 구성 가능한 블러 검출 프로세스를 일반적으로 나타낸다.
첫째, 구성 데이터가 얻어진다. 이들은 사용자에 의해 입력될 수 있다. 평가될 이미지에 대해, 사용자는 시나리오를 지시하기 위해 구성의 특성 파라미터들을 제공할 수 있다. 사용자 구성은 블러 검출 스킴에 영향을 미치는 임의의 것, 예컨대 해상도, 프로그레시브 또는 인터레이스드, 코덱 타입, 코딩 구성 및 블러 타입(압축 블러, 모션 블러, 아웃 오브 포커스(out of focus) 블러, 저역 통과 필터 블러, 업샘플링 블러 등)일 수 있다. 이러한 특성 파라미터들은 단독으로 또는 임의의 조합으로 사용될 수 있다.
특성 파라미터들은 사용자 인터페이스를 통해 입력된 후에 메모리로부터, 또는 비디오 디코더로부터 기계 인터페이스를 통해 그리고/또는 비디오 이미지들과 관련된 메타데이터를 통해 얻어질 수도 있다는 점에 유의해야 한다. 후자의 경우, 비디오 디코더는 비디오 신호로부터 그러한 메타데이터를 추출하기 위한 수단 및 메타데이터를 본 발명에 따른 블러 검출기 또는 계산기에 제공하기 위한 수단을 포함한다.
둘째, 구성에 따라 적절한 블러 검출 스킴이 자동으로 선택된다. 블러 검출 스킴은 전술한 구성 데이터에 따라 변경된다. 변경은 완전히 프레임워크 변경일 수 있거나, 단지 일부 파라미터들의 조정일 수 있다. 구성이 정의되지 않은 경우, 디폴트 블러 검출 스킴이 선택될 수 있다.
셋째, 단일 형성된(또는 단일화된) 블러 값이 출력된다. 블러 검출 스킴은 상이한 구성에 따라 상이하게 동작하며, 이는 결과적으로 계산된 블러 값의 의미에 영향을 미친다. 즉, 상이한 블러 검출 및/또는 블러 계산 스킴들로부터 얻어진 블러 값들은 직접 비교될 수 없다. 따라서, 본 발명에 따르면, 이들은 단일화되거나, 단일화된 포맷으로 표준화된다. 일 실시예에서, 이것은 스케일링에 의해 얻어질 수 있다. 예컨대, 선형 스케일링이 사용된다. 다른 더 정교한 스케일링 타입들도 가능하다.
본 발명의 일 실시예에서, 계산된 블러 값은 (0-100)의 범위로 스케일링되며, 여기서 0은 최소 블러를 의미하고, 100은 최대 블러를 의미한다. 대안으로서, 스케일링은 (0-1) 또는 (0%-100%) 등의 범위로 수행될 수 있다. 스케일링 규칙들은 상이한 구성들에 대해 상이할 수 있다.
아래는 구성 가능한 블러 검출/계산 스킴의 실시예이다. 이것은 특성 파라미터들: 비디오 포맷(2개의 옵션을 가짐) 및 해상도(2개의 옵션을 가짐)에 대응하는 2개의 구성 아이템을 갖는다.
비디오 포맷은 평가될 이미지들이 프로그레시브 비디오들로부터 오는 "프로그레시브" 또는 평가된 이미지들이 인터레이스드 비디오들로부터 오는 "기타/프로그레시브 아님"일 수 있거나, 비디오들이 프로그레시브인지 또는 인터레이스드인지가 알려지지 않는다.
해상도는 예를 들어 1280x720 픽셀 이상인 "고해상도" 또는 "기타"(즉, SD, CIF, QCIF 등과 같이 1280x720 픽셀보다 낮음)일 수 있다.
일 실시예에서, 본 발명은 사용자 구성을 이용하여 블러 검출을 돕는 단계, 즉 시나리오를 해석하는 단계를 포함한다. 이 실시예에서, 사용자 구성은 2개의 아이템: 비디오 해상도(고해상도 또는 기타) 및 비디오 포맷(프로그레시브 또는 기타)을 포함한다. 코덱 타입(MPEG-2, H.264, JPEG 등), 코딩 구성 및 블러 타입(모션 블러, 아웃 오브 포커스 블러, 압축 블러, 업샘플링 블러, 저역 통과 필터 블러 등)과 같은 다른 구성들도 존재할 수 있다. 사용자 구성은 텍스트 인터페이스, 음성 인터페이스, 메모리 인터페이스, 스위치 구성 등을 통해 입력될 수 있다.
일 실시예에서, 블러 검출/계산 스킴은 다음과 같이 요약될 수 있다. 구성 데이터(프로그레시브 또는 기타, 고해상도 또는 기타 해상도 타입)에 따라 적절한 스킴이 자동으로 선택되고, 관련 파라미터들이 자동으로 설정된다. 또한, 구성 데이터에 따라, 상이한 스케일링 규칙들이 단일 형성된 블러 값을 얻는 데 사용된다.
본 발명의 장점은 추가적인 구성 정보를 이용하여 특정 시나리오에서의 블러 검출의 정확성이 크게 향상될 수 있고, 따라서 스킴이 훨씬 더 많은 시나리오에서 사용될 수 있다는 것이다.
도 2는 사용자 구성에 기초하는 블러 검출 스킴의 흐름도를 예시한다. 이것은 3개의 단계를 포함한다.
1. 수평 블러(blur_h)를 계산한다.
이것은 아래에 설명된다(도 3 참조).
2. 사용자 구성에 따라, 복수의 사전 정의된 상이한 스킴으로부터 적절한 스킴을 선택한다.
프로그레시브 이미지들의 경우, 수직 블러가 계산된 후, 수평 블러와 결합되어 최종 블러가 얻어진다. 이것은 수직 및 수평 블러 계산이 유사한 성능을 갖고, 이들의 결합이 더 안정된 결과를 얻는 데 도움이 될 수 있기 때문이다. 수직 블러의 계산은 수평 블러의 계산과 동일한 방식으로 행해지며, 아래에 더 상세히 설명된다.
기타(인터레이스드 이미지들 또는 정의되지 않은 이미지들)의 경우, 수직 블러는 계산되지 않는다. 대신에, 수평 블러만이 최종 블러로서 사용된다. 이것은 인터레이스드 이미지들에서는 상부 및 하부 필드가 정렬되지 않아서 수직 블러 계산에 크게 영향을 미칠 수 있기 때문이다. 수평 블러만을 최종 블러로서 사용하는 것이 더 양호하다. 특히 저품질 이미지들에 대해서는 디인터레이싱 프로세스도 이 문제를 해결할 수 없는 것으로 밝혀졌다.
3. 단일 형성된 블러 값을 출력한다.
사용자 구성에 따라, 4 종류의 이미지: high-res./p, non-high-res./p, high-res/i 및 non-high-res/i가 존재한다. 다수의 4 종류의 이미지에 대한 통계적 분석을 통해 또는 다른 소스들로부터 하한 및 상한이 얻어질 수 있다. 통계 분석 후에, 식 1은 스케일링 규칙들을 제공한다.
Figure pct00001
여기서, x는 계산된 블러 값이고, cmin은 계산된 블러 값의 하한이고, cmax는 상한이다. cmin 및 cmax는 예를 들어 표 1에서와 같이 사전 정의된다.
cmin 및 cmax의 상이한 쌍들은 상이한 해상도 구성을 갖는 이미지들에 대한 것인데, 이는 상이한 해상도 이미지들에 대해 블러 검출 스킴들이 상이하고, 관련된 계산된 블러 값들이 상이한 범위들 내에 있기 때문이다(도 3 참조). 일 실시예에서, 이들은 상이한 해상도를 갖는 많은 양의 이미지들의 분석에 기초하여 실험적으로 설정된다.
상이한 종류의 이미지들에 대한 최종 블러 값의 하한 및 상한
해상도 [cmin, cmax]:
고해상도 [3, 13]
기타 [2, 6]
위의 실시예는 특성 파라미터들의 일부 또는 전부가 사용자 인터페이스를 통해 입력된 후에 메모리로부터, 비디오 디코더로부터 기계 인터페이스를 통해 또는 비디오 이미지들과 관련된 메타데이터로부터 얻어지도록 변경될 수 있다는 점에 유의해야 한다.
도 3은 수평 블러 계산의 흐름도를 나타낸다. 원칙적으로, 수직 블러는 동일한 방식으로 계산될 수 있다. 이것은 다음 단계들을 포함한다.
단계 1: 로컬 블러를 계산할 위치를 선택한다.
본 발명에서, 로컬 블러 계산을 위한 위치들은 매크로블록(MB)들의 경계들의 중심들에 설정된다. 도 4에 도시된 바와 같이, P_v1 및 P_v2는 수직 블러를 계산하기 위한 위치들이며, MB의 수평 에지들의 중심들 상에 있다. P_h1 및 P_h2는 MB의 수직 에지들의 중심들 상에 있고, 수평 블러를 계산하기 위한 위치들이다. 포인트들의 불연속 래스터 및 MB 에지마다의 포인트들의 짝수로 인해, 에지의 "중심" 상의 위치는 에지의 "실제 중심의 옆"으로서 구현될 수 있다. 예를 들어, 16x16 MB에서는, 수직 에지의 8 번째 또는 9 번째 비트가 중심으로서 사용될 수 있다. 도 4 a)에 도시된 예에서는 (위로부터 카운트된) 9 번째 비트가 사용된다. 동일 카운팅 및 동일 픽셀이 모든 MB들에서 사용된다.
단계 2: 로컬 분산 (Var_l)을 계산한다.
도 4 a)에 도시된 바와 같이, 위치 P_h1 주위에 수평 방향으로 16개의 픽셀 및 수직 방향으로 8개의 픽셀을 갖는 흑색 십자 영역은 로컬 분산 계산을 위한 영역이다. 수직 로컬 블러 계산의 경우, 로컬 분산은 도 4 b)에 개략적으로 도시된 바와 같이 수직 방향으로 16개의 픽셀 및 수평 방향으로 8개의 픽셀을 갖는 십자 영역에서 계산된다. 로컬 분산 계산의 공식은 다음과 같다.
Figure pct00002
여기서, N은 사용된 픽셀 수(이 예에서는 8+16=24)이고, xi는 도 4 a)의 P_h1 주위의 흑색 십자 영역 내의 픽셀들이고,
Figure pct00003
는 모든 xi의 평균 값이다.
단계 3: Var_l이 사전 정의된 범위 내에 있는지를 판정한다.
로컬 블러 계산은 너무 복잡하거나 너무 간단한 텍스처를 갖는 영역들에서는 매우 부정확할 수 있는 것으로 밝혀졌다. Var_l의 범위 제한은 이러한 영역들을 배제하는 데 도움이 될 수 있다. 범위는 해상도에 따라 경험적으로 결정될 수 있다. 그 일례가 표 2에 나타나 있다. 예를 들어, 고해상도 이미지 내의 특정 MB 에지에서 사용되는 전술한 24개의 픽셀에 대한 분산 계산이 20의 값을 산출하는 경우, 이것은 범위 내에 있고, MB 에지는 사용된다. 고해상도 이미지 내의 다른 MB 에지에서 사용되는 전술한 24개의 픽셀에 대한 분산 계산이 34의 값을 산출하는 경우, 이것은 범위 밖에 있고, MB 에지는 블러 결정/계산에 사용되지 않는다. 일 실시예에서, 고해상도 이미지들에 대한 범위는 표 2에서와 같이 다른(또는 알려지지 않은) 해상도 타입들에 대한 범위보다 낮은 min 한계 및 max 한계를 갖는다.
배제할 로컬 분산의 범위
해상도 타입 범위:
고해상도 [a, b] = [1, 30]
기타 [c, d] = [2, 40]
단계 4: 로컬 블러를 계산한다.
일 실시예에서는, 해상도에 따라 로컬 블러를 위한 상이한 계산 방법들이 사용된다. 일례가 도 5에 도시되어 있다.
a) 고해상도
알고리즘은 수평 방향을 따라 로컬 최소 또는 최대 휘도 값들을 갖는 2개의 픽셀을 검출한다. 2개의 픽셀 사이의 거리가 로컬 블러이다. 검출 프로세스에서, 같은 휘도를 갖는 픽셀들이 포함된다. 도 5에서, P0은 로컬 블러 계산을 위한 위치이고, P1은 로컬 최소 휘도 값을 갖는 위치이고, P2는 로컬 최대 휘도 값을 갖는 위치이며, 로컬 블러 값은 P1과 P2 사이의 공간 거리(즉, 6 픽셀)이다.
b) 기타 해상도 타입들
고해상도에 대한 스킴과 달리, 동일 휘도를 갖는 픽셀들은 검출 프로세스에서 배제된다. 도 5에서, P0은 로컬 블러 계산을 위한 위치이고, P1은 로컬 최소 휘도 값을 갖는 픽셀이다.
고해상도에 대한 스킴과 달리, 검출 프로세스는 P3에서 중지되는데, 이는 P0이 로컬 최대 휘도 값을 갖는 픽셀이고, P3이 P0과 동일하기 때문이다. 로컬 블러 값은 P1과 P0 사이의 공간 거리(즉, 2 픽셀)이다.
다른 실시예에서는, "고해상도" 계산 방법만이 사용된다. 또 다른 실시예에서는 "기타 해상도" 계산 방법만이 사용된다.
단계 5: 최종 수평 블러 값을 계산한다.
이 단계에서는, 관련된 Var_l이 사전 정의된 범위 내에 있는 모든 수평 로컬 블러 값들을 평균하여, 최종 수평 블러를 얻는다. 일 실시예는 관련된 Var_l이 범위 내에 있는 모든 수평 로컬 블러들의 산술 평균을 계산함으로써 평균하는 단계를 포함한다.
본 발명의 기본적인 새로운 특징들이 그의 바람직한 실시예들에 적용되는 것으로 도시되고, 설명되고, 지시되었지만, 설명된 장치 및 방법에서, 개시된 장치들의 형태 및 상세에서 그리고 그들의 동작에서 다양한 생략들 및 교체들 및 변경들이 이 분야의 기술자들에 의해 본 발명의 사상으로부터 벗어나지 않고 이루어질 수 있다는 것을 이해할 것이다. 본 발명은 비디오 이미지들과 관련하여 개시되었지만, 이 분야의 기술자는 여기에 설명된 방법 및 장치들이 임의의 디지털 이미지들에 적용될 수 있다는 것을 인식할 것이다. 동일한 결과들을 얻기 위해 실질적으로 동일한 기능을 실질적으로 동일한 방식으로 수행하는 요소들의 모든 조합들은 본 발명의 범위 내에 있다는 것을 명확히 의도한다. 하나의 설명된 실시예로부터 다른 설명된 실시예로의 요소들의 대체도 충분히 의도되고 예상된다.
게다가, "단일 형성된" 및 "단일화된"은 본 명세서에서 등가로 사용된다는 점에 유의해야 한다.
본 발명은 단지 예시적으로 설명되었으며, 본 발명의 범위로부터 벗어나지 않고 상세의 변경들이 이루어질 수 있다는 것을 이해할 것이다. 설명 및 (적절한 경우에) 청구항들 및 도면들에 개시된 각각의 특징은 독립적으로 또는 임의의 적절한 조합으로 제공될 수 있다. 청구항들에 나오는 참조 번호들은 예시적일 뿐, 청구항들의 범위에 대해 한정적인 효과를 갖지 않아야 한다.

Claims (10)

  1. 비디오 이미지들의 블러(blur)를 계산하기 위한 방법으로서,
    수평 블러 값을 계산하는 단계;
    적어도 프로그레시브(progressive)/인터레이스드(interlaced) 및 공간 해상도 레벨을 포함하는, 상기 비디오 이미지들의 특성 파라미터들을 결정하는 단계;
    상기 비디오 이미지들이 프로그레시브인 경우, 수직 블러 값도 계산하여 이를 상기 수평 블러 값과 결합하는 단계; 및
    사전 정의된 최소(min) 및 최대(max) 값들에 따라 상기 수평 블러 값 또는 상기 결합된 수평 및 수직 블러 값을 정규화하는 단계
    를 포함하고, 상기 최소 및 최대 값들은 상기 공간 해상도 레벨에 적응되는, 비디오 이미지들의 블러 계산 방법.
  2. 제1항에 있어서, 수평 블러 값을 계산하는 단계는 수직 MB 에지들의 중심들(P_h1) 주위의 이미지 영역들에 대해 수행되는 비디오 이미지들의 블러 계산 방법.
  3. 제1항 또는 제2항에 있어서, 수직 블러 값을 계산하는 단계는 수평 MB 에지들의 중심들(P_v1) 주위의 이미지 영역들에 대해 수행되는 비디오 이미지들의 블러 계산 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 블러 값을 계산하는 단계는 현재 픽셀 주위의 로컬 분산(local variance)을 계산하는 단계를 포함하는 비디오 이미지들의 블러 계산 방법.
  5. 제4항에 있어서, 제2항을 다시 참조할 때, 상기 수평 블러 값에 대한 상기 로컬 분산은 수직선 상의 픽셀들 및 수평선 상의 픽셀들로부터 계산되고, 상기 수직선으로부터보다 상기 수평선으로부터의 더 많은 픽셀이 사용되고, 수평 MB 에지의 상기 중심은 양 선들의 멤버인 비디오 이미지들의 블러 계산 방법.
  6. 제4항 또는 제5항에 있어서, 상기 로컬 분산이 최대 임계치 위이거나 최소 임계치 아래인 경우에 상기 현재 픽셀은 블러 계산으로부터 배제되는 비디오 이미지들의 블러 계산 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 비디오 이미지들의 상기 특성 파라미터들 중 하나 이상은 사용자 인터페이스를 통해 또는 사용자 인터페이스를 통해 입력된 후에 메모리로부터 얻어지는 비디오 이미지들의 블러 계산 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 비디오 이미지들의 상기 특성 파라미터들 중 하나 이상은 비디오 디코더로부터 기계 인터페이스를 통해 얻어지는 비디오 이미지들의 블러 계산 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 비디오 이미지들의 상기 특성 파라미터들 중 하나 이상은 상기 비디오 이미지들과 관련된 메타데이터를 통해 얻어지는 비디오 이미지들의 블러 계산 방법.
  10. 제1항 내지 제9항 중 어느 한 항에의 방법을 이용하여 비디오 이미지들의 블러를 계산하기 위한 장치.
KR1020127009171A 2009-10-10 2009-10-10 비디오 이미지들 내의 블러를 계산하기 위한 방법 및 장치 KR101643026B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2009/001132 WO2011041922A1 (en) 2009-10-10 2009-10-10 Method and device for calculating blur in video images

Publications (2)

Publication Number Publication Date
KR20120095859A true KR20120095859A (ko) 2012-08-29
KR101643026B1 KR101643026B1 (ko) 2016-08-10

Family

ID=43856351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127009171A KR101643026B1 (ko) 2009-10-10 2009-10-10 비디오 이미지들 내의 블러를 계산하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US8823873B2 (ko)
EP (1) EP2486732B1 (ko)
JP (1) JP5363656B2 (ko)
KR (1) KR101643026B1 (ko)
CN (1) CN102598687B (ko)
BR (1) BR112012008431A2 (ko)
WO (1) WO2011041922A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9497468B2 (en) 2009-03-13 2016-11-15 Thomson Licensing Blur measurement in a block-based compressed image
TWI462054B (zh) * 2012-05-15 2014-11-21 Nat Univ Chung Cheng Estimation Method of Image Vagueness and Evaluation Method of Image Quality
CN104469345B (zh) * 2014-12-10 2016-05-11 北京理工大学 一种基于图像处理的视频故障诊断方法
CN104780310A (zh) * 2015-01-27 2015-07-15 深圳市中瀛鑫科技股份有限公司 一种图像模糊的检测方法、系统及摄像机
WO2016154366A1 (en) * 2015-03-23 2016-09-29 Arris Enterprises, Inc. System and method for selectively compressing images
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
CN105069783B (zh) * 2015-07-23 2019-03-01 北京金山安全软件有限公司 一种模糊图片识别方法及装置
CN106851261A (zh) * 2017-02-23 2017-06-13 中国矿业大学 一种基于gop的视频质量评价方法
JP6924896B2 (ja) * 2018-03-30 2021-08-25 富士フイルム株式会社 画像のレイアウト・サイズ算出装置および方法ならびに画像のレイアウト・サイズ算出プログラムおよびそのプログラムを格納した記録媒体
CN113688850A (zh) * 2020-05-14 2021-11-23 武汉Tcl集团工业研究院有限公司 一种图像处理的方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137046A (ja) * 1991-11-12 1993-06-01 Canon Inc スチルビデオカメラ
JP2003179951A (ja) * 2001-12-11 2003-06-27 Sharp Corp 画質評価装置
US7257273B2 (en) * 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
US20090154841A1 (en) * 2007-12-17 2009-06-18 Electronics And Telecommunications Research Institute Apparatus and method for transforming image in mobile device

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5153711A (en) * 1991-09-16 1992-10-06 The Grass Valley Group, Inc. Recursive video hue rotations to obtain a rainbow-like decaying after-image
EP1538843A3 (en) 1994-04-20 2006-06-07 Oki Electric Industry Company, Limited Image Encoding and Decoding Method and Apparatus Using Edge Synthesis and Inverse Wavelet Transform
JPH07296159A (ja) 1994-04-22 1995-11-10 Oki Electric Ind Co Ltd 疑似中間調２値画像の多値画像推定装置
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5974159A (en) * 1996-03-29 1999-10-26 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two image sequences
JP3305576B2 (ja) 1996-06-26 2002-07-22 シャープ株式会社 画質測定方法
US6690427B2 (en) * 2001-01-29 2004-02-10 Ati International Srl Method and system for de-interlacing/re-interlacing video on a display device on a computer system during operation thereof
US7099518B2 (en) 2002-07-18 2006-08-29 Tektronix, Inc. Measurement of blurring in video sequences
US7466870B2 (en) * 2003-01-16 2008-12-16 Acoustic Technology Llc Apparatus and method for creating effects in video
CN100546396C (zh) * 2003-02-21 2009-09-30 大塚电子株式会社 评估移动图像显示质量的测量系统
JP4286068B2 (ja) 2003-06-03 2009-06-24 大塚電子株式会社 画面の動画質評価方法
US7428997B2 (en) * 2003-07-29 2008-09-30 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
US20050105819A1 (en) * 2003-11-13 2005-05-19 Microsoft Corporation Quick blur approximation
SG147459A1 (en) 2003-12-16 2008-11-28 Agency Science Tech & Res Image and video quality measurement
US8077998B2 (en) * 2004-01-05 2011-12-13 Production Resource Group, Llc Reduced complexity and blur technique for an electronic lighting system
US20080226152A1 (en) * 2004-02-23 2008-09-18 Koninklijke Philips Electronics, N.V. Determining Image Blur in an Imaging System
US8184923B2 (en) * 2004-04-19 2012-05-22 Semiconductor Energy Laboratory Co., Ltd. Image analysis method, image analysis program, pixel evaluation system having the image analysis method, and pixel evaluation system having the image analysis program
JP4487805B2 (ja) 2004-11-16 2010-06-23 セイコーエプソン株式会社 画像評価方法、画像評価装置、及び印刷装置
JP4580356B2 (ja) * 2006-03-08 2010-11-10 大塚電子株式会社 動画応答曲線の測定方法及び装置
JP2008109545A (ja) 2006-10-27 2008-05-08 Sharp Corp 画像ブレ検出装置並びにこれを備えた画像ブレ補正装置、固体撮像装置、及び電子機器
JP2008165734A (ja) * 2006-12-06 2008-07-17 Seiko Epson Corp ぼやけ判定装置、ぼやけ判定方法および印刷装置
US20080137982A1 (en) * 2006-12-06 2008-06-12 Ayahiro Nakajima Blurring determination device, blurring determination method and printing apparatus
CN100559881C (zh) 2008-05-09 2009-11-11 中国传媒大学 一种基于人工神经网络的视频质量评价方法
US9497468B2 (en) * 2009-03-13 2016-11-15 Thomson Licensing Blur measurement in a block-based compressed image
US8203615B2 (en) * 2009-10-16 2012-06-19 Eastman Kodak Company Image deblurring using panchromatic pixels
US8330827B2 (en) * 2009-11-19 2012-12-11 Eastman Kodak Company Increasing image resolution using combined differential image
JP5137046B1 (ja) 2012-05-31 2013-02-06 株式会社イースティル 系列データ保護方法および系列データ保護プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137046A (ja) * 1991-11-12 1993-06-01 Canon Inc スチルビデオカメラ
US7257273B2 (en) * 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
JP2003179951A (ja) * 2001-12-11 2003-06-27 Sharp Corp 画質評価装置
US20090154841A1 (en) * 2007-12-17 2009-06-18 Electronics And Telecommunications Research Institute Apparatus and method for transforming image in mobile device

Also Published As

Publication number Publication date
BR112012008431A2 (pt) 2017-06-13
WO2011041922A1 (en) 2011-04-14
CN102598687A (zh) 2012-07-18
KR101643026B1 (ko) 2016-08-10
JP5363656B2 (ja) 2013-12-11
JP2013507799A (ja) 2013-03-04
EP2486732B1 (en) 2016-04-20
US20120268652A1 (en) 2012-10-25
US8823873B2 (en) 2014-09-02
CN102598687B (zh) 2014-11-26
EP2486732A4 (en) 2013-04-17
EP2486732A1 (en) 2012-08-15

Similar Documents

Publication Publication Date Title
KR101643026B1 (ko) 비디오 이미지들 내의 블러를 계산하기 위한 방법 및 장치
US9584814B2 (en) Content adaptive background foreground segmentation for video coding
US8514941B2 (en) Method and apparatus for motion vector processing
US10893283B2 (en) Real-time adaptive video denoiser with moving object detection
KR101097673B1 (ko) 화질 개선을 위한 노이즈 검출 및 평가 기술
US8244054B2 (en) Method, apparatus and integrated circuit capable of reducing image ringing noise
KR101761928B1 (ko) 블록 기반 압축 이미지 내의 블러 측정
KR20070116717A (ko) 압축된 디지털 이미지의 ｍｐｅｇ 노이즈 강도 측정 방법및 장치
US20080246885A1 (en) Image-processing method and device
WO2006010276A1 (en) Apparatus and method for adaptive 3d artifact reducing for encoded image signal
Forchhammer et al. No-reference analysis of decoded MPEG images for PSNR estimation and post-processing
Li et al. Multi-channel mixed-pattern based frame rate up-conversion using spatio-temporal motion vector refinement and dual-weighted overlapped block motion compensation
US20100322304A1 (en) Multi-source filter and filtering method based on h.264 de-blocking
Grbić et al. Real-time video freezing detection for 4K UHD videos
Wang et al. Support vector regression based video quality prediction
JP5234812B2 (ja) 映像品質推定装置、方法、およびプログラム
KR20100016803A (ko) 내용 적응적 해상도 비디오 압축을 위한 영상 분석 장치 및방법
Lin et al. A video de-interlacing with precise interfield information by hybrid scene change detection
Zhu et al. Distinguish True or False 4K Resolution Using Frequency Domain Analysis and Free-Energy Modelling
KR20110060190A (ko) 비디오 컨텐츠의 비트율 산출 방법 및 장치
Zhou et al. Efficient adaptive MRF-MAP error concealment of video sequences
JP2006304096A (ja) 順次走査変換装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant