KR101172057B1 - 이미지 분석 장치 및 방법 - Google Patents

이미지 분석 장치 및 방법 Download PDF

Info

Publication number
KR101172057B1
KR101172057B1 KR1020060000979A KR20060000979A KR101172057B1 KR 101172057 B1 KR101172057 B1 KR 101172057B1 KR 1020060000979 A KR1020060000979 A KR 1020060000979A KR 20060000979 A KR20060000979 A KR 20060000979A KR 101172057 B1 KR101172057 B1 KR 101172057B1
Authority
KR
South Korea
Prior art keywords
image
pixel
coefficient
high frequency
video
Prior art date
Application number
KR1020060000979A
Other languages
English (en)
Other versions
KR20060080551A (ko
Inventor
진-이베스 바본니우
재키 디에우메가르드
올리비아 르 메우어
Original Assignee
넥스트림 프랑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넥스트림 프랑스 filed Critical 넥스트림 프랑스
Publication of KR20060080551A publication Critical patent/KR20060080551A/ko
Application granted granted Critical
Publication of KR101172057B1 publication Critical patent/KR101172057B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 비디오 이미지를 분석하는 방법 및 장치에 관한 것이다. 본 발명에 따라, 상기 장치는, 이미지의 고주파 성분을 획득하는 수단, 상기 고주파 성분을 기초로 고주파 이미지를 획득하는 수단, 상기 고주파 이미지의 각 픽셀에 대한 분산을 계산하는 수단, 상기 분산의 함수로서 계수를 이미지의 각 픽셀과 관계시키는 수단을 포함하고, 상기 계수는 인간의 눈에 대한 시각적 민감도를 나타낸다.
비디오, 이미지, 고주파, 계수, 픽셀, 분산, 민감도

Description

이미지 분석 장치 및 방법{DEVICE AND METHOD FOR ANALYSING IMAGES}
도 1은 본 발명에 따른 예시적 장치를 도시하는 도면.
도 2는 고주파 이미지의 가중 계수의 계산에 사용되는, 콘트라스트에 대한 민감도 곡선을 도시하는 도면.
도 3은 본 발명에 따른 장치의 예시적 응용예를 도시하는 도면.
도 4는 본 발명에 따른 예시적 과정을 도시하는 도면.
<도면의 주요 부분에 대한 부호의 설명>
5: 웨이블릿 분석
6: 합
7: 분산 계산
8: 고정 존 검출
9: k 계산
본 발명은 이미지를 분석하는 장치 및 방법에 관한 것이다.
이미지 코딩 장치는 이들이 저감된 시간적 또는 공간적 엔트로피를 프로세싱 하면서 이미지를 코딩함에 따라 매우 효율적이다.
따라서, 상기 이미지 코딩 장치는, 이미지가 더 바람직한 코딩이 되도록 하는 방식으로 이미지를 프로세싱하는 이미지 전처리(pre-processing) 장치와 종종 관련이 있다.
비디오 전처리의 목적은 관련 코딩 시스템의 성능을 향상시키는 것으로서, 이것은 두가지 방식, 즉, 동일한 쓰루풋(throughput)에 대하여 코딩/디코딩 이미지의 품질을 향상시키거나 또는 동일한 이미지 품질에 대하여 코딩 쓰루풋을 감소시키는 형태로 나타날 수 있다.
그러나, 임의의 프로세싱 동작은 과도하게 가시적인 방식으로 이미지의 선명도(definition)를 감소시키는 경향이 있다; 따라서, 이들 결점을 최상으로 회피하기 위해 이들 프로세싱 동작을 효과적으로 제어하는 것이 잇점이 있다.
공간 필터를 제어하는 종래의 과정은 종종, 프로세싱될 이미지의 시퀀스가 글로벌 방식으로 특징지워지고 필터의 심도(severity)는 그 결과의 함수로서 조정되는 것이 일반적이다.
따라서, 본 발명은, 픽셀 레벨에서, 공간축에서 동작하는, 임의의 선명도 또는 엔트로피 저감 시스템의 로컬 제어를 제안한다.
이러한 목적을 위해, 본 발명은 비디오 이미지를 분석하는 장치에 관한 것으로, 이미지의 고주파 성분을 획득하는 수단, 상기 고주파 성분을 기초로 고주파 이미지를 획득하는 수단, 상기 고주파 이미지의 각 픽셀에 대한 분산을 계산하는 수 단, 상기 분산의 함수로서 계수를 이미지의 각 픽셀과 관계시키는 수단을 포함하고, 상기 계수는 인간의 눈에 대한 시각적 민감도를 나타내는 것을 특징으로 한다.
본 발명에 따라, 고주파 성분을 획득하는 수단은 상기 비디오 신호의 웨이블릿 변환 수단을 포함한다.
고주파 이미지를 획득하는 수단은, 대각선 윤곽을 나타내는 고주파 이미지에 보다 큰 가중치를 할당하면서, 웨이블릿 변환에 의해 획득된 고주파 이미지에 가중치를 부여하는 수단을 포함하는 것이 이롭다.
특히, 눈은 수평 및 수직 윤곽 보다는 대각선 윤곽에 쉽게 고정되지 않는다. 따라서, 프로세싱 동작을 후속으로 수행할 수 있도록 하기 위해 대각선 윤곽을 나타내는 컴포넌트를 사용하는 것이 잇점이 있다.
바람직한 방식으로, 각 픽셀의 분산을 계산하는 수단은 각 픽셀에 대하여 상기 픽셀을 중심으로 하는 부근을 규정하고 상기 부근에 있는 각 픽셀의 값의 평균 편차를 계산한다.
바람직한 실시예에 따라, 상기 장치는 분산의 스케일을 동일 길이의 스팬(span)으로 슬라이싱(slicing)하는 수단, 상기 계수(k)를 각 픽셀과 관계시키는 수단은 상기 스팬 당 계수에 값을 할당하는 수단을 포함한다.
바람직한 방식에서, 상기 계수(k)를 관계시키는 수단은 이미지의 중심으로부터 현재 픽셀의 거리의 함수로서 상기 계수(k)를 수정한다.
실제로, 눈은 이미지의 중앙 존에 더 오래 머무르므로 이들 존이 선호되어야 한다.
바람직한 실시예에서, 상기 장치는 이미지에서 움직임이 약한 존을 검출하는 수단을 포함한다.
바람직한 방식에서, 각 픽셀에 대하여 상기 계수(k)를 계산하는 수단은, 상기 계수(k)와 관계된 상기 픽셀이 고정 존에 속하는 경우, 상기 계수(k)의 상기 값을 최소값으로 감소시킨다.
이미지의 고정 존은 인간의 눈에 특히 민감한 존이다. 따라서, 이들 존은 민감한 존에 있는 이미지의 품질을 수정하는 프로세싱 동작을 수행하는 것을 회피하는 것이 바람직한 존이다.
본 발명은 또한, 입력 비디오 신호의 엔트로피 저감 수단, 상기 입력 비디오 신호와 엔트로피 저감 후의 비디오 신호 간의 믹싱 연산을 수행하는 수단을 포함하는 비디오 전처리 장치에 관한 것으로, 상기 비디오 전처리 장치는 청구범위 제1항 내지 제8항 중 어느 한 항에 따른 장치를 포함하고, 상기 계수(k)는 믹싱 수단에서 입력 비디오 신호와 엔트로피 저감 후의 비디오 신호 간 가중치를 부여한다.
본 발명은 또한 비디오 코딩 장치에 관한 것으로서, 이 장치는 청구범위 제1항 내지 제8항 중 어느 한 항에 따른 비디오 이미지를 분석하는 장치를 포함하고, 상기 계수(k)는 상기 코딩 장치에 의해 적용되는 압축률을 조정하는 것을 가능하게 한다.
본 발명은 또한 디지털 워터마킹 장치에 관한 것으로서, 이 장치는 청구범위 제1항 내지 제8항 중 어느 한 항에 따른 비디오 이미지를 분석하는 장치를 포함하고, 상기 계수(k)는 상기 워터마킹을 포함하는 이미지의 존을 결정하는 것을 가능 하게 한다.
본 발명은 또한 비디오 이미지를 분석하는 방법에 관한 것으로서, 이 방법은, 이미지의 고주파 성분을 획득하는 단계, 상기 고주파 성분을 기초로 고주파 이미지를 획득하는 단계, 상기 고주파 이미지의 각 픽셀에 대하여 분산을 계산하는 단계, 이미지의 각 픽셀에 대하여 계수(k)를 상기 분산의 함수로서 관계시키는 단계를 포함하고, 상기 계수는 인간의 눈에 대하여 각 픽셀의 시각적 민감도를 나타낸다.
본 발명은 첨부된 도면을 참조하여 예시적이고, 잇점이 있으며 전체적으로 비한정적인 모드의 실시예에 의해 보다 잘 이해될 수 있고 이들을 통해 설명될 것이다.
도시된 모듈은 기능 유닛으로서, 이들은 물리적으로 구별가능한 유닛이거나 그렇지 않은 유닛일 수 있다. 예를 들면, 이들 모듈 또는 그들 중 일부는 단일 컴포넌트 내에서 함께 그룹핑되거나, 또는 하나의 소프트웨어의 기능성을 구성할 수 있다. 역으로, 임의의 모듈은 개별 물리적 엔티티로 구성될 수 있다.
전코딩(precoding) 장치의 입력부에서의 비디오 신호(Sid)는 인터레이스된(interlaced) 형태의 비디오 신호이다.
전코딩 장치의 성능을 향상시키기 위해, 비디오 신호(Sid)는 디인터레이스된다(deinterlaced). 디인터레이서(deinterlacer)는 비디오 신호(Si)의 세개의 연속 프레임에 기초하여 당업자에 공지된 디인터레이싱 과정을 사용함으로써 비디오 신 호의 프레임 당 라인의 수를 두배로 한다. 다음에, 프레임식 비교를 후속적으로 수행가능하게 하는 이미지의 완전한 수직 선명도를 각각 포함하는 프로그레시브(progressive) 프레임을 얻고, 여기에서 두개의 연속 프레임의 각 라인들은 이미지에서 공간적으로 동일 위치에 있다.
웨이블릿 분석 모듈(5)은 비디오 신호(Si)를 서브대역으로 디인터레이스된 이미지의 다양한 주파수 성분을 분리한다.
이 웨이블릿 분석 모듈은 두개의 일차원적(mono-dimensional) 필터, 즉, 저역 통과 필터와 고역 통과 필터를 비교한다.
이들 두개의 필터링은 라인 상에서 우선적으로 수행되고 후속적으로 컬럼 상에서 수행된다.
상기 필터링에 따라, 네개의 이미지가 이용가능하다:
- 저주파수에 대한 이미지,
- 높은 수직 주파수에 대한 이미지(HFV),
- 높은 수평 주파수에 대한 이미지(HFH),
- 높은 대각 주파수에 대한 이미지(HFD).
세개의 고주파 서브이미지(HFV, HFH, HFD)는 이들을 합산하는 모듈(6)로 전송된다. 특히, 여기에서, 우리는 눈(eye)의 특성을 사용한다. 눈은 큰 공간 주파수를 갖는 이미지의 존에서의 열화에 대해 민감함이 덜하다. 큰 공간 주파수로 특징지워지는 텍스처(texture)는 마스킹 신호로서 동작하고, 따라서, 임의의 열화를 마스크하는 것을 가능하게 한다. 따라서, 큰 공간 주파수를 갖는 존이 챠트화된다 (charted). 따라서, 이들 존에서, 예를 들면, 비디오 코딩 애플리케이션에서, 이미지의 엔트로피를 저감하는 것이 가능하고 따라서 이미지가 눈에 대해 시각적으로 열화됨이 없이 쓰루풋을 저감할 수 있다.
모듈(6)은 이들 세개의 서브이미지의 가중합을 계산하여 HF 이미지를 얻는다.
가중합은, 눈이 수평 및 수직 윤곽에 대한 것 보다 대각선 윤곽에 대해 쉽게 고정되지 않는 인간의 시각 시스템의 특성에 기초한다. 눈의 민감도는 이방성이다.
따라서, 가중치 부여에 있어서는, HFV 및 HFD 서브이미지보다 더 큰 가중치를 부여할 수 있으므로 HFD 서브이미지를 선호한다.
이미지 HF = (A * HFV) + (B * HFH) + (C * HFD), 여기에서 C>B 및 C>A.
계수 A, B, C는 다음의 값, 즉, A=0.25, B=0.25, C=0.5로 실험적으로 정의된다.
또 다른 실시예에서, 계수 A, B, C는 CSF("contrast sensitivity function"의 두문자어) 곡선을 사용하여 정의될 수 있다. 그러한 곡선의 예가 도 2에 정의되어 있다.
CSF는 신호를 검출할 때 눈의 민감도를 나타낸다(민감도는 사실상 제1 검출을 발생하는 콘트라스트 값의 역이다). 결과적으로, 상기 곡선을 보면 다음을 알 수 있다:
- 민감도는 낮은 수평 및 수직 주파수에 대하여 최대이다. 이것은 저주파수 로 특징지워지는 신호가 약한 콘트라스트를 갖더라도 눈으로 검출가능하다는 것을 의미한다. 주파수가 더 높은 곳에서, 이 콘트라스트 임계값은 강하게 증가한다(제로 민감도),
- 부가적으로, 동일한 주파수에서, 눈은 대각선 주파수에 대한 것보다 수직 및 수평 컴포넌트에 대한 신호를 더 쉽게 검출한다. 그래비티(gravity) 때문에, 눈은 기본적으로 수평/수직 구조에 직면한다. 따라서, 생물학적 시스템은 이들 배향에 대한 과민성을 개발하였다.
본 발명에서, 대각 성분에 대한 검출의 인간의 눈의 약한 민감도는 이미지의 대각 구조를 보다 강하게 열화시키기 위해 고려되었다. 따라서, 가중 파라미터는 다음과 같이 표준화된 CSF 곡선으로부터 추론될 것이다:
A = B = 1 - ValueCSFNorm
C = 1 - ValueCSFNorm.
따라서, 획득된 HF 이미지는, 상기 HF 이미지의 각 픽셀에 대한 분산을 계산하는 모듈(7)로 전송된다.
모듈(7)은 각 픽셀의 부근을 선택한다. 이러한 부근은 현재 픽셀을 중심으로 하는 5*5의 정사각형이다. 다음에, 모듈(7)은 상기 부근에 있는 픽셀들의 휘도의 평균 편차를 계산한다. 이 계산 결과가 분산 이미지로서 256 그레이 레벨의 스케일로 주어지며, 각 픽셀의 크기는 텍스처 레벨을 나타낸다.
획득된 분산 이미지는 이미지의 각 픽셀에 대한 계수(k)를 계산하는 모듈(9)로 전송된다.
계수(k)는 해당 픽셀에 적용될 수 있는 프로세싱의 심도를 나타낸다. 계수(k)를 크게하면 할수록, 해당 픽셀은 더욱 강한 텍스처를 갖는 존 부분을 형성하고, 여기에서 엔트로피의 감소가 코딩을 위해 특히 이로울 것이다.
각 픽셀에 대하여, 획득된 분산과 계수(k) 간에 다음 표에 따른 대응이 이루어진다:
분산 VAR의 값 k의 값
VAR=[0...31] 3/16=Kmin
VAR=[32...63] 4/16
VAR=[64...95] 5/16
VAR=[96...127] 6/16
VAR=[128...159] 8/16
VAR=[160...191] 10/16
VAR=[192...223] 12/16
VAR=[224...255] 14/16
평활화된 맵(map)을 얻기 위해, 부근 픽셀을 고려하는 것이 중요하다. 실제로, 1에 가까운 큰 계수(k)를 갖는 픽셀은 제로 라벨을 갖는 픽셀에 의해 둘러싸일 수 없다. 따라서, 모듈(9)은 이차원 가우스 저역 통과 필터를 계수(k)에 적용한다.
다음의 표에는 계수(k)에 적용될 예시적인 이차원 가우스 필터가 표시되어 있다. 적용될 계수의 값이 5 픽셀 * 5 픽셀의 윈도우에 제공되고, 1/1444의 정규화 인자가 적용된다.
1 9 18 9 1
9 81 162 81 9
18 162 324 162 18
9 81 162 81 9
1 9 18 9 1
모듈(9)은 또한 눈에 특히 민감한 이미지의 중앙 존을 돋보이게 하기 위해 허버(Huber) 가중치를 적용한다.
Kin(x,y)는 가우션 필터 적용에 이어 좌표 (x,y)를 갖는 픽셀에 대한 k의 값으로 정의하고, Kout(x,y)는 허버 가중치를 적용한 후 상기와 동일한 픽셀에 대한 k의 값으로 정의하며, 허버 가중치는,
Figure 112006000559706-pat00001
Figure 112006000559706-pat00002
Figure 112006000559706-pat00003
Figure 112006000559706-pat00004
여기에서, d는 포인트 (x,y)로부터 이미지 (x0,y0)까지의 거리를 나타내고, D는 신호를 감쇠하고자 원하는 것에 기초한 상수를 나타낸다. D는 예를 들면 총 영역의 1/8을 나타내는 이미지의 중앙 존을 정의한다.
따라서, 이미지의 각 픽셀에 대해 획득된 값 Kout(x,y)은 이미지의 고정 존을 검출하는 모듈(8)에 의해 유효하게 된다.
모듈(8)은 이미지의 약한 움직임을 갖는 존과 이미지의 강한 움직임을 갖는 존을 검출한다. 특히, 또 다른 정신-시각적(psycho-visual) 특성은 시간적으로 거의 변하지 않는 존이, 눈이 결점을 최상으로 구별하는 경향이 있는 곳이라는 점이다. 따라서, 이들 존에 있는 픽셀들에 대한 계수(k)는 최소화되어야 한다.
고정 존을 검출하는 모듈(8)은 디인터레이스된 비디오 신호(sid)를 입력으로서 수신한다.
모듈(8)은 이전 프레임에 대하여 현재 프레임의 고정 존을 검출한다.
상기 목적을 위해, 모듈(8)은 신호(Si)를 한 프레임만큼 지연하는 지연 모듈을 포함한다.
고정 존의 검출은 프레임부터 프레임까지 또는 이미지로부터 이미지까지 움직임이 없는 존을 검출하는 것으로 구성된다. 고정 존의 검출은 휘도 정보를 기초로 수행되고 가변 크기의 블록 상에서 수행된다. 각 프레임의 유사 좌표들의 블록 들간의 평균 에러가 계산된다. 이 에러는 상기 고정 존을 유효화하던가 또는 그렇지 않게 하기 위해 소정 임계치와 비교된다. 블록이 크기가 작으면 작을수록, 분석은 정확해지지만, 노이즈에 더 민감하게 된다.
안정도를 보장하기 위해, 고정 존은 이미지의 각 픽셀에 대하여 계산되는 것이 아니라 2*2 픽셀 블록에 대하여 계산된다.
2*2 픽셀 블록에 대하여, 픽셀(0...255)의 스케일로 지칭되는 에러의 평균을 임계치인 6을 초과해서는 안된다.
모듈(8)은 현재 픽셀이 이전 프레임에 비하여 고정된 소위 정지(stationary) 존 부분을 형성한다는 것을 지시하는 신호(ZFT)를 출력한다.
모듈(9)은 다음의 방식으로 신호(ZFT)를 고려한다:
- 각 픽셀이 고정 존에 속하지 않는 경우(ZFT=0), K=Kout,
- 각 픽셀이 고정 존에 속하는 경우, K=Kmin.
도 2는 계산된 계수(k)가 비디오 전처리용으로 사용되는 예시적 실시예를 도시한다.
비디오 신호(Si)는 디인터레이싱 모듈(2)에 의해 디인터레이스된다. 디인터레이싱 모듈(2)은 도 1에 도시된 바와 같이 분석 모듈(1)에 입력되는 디인레이스된 신호(Sid)를 출력한다.
분석 모듈(1)은 이미지의 각 픽셀에 대한 계수(k)를 출력한다.
엔트로피 저감 프로세싱 모듈(3)은 입력으로서 신호(Si)를 수신한다.
엔트로피 저감 프로세싱 모듈(3)은 형태학적 오퍼레이터에 의해 구성되는 것이 바람직하다. 당업자에게 공지된 다양한 방법을 엔트로피 저감에 적용할 수 있다.
믹서 오퍼레이터(4)는 입력으로서 분석 모듈(1)에 의해 제공되는 계수(k) 뿐만 아니라 엔트로피 저감 모듈의 비디오 출력(T)을 수신한다.
믹서 오퍼레이터(4)는 또한 입력으로서 비디오 신호(Si)를 수신한다. 믹서 오퍼레이터는 다음의 연산을 수행한다:
S0=k*T+(1-K)*Si,
여기에서, S0는 믹서 오퍼레이터의 출력이다.
따라서, k의 값이 크면, 본 명세서에서 엔트로피 저감으로 표현되는 비디오 전처리 후의 비디오 신호는 신호(T)에 근접하게 된다. 따라서, 강한 엔트로피 저감은 열화에 덜 민감한 존에 관하여 적용된다.
한편, k의 값이 작으면, 비디오 신호(S0)는 입력 신호에 근사하게 되고 따라서 매우 소규모의 엔트로피 저감을 수행한다. 따라서, 소규모의 엔트로피 저감 열화에 보다 민감한 존에 관하여 적용된다.
디지털 워터마킹 같은 응용예에서, 계수(k)를 사용하여 워터마크를 위치시키기에 바람직한 존에 신호한다. k가 큰 경우, 존은 시각적 열화에 덜 민감하고, 이 경우에, 이 존이 디지털 워터마크를 위치시키기 위해 공정하게 선택될 수 있다.
비디오 코딩 응용예에서, 계수(k)는 특히 눈에 민감한 존에 보다 많은 코딩 리소스를 할당하는 역할을 할 수 있다. 코딩 리소스에 의해, 예를 들면, 보다 민감한 이들 존에 대한 보다 작은 양의 간격의 사용을 고려하는 것이 가능하다.
도 4는 분석 모듈(1)에서 구현되는 본 발명에 따른 예시적 과정을 도시한다.
단계 E1에서, 입력 이미지가 디인터레이스된다. 단계 E2 동안, 디인터레이스된 이미지는 이미지의 고주파 성분을 얻기 위해 웨이블릿들로 분할된다. 이산 코사인 변환과 같은 다른 방법을 사용하여 이미지의 고주파 성분을 얻을 수도 있다.
단계 E3 동안, 이미지의 고주파 성분의 가중합이 도 1에 도시된 바와 같이 계산된다.
단계 E4 동안, 이미지의 각 픽셀의 부근이 선택된다. 바람직한 실시예에 따라, 현재 포인트를 중심으로 하는 부근의 5 * 5 픽셀이 선택된다.
단계 E5 동안, 고주파 이미지의 각 픽셀의 부근에 있는 픽셀의 평균 편차가 계산된다.
단계 E6동안, 사전에 표 1에 나타낸 바와 같이, 픽셀의 분산에 기초하여 각 픽셀에 대해 계수(k)가 계산된다.
단계 E7동안, 부근 픽셀들에 대해 얻어진 k의 값의 함수로서 계수(k)가 평활화된다. 따라서, 계수(k)에 이차원 가우스 저역 통과 필터가 적용된다.
단계 E8동안, 현재 픽셀과 이미지의 중심 간 거리가 측정된다. 특히, 이미지의 중심은 눈이 긴장하게되는 존이므로, 이 존은 이미지 프로세싱에 관하여 조심해서 다루어져야 한다.
단계 E9동안, 움직임 벡터를 계산하고 이전 프레임에 대하여 이미지의 움직임을 평가하기 위해 디인터레이스된 입력 이미지에 프레임의 지연이 적용된다.
단계 E10동안, 이미지에 있는 고정 존은 움직임 정보에 기초하여 검출된다.
단계 E11에서, 현재 픽셀이 고정 존에 속하는지 여부를 확실히 하기 위해 테스트가 수행된다.
테스트가 부정적이라면, 현재 픽셀은 고정 존에 속하는 것이 아니고, 따라서, 단계 E15동안, 상기 픽셀에 대한 계수(k)로는 k의 최소값인 kmin을 취한다.
테스트가 긍정적이라면, 단계 E12로 진행한다. 이 단계 동안, 이미지의 중심과 현재 픽셀 간의 거리를 테스트하는 단계 E12로 진행한다.
거리가 거리(D)보다 작으면, 단계 E13 동안, 상기 픽셀에 관계된 계수(k)에 제로 값이 할당된다.
그렇지 않고, 테스트의 결과가 긍정적이라면, 단게 E14 동안, 다음 값이 계수(k)로 할당된다:
Figure 112006000559706-pat00005
.
따라서, 본 발명은, 픽셀 레벨에서, 공간축에서 동작하는, 임의의 선명도 또는 엔트로피 저감 시스템의 로컬 제어를 할 수 있다.

Claims (12)

  1. 비디오 이미지들을 분석하는 장치(1)로서,
    이미지의 고주파 성분들(HFD, HFH, HFV)을 획득하는 수단(5),
    상기 고주파 성분들(HFD, HFH, HFV)을 기초로 고주파 이미지(HF)를 획득하는 수단(6),
    상기 고주파 이미지(HF)의 각각의 픽셀에 대해 분산(variance)을 계산하는 수단(7),
    상기 분산의 함수로서 계수(k)를 상기 이미지의 각각의 픽셀과 연관시키는 수단(9) - 상기 계수(k)는 인간의 눈에 대한 각각의 픽셀의 시각적 민감도를 나타냄 -
    을 포함하는 것을 특징으로 하는 비디오 이미지 분석 장치.
  2. 제1항에 있어서,
    상기 고주파 성분들(HFD, HFH, HFV)을 획득하는 수단(5)은 상기 비디오 신호의 웨이블릿 변환 수단(5)을 포함하는 것을 특징으로 하는 비디오 이미지 분석 장치.
  3. 제2항에 있어서,
    상기 고주파 이미지(HF)를 획득하는 수단(6)은, 웨이블릿 변환에 의해 획득된 고주파 이미지들에 가중치를 부여하고 대각선 윤곽들을 나타내는 상기 고주파 이미지(HFD)에 더 큰 가중치를 할당하는 수단(6)을 포함하는 것을 특징으로 하는 비디오 이미지 분석 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 각각의 픽셀의 분산을 계산하는 수단(7)은 각각의 픽셀에 대하여 상기 픽셀을 중심으로 하는 이웃(neighbourhood)을 정의(define)하고 상기 이웃에 있는 각각의 픽셀의 값들의 평균 편차를 계산하는 것을 특징으로 하는 비디오 이미지 분석 장치.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    분산들의 스케일을 동일 길이의 스팬(span)들이 되도록 슬라이싱(slicing)하는 수단을 포함하고, 상기 계수(k)를 각각의 픽셀과 연관시키는 수단은 스팬마다 상기 계수에 값을 할당하는 것을 특징으로 하는 비디오 이미지 분석 장치.
  6. 제5항에 있어서,
    상기 계수(k)를 연관시키는 수단은 상기 이미지의 중심으로부터 현재 픽셀까지의 거리의 함수로서 상기 계수(k)를 수정하는 것을 특징으로 하는 비디오 이미지 분석 장치.
  7. 제5항에 있어서,
    상기 이미지에서 서로 다른 레벨의 움직임(different levels of motion)을 갖는 존(zone)들을 검출하는 수단(8)을 포함하는 것을 특징으로 하는 비디오 이미지 분석 장치.
  8. 제7항에 있어서,
    각각의 픽셀에 대하여 상기 계수(k)를 계산하는 수단은, 상기 계수(k)와 연관된 상기 픽셀이, 프레임부터 프레임까지 또는 이미지로부터 이미지까지의 움직임이 미리 정해진 임계치보다 작은 존에 속하는 경우, 상기 계수(k)의 값을 최소값(kmin)으로 감소시키는 것을 특징으로 하는 비디오 이미지 분석 장치.
  9. 들어오는 비디오 신호에 대한 엔트로피 감소 수단(3), 상기 들어오는 비디오 신호(si)와 엔트로피 감소 후의 비디오 신호(T) 간의 믹싱 연산을 수행하는 수단(4)을 포함하는 비디오 전처리 장치로서,
    제1항 내지 제3항 중 어느 한 항에 따른 장치를 포함하고, 상기 계수(k)는 상기 들어오는 비디오 신호(si)와 상기 엔트로피 감소 후의 비디오 신호(T) 간에 가중치 부여를 상기 믹싱 수단(4)에서 실행하는 것을 특징으로 하는 비디오 전처리 장치.
  10. 비디오 코딩 장치로서,
    제1항 내지 제3항 중 어느 한 항에 따른 비디오 이미지 분석 장치(1)를 포함하고, 상기 계수(k)는 상기 코딩 장치에 의해 적용되는 압축률을 조정하는 것을 가능하게 하는 것을 특징으로 하는 비디오 코딩 장치.
  11. 디지털 워터마킹 장치로서,
    제1항 내지 제3항 중 어느 한 항에 따른 비디오 이미지 분석 장치(1)를 포함하고, 상기 계수(k)는 상기 워터마킹을 포함하는 이미지의 존을 결정하는 것을 가능하게 하는 것을 특징으로 하는 디지털 워터마킹 장치.
  12. 비디오 이미지들을 분석하는 방법으로서,
    이미지의 고주파 성분들을 획득하는 단계(E2),
    상기 고주파 성분들을 기초로 고주파 이미지를 획득하는 단계(E3),
    상기 고주파 이미지의 각각의 픽셀에 대해 분산을 계산하는 단계(E5),
    상기 분산의 함수로서 계수(k)를 이미지의 각각의 픽셀과 연관시키는 단계(E6) - 상기 계수는 인간의 눈에 대한 각각의 픽셀의 시각적 민감도를 나타냄 -
    를 포함하는 것을 특징으로 하는 비디오 이미지 분석 방법.
KR1020060000979A 2005-01-05 2006-01-04 이미지 분석 장치 및 방법 KR101172057B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0550026A FR2880498A1 (fr) 2005-01-05 2005-01-05 Dispositif et procede d'analyse d'images
FR05/50026 2005-01-05

Publications (2)

Publication Number Publication Date
KR20060080551A KR20060080551A (ko) 2006-07-10
KR101172057B1 true KR101172057B1 (ko) 2012-08-10

Family

ID=34953905

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060000979A KR101172057B1 (ko) 2005-01-05 2006-01-04 이미지 분석 장치 및 방법

Country Status (6)

Country Link
EP (1) EP1679898A1 (ko)
JP (1) JP4829615B2 (ko)
KR (1) KR101172057B1 (ko)
CN (1) CN100584012C (ko)
FR (1) FR2880498A1 (ko)
TW (1) TWI388199B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4843528B2 (ja) * 2007-03-06 2011-12-21 日本放送協会 動画像空間解像度拡大装置および動画像空間解像度拡大プログラム
CN104504641A (zh) * 2014-12-17 2015-04-08 北京齐尔布莱特科技有限公司 一种在图片中添加水印的方法、装置和计算设备
CN104504640A (zh) * 2014-12-17 2015-04-08 北京齐尔布莱特科技有限公司 一种在图片中添加水印的方法、装置和计算设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5327502A (en) * 1991-01-17 1994-07-05 Sharp Kabushiki Kaisha Image coding system using an orthogonal transform and bit allocation method suitable therefor
US5214507A (en) * 1991-11-08 1993-05-25 At&T Bell Laboratories Video signal quantization for an mpeg like coding environment
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
KR100297830B1 (ko) * 1996-11-09 2001-08-07 윤종용 영상단위별 비트발생량 조절 장치 및 방법
JP3481124B2 (ja) * 1998-03-26 2003-12-22 富士写真フイルム株式会社 画像の粒状推定方法および装置
JP2003032680A (ja) * 2001-07-18 2003-01-31 Canon Inc 画像符号化装置、及び画像符号化方法、並びにプログラムコード、記憶媒体
US7139437B2 (en) * 2002-11-12 2006-11-21 Eastman Kodak Company Method and system for removing artifacts in compressed images
JP2004318423A (ja) * 2003-04-15 2004-11-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム

Also Published As

Publication number Publication date
TW200625934A (en) 2006-07-16
KR20060080551A (ko) 2006-07-10
CN1801937A (zh) 2006-07-12
FR2880498A1 (fr) 2006-07-07
EP1679898A1 (en) 2006-07-12
JP2006191634A (ja) 2006-07-20
TWI388199B (zh) 2013-03-01
JP4829615B2 (ja) 2011-12-07
CN100584012C (zh) 2010-01-20

Similar Documents

Publication Publication Date Title
KR101108435B1 (ko) 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치
EP1146748B1 (en) A method of directional filtering for post-processing compressed video
US7369181B2 (en) Method of removing noise from digital moving picture data
JPH08186714A (ja) 画像データのノイズ除去方法及びその装置
US7697612B2 (en) Image preprocessing with selective lowpass filtering from motion compensation
US20040156559A1 (en) Method and apparatus for measuring quality of compressed video sequences without references
US20100002951A1 (en) Method and apparatus for reducing ringing artifacts
KR101112139B1 (ko) 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
WO2002102086A2 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
US6594400B1 (en) Method of removing block phenomenon and ring phenomenon in compression coded image
WO2004038648A9 (en) Method and decoder system for reducing quantization effects of a decoded image
JP2002535896A (ja) 鮮明度を向上させる方法および装置
US8437403B2 (en) Device and method for analysing images by calculating the variance for each pixel of a high-frequency image
KR101172057B1 (ko) 이미지 분석 장치 및 방법
Zhang et al. Compression artifact reduction with adaptive bilateral filtering
CN106846262B (zh) 去除蚊式噪声的方法及系统
JP2013500624A (ja) ブロックアーティファクト低減器
US8077999B2 (en) Image processing apparatus and method for reducing blocking effect and Gibbs effect
JP4033292B2 (ja) 動画像符号化のための量子化制御方式
JP4065287B2 (ja) 画像データのノイズ除去方法及びその装置
KR100772402B1 (ko) 공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기
Yoo et al. Blind post-processing for ringing and mosquito artifact reduction in coded videos
Ghazal et al. A fast directional sigma filter for noise reduction in digital TV signals
Van Nguyen et al. A novel joint blocking and ringing artifact reduction using advanced Beltrami based texture maps
JP2010193515A (ja) 画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee