KR20040069210A - 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상 - Google Patents

코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상 Download PDF

Info

Publication number
KR20040069210A
KR20040069210A KR10-2004-7010302A KR20047010302A KR20040069210A KR 20040069210 A KR20040069210 A KR 20040069210A KR 20047010302 A KR20047010302 A KR 20047010302A KR 20040069210 A KR20040069210 A KR 20040069210A
Authority
KR
South Korea
Prior art keywords
frame
coding gain
digital video
pixel
sharpness enhancement
Prior art date
Application number
KR10-2004-7010302A
Other languages
English (en)
Inventor
양위빈
보로크즈키릴라
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040069210A publication Critical patent/KR20040069210A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

디지털 비디오 시스템에서 적어도 하나의 프레임을 대표하는 코딩된 디지털 비디오 신호의 화질을 향상시키는 방법 및 시스템이 제공되며, 코딩된 디지털 비디온 신호에 적용되는 선명도 향상에 관한 한계를 식별하는 유용성 메트릭을 생성하는 단계, 상기 프레임에서 로컬 공간 특징들을 정의하는 단계와, 상기 프레임의 프레임 타입을 식별하는 단계를 포함한다. 유용성 메트릭는 수학식 1과 같다: 여기서, UME는 유용성 메트릭(220)이고, q_scale은 매크로블록의 양자화 배율이고, num_bits는 루미넌스 블록을 엔코딩하는 비트들의 개수이고, max는 상기 프레임의 최대 값을 나타내는 함수이고, M 및 N은 배율 계수들이다. 상기 방법은, 상기 프레임 타입에 다라 상가 유용성 메트릭 및 상기 로컬 공간 특징들에 기초하여 상기 프레임의 각 픽셀의 상기 코딩 이득을 계산하는 단계를 포함하며, 또한 적어도 하나의 선명도 향상 알고리즘에 상기 코딩 이득을 적용하는 단계와, 엔코딩 아티팩트들을 향상시키지 않고 선명도 향상 알고리즘의 적용에 의해 향상된 디지털 비디오 신호를 생성하는 단계를 포함한다.

Description

코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오 신호들의 후처리에서의 선명도 향상{Sharpness enhancement in post-processing of digital video signals using coding information and local spatial features}
셋톱 박스들, 하이-엔드 TV들, 디지털 TV들, 개인용 TV들, 기억장치 제품들, PDA들, 무선 인터넷 장치들 등과 같은 고품질 멀티미디어 장치들의 발전으로 아키텍처들이 다양해지게 되고, 이러한 장치들의 새로운 특징들에 보다 많이 개방되어 있다. 또한, 이러한 새로운 제품들 및 임의 포맷으로 비디오 데이터를 디스플레이하는 그것들 성능의 발전으로, 비디오 처리 및 비디오 향상 알고리즘들에 관하여 새로운 요구 사항들 및 기회들이 초래된다.
MPEG(동화상 전문가 그룹) 비디오 압축은 현재 및 최근에 만들어진 제품들에 많이 사용된다. MPEG는 디지털 텔레비전 셋톱 박스들, DSS, HDTV 디코더들, DVD 플레이어들, 비디오 회의, 인터넷 비디오, 및 다른 어플리케이션들의 중심에 있다.이러한 어플리케이션들은, 달성된 비디오 정보에 대하여 보다 적은 저장 스페이스를 요구하고, 한 포인트에서 다른 포인트로의 비디오 정보 전송 또는 양쪽의 결합에 보다 적은 대역폭을 필요로 하기 때문에 비디오 압축에 유익하다. 이러한 장치들의 대부분은 MPEG-2 포맷으로 비디오를 수신 및/또는 저장한다. 미래에는, 그것들은 MPEG-4 포맷으로 비디오를 수신 및/또는 저장하게 된다. 이러한 MPEG 소스들의 화질은 크게 변화할 수 있다.
휴먼 비주얼 시스템에서의 연구는 눈이 루미넌스 변화에 보다 민감하고, 크로미넌스의 변경들에 덜 민감한 것을 보여주고 있다. MPEG는 루미넌스 및 크로미넌스 정보에 대한 눈의 상이한 민감도를 효과적으로 이용하는 컬러 스페이스에 동작한다. 따라서, MPEG는 RGB 대신에 데이터 값들을 나타내는 YCbCr 컬러 값 스페이스를 사용한다; 여기서, Y는 Y=0.299R+0.587G+0.114B가 되도록 결정되는 루미넌스 성분이고, Cb는 블루 컬러 차 성분이며, 여기서 Cb=B-Y이고, Cr은 레드 컬러 차 성분이며, 여기서, Cr=R-Y이다.
MPEG 비디오는 예를 들면, 오디오 비트-스트림에 있어서 에러 처리, 랜덤 서치 및 편집, 동기화를 돕도록 레이어들 계층으로 배열된다. 제 1 레이어, 또는 상부 레이어는 비디오 시퀀스 레이어로서 공지되고, 임의 자체-포함되는 비트스트림, 예를 들면 코딩된 영화, 광고 또는 만화이다.
제 1 레이어 아래의 제 2 레이어는 영상들 그룹(GOP)이며, 그것은 하나 또는 그 이상의 인트라(I) 프레임들 및/또는 넌-인트라(P 또는 B) 영상들로 구성된다. I 프레임들은 엄격하게 인트라 압축되며, 비디오에 랜덤 액세스 포인들을 제공한다. P 프레임들은 모션-보상된 순방향-예측-코딩된 프레임들이며, 그것은 인터-프레임 압축되고, 통상적으로 I 프레임들보다 더 많은 압축을 제공한다. B 프레임은 모션-보상된 양방향-예측-코딩된 프레임들이며, 그것은 인터-프레임 압축되고, 통상적으로 최상의 압축을 제공한다.
제 2 레이어 아래의 제 3 레이어는, 그 자체가 영상 레이어이다. 제 3 레이어 아래의 제 4 레이어는 슬라이스 레이어로 칭해진다. 각각의 슬라이스는 래스터 주문 매크로블록들의 연속 시퀀스이며, 매우 종종 통상의 비디오 어플리케이션들의 로우 베이시스(row basis)에 있다. 슬라이스 구조는 에러들의 발생 시에 디코딩을 허용하도록 의도된다. 각각의 슬라이스는 매크로블록들로 구성되며, 그것은 관련 크로미넌스 픽셀들의 (포맷에 의존하는) 2개의 8x8 어레이들을 구비하는, 루미넌스 픽셀들의 16x16 어레이들 또는 영상 데이터 요소들이다. 매크로블록들은 또한 변환 코딩과 같은 그 이상의 처리에 대하여 별개의 8x8 블록들로 분할될 수 있다. 매크로블록은 YCbCr 컬러 스페이스로 언급되는 경우 몇 가지 상이한 방법들에서 나타날 수 있다. 사용되는 3가지 포맷들은 4:4:4, 4:2:2, 및 4:2:0 비디오로 알려져 있다. 4:2:2는 4:4:4의 크로미넌스 정보의 절반을 포함하며, 그것은 전 대역폭 YCbCr 비디오이고, 4:2:0은 크로미넌스 정보의 4분의 1을 포함한다. 루미넌스 및 크로미넌스 표시의 효과적인 방법 때문에, 4:2:0 표시는 12 블록들/매크로블록에서 6블록들/매크로블록으로의 즉각적인 데이터 감소를 허용한다.
I 프레임들은 P와 B 프레임들에서 비교되는 바와 같이 적당한 압축만을 제공하며, 여기서 MPEG는 그것의 최대 압축 효율을 도출한다. 효율은 모션 보상 기초예측으로 칭해지는 기술을 통해 달성되며, 그것은 일시적인 리던던시(redundancy)를 사용한다. 프레임들이 밀접히 관련되기 때문에, 현재 영상이 이전 시간의 영상의 변환으로서 모델링될 수 있다고 가정된다. 이전 프레임의 데이터에 기초하여 한 프레임의 데이터를 정확하게 예측하는 것이 가능하다. P 프레임들에서, 각각의 16x16 크기의 매크로블록은 이전 엔코딩된 I 또는 P 영상의 매크로블록들에서 예측된다. 프레임들이 무빙 오브젝트의 시간에서 스냅숏이기때문에, 2개 프레임들의 매크로블록들은 동일 공간 로케이션에 대응하지 않는다. 엔코더는 현재 매크로블록들내에 포함되는 정보에 가까운 정합인 다른 매크로블록 로케이션들에 대하여 절반의 픽셀 증분들에서 이전의 프레임(P-프레임들, 또는 B-프레임들에 대한 전후 프레임들)을 찾게 된다. 인용되는 매크로블록에서 최상 정합 매크로블록들의 수평 및 수직 방향의 변위는 모션 벡터들로 칭해진다. 현재 블록과 정합 블록간의 차 및 모션 벡터는 엔코딩된다. 모션 벡터들은 또한 파괴되는 데이터의 경우 모션 예측에 사용될 수도 있고, 복잡한 디코더 알고리즘들은 에러 취소에 상기 벡터들을 사용할 수 있다. B 프레임들에 대하여, 예측 및 보간에 기초하는 모션 보상은 각 프레임의 한 측에 나타나는 참조 프레임들을 사용하여 실행된다.
블루-레이저-기초 디지털 비디오 레코더(DVR)같은 차세대 기억 장치들은 어느 정도까지의 HD(고해상도)(ATSC) 기능을 가지며, 영상을 향상시키는 새로운 방법이 촉진될 수 있는 디바이스 형태의 예이다. HD 프로그램은 통상적으로 20Mb/s에서 방송되고 MPEG-2 비디오 표준에 따라 엔코딩된다. DVR의 약 25Gb 기억 용량을 고려할 경우, 이것은 대략 디스크당 HD 비디오의 2시간 기록 시간을 나타낸다. 이러한기록 시간을 증가시키기 위하여, 몇 가지 롱-플레이 모드들은, 예를 들면 롱-플레이(LP) 및 확장-롱-플레이(ELP) 모드들과 같이 정의될 수 있다.
LP-모드에 대하여, 평균 기억 비트레이트는 대략 10Mb/s일 거라고 가정되며, HD에 대하여 2배의 기록 시간을 허용한다. 결국, 트랜스코딩은 비디오 처리 체인의 정수 부분이며, 20Mb/s의 방송 비트레이트를 10Mb/s의 기억 비트레이트로 감소시킨다. MPEG-2 트랜스코딩동안에, 비디오의 화질(예를 들면, 선명도)은 아마 감소된다. 그러나, 특히 LP 모드에 대하여, 포스트-처리는 감지되는 화질을 향상시키는데 중요한 역할을 한다.
지금까지, 대부분의 최신 선명도 향상 알고리즘이 개발되어, NTSC(National Television System Committee:국제 텔레비전 시스템 위원회), PAL(Phase Alternation Line:위상 변경 선로) 및 SECAM(Systems Equential Couleur A Memoire)과 같은 아날로그 비디오 전송 표준 방식에 최적화된다. 종래에, 이미지 향상 알고리즘들은 영상의 원하지 않은 종횡비들을 감소시키거나(예를 들면, 잡음 감소), 또는 이미지의 요구되는 특징들을 향상시킨다(예를 들면, 선명도 향상). 이러한 최근 만들어진 기억 장치들에 대하여, 종래의 선명도 향상 알고리즘들은, 이러한 소스들의 상이한 특성들 때문에 MPEG 엔코딩되거나 또는 트랜스코딩된 비디오에 대하여 차선으로 실행할 수 있다. 기억 시스템의 폐쇄 비디오 처리 체인에서, 엔코딩된 소스의 품질을 결정하는 것을 허용하는 정보는 MPEG 스트림으로부터 도출될 수 있다. 이러한 정보는 잠재적으로 비디오 향상 알고리즘들의 성능을 향상시키는데 사용될 수 있다.
화질이 하이-엔드 비디오 제품들의 식별 인자를 남겨두기 때문에, 특히 이러한 소스들에 사용되는 비디오 향상을 실행하는 새로운 방법들은 유익하게 된다. C-J Tsai, P. Karunaratne, N. P. Galasano, 및 A. K. Katsaggelos, "압축 비디오 향상 알고리즘", Proc. of IEEE, ICIP'99, 코베, 일본, 1999년 10월 25-28일에서, 저자들은 낮은 비트 레이트들로 엔코딩된 비디오 시퀀스들을 향상하는 반복 알고리즘을 제안한다. MPEG 소스들에 대하여, 화질의 저하는 양자화 함수로부터 대부분 생성된다. 따라서, 상기 저자들에 의해 사용되는 반복 경사 투영 알고리즘은, 그것의 비용 함수에서 양자화 단계 크기, 매크로블록 타입들 및 포워드 모션 벡터들과 같은 코딩 정보를 사용한다. 알고리즘은 낮은 비트레이트 비디오에 대한 유망한 결과들을 보여주지만, 상기 방법은 높은 계산 복잡도로 표시된다.
B. Martins, S. Forchammer, "MPEG-2 코딩된 비디오의 향상된 디코딩", Proc. of IBC'2000, 암스테르담, 네덜란드, 2000년 9월 7-12일, pp.109-115에서, 저자들은 MPEG-2 코딩된 비디오의 디코딩을 향상시키는 새로운 개념을 기술한다. 특히, 디코딩 처리에 통합되는 디인터레이싱 및 포맷 변환의 통합 방법이 제안된다. 이러한 기술에 의해 통상의 디코딩에 의해 얻어지는 것보다 상당히 더 뛰어난화질이 발생한다. 그러나, 지금까지, 그것의 계산 복잡도는 소비자 어플리케이션들에서 그것의 실행을 방해한다.
양쪽의 논문는 MPEG 코딩 정보 및 비용 함수를 사용하는 비디오 향상 알고리즘들을 기술한다. 그러나, 이러한 양쪽 시나리오들은 향상 및 비용 함수를 결합하는데, 비실용적이다. 비용 함수는 영상에서 얼마나 많은 향상이, 어떤 위치에서 적용될 수 있는 지를 결정한다. 비용 및 향상 함수들의 이러한 결합으로 초래되는 문제점은 오직 한 알고리즘만이 비용 함수에 사용될 수 있다는 것이다.
또한, 선명도 향상 알고리즘들을 향상시키고자 하는 이전의 시도들은 MPEG 비트스트림으로부터의 코딩 정보만을 사용하였다. 이전의 선명도 향상 알고리즘들은 I, P, B 프레임들과 같은 상이한 영상 타입들 사이에서 구별하지 않는다. 따라서, 코딩 아티팩트들을 갖는 영상 부분과 아티팩트가 없는 부분들이 구별되지 않으므로, 최적의 선명도 향상 결과는 달성되지 않는다. 그 결과는 차선의 선명도 향상일 수 있다.
본 발명은 코딩 정보 및 로컬 공간 특징들을 이용하여 디지털 비디오 신호의 품질을 향상시키는 시스템 및 방법에 관한 것이다. 본 발명의 시스템 및 방법은 엔코딩 아티팩트를 향상시키지 않고 엔코딩 또는 트랜스코딩된 디지털 비디오의 선명도를 향상시킨다.
도 1은 본 발명의 시스템 및 방법을 포함하는 예시적인 디지털 텔레비전 세트의 블록도.
도 2는 본 발명의 유용성 메트릭 생성기 및 코딩 이득 제어 블록을 구성하는 적응형 피킹 유닛의 바람직한 실시예를 도시하는 블록도.
도 3은 본 발명에 따라 사용되는 선명도 향상 알고리즘의 다른 실시예를 도시하는 블록도.
도 4는 본 발명의 유용성 메트릭 생성기 및 코딩 이득 제어 블록을 구성하는 적응형 피킹 유닛의 또 다른 바람직한 실시예를 도시한는 블록도.
도 5는 I-프레임의 코딩 이득을 계산하는 방법을 도시하는 흐름도.
도 6은 P-프레임의 코딩 이득을 계산하는 방법을 도시하는 흐름도.
도 7은 본 발명의 동작에 관한 방법의 바람직한 실시예를 도시하는 흐름도.
본 발명의 목적 및 이점들은, 본 발명의 실시예에 의해서 알 수 있게 될 뿐만 아니라, 이하의 상세한 설명에서 설명되고, 그로부터 명백해진다. 본 발명의 추가적인 이점들은, 첨부되는 도면들로부터 뿐만 아니라 본 발명의 기술 및 청구범위에서 특히 지적되는 방법 및 시스템들에 의해 실현되고 달성되게 된다.
따라서, 본 발명의 목적은, 낮은 비트 레이트에서 높은 비트레이트까지 광범위한 디지털 압축 비디오 소스들의 선명도 향상 알고리즘을 이용함으로써 코딩된 디지털 비디오 신호의 화질을 향상시키는 시스템 및 방법을 제공하는 것이다.
본 발명의 또다른 목적은, 상이한 영상 타입들 사이에서 구별되는 선명도 향상 알고리즘을 사용하여 보다 최적인 선명도 향상 결과를 달성함으로써 코딩된 디지털 비디오 신호의 화질을 향상시키는 시스템 및 방법을 제공하는 것이다.
본 발명의 또다른 목적은, 보다 높은 시간 일관성을 달성하는 선명도 향상알고리즘을 사용함으로써 코딩된 비디오 신호의 화질을 향상시키는 시스템 및 방법을 제공하는 것이다.
본 발명의 또다른 목적은, 양에 관한 인덱스, 예를 들면 어느 픽셀이 향상시키는데 양호한 후보자인지와 특정 픽셀을 얼마만큼 향상시킬 것인지를 결정하는 이득을 정의하도록, 로컬 공간 특징들에 관하여 엔코딩된 비트스트림에서 코딩 정보를 사용하는 선명도 향상 알고리즘을 이용함으로써 코딩된 디지털 비디오 신호의 화질을 향상시키는 시스템 및 방법을 제공하는 것이다.
상기 및 다른 이점들을 달성하기 위하여, 구체화되고 광범위하게 기술되는 본 발명의 목적에 따라서, 본 발명은 디지털 비디오 시스템에서 적어도 하나의 프레임을 대표하는 코딩된 비디오 신호의 화질을 향상시키는 방법을 제공한다. 이 방법은: 코딩된 디지털 비디오 신호에 적용되는 선명도 향상에 관한 한계를 식별하는 유용성 메트릭(usefulness metric)을 생성하는 단계와, 프레임에서 로컬 공간 특징들을 정의하는 단계 및 프레임에 대한 프레임 타입을 식별하는 단계를 포함한다. 또한, 프레임 타입에 따라 유용성 메트릭 및 로컬 공간 특징들에 기초하여 프레임의 각 픽셀의 코딩 이득을 계산하고, 적어도 하나의 선명도 향상 알고리즘에 그 코딩 이득을 적용하는 단계를 포함한다. 마지막으로, 상기 방법은, 선명도 향상 알고리즘의 적용에 의해 향상된 디지털 비디오 신호를 생성하는 단계를 포함한다.
본 발명은 또한 적어도 하나의 프레임을 대표하는 코딩된 디지털 비디오 신호의 선명도를 향상시키는 시스템을 포함한다. 이 시스템은: 코딩된 비디오 신호에서 통계 정보를 선택하고 추출하는 선택기와, 디코딩 이후의 상기 코딩된 디지털비디오 신호에 대하여 유용성 메트릭을 생성하는 유용성 메트릭 생성기를 포함한다. 유용성 메트릭은 디코딩된 비디오 신호에 적용되도록 선명도 향상에 관한 한계를 정의한다. 또한, 시스템은 프레임의 로컬 공간 특징들을 정의하는 수단들과, 프레임에 대한 프레임 타입을 식별하는 수단들을 포함한다. 또한, 시스템은, 프레임 타입에 따라 로컬 공간 특징들 및 유용성 메트릭에 기초하여 프레임의 각 픽셀의 코딩 이득을 계산하는 수단들과, 상기 코딩 이득에 기초하여 신호의 선명도를 향상시키도록 디코딩된 디지털 비디오 신호에 선명도 향상 알고리즘을 적용하는 선명도 향상기를 포함한다.
전술된 일반적인 기술 및 이하의 상세한 기술 양자는 예시적인 것이며, 본 발명의 그 이상의 설명을 제공하도록 의도됨을 이해하게 된다.
상기 상세에 포함되고 그것의 일부를 구성하는 첨부 도면들은, 본 발명의 방법 및 시스템을 기술하도록 포함되고, 그것의 이해를 제공한다. 상세한 설명과 함께, 도면들은 본 발명의 원리를 설명하는데 제공된다.
본 발명의 바람직한 실시예들, 첨부 도면에 기술되는 일례에 관하여 상세하게 참조되게 된다. 본 발명의 방법 및 그에 대응하는 단계들은 시스템의 상세한 설명과 함께 기술되게 된다.
본 발명의 시스템 및 방법의 원리들을 기술하기 위해 도 1 내지 도 7, 다양한 실시예들은 이하에서 논의되는 도 1 내지 도 7, 본 발명의 다양한 실시예들은 일례로서만 기술될 뿐 본 발명의 범위를 한정하는 임의 방법으로 구성되지 않는다. 본 발명의 시스템 및 방법은, 디지털 텔레비전 세트에서 코딩된 디지털 비디오 신호의 화질을 향상시키는 시스템 및 방법으로서 기술되게 된다. 본 발명의 시스템 및 방법은 디지털 텔레비전 세트들에 한정되지 않음을 실현하는 것이 중요하다. 본 발명의 원리들이 또한, 제한없이 텔레비전 리시버들, 셋톱 박스들, 기억 장치들, 컴퓨터 비디오 디스플레이 시스템들, 및 디지털 비디오 신호들을 이용하거나 또는 처리하는 임의 타입의 전자 장비를 포함하는 임의 타입의 디지털 비디오 시스템에 성공적으로 적용될 수 있음을 당업자는 이해하게 된다. 용어 "디지털 비디오 시스템"은 지금 또는 미래에 이용 가능한 상기 및 다른 동일한 타입들의 장비를 언급하는 것으로 사용된다. 이하의 설명들에서, 디지털 텔레비전 세트는 디지털 비디오 시스템의 한 대표적인 기술로서 사용된다.
도 1은 본 발명의 장치 및 방법을 이용하는 디지털 텔레비전 세트(100)가 블록도이다. 디지털 텔레비전 세트(100)는, 텔레비전 리시버(110) 및 디스플레이 유닛(115)을 포함한다. 디스플레이 유닛(115)은 비디오 이미지들을 디스플레이하는 음극선관 또는 플랫 패널 디스플레이 또는 임의 타입의 장비일 수 있다. 텔레비전 리시버(110)는 텔레비전 신호들을 수신하는 안테나(105)를 포함한다. 안테나(105)는 튜너(120)에 결합된다. 튜너(120)는 중간 주파수("IF") 처리기(125)에 결합된다. 여기서 구체화되는 IF 처리기(125)는 디코더(130)에 결합된다. 본 발명이 MPEG 디코더를 도시하고 있지만, 본 발명은 MPEG 타입 엔코딩/디코딩 어플리케이션들에 한정되지 않는다. 본 발명의 다른 실시예들에 따르면, 임의 블록 기초 압축 스킴들, 예를 들면 JPEG(정지 화상 압축 표준 방식), MPEG-1, 2, 4(디지털 비디오 표준 방식), H.261, H.263(비디오 회의 표준 방식) 및 다른 것들이 사용될 수 있다. 이러한 표준 방식에서, 2-차원(2D) DCT(이산 코사인 변환)는 압축되는 이미지의 픽셀들의 8x8 블록들에 적용된다. DCT에 의해 생성되는 64(8x8=64) 계수들은 실제 압축을 제공하도록 양자화된다. 통상의 이미지들에서, 픽셀들의 8x8 블록에서 DCT로부터의 대부분의 DCT 계수들은 작고, 양자화 이후에 제로가 된다. 리얼 월드 이미지들에서 DCT의 이러한 특징은 압축 스킴들에 중요하다.
본 발명에 따라, 방법 및 그에 대응하는 시스템은 디지털 비디오 시스템에서 적어도 하나의 프레임을 대표하는 코딩된 디지털 비디오 신호의 화질을 향상시키는데 제공된다. 이하에서 상세하게 기술되는 바와 같이 상기 방법은 통상적으로, 코딩된 디지털 비디오 신호에 적용되도록 선명도 향상에 관한 한계를 식별하고, 프레임의 타입을 식별하는 유용성 메트릭을 생성하는 단계를 포함한다. 코딩 이득은, 프레임 타입에 따라 로컬 공간 특징들 및 유용성 메트릭에 기초하여 프레임의 각 픽셀에 대하여 계산된다. 계산된 경우, 그 코딩 이득은 향상된 디지털 비디오 신호를 생성하도록 적어도 하나의 선명도 향상 알고리즘에 적용된다.
도 7은 본 발명의 방법에 관한 바람직한 실시예를 기술하는 흐름도이다. 구체화되는 상기 방법의 단계들은 이하에서 보다 상세하게 기술되게 된다. 한 프레임(프레임 "t")을 처리하기 위해 코딩 이득을 계산하는 방법은 번호 700으로 통상 표시된다. 우선, 코딩 정보가 얻어진다(단계 705). 그런 다음, 프레임의 UME 및 로컬 공간 특징들이 본 발명에 따라 계산된다(단계들 710, 715).
상기 방법은 식별되는 프레임 타입에 따라 로컬 공간 특징들 및 유용성 메트릭에 기초하여 프레임의 각 픽셀의 코딩 이득을 계산하는 단계(단계 720)를 또한 포함한다.
마지막으로, 상기 방법은, 적어도 하나의 선명도 향상 알고리즘에 상기 코딩 이득을 적용하고, 상기 선명도 향상 알고리즘의 적용에 의해 향상된 디지털 비디오 신호를 생성하는 단계를 포함한다.
명료하기 위하여, 상기 시스템 및 방법은 도면들을 참조하여 기술되게 된다. 본 발명은 비디오 신호 품질을 향상시키는 향상된 유용성 메트릭(UME)을 생성한다. MPEG 디코더(130)의 출력은 적어도 하나의 선명도 향상 알고리즘의 적용을 위해 포스트-처리 회로들(135)에 결합된다. 예를 들면, 한정되지 않고, 포스트 처리 회로들(135)은 본 발명의 유용성 메트릭(UME)을 포함하는 적응형 피킹 유닛(140)을 포함한다. 적응형 피킹 유닛(140)은 포스트-처리 회로들(135)내에서 적절한 위치에 배치된다. 포스트-처리 회로들(135)의 출력은 디스플레이 유닛(115)에 입력된다.
본 명세서에서 구체화되는 바와 같이, 기술 목적으로, 적응형 피킹 유닛(140)은 MPEG 디코더(130)로부터 수신되는 비디오 신호들을 처리한다. 적응형 피킹 유닛(140)은 이러한 예에서 UME를 사용하여, 적응형 피킹 처리에 사용되는 코딩 이득의 값을 생성한다. 적응형 피킹 처리는, 본 발명의 UME가 어떻게 사용되는 지를 예시적으로 보여주고 있다. 본 발명의 시스템 및 방법은 적응형 피킹의 처리에 한정되지 않음을 이해하게 된다. UME는 비디오 향상 알고리즘의 한 선택 타입이상으로 사용될 수 있다.
적응형 피킹 유닛(140)은, 픽셀 루미넌스 값들의 변경과 같은 로컬 공간 특징들뿐만 아니라 비디오 신호의 코딩된 정보를 고려하는 방법으로 비디오 신호들을 처리한다. 적응형 피킹 유닛(140)의 출력은 적응형 피킹 유닛(140)이 MPEG 디코더(130)으로부터 수신하는 비디오 신호들의 향상된 루미넌스 신호이다. 적응형 피킹 유닛(140)에 의해 결정되는 루미넌스 신호는, 이하에서 기술되는 종래의 적응형 피킹 유닛들에 의해 제공되는 것보다 더 정확하고 시각적으로 뚜렷한 비디오 이미지를 제공한다. 적응형 피킹 유닛(140)은 포스트 처리 회로(135)내의 다른 회로들로 향상된 루미넌스 신호를 전송한다. 포스트-처리 회로들(135)은 비디오 신호들의 품질을 향상시키도록 향상된 루미넌스 신호를 이용할 수 있다.
포스트-처리 회로들(135)은 몇 개의 상이한 타입들의 비디오 신호 처리를 실행할 수 있다. 예를 들면, 비디오 신호 처리 어플리케이션들의 일부에는, (a) 노이즈 레벨 적응형 노이즈 감소 알고리즘들, (b) 노이즈 레벨 적응형 선명도 향상, (c) 노이즈 레벨 적응형 루미넌스-크로미넌스 분리, (d) 노이즈 레벨 적응형 모션 검출, (e) 노이즈 레벨 적응형 모션 평가 및 보상, (f) 노이즈 레벨 적응형 업-변환, (g) 노이즈 레벨 적응형 특징 향상, (h) 노이즈 레벨 적응형 오브젝트 기초 알고리즘들이 있다.
도 2는 본 발명의 한 바람직한 실시예에 따른 적응형 피킹 유닛(140)의 시스템 및 방법을 기술하는 블록도이다. 도 2는 본 발명의 향상용 유용성 메트릭이 향상용 적응형 피킹 알고리즘에 적용될 수 있는 방법을 도시하고 있다. 당업계에서 공지되어 있는 적응형 피킹 알고리즘은 입력 루미넌스 신호(210)의 과도 크기를 증가시키는 것에 관련된다. 적응형 피킹 알고리즘은 통상적으로 "우선(priori)" 엔코딩/트랜스코딩된 비디오 소스에 대하여 항상 최적의 비디오 품질을 제공하는 것은 아니다. 이것은 주로 MPEG 소스의 특징들이 고려되지 않고 있다는 사실의 결과이다.
본 발명에서, 유용성 메트릭 생성기(215)는 유용성 메트릭(UME)을 생성한다. UME는 참조 번호 220으로 표시된다. UME(220)는 양자화 파라미터 및 매크로블록을 엔코딩하는데 소비되는 비트의 개수와 같은 MPEG 소스의 특징들을 고려한다. 오리지널 알고리즘은 UME(220)을 사용함으로써 확장되며, 이것에 의해 적응형 피킹 알고리즘의 성능을 상당히 증가시킨다.
적응형 피킹 알고리즘들에 의해 사용되는 원리들은 종래에 공지되어 있다. 적응형 피킹 알고리즘의 일례는 4개의 픽셀-기초 제어 블록들을 이용한다. 도 2에 도시되는 바와 같이, 4개 제어 블록들은, 콘트라스트 제어 블록(225), 동적 범위의 제어 블록(230), 클리핑 방지 블록(235), 및 적응형 코어링 블록(240)이다. 콘트라스트 제어 블록(225)은, 이득 신호 "g1"을 생성한다. 동적 범위 제어 블록(230)은 이득 신호 "g2"를 생성한다. 클리핑 방지 블록(235)은 이득 신호 "g3"을 생성한다. 적응형 코어링 블록(240)은 이득 신호 "g4"를 생성한다. 이러한 4개의 픽셀 기초 제어 블록들은 콘트라스트, 동적 범위, 및 노이즈 레벨과 같은 비디오 신호의 특정 로컬 특징들을 고려한다. 그러나, 이러한 4개의 제어 블록들은 픽셀 루미넌스 값들의 변경과 같은 비디오 신호의 정보 관련 코딩 특성들 및 로컬 공간 특징들을 고려하지 않는다.
본 발명의 시스템은 코딩 이득 블록(245)을 제공한다. 코딩 이득 블록(245)은 이하에서 논의되는 바와 같이 용인 가능한 피킹 양을 결정하는데 로컬 공간 특징들뿐만 아니라 유용성 메트릭(UME; 220)을 사용한다. 코딩 이득 블록(245)은 이득 신호 "gcoding"을 생성한다. 동적 이득 제어 블록(250)은 5개의 이득 신호들(g1, g2, g3, g4, gcoding) 중 최소의 신호를 선택하여, 최종 이득 신호 "g"를 생성하게 된다. 곱셈기 회로(255)는 2D 피킹 필터(260)에 의해 필터링되는 하이 패스 신호에 최종 이득 신호 "g"을 곱한다. 가산기(265)는 루미넌스 입력 신호(210)에 의해 표시되는 픽셀의 오리지널 루미넌스 값에 곱셈기 회로(255)로부터의 결과를 가산한다. 이 방법에서, 향상된 루미넌스 출력 신호(270)가 생성된다. 이러한 함수들 각각은 공지된 적정 구성 소자들에 의해 실행될 수 있다.
일례 목적으로 한정되지 않도록, 도 3은 본 발명에 따라 코딩된 디지털 비디오의 선명도를 향상시키는 통상의 시스템을 도시한다. 상기 시스템은 입력 비디오 신호(210)를 필터링하는 하이 패스 필터(260)와, 본 발명의 임의 방법을 통해서 결정되는 코딩 이득(258)에 하이 패스 필터링된 신호를 곱하는 곱셈기를 포함한다. 곱셈은 이득 제어된 신호를 생성한다. 상기 시스템은 또한 입력 비디오 신호(210)를 이득 제어된 신호에 가산하고, 입력 신호(210)에 비해 향상된 화질을 갖는 향상된 루미넌스 출력 신호(270)를 생성하는 가산기(265)를 포함한다.
도 4에서, UME(220)는 코딩 아티팩트들의 증가시키지 않고도 픽셀 또는 영역이 얼마나 많이 향상될 수 있는 지를 (픽셀 단위 기초 또는 영역 기초에 대하여) 계산한다. UME(220)는 비트스트림에 나타나는 MPEG 코딩 정보로부터 도출된다. 비트스트림에 나타나는 코딩 정보는 코딩 절차동안에 검색될 수 있다. UME(220)는 비디오의 공간-시간 특징들 또는 화질의 인디케이션을 제공한다.
본 발명에 따라, 디코딩 동안에 직접 얻어지는 MPEG 정보의 최종 세분성은 (1)매크로블록(MB) 수량들, 또는 (2)블록 기초 수량에 기초한다. 그러나, 공간(픽셀) 도메인 비디오 향상을 위하여, UME는 최고 화질을 보증하기 위하여 영상의 각 픽셀에 대하여 계산되어야 한다.
MPEG 정보로부터 용이하게 추출되는 한 파라미터는, 그것이 모든 코딩된 매크로블록(MB)에 나타나는 경우 양자화 파라미터(q_scale)이다. 양자화 파라미터가높을수록, 양자화는 대략적이게 되며, 따라서 양자화 에러는 높아지게 된다. 높은 양자화 에러는 코딩 아티팩트들을 초래하게 된다. 결국, 높은 양자화 파라미터를 갖는 매크로블록(MB)의 픽셀들의 향상은 보다 많이 억제될 수 있다.
정보의 또다른 유용한 아이템은 매크로블록(MB) 또는 블록을 코딩하는데 소비되는 비트들의 개수(num_bits)이다. 통상적으로, 블록을 엔코딩하는데 소비되는 비트들이 적을수록, 블록의 질은 낮아진다. 그러나, 이러한 수량(num_bits)은 또한 장면 콘텐트, 비트레이트, 프레임 타입(예를 들면, I(인트라), P(예측), B(양방향 예측) 프레임 타입들), 모션 추정, 및 모션 보상에 상당히 의존한다.
또한, 블록에서 기존의 DCT 계수들의 분배를 고려할 수 있다. 게다가, 모션 벡터들은 향상되는 비디오의 시간 특징들에 관한 정보를 얻는데 사용될 수 있다. MPEG 엔코딩에 대하여 추정되고 사용되는 모션 벡터들이 비디오에서 진실 모션을 반드시 나타내는 것은 아닌 것으로 잘 알려져 있다. 그러나, 모션 벡터들은 정적 영역들을 식별하는 것과, 모션 벡터들이 신뢰성이 없을 경우에도 프레임에서 프레임으로의 향상의 시간 일관성을 증가시키는데 정적 영역들을 사용하는 것을 돕는다.
양자화 파라미터(q_scale)와 (매크로블록(MB) 또는 블록을 코딩하는데) 소비되는 비트들 개수(num_bits) 모두는 MPEG 엔코딩의 레이트 제어 계산들에 광범위하게 사용된다.
보다 많은 양자화 파라미터 값이 보통 증가된 코딩 아티팩트들을 야기하기 때문에, UME은 통상적으로 양자화 파라미터(q_scale)에 역으로 관련된다
전술된 바와 같이, 본 발명의 방법 및 시스템은 코딩된 디지털 비디오 신호에 적용되는 선명도 향상에 관한 한계를 식별하는 유용성 메트릭을 생성한다. 본 발명의 양호한 실시예에 따르면, 이하의 등식은 UME를 생성하는데 사용될 수 있다:
여기서, UME는 유용성 메트릭이고, q_scale는 매크로블록의 양자화 배율이고, num_bits는 루미넌스 블록을 엔코딩하는 비트들의 개수(즉, 루미넌스 블록의 DCT 블록의 AC 계수들을 코딩하는 비트들의 개수)이고, max는 전체 프레임의 최대 값을 나타내고, M, N은 실험적으로 결정되는 배율 계수들이다. N 계수는 q_scale 값들의 범위 내에 있다. M 계수는 사용자의 주체 인식에 달려있다. 예를 들면, 보다 강한 선명도 향상을 위하여, M 계수는 낮게 되지만, 사용자가 보다 적게 첨예한 이미지를 선호하는 경우, M 계수는 증가될 수 있다. 가능한 M 값들은 1, 2, 4, 8, 등이다.
본 발명의 한 바람직한 실시예에서, UME의 값은 "0"의 값 내지 "1"의 값의 범위 내에 있을 수 있다. UME의 "0"의 값은, 어떠한 선명도 향상도 특정 픽셀에 대하여 허용되지 않음을 의미하고, "1"의 값은 픽셀이 임의 코딩 아티팩트들을 향상시키는 위험없이 자유롭게 향상될 수 있음을 의미한다.
본 발명의 양호한 실시예에서, 수학식 1의 UME는 각각의 블록에 대하여 계산된다.
본 발명의 양호한 실시예에 따라, UME 및 로컬 공간 특징들 모두는 첨에도 향상 알고리즘에 사용되는 코딩 이득을 계산하는데 사용된다. 따라서, 본 발명은 비디오 신호의 각 프레임의 로컬 공간 특징들을 정의하는 것을 포함한다.
도 4에 도시된 바와 같이, 본 명세서의 실시예에 있어서, 로컬 공간 특징은 계산기(247)에 의해 정의된다. 본 발명의 양호한 실시예에서, 로컬 공간 특징은 nxn 픽셀들에 걸친 nxn 윈도상의 각 픽셀의 루미넌스 값의 변이로서 정의된다. 변이은 다음과 같이 정의된다:
여기서, q=(n-1)/2, pix(i+k,j+m)는 위치(i+k,j+m)의 픽셀 값이고, mean은 상기 nxn 윈도상의 평균 픽셀 값이다. 용어 i, j는 픽셀의 오리지널 좌표이고, k, m은 변위 값들이다.
대안으로, 로컬 공간 특징은 영역(텍스처 또는 플레인 영역들) 맵으로 정의될 수 있다.
UME가 코딩 특징들을 고려하도록 계산되기 때문에, UME는 블록킹 및 링깅과 같이 코딩 아티팩트들의 향상을 방해한다. 따라서, 지나치게 많은 향상을 적용하는 것으로부터 야기되는 넌-코딩 근원의 아티팩트들의 방해 또는 감소는 선명도 향상 알고리즘의 다른 부분들에 의해 처리된다.
본 발명에 따라, 코딩 이득은 로컬 공간 특징들 및 UME에 기초하여 프레임의각 픽셀에 대하여 계산되고, 적어도 하나의 선명도 향상 알고리즘에 적용된다. 예를 들면, UME는 임의 피킹 알고리즘과 결합될 수 있다. 또는, UME는 임의 공간 도메인 선명도 향상 알고리즘에 적용될 수 있다. 또한, 적응형 피킹 알고리즘과 협력하여 코딩 정보 및 로컬 공간 특징들만을 이용하는 것이 가능하다.
도 4는 이러한 실시예를 도시한다. 도 4에서, 도 2의 4개의 제어 블록들(225, 230, 235, 240)은 생략된다. 오직 코딩 이득 블록(245)만이 남게 된다. 코딩 이득은 상이한 영상 타입들사이에서 차별화함으로써 UME 및 로컬 공간 특징들을 이용하여 계산된다. 로컬 공간 특징 계산기(247)는 소프트웨어 또는 하드웨어 또는 양자에서 실행될 수 있다. MPEG 비트스트림 경우에서, 상이한 영상 타입들은 I, P, B이다.
I(또는 인트라 코딩된) 프레임들은 시퀀스의 임의 다른 프레임을 참조하지 않고도 단일 프레임을 압축하는데에만 DCT 엔코딩을 사용한다. P(또는 예측된) 프레임들은 최후 I 또는 P 프레임에서 차로서 코딩된다. 새로운 P-프레임은 최후 I 또는 P 프레임을 취하고 각각의 새로운 픽셀의 값들을 예측함으로써 우선 예측된다. 결국, P-프레임은 통상적으로 I-프레임들보다 나은 압축 비율을 제공한다. B(또는 양방향) 프레임들은 최후 또는 다음 I 또는 P 프레임에서 차로서 코딩된다. B-프레임들은 P-프레임들과 동일한 예측을 사용하지만, 둘 중 하나 또는 둘 모두의 각각의 블록에 대하여, 이전의 I 또는 P 프레임이 사용되거나 또는 다음 I 또는 P 프레임이 사용된다. P, B 프레임들 모두는 모션 예측 및 DCT 엔코딩을 사용하지만, B-프레임들은 통상적으로 P-프레임들에 비해 향상된 압축을 가진다. 왜냐하면, 이전 또는 다음 프레임이 비교에 취해지는 지를 모든 매크로블록에 대하여 선택하는 것이 가능하기 때문이다.
본 명세서에서 구체화되고 본 발명의 양호한 양상에 따라, 기술 목적으로, 코딩 이득은 프레임이 I-프레임 또는 B-프레임인지를 따라 상이하게 계산되게 된다.
도 5에 기술되는 바와 같이, 예를 들면, I-프레임에 대하여, 조건 C1이 충족되는 경우, UME는 수학식 1에 따라 계산되고, 코딩 이득은 UME와 동일하게 세팅된다. 조건은 다음과 같이 정의된다: ((var>VAR_THREAD) 및 (num_bits≠0)), 여기서 var은 로컬 공간 특징이며, VAR_THREAD는 미리정해진 변이 임계치이고, num_bits는 루미넌스 블록을 엔코딩하는데 사용되는 비트들의 개수이다. 반대로, 조건 C1이 충족되지 못하는 경우, 코딩 이득은 0으로 세팅되어, 입력 신호는 변경되지 않는다.
특히, 로컬 공간 특징이 미리정해진 변이 임계치보다 큰 경우와, 루미넌스 블록을 엔코딩하는 비트들의 개수가 0이 아닌 경우에, UME는 수학식 1에 따라 계산되고, 코딩 이득은 UME와 동일하다. 로컬 공간 특징이 미리정해진 변이 임계치보다 크지 않거나 또는 루미넌스 블록을 엔코딩하는 비트들의 개수가 제로인 경우에, 코딩 이득은 0과 같다.
MPEG-2 비디오 압축 표준 방식은, 어떠한 데이터도 갖지 않는 P(예측) 및 B(양방향 예측) 영상들에서 임의 매크로블록(MB) 및 블록들의 엔코딩을 허용한다. 이러한 매크로블록들은 "스킵" 매크로블록들로 칭해진다. 스킵 매크로블록들(MB)은 가장 최근에 코딩되고 넌-스킵 매크로블록들(MB)에서 참조 영상들 및 코딩 정보를사용하여 디코딩 절차에서 재구성될 수 있다. 또한, 전체 모션 보상되는 매크로블록들(MB)에 대하여, 비트스트림에 어떠한 DCT 데이터도 없거나 또는 매크로블록(MB)의 임의 블록들이 코딩되지 않는다.
따라서, P-프레임에 대하여 코딩 이득을 계산하는 알고리즘은 도 6에 도시된다. 매크로블록이 스킵되는 경우, (즉, 매크로블록의 4개 루미넌스 블록들이 스킵되는 경우) 코딩 이득은 당업계에서 공지되어 있는 모션 벡터에 기초하여 참조 프레임으로부터 검색된다. 그러나, 매크로블록이 스킵되지 않는 경우, 조건 C2는 평가되어야 한다. 조건 C2가 (var<=VAR_THREAD)로 정의된다. 따라서, 로컬 공간 특징(var)이 미리정해진 변이 임계치(VAR_THREAD) 보다 큰 경우, 코딩 이득은 모션 벡터를 사용함으로써 참조 프레임으로부터 검색된다. 반대로, 로컬 공간 특징(var)이 미리정해진 변이 임계치(VAR_THREAD)와 같거나 또는 작은 경우, 코딩 이득은 0으로 세팅된다. 인트라-엔코딩된 블록들에 대하여, 모션 벡터들은 (0,0)으로 지정된다.
B-프레임에 대하여, 이전 참조 프레임의 코딩 이득 맵은 지정되는 코딩 이득이다. 대안으로, P-프레임에 사용되는 동일 절차는 B-프레임에 적용될 수 있다.
더 나아가, 본 발명에 따라, 코딩 이득은 향상된 디지털 비디오 신호를 생성하도록 적어도 하나의 선명도 향상 알고리즘에 적용된다. 도 4에서, 상기에서 계산된 코딩 이득은 곱셈기 회로(255)를 사용하여 하이 패스 필터(260)의 출력에 곱해진다. 그 결과는 가산기(265)에 의해 오리지널 루미넌스 입력 신호(210)에 가산되어 향상된 루미넌스 출력 신호(270)를 생성한다.
예를 들어 기술을 위해 도면들을 참조하여, 선명도 향상 알고리즘은 도 3에 기술되는 바와 같이 코딩 이득에 적용된다. 본 발명의 바람직한 실시예에서, 사용되는 하이 패스 필터는 다음과 같을 수 있다:
,
여기서, k는 0 내지 1 범위의 배율 계수, 즉 (0,1)이며, 따라서 0을 포함하지 않지만, 1을 포함한다. 계수 k는 통상적으로 사용자의 주체 인식에 의존한다. 보다 첨예한 이미지들에 있어서, k는 증가된다.
도 3에 도시되는 선명도 향상 알고리즘의 결과는 이하와 같다:
out_pixel=input_pixel+mpeg_gain*convolution_result
여기서, out_pixel은 픽셀에 사용되는 최종 루미넌스 값이고, input_pixel은 입력 픽셀의 루미넌스 값이며, mpeg_gain은 코딩 이득이고, convolution_result는 하이 패스 필터 출력이다. 선명도 향상 알고리즘 결과의 신호 표현은 프레임의 각 픽셀에 대하여 공지된 방법으로 생성된다.
또한, 본 발명은, 고화질(HD) 능력들을 가지며 장기간 플레이(LP) 모드를 허용하는 비디오 기억 어플리케이션에서 나타나게 되는 고화질(HD) 및 표준 화질(SD) 시퀀스들에 적용될 수도 있다. 이러한 비디오 시퀀스들 대부분은 방송 MPEG-2 비트스트림들로부터 보다 낮은 기억 비트레이트로 트랜스코딩된다. 이 어플리케이션의 장기간 플레이(LP) 모드에 대하여, 포맷 변경은 또한 트랜스코딩동안에 발생할 수있다. 표준 화질(SD) 또는 고화질(HD) 비디오 시퀀스들은 본 발명에 따라 선명도 향상 알고리즘을 이용하여 엔코딩, 디코딩, 및 처리되고, 코딩 정보를 사용하지 않는 알고리즘에 비해 이전 엔코딩 또는 트랜스코딩된 비디오 시퀀스들에 비해 보다 우수한 비디오 품질을 제공한다.
전술되고 도면에서 도시되는 본 발명의 방법 및 시스템은, 선명도 향상 알고리즘을 사용함으로써 디지털 코딩된 비디오 신호의 품질을 향상시키도록 개선된 방법에 제공한다.
다양한 변경 및 수정들은 본 발명의 사상 또는 범위로부터 이탈하지 않고도 본 발명의 방법 및 시스템에서 행해질 수 있다는 것이 당업자에게 명확해진다. 따라서, 본 발명이 첨부된 청구항의 범위 내에 있는 수정들 및 변경들을 포함하도록 의도된다.

Claims (13)

  1. 디지털 비디오 시스템에서 적어도 하나의 프레임을 대표하는 코딩된 디지털 비디오 신호(210)의 화질을 향상시키는 방법에 있어서,
    상기 코딩된 디지털 비디오 신호에 적용되는 선명도 향상에 관한 한계를 식별하는 유용성 메트릭(220)을 생성하는 단계(710)와;
    프레임내 로컬 공간 특징들(247)을 정의하는 단계(715)와;
    상기 프레임의 프레임 타입을 식별하는 단계와;
    상기 프레임 타입에 따라 상기 로컬 공간 특징들(247) 및 상기 유용성 메트릭(220)에 기초하여 상기 프레임의 각 픽셀의 코딩 이득(258)을 계산하는 단계(720)와;
    적어도 하나의 선명도 향상 알고리즘(725)에 상기 코딩 이득(258)을 적용하는 단계와;
    상기 선명도 향상 알고리즘의 적용에 의하여 향상된 디지털 비디오 신호(270)를 생성하는 단계,
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 적용 단계 동안에 적용되는 상기 알고리즘은,
    out_pixel=input_pixel+mpeg_gain*convolution_result이며:
    여기서,out_pixel은 상기 픽셀에 사용되는 최종 루미넌스 값(270)이고,input_pixel은 입력 픽셀의 루미넌스 값(210)이며,mpeg_gain은 코딩 이득(258)이고,convolution_result는 하이 패스 필터(260) 출력인 방법.
  3. 제1항에 있어서, 상기 생성 단계에서 생성되는 상기 유용성 메트릭(220)은
    이며:
    여기서,UME는 유용성 메트릭(220)이고,q_scale은 매크로블록의 양자화 배율이고,num_bits는 루미넌스 블록을 엔코딩하는 비트들의 개수이고, max는 상기 프레임의 최대 값을 나타내는 함수이고,M, N은 배율 계수들인 방법.
  4. 제1항에 있어서, 상기 정의 단계에 의해 정의되는 상기 로컬 공간 특징(247)은nxn픽셀들에 걸친nxn윈도상의 픽셀 루미넌스 값들의 변이(variance)이며, 상기 변이는 수학식에 따라 정의되며,
    여기서,q=(n-1)/2, pix(i+k, j+m)은 위치(i+k, j+m)의 픽셀 값이고,mean은 상기nxn윈도우상의 평균 픽셀 값인 방법.
  5. 제1항에 있어서, 상기 식별 단계에 의해 식별되는 상기 프레임 타입은 I-프레임이며, 또한 상기 코딩 이득(258)을 계산하는 상기 단계는,
    에 의해 코딩 이득을 계산하는 단계로써,
    여기서, 상기 로컬 공간 특징(247)이 미리정해진 변이 임계치보다 큰 경우와 루미넌스 블록을 엔코딩하는 상기 비트들의 개수가 제로(0)가 아닌 경우에, UME는 유용성 메트릭(220)이고,q_scale은 매크로블록의 양자화 배율이고,num_bits는 루미넌스 블록을 엔코딩하는 비트들의 개수이고, max는 상기 프레임의 최대 값을 나타내는 함수이고, M 및 N은 배율 계수들인, 상기 코딩 이득 계산 단계와,
    로컬 공간 특징(247)이 미리 정해진 변이 임계치보다 크지 않은 경우 또는 상기 루미넌스 블록을 엔코딩하는 상기 비트들의 개수가 제로(0)인 경우에 코딩 이득(258)을 제로(0)로 계산하는 단계를 포함하는 방법.
  6. 제1항에 있어서, 상기 식별 단계에 의하여 식별되는 상기 프레임 타입은 참조 프레임을 사용하는 스킵 및 넌-스킵 블록들을 가지는 P-프레임 또는 B-프레임이며, 또한 상기 코딩 이득(258)을 계산하는 상기 단계는:
    스킵 블록에 대하여 모션 벡터에 기초하는 상기 참조 프레임에서 코딩 이득을 검색하는 단계와;
    상기 로컬 공간 특징(247)이 미리 정해진 변이 임계치와 같거나 또는 작은경우에 넌-스킵 블록에 대하여 코딩 이득(258)을 제로(0)로 계산하는 단계와; 및
    상기 로컬 공간 특징이 미리 정해진 변이 임계치보다 큰 경우에 넌-스킵 블록에 대하여 모션 벡터에 기초하는 상기 참조 프레임에서 코딩 이득을 검색하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 식별 단계에 의하여 식별되는 상기 프레임 타입은 코딩 이득 맵을 이용하여 참조 블록을 가지는 B-프레임이며, 또한 상기 코딩 이득(258)을 계산하는 상기 단계는:
    상기 B-프레임에 대하여 상기 코딩 이득으로서 상기 참조 프레임의 상기 코딩 이득 맵을 카피하는 단계를 포함하는, 방법.
  8. 제2항에 있어서, 상기 하이 패스 필터 출력은 다음 수학식에 의해 정의되며,
    여기서, k는 0 내지 1 범위의 배율 계수인 방법.
  9. 제1항에 있어서, 상기 적용 단계는 상기 선명도 향상 알고리즘(725)로서 피킹 알고리즘을 적용하는 단계를 포함하는, 방법.
  10. 제1항에 있어서, 상기 적용 단계는 상기 선명도 향상 알고리즘(725)로서 공간-도메인 알고리즘을 적용하는 단계를 포함하는, 방법.
  11. 적어도 하나의 프레임을 대표하는 코딩된 디지털 비디오 신호의 선명도를 향상시키는 시스템에 있어서,
    코딩된 디지털 비디오 신호로부터 통계 정보를 선택 및 추출하는 선택기와;
    디코딩 후에 상기 코딩된 디지털 비디오 신호에 대하여 유용성 메트릭(220)을 생성하는 유용성 메트릭 생성기(215)를 포함하며, 상기 유용성 메트릭(220)은 디코딩된 비디오 신호에 적용되는 선명도 향상에 관한 한계를 식별하고;
    상기 프레임의 로컬 공간 특징들(247)을 정의하는 수단들과;
    상기 프레임의 프레임 타입을 식별하는 수단들과;
    상기 프레임 타입에 따라 상기 로컬 공간 특징들(247)과 상기 유용성 메트릭(220)에 기초하여 상기 프레임의 각 픽셀의 코딩 이득(258)을 계산하는 수단들과;
    상기 코딩 이득에 기초하는 상기 신호의 선명도를 향상시키도록 상기 디코딩된 디지털 비디오 신호에 선명도 향상 알고리즘을 적용하는 선명도 향상기(sharpness enhancer),
    를 포함하는, 시스템.
  12. 제11항에 있어서, 상기 선명도 향상 알고리즘(725)은 피킹 알고리즘인, 시스템.
  13. 제11항에 있어서, 상기 선명도 향상 알고리즘(725)은 공간-도메인 알고리즘인, 시스템.
KR10-2004-7010302A 2001-12-27 2002-12-10 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상 KR20040069210A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/029,828 2001-12-27
US10/029,828 US6862372B2 (en) 2001-12-27 2001-12-27 System for and method of sharpness enhancement using coding information and local spatial features
PCT/IB2002/005379 WO2003061295A2 (en) 2001-12-27 2002-12-10 Sharpness enhancement in post-processing of digital video signals using coding information and local spatial features

Publications (1)

Publication Number Publication Date
KR20040069210A true KR20040069210A (ko) 2004-08-04

Family

ID=21851102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7010302A KR20040069210A (ko) 2001-12-27 2002-12-10 코딩 정보 및 로컬 공간 특징을 이용한 디지털 비디오신호들의 후처리에서의 선명도 향상

Country Status (7)

Country Link
US (1) US6862372B2 (ko)
EP (1) EP1461959A2 (ko)
JP (1) JP2005515730A (ko)
KR (1) KR20040069210A (ko)
CN (1) CN1695381A (ko)
AU (1) AU2002348805A1 (ko)
WO (1) WO2003061295A2 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271788A (ja) * 2001-03-08 2002-09-20 Monolith Co Ltd 画像符号化方法と装置および画像復号方法および装置
US20030128970A1 (en) * 2002-01-10 2003-07-10 Koninklijke Philips Electronics N.V. System and method for providing high definition material on a standard definition compatible medium
KR100538215B1 (ko) * 2002-01-23 2005-12-21 삼성전자주식회사 고속 후처리가 가능한 영상 재생 장치 및 그 방법
US6933953B2 (en) * 2002-04-22 2005-08-23 Koninklijke Philips Electronics N.V. Cost function to measure objective quality for sharpness enhancement functions
US7031388B2 (en) * 2002-05-06 2006-04-18 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement for coded digital video
AU2003280512A1 (en) * 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
US7355612B2 (en) * 2003-12-31 2008-04-08 Hewlett-Packard Development Company, L.P. Displaying spatially offset sub-frames with a display device having a set of defective display pixels
US20070139564A1 (en) * 2004-02-27 2007-06-21 Koninklijke Philips Electronics N.V. System and method for global indication of mpeg impairments in compressed digital video
US8951951B2 (en) 2004-03-02 2015-02-10 Troxler Electronic Laboratories, Inc. Solvent compositions for removing petroleum residue from a substrate and methods of use thereof
JP2008523686A (ja) * 2004-12-13 2008-07-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ スケーラブル画像符号化
US8367739B2 (en) 2004-12-29 2013-02-05 Troxler Electronic Laboratories, Inc. Asphalt release agent
US7961966B2 (en) * 2005-01-04 2011-06-14 Etron Technology, Inc. Digitized image stabilization using energy analysis method
WO2006072913A1 (en) * 2005-01-10 2006-07-13 Koninklijke Philips Electronics N.V. Image processor comprising a sharpness enhancer
US7760805B2 (en) 2005-05-31 2010-07-20 Hewlett-Packard Development Company, L.P. Method of enhancing images extracted from video
KR100679046B1 (ko) 2005-10-10 2007-02-05 삼성전자주식회사 이미지의 지역적 정보를 이용한 비트 해상도 확장 방법 및장치
TWI280062B (en) * 2005-10-13 2007-04-21 Realtek Semiconductor Corp Signal separation apparatus applied in image transmission system and related method
US7551795B2 (en) * 2005-11-01 2009-06-23 Samsung Electronics Co., Ltd. Method and system for quantization artifact removal using super precision
TWI339527B (en) * 2006-02-15 2011-03-21 Realtek Semiconductor Corp Method and apparatus for enhancing image quality
JP4687515B2 (ja) * 2006-03-13 2011-05-25 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
US8090210B2 (en) 2006-03-30 2012-01-03 Samsung Electronics Co., Ltd. Recursive 3D super precision method for smoothly changing area
US7925086B2 (en) * 2007-01-18 2011-04-12 Samsung Electronics Co, Ltd. Method and system for adaptive quantization layer reduction in image processing applications
TWI401943B (zh) * 2007-05-14 2013-07-11 Novatek Microelectronics Corp 用於一影像處理系統之影像處理方法及其相關影像處理裝置
US8532414B2 (en) 2009-03-17 2013-09-10 Utc Fire & Security Corporation Region-of-interest video quality enhancement for object recognition
US9014493B2 (en) * 2011-09-06 2015-04-21 Intel Corporation Analytics assisted encoding
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US11019349B2 (en) * 2017-01-20 2021-05-25 Snap Inc. Content-based client side video transcoding
CN114450934B (zh) * 2020-08-31 2023-06-09 华为技术有限公司 获取图像的方法、装置、设备及计算机可读存储介质
US20230028736A1 (en) * 2021-07-22 2023-01-26 Qualcomm Incorporated Configurable image enhancement

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2673778B2 (ja) * 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US5758091A (en) * 1995-08-10 1998-05-26 Intel Corporation Method and apparatus for adjusting video data to limit the effects of automatic gain control on motion estimation video coders
US5754533A (en) * 1995-08-23 1998-05-19 Qualcomm Incorporated Method and system for non-orthogonal noise energy based gain control
US5850294A (en) * 1995-12-18 1998-12-15 Lucent Technologies Inc. Method and apparatus for post-processing images
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
US5835375A (en) * 1996-01-02 1998-11-10 Ati Technologies Inc. Integrated MPEG audio decoder and signal processor
EP0840982B1 (en) * 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
IT1289206B1 (it) * 1996-09-12 1998-09-29 Sgs Thomson Microelectronics Metodo di ricompressione e decompressione adpcm di un flusso di dati digitali costituente un segnale video digitale e stimatore
KR100200628B1 (ko) * 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
US5912815A (en) * 1997-03-14 1999-06-15 The Regents Of The University Of California Local relaxation method for estimating optical flow
US6034742A (en) * 1997-10-27 2000-03-07 Sony Corporation Adaptive sharpness enhancement for a multi-frequency scanning monitor
US6408104B1 (en) * 1997-12-31 2002-06-18 Lg Electronics Inc. Method and apparatus for eliminating noise in a video signal encoder
US6239561B1 (en) * 1999-11-05 2001-05-29 Thomson Licensing S.A. Signal processing for scanning beam velocity modulation
CN1248486C (zh) * 1999-12-17 2006-03-29 皇家菲利浦电子有限公司 用于峰化信号的方法和设备

Also Published As

Publication number Publication date
AU2002348805A8 (en) 2003-07-30
US6862372B2 (en) 2005-03-01
EP1461959A2 (en) 2004-09-29
WO2003061295A3 (en) 2003-10-09
WO2003061295A2 (en) 2003-07-24
AU2002348805A1 (en) 2003-07-30
JP2005515730A (ja) 2005-05-26
CN1695381A (zh) 2005-11-09
US20030123747A1 (en) 2003-07-03

Similar Documents

Publication Publication Date Title
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US11228772B2 (en) Rate control in video coding
EP2278813B1 (en) Apparatus for controlling loop filtering or post filtering in block based motion compensated video coding
US6873657B2 (en) Method of and system for improving temporal consistency in sharpness enhancement for a video signal
EP1506525B1 (en) System for and method of sharpness enhancement for coded digital video
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
JP6352173B2 (ja) プリプロセッサ方法および装置
JP2006519565A (ja) ビデオ符号化
US6950561B2 (en) Method and system for sharpness enhancement for coded video
US7161633B2 (en) Apparatus and method for providing a usefulness metric based on coding information for video enhancement
JP2007134755A (ja) 動画像符号化装置及び画像記録再生装置
Basavaraju et al. Modified pre and post processing methods for optimizing and improving the quality of VP8 video codec
JP2002010268A (ja) 画像符号化装置および画像符号化方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid