KR20040069208A - 비디오 선명도 강화의 시간적인 일관성 개선 - Google Patents

비디오 선명도 강화의 시간적인 일관성 개선 Download PDF

Info

Publication number
KR20040069208A
KR20040069208A KR10-2004-7010236A KR20047010236A KR20040069208A KR 20040069208 A KR20040069208 A KR 20040069208A KR 20047010236 A KR20047010236 A KR 20047010236A KR 20040069208 A KR20040069208 A KR 20040069208A
Authority
KR
South Korea
Prior art keywords
gain
enhancement
frame
pixel
algorithm
Prior art date
Application number
KR10-2004-7010236A
Other languages
English (en)
Inventor
양이빈
보로크즈키릴라
지. 더블유. 엠. 잔센조하네스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040069208A publication Critical patent/KR20040069208A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

강화 이득을 갖는 선명도 강화 알고리즘을 사용하여 적어도 하나의 프레임을 나타내는 강화된 신호(210)의 시간적인 일관성을 개선하기 위한 방법 및 시스템이 제공된다. 방법은: 적어도 하나의 프레임을 포함하는 강화된 신호(210)를 수신하는 단계와, 프레임의 각 픽셀에 대한 강화 이득을 얻는 단계와, 움직임 벡터들을 사용하여 이득 메모리로부터 기준 프레임의 각 프레임의 강화 이득을 검색하는 단계와, 프레임이 I, P 및 B 프레임 타입인지를 식별하는 단계 및 선명도 강화 알고리즘에서 사용하기 위해 이득 맵을 계산하는 것에 의해 I 프레임 타입에 대한 업데이트된 강화 이득(235)을 결정하는 단계를 포함한다. 각 픽셀의 업데이트된 강화 이득은 선명도 강화 알고리즘에서 사용하기 위해 이전에 결정된 강화 이득과 동일하다. 또한, 방법은 메모리를 얻기 위해 업데이트된 강화 이득을 저장하는 단계와, 강화된 신호(210)의 시간적인 일관성을 개선하기 위해 선명도 강화 알고리즘으로 업데이트된 강화 이득을 적용하는 단계를 포함한다.

Description

비디오 선명도 강화의 시간적인 일관성 개선{Improving temporal consistency in video sharpness enhancement}
셋탑 박스들, 고기능 TV들, 디지털 TV들, 개인 TV들, 저장수단 제품들, PDA들, 무선 인터넷 디바이스들 등과 같은 고품질 멀티미디어 디바이스들의 개발은 다양한 아키텍처들과 이러한 디바이스들에 대한 새로운 특성들을 향한 보다 많은 개방을 이끌고 있다. 또한, 이러한 새로운 제품들 및 임의의 포맷에서 비디오 데이터를 디스플레이하기 위한 그들의 능력은 비디오 프로세싱 및 비디오 강화 알고리즘들에 대한 새로운 요청들 및 기회들을 유발하였다.
MPEG(Moving Picture Expert Group) 비디오 압축은 많은 현재 및 최근의 제품들에서 사용된다. MPEG는 디지털 텔레비전 셋탑 박스들, DSS, HDTV 디코더들, DVD 플레이어들, 비디오 회의, 인터넷 비디오, 및 다른 어플리케이션들의 중심에 있다. 이러한 어플리케이션들은 보관된 비디오 정보에 대해 보다 적은 저장 공간과, 한 지점으로부터 다른 지점으로의 비디오 정보의 전송에 대해 보다 적은 대역폭 또는 둘다를 요청함으로써 비디오 압축으로부터 유익하다. 이러한 디바이스들의 대부분은 MPEG-2 포맷으로 비디오를 수신하고 및/또는 저장한다. 또한 이들은 MPEG-4 포맷으로 비디오를 수신하고 및/또는 저장한다. 이러한 MPEG 소스들의 화질은 크게 변화할 수 있다.
시청각 시스템(human visual system)에 대한 연구는 눈이 루미넌스의 변화들에 보다 민감하고, 크로미넌스의 변화들에 대해 덜 민감하다는 것을 증명하였다. MPEG는 루미넌스 및 크로미넌스 정보에 대한 눈의 상이한 민감성의 장점을 효율적으로 취하는 컬러 공간에서 동작한다. 따라서, MPEG는 RGB 대신 데이터값들을 나타내기 위해 YCbCr 컬러 공간을 사용하며; 여기서 Y는 Y=0.299R+0.587G+0.114B로 경험적으로 결정된 루미넌스 구성요소이고, Cb는 Cb=B-Y인 청색 컬러의 상이한 구성요소이며, Cr은 Cr=R-Y인 적색 컬러의 상이한 구성요소이다.
MPEG 비디오는 예를 들어, 오디오 비트 스트림으로, 에러 조정, 랜덤 서치 및 편집, 및 동기를 돕기 위한 계층들로 정렬된다. 제 1 층, 또는 최상층은 비디오 시퀀스층으로 알려져 있으며, 이는 임의이ㅡ 자기 포함된 비트스트림, 예를 들면 코딩된 영화, 광고 또는 만화이다.
제 1 층 아래의 제 2 층은 화상들의 그룹(GOP)이며, 이는 내부(I) 프레임들 및/또는 비-내부(P 및/또는 B) 화상들의 하나 이상의 그룹들로 구성된다. I 프레임들은 정확하게 내부 압축된다. 그들의 목적은 비디오로의 랜덤 액세스 점들을 제공하기 위한 것이다. P 프레임들은 움직임-보정된 선행-예측-코딩된 프레임들이다. 그들은 내부-프레임 압축되며, 전형적으로 I 프레임들보다 많은 압축을 제공한다.B 프레임들은 움직임-보상된 양방향적인-예측-코딩된 프레임들이다. 그들은 내부-프레임 압축되며, 전형적으로 가장 많은 압축을 제공한다.
제 2 층 아래의 제 3 층은 화상층 자체이다. 제 3 층 바로 아래의 제 4 층은 슬라이스층이라 불린다. 각 슬라이스는 래스터 정렬된 매크로블럭들, 전형적인 비디오 어플리케이션들의 로우 기반에 가장 자주 인접한 시퀀스이다. 슬라이스 구조는 에러들의 존재의 디코딩을 허용하는 것으로 의도된다. 각 슬라이스는 16x16 어레이들의 루미넌스 픽셀들, 또는 두개의 8x8 어레이들(포맷에 따라)의 연관된 크로미넌스 픽셀들을 갖는 화상 데이터 소자들인 매크로블럭들로 구성된다. 매크로블럭들은 또한, 개별적인 8x8 블럭들로 전송 코딩과 같은 처리를 위해 분할될 수 있다. 매크로블럭은 YCbCr 컬러 공간을 나타낼 때 몇몇의 상이한 방법들로 나타내질 수 있다. 공통적으로 사용되는 3개의 포맷들은 4:4:4, 4:2:2 및 4:2:0 비디오로 알려져 있다. 4:2:2는 4:4:4와 같은 많은 크로미넌스 정보와 같은 절반을 포함하며, 이는 전체적인 대역폭 YCbCr 비디오이며, 4:2:0은 크로미넌스 정보의 1/4를 포함한다. 루미넌스 및 크로미넌스 표현의 효율적인 방법 때문에, 4:2:0 표현은 12 블럭들/매크로블럭으로부터 6블럭들/매크로블럭으로 즉각적인 데이터 감소를 허용한다.
I 프레임들은 단지 P 및 B 프레임들과 비교하여 알맞은 압축을 제공하며, 여기서 MPEG는 그의 최대 압축 효율을 유도한다. 효율은 시간적인 여분을 사용하는 움직임 압축 기반 예측이라 불리는 기술을 통해 이뤄진다. 프레임들이 가깝게 연관되기 때문에, 현재의 화상이 이전 시간에서의 화상의 전이로 모델링될 수 있다고 가정된다. P 프레임들에서, 각각의 16x16 크기의 매크로블럭은 이전의 인코딩된 I또는 P 화상의 매크로블럭들로부터 예측된다. 프레임들이 이동 개체의 시간에서의 스냅샷들이므로, 두개의 프레임들의 매크로블럭들은 동일한 공간 위치로 대응되지 않을 것이다. 인코더는 현재의 매크로블럭에 포함되는 정보와 가까운 매칭인 다른 매크로블럭 위치들애 대해 절반의 픽셀 증가들에서 이전의 프레임(P-프레임들에 대해, 또는 B-프레임들의 전후 프레임들에 대해)을 검색할 것이다. 가까운 매크로블럭으로부터 최적 매칭 매크로블럭의 수평 및 수직 방향들의 변위들이 움직임 벡터들이라 불린다. 현재의 블럭과 매칭 블럭 사이의 상이와 움직임 벡터가 인코딩된다. 움직임 벡터들은 또한 오염된 데이터의 경우에 움직임 예상을 위해 사용될 수 있으며, 복잡한 디코더 알고리즘들이 에러 은폐를 위해 이러한 벡터들을 사용할 수 있다. B 프레임들에 대해, 움직임 보상 기반 예측 및 보간이 각 프레임의 다른 면에 존재하는 기준 프레임들을 사용하여 수행된다.
청색-레이저-기반 디지털 비디오 리코더(DVR)와 같은 차세대 저장 비디오들은 일부 확장 HD(고화질)(ATSC) 용량이 되어야할 것이며 화상 개선의 새로운 방법이 유익하게 되기위한 디바이스의 타입의 예이다. HD 프로그램은 전형적으로 20Mb/s에서 방송되며 MPEG-2 비디오 표준에 따라 인코딩된다. DVR의 약 25 Gb 저장 용량을 고려하면, 이는 디스크당 약 HD 비디오의 2시간 기록 시간을 나타낸다. 기록 시간을 증가시키기 위하여, 몇몇의 긴 재생 모드들이 긴 재생(LP) 및 확장된 긴 재생(ELP) 모드들과 같이 정의될 수 있다.
LP-모드에 대해 평균 저장 비트레이트는 약 10Mb/s로 가정되며, 이는 HD에 대해 이중 기록 시간을 허용한다. 결과적으로, 트랜스코딩은 비디오 프로세싱 체인의 필요한 부분이며, 이는 20Mb/s의 방송 비트레이트를 10Mb/s의 저장 비트레이트로 감소시킨다. MPEG-2 트랜스코딩 동안, 비디오의 화질(예를 들어, 선명도)은 거의 대부분 감소된다. 그러나, 특히 LP 모드에 대해, 전처리가 이전의 화질 개선에서 중요한 역할을 수행한다.
날짜로, 대부분의 분야의 선명도 강화 알고리즘들이 개발되고 NTSC(National Television System Committee), PAL(Phase Alternation Line) 및 SECAM(SEquential Couleur A Memoire)과 같은 아날로그 비디오 송신 표준들에 대해 최적화되었다. 전통적으로, 이미지 강화 알고리즘들은 화질의 임의의 원치않은 애스팩트들을 감소시키고(예를 들면, 노이즈 감소), 또는 이미지의 어떠한 원하는 특성들을 강화한다(예를 들면, 선명도 강화). 이러한 최근의 저장 디바이스들에 대해, 종래의 선명도 강화 알고리즘들은 이러한 소스들의 상애한 특성들 때문에 MPEG 인코딩된 또는 트랜스코딩된 비디오 상에서 서브-선택적으로 수행할 수 있다.
화질이 하이-앤드 비디오 제품들에 대해 구별 펙터를 가지고 있을 것이기 때문에, 이러한 소스들을 사용하는데 특히 적응된, 이미지 강화를 수행하기 위한 새로운 접근들은 이익이 될 수 있다. C-J Tsai, P. Karunaratne, N.P. Galatsanos 및 A.K.Katsaggelos, "A Compressed Video Enhancement Algorithm", Proc. of IEEE, ICIP'99, Kobe, Japan, Oct. 25-28, 1999에서, 저자들은 낮은 비트 레이트들에서 인코딩되는 비디오 시퀀스들을 강화하기 위한 반복 알고리즘을 제안한다. MPEG 소스들에 대해, 화질의 열화는 대부분 양자화 기능으로부터 발생한다. 그러므로, 저자들에 의해 채용된 반복 증감-투사 알고리즘은 양자화 단계 크기, 매크로블럭 타입들 및 그의 저렴한 기능의 순향 움직임 벡터들과 같은 코딩 정보를 사용한다. 알고리즘은 낮은 비트 레이트 비디오에 대해 약속된 결과들을 보이지만, 그 방법은 높은 계산적 복잡성에 의해 마킹된다.
B. Martins 및 S.Forchammer, "Improved Decoding of MPEG-2 Coded Video", Proc. of IBC'2000, Amsterdam, The Netherlands, Sept. 7-12, 2000, pp. 109-115에서, 저자들은 MPEG-2 코딩된 비디오의 디코딩을 개선하기 위한 새로운 개념을 설명한다. 특히, 디인터레이싱 및 포맷 변환에 대한, 디코딩 프로세스에 포함된 일정한 접근이 제안된다. 그 기술은 일반적인 디코딩에 의해 얻어진 것보다 상당히 높은 화질을 갖게 된다. 그러나, 날짜로, 그의 계산적인 복잡성은 소비자 어플리케이션들에 그의 수행을 막는다.
논문들은 MPEG 코딩 정보와 저렴한 기능을 사용한 비디오 강화 알고리즘들을 모두 설명한다. 그러나, 이들 시나리오들의 모두는 비실용적이며, 강화 및 저렴한 기능을 조합한다. 저렴한 기능은 얼마나 많은, 및 화상의 위치들의 강화가 적용될 수 있는지를 결정한다. 저렴 및 강화 기능들의 이러한 조합으로부터 결과되는 문제는 단지 하나의 알고리즘이 저렴한 기능으로 사용될 수 있다는 것이다.
본 발명은 디지털 비디오 신호의 품질을 강화하기 위한 시스템 및 방법에 관한 것이다. 특히, 본 발명의 시스템 및 방법은 선명도 강화 알고리즘의 시간적 일관성을 개선시킨다.
도 1은 본 발명의 시스템 및 방법을 포함하는 전형적인 디지털 텔레비전 세트의 블럭도.
도 2는 본 발명에 따라 사용된 선명도 강화 알고리즘을 도시하는 블럭도.
도 3은 본 발명의 동작의 방법의 유익한 실시예를 도시하는 흐름도.
본 발명의 목적 및 장점들이 본 발명의 실행에 의해 학습될 뿐만 아니라 다음의 설명으로부터 설명되고 명백하게 될 것이다. 본 발명의 부가적인 장점들이 특히 첨부한 도면들로부터 기록된 설명 및 그의 청구범위들에서 지시된 방법들 및 시스템들에 의해 구현되고 달성될 것이다.
따라서 본 발명의 목적은 선명도 강화 알고리즘의 비디오 신호의 시간적인 일관성을 개선하는 시스템 및 방법을 제공하는 것이다. 본 발명은 독립항들에 의해 정의된다. 종속항들은 유익한 실시예들을 정의한다.
구현되고 넓게 설명되는 바와 같이, 이러한 및 다른 장점들을 이루기 위하여 본 발명의 목적에 따라 본 발명은 강화 이득을 갖는 선명도 강화 알고리즘을 사용하여 적어도 하나의 프레임을 나타내는 강화된 신호의 시간적인 일관성을 개선하는 방법을 포함한다. 방법은: 적어도 하나의 프레임을 포함하는 강화된 신호를 수신하는 단계와, 프레임의 각 픽셀에 대해 선명도 강화 알고리즘과 연관된 강화 이득을 얻는 단계와, 프레임의 각 픽셀의 강화 이득에 대해 업데이트된 강화 이득을 결정하는 단계를 포함한다. 방법은 또한, 메모리를 얻기 위해 업데이트된 강화 이득을 저장하는 단계와, 강화된 신호의 시간적인 일관성을 개선하기 위해 선명도 강화 알고리즘으로 업데이트된 강화 이득을 적용하는 단계를 포함한다.
시스템은 비디오 신호를 필터링하고 고역 통과 신호를 생성하는 필터와, 본 발명의 방법을 통해 생성된 업데이트된 강화 신호에 의해 고역 통과 신호를 곱하기 위한 멀티플라이어, 및 비디오 신호와 이득 제어된 신호를 더하기 위한 덧셈기를 포함하며, 덧셈기는 강화된 시간적으로 일관된 비디오 신호를 생성한다.
앞서 말한 일반적인 설명 및 다음의 상세한 설명 모두는 전형적인 것이며 본 발명의 청구된 다른 설명을 제공하기 위한 것으로 의도된다는 것이 이해된다.
본 명세서에 포함되고 그의 부분을 구성하는 첨부 도면들은 본 발명의 방법 및 시스템의 다른 이해를 설명하고 제공하기 위해 포함된다. 설명과 함께, 도면들이 본 발명의 원리들을 설명하기 위해 작용한다.
본 발명의 현재의 바람직한 실시예들로 참조가 상세하게 이제 생성될 것이며, 예는 첨부한 도면들에서 도시된다. 본 발명의 방법 및 대응 단계들은 시스템의 상세한 설명과 함께 설명될 것이다.
이하에 설명된 도 1 내지 3 및 본 발명의 시스템 및 방법의 원리들을 설명하는 다양한 실시예들은 단지 예시의 방법이며, 본 발명의 범위를 제한하는 어떠한 방법으로도 설명되어서는 안된다. 본 발명의 시스템 및 방법은 디지털 텔레비전 세트에서 코딩된 디지털 비디오 신호의 이미지 품질을 개선하는 방법에 대한 시스템으로 설명될 것이다. 본 발명의 시스템 및 방법이 디지털 텔레비전 세트들ㄹ 제한되지 않는다는 것을 인식하는 것이 중요하다. 당업자는 본 발명의 원리들이 또한 텔레비전 수신기들, 셋탑 박스들, 저장 디바이스들, 컴퓨터 비디오 디스플레이 시스템들 및 디지털 비디오 신호들을 사용하거나 처리하는 전자 장치의 임의의 타입들에 제한됨이 없이 이들을 포함하는 임의의 디지털 비디오 시스템의 타입들에 성공적으로 적용될 수 있다는 것을 쉽게 이해할 것이다. "디지털 비디오 시스템"이라는 용어는 현재 또는 미래에 사용될 수 있는 이러한 및 유사한 타입들의 장치를 나타내기 위해 사용된다. 다음에 설명들에서, 디지털 텔레비전 세트는 디지털 비디오 시스템의 대표적인 하나의 예로서 채용된다.
도 1은 본 발명의 장치 및 방법을 사용하는 디지털 텔레비전 세트(100)의 블럭도이다. 디지털 텔레비전 세트(100)는 텔레비전 수신기(110) 및 디스플레이 유닛(115)을 포함한다. 디스플레이 유닛(115)은 음극선관 도는 평판 디스플레이 또는 비디오 이미지들을 디스플레이하기 위한 임의의 종류의 장치이다. 텔레비전 수신기(110)는 텔레비전 신호들을 수신하기 위한 안테나(105)를 포함한다. 안테나(105)는 튜너(120)에 결합된다. 튜너(120)는 중간 주파수("IF") 프로세서(125)로 결합된다. 여기에 예시된 IF 프로세서(125)는 디코더(130)로 결합된다. 본 발명은 MPEG 디코더를 설명하고 있으나, 본 발명은 MPEG 타입 인코딩/디코딩에 제한되지 않는다. 본 발명의 다른 실시예들에 따라, 예를 들어, JPEG(스틸 이미지 압축 표준), MPEG-1,2,4(디지털 비디오 표준들), H.261,H.263(비디오 참조 표준들)과 같은 임의의 블럭 기반 압축 스킴들 및 다른 것들이 사용될 수 있다. 이러한 표준들에서, 2차원(2D) DCT(이산 코사인 변환)이 압축되는 이미지의 픽셀들의 8x8 블럭들로 적용된다.
대안적으로, 본 발명의 다른 실시예에 따라 IF 프로세서로부터 수신된 비디오 신호는 인코딩되지 않아야 하며, 따라서 MPEG 디코더가 필요하지 않다.
MPEG 디코더(130)의 출력은 전처리 회로들(135)로 결합된다. 전처리 회로들(135)은 적응 피킹 유닛(140)을 포함할 수 있다. 적응 피킹 유닛(140)은 전처리 회로들(135) 내의 적당한 위치에 위치될 수 있다. 전처리 회로들(135)의 출력은 디스플레이 유닛(115)으로 입력된다.
예시된 바와 같이, 적응 피킹 유닛(140)은 MPEG 디코더(130)로부터 수신된 비디오 신호들을 처리한다. 적응 피킹 유닛(140)은 선명도 강화 알고리즘과 같은, 적응 피킹 프로세스에서 사용하기 위한 이득값을 생성한다. 본 발명의 시스템 및 방법은 적응 피킹의 프로세스로 한정되지 않는다는 것이 이해된다. 본 발명은 비디오 강화 알고리즘의 하나보다 많은 타입들로 사용될 수 있다.
적응 피킹 유닛(140)의 출력은 적응 피킹 유닛(140)이 MPEG 디코더(130)로부터 수신한 비디오 신호들을 위한 강화된 루미넌스 신호이다. 적응 피킹 유닛(140)에 의해 결정된 루미넌스 신호는 이전의 적응 피킹 유닛들에 의해 제공된 것보다 큰 정확성, 시각적 식별 및 시간적으로 일정한 비디오 이미지를 제공한다. 적응 피킹 유닛(140)은 강화된 루미넌스 신호를 전처리 회로들(135)의 다른 회로들로 전송한다. 전처리 회로들(135)은 비디오 신호들의 품질을 강화시키기 위해 강화된 루미넌스 신호를 사용할 수 있다.
전처리 회로들(135)은 비디오 신호 프로세싱의 몇몇 다른 타입들을 수행할 수 있다. 예를 들어, 비디오 신호 처리 어플리케이션들의 일부는 (a)노이즈 레벨 적응 노이즈 감소 알고리즘들, (b)노이즈 레벨 적응 선명도 강화, (c)노이즈 레벨 적응 루미넌스-크로미넌스 분별, (d)노이즈 레벨 적응 움직임 검출, (e)노이즈 레벨 적응 움직임 추정 및 보상, (f)노이즈 레벨 적응 업-변환, (g)노이즈 레벨 적응 특성 강화, 및 (h)노이즈 레벨 적응 오브젝트 기반 알고리즘들을 포함한다.
도 2는 본 발명의 한 유익한 실시예를 따른 적응 피킹 유닛(140)의 시스템 및 방법을 도시하는 블럭도이다. 도 2는 본 발명의 방법들에 따라 계산된 이득이 어떻게 선명도 개선을 위해 적응 피킹 알고리즘으로 적용되는지를 도시한다. 적응 피킹 알고리즘은 입력 루미넌스 신호(210)의 트랜지언트의 진폭을 증가하도록 명령된다.
위에서 설명된 시스템은 선명도 강화를 위해 적응 피킹 알고리즘을 사용한다. 대안적으로, 본 발명을 위해 적용된 선명도 강화 알고리즘은 예를 들어 공간 도메인 알고리즘일 수 있으며, 또는 다른 공지된 알고리즘의 기술들일 수 있다.
본 발명은 선명도 강화 알고리즘에 사용될 강화 이득을 계산하기 위해 비디오 신호의 움직임 정보를 고려한다. 움직임 벡터들은 강화될 비디오의 시간적 특성들의 정보를 얻기위해 사용된다. MPEG 비트스트림에 존재하는 움직임 벡터들 또는 다른 움직임 추정으로부터의 움직임 벡터들이 또한 사용될 수 있다.
도 2에 도시된 적응 피킹 선명도 강화 알고리즘은 전형적으로 고역 통과 필터(HPF)인 피킹 필터(220)를 통해 먼저 통과하는 입력 루미넌스 신호(210)를 도시한다. 고역 통과 필터링된 신호는 이후 피킹의 허용된 양을 나타내는 강화 이득에 의해 멀티플렉스된다.
도 2는 또한 본 발명에 따른 비디오의 일관성을 개선하는 시스템을 도시한다. 시스템은 입력 비디오 신호(210)를 필터링하기 위한 고역 통과 필터(220)와 고역 통과 필터링된 신호(225)를 본 발명의 임의의 방법들을 통해 결정된 업데이트된 강화 이득(235)에 의해 멀티플렉싱하기 위한 멀티플렉서(230)를 를 포함한다. 멀티플리케이션은 이득 제어된 신호(245)를 생성한다. 시스템은 또한 입력 비디오 신호(210)에 이득 제어된 신호(245)를 더하고 입력 신호와 비교하여 선명도를 개선하는 출력 비디오 신호(250)를 생성하는 부가기(240)를 포함한다. 또한, 강화된 출력 신호의 시간적인 일관성이 선명도 강화 알고리즘에 의해 생성된 종래 출력 신호에 비해 개선된다.
본 발명의 바람직한 실시예에 따라, 강화 이득을 갖는 선명도 강화 알고리즘을 사용하여 적어도 하나의 프레임을 나타내는 강화된 신호의 시간적 일관성을 개선하는 방법이 제공된다. 방법은 적어도 하나의 프레임을 포함하는 강화된 신호를 수신하는 단계와, 프레임의 각 픽셀에 대한 선명도 강화 알고리즘과 연관된 강화 이득을 얻는 단계와, 프레임의 각 픽셀의 강화 이득에 대해 업데이트된 강화 이득을 결정하는 단계를 포함한다.
본 발명의 바람직한 실시예에 따라, 프레임 내의 픽셀의 업데이트된 강화 이득은 다음 식에 따라 계산되며:
gain_update = α*gainSEA + (1-α)*gainREF식(1)
여기서gain_update는 선명도 강화 알고리즘에서 사용하기 위한 업데이트된 강화 이득이며,gainSEA는 선명도 강화 알고리즘에서 미리 정의된 강화 이득이고,gainREF는 기준 프레임의 움직임 벡터에 의해 지시된 기준 픽셀의 강화 이득값이며, α는 0 및 1 사이의 범위에 있는 계수이다(0≤α≤1).
식 1은 두개의 값들을 고려한다:원래의 이득은 선명도 강화 알고리즘에 대한 식의 특정 프레임 내의 동일한 픽셀과 연관된 또는 그에 대해 미리 계산되며, 움직임 벡터가 계산되는 기준 프레임 내의 픽셀의 이득 값이다. 알파(α)가 0일 때,gain_update는gainREF와 동일하며, 알파(α)가 1일 때,gain_update는gainSEA와 동일하다.gainSEA는 종래 선명도 개선 알고리즘에서 전형적으로 사용된 픽셀의 강화 이득이며, 즉, 이는 본 발명의 바람직한 실시예에 따라 개선되는 이득이다.
본 발명의 바람직한 실시예에 따라, 본 방법은 또한 이득 메모리로 업데이트된 강화 이득을 저장하는 단계와 강화된 신호의 시간적인 일관성을 개선하기 위해 업데이트된 강화 이득을 선명도 강화 알고리즘으로 적용하는 단계를 포함한다.
임의의 주어진 픽셀에 대하여 이득의 급격한 프레임 대 프레임 변화는 시간적으로 비균일한 선명도 강화를 초래할 수 있으며, 이는 바람직하지 않다. 이러한 변화들은 또한 시간적으로 보일 수 있으며, 모기 소리와 같은 아티팩트들을 초래한다.
이러한 효과를 감소시키기 위해, 본 발명의 부가적인 양상에 따라 선명도 강화 알고리즘의 비디오 신호의 시간적인 일관성이 이득 맵 상의 움직임 보상 시간적 제한 임펄스 응답(IIR) 필터를 사용하여 개선될 수 있다. 바람직한 실시예에서, 하나의 가능한 IIR 필터가 다음 식에 따라 정의될 수 있다:
gain_final = K*gain_update + (1-K)*gain_prev식(2)
여기서gain_final은 선명도 강화 알고리즘에서 사용하기 위한 개선된 강화 이득이고,gain_update는 이득 메모리에 미리 저장된 업데이트된 강화 이득이며,gain_prev는 이전의 프레임의 동일한 위치의 픽셀의 강화 이득이고, K는 전체적인 움직임 평가에 기초하여 계산된 팩터이다.
전체적인 움직임은 다음과 같이 평가된다. 먼저, 현재의 프레임과 이전 프레임 사이의 차이의 절대값이 픽셀당 계산된다. 이후, 절대값이 고정된 미리 정해진 임계치와 비교된다. 다음, 임계치보다 큰 절대값들의 수가 카운트된다. 결과적으로, 전체적인 움직임은 다음 식에 따라 정의된다:
motion_global = count_over/count_num식(3)
여기서,count_over는 임계치보다 큰 다수의 절대값들이며,count_num은 계산된 차이들의 총수이고,motion_global은 식(2)에서 사용될 K 팩터이다. 본 발명의 바람직한 실시예를 따라, 현재의 프레임과 이전 프레임 사이의 픽셀 당 픽셀 차이의 계산적 복잡성을 감소하기 위하여 프레임의 모든 네번째 라인 또는 일부 다른 원하는 수의 라인들에서 계산될 수 있다.
본 발명의 다른 양상에 따라, IIR 필터가 비디오 신호로 개별적으로 적용되는 것과 반대로, 식 1에 따라 강화 이득 방법과 조합하여 적용될 수 있다.
본 발명의 부가적인 양상에 따라, 강화 이득은 MPEG 인코딩된 시퀀스의 I, P 및 B 프레임들과 같은 화상들의 상이한 타입들 사이의 차이에 의해 계산될 수 있다. I(또는 내부 코딩된) 프레임들은 단지 시퀀스의 임의의 다른 프레임으로의 참조없이 단일 프레임을 압축하기 위하여 DCT 인코딩을 사용한다. P(또는 예측된) 프레임들은 마지막 I 또는 P 프레임으로부터 차이들로 코딩된다. 새로운 P 프레임은 마지막 I 또는 P 프레임을 취하여 먼저 예측되며, 각 새로운 픽셀의 값들을 예측한다. 결과의 P 프레임들은 전형적으로 I 프레임들보다 나은 압축 비율을 제공한다. B(또는 양방향) 프레임들은 마지막 또는 다음 I 또는 P 프레임으로부터의 차이점들로 코딩된다. B-프레임들은 P 프레임들과 유사한 예측을 사용하며, 각 블럭은 이전 I 또는 P가 다음 I 또는 P 프레임이 사용된다. P 및 B 프레임들 모두 움직임 예측 및 DCT 인코딩을 사용하나, 이전의 또는 다음의 프레임이 비교를 취하는 모든 매크로블럭들에 대해 선택이 가능하기 때문에, B 프레임들은 전형적으로 P 프레임들과 비교된 개선된 압축을 갖는다.
제한의 목적이 아닌 예의 목적들을 위하여, 도 3은 본 발명의 이러한 부가적인 조합된 양상들을 도시한다.
실시예와 같이, 예를 들어 본 발명은 프레임이 I 프레임인지를 식별하는 단계(315)와 선명도 강화 알고리즘에서 사용하기 위해 이득 맵을 계산하는 것(320)을 포함할 수 있으며, 각 픽셀의 업데이트된 강화 이득은 프레임이 I 프레임 타입일 때 선명도 강화 알고리즘에서 사용하기 위해 이전에 결정된 강화 이득과 동일하다.
다른 실시예에서와 같이, 유사하게 본 발명은 또한 프레임이 P 프레임인지 B 프레임 타입인지를 식별하는 단계(340)와, 움직임 벡터들을 사용하여 이득 메모리(325)로부터 기준 프레임의 각 픽셀의 강화 이득값을 검색하는 단계(335)와, 식 1에 따라 업데이트된 강화 이득을 계산하는 단계를 포함한다.
I,P 및 B 프레임들이 수신되는 것을 나타내는 비디오 신호의 디코딩 후에 전체적인 움직임이 현재의 입력 비디오 프레임(305) 및 이전의 비디오 프레임(300)에 기초하여 식 3에 따라 평가된다(310). 전체적인 움직임 평가의 결과는 움직임 적응 IIR 필터(330)로 적용된다. 전체적인 움직임 평가와 함께, 입력 비디오 프레임의 업데이트된 강화 이득이 프레임 타입에 기초하여 계산된다. 입력 비디오 프레임이I 프레임이며, 프레임에 대한 이득 맵이 종래 기술에 따라 계산되며 이득 메모리(325)로 저장된다. 프레임 내의 각 픽셀의 이득 계산은 당업자에게 공지되어 있다. 입력 비디오 프레임이 P 또는 B 프레임이면, 이러한 프레임에 대한 업데이트된 이득값들이 식 1을 사용하여 계산되며, 이후 메모리로 저장된다. 식 1이 기준 프레임과 이전 프레임의 이득값들을 사용하기 때문에, 필요한 이득값들이 이득 메모리로부터 검색된다. 대안적으로, 식 1을 사용하는 대신, 입력 비디오 프레임이 B 프레임이면, 업데이트된 강화 이득값들이 이전 기준 프레임의 이득 맵을 단순하게 복제하는 것(345)에 의해 계산될 수 있으며(이득 메모리로부터 이득값들을 검색하는 것에 의해) 이득 메모리로 값들을 저장한다. 내부 블럭들(I 프레임들)에 대해, 움직임 벡터값은 위에서 주의된 바와 같이 0이나, B 프레임들에 대해서는 이전 기준 프레임의 이득 맵이 사용될 수 있다. 본 발명의 한 양상을 따라, 업데이트된 강화 이득의 동일한 방법이 B 및 P 프레임들에 대해 사용될 수 있다.
각 프레임에 대한 업데이트된 강화 이득들의 계산 이후에, 이전에 공지된 바와 같이 비디오 신호가 또한 앞서 설명된 바와 같이 공간적 적응 IIR 필터(330)를 적용하는 것에 의해 개선될 수 있으며, 따라서 업데이트된 강화 이득들을 변경한다. 마지막 개선된 이득 값들은 따라서 이득 메모리로 다시 저장된다.
원래의 강화 이득(gainSEA)의 결정은 공지되어 있으며, 당업자는 이득을 계산하기 위하여 그들 자신의 수식들을 설계할 수 있다. 본 발명은 시간적인 일관성 선명도 개선을 이루기 위해 원래의 강화 이득을 변경하기 위해 사용될 수 있다.
본 발명은 또한 고화질(HD) 능력들을 갖고 긴 재생(LP) 모드를 허용하는 비디오 저장 어플리케이션에 제공되는 것과 같은 고화질(HD) 및 표준 화질(SD) 시퀀스들로 적용될 수 있다. 이러한 비디오 시퀀스들의 주요부분들은 방송 MPEG-2 비트스트림들로부터 보다 낮은 저장 비트레이트로 트랜스코딩된다. 이러한 어플리케이션의 긴 재생(LP) 모드에 대해, 포맷 변화는 또한 트랜스코딩 중에 발생할 수 있다. 표준 화질(SD) 또는 고화질(HD) 비디오 시퀀스들이 본 발명에 따라 우수한 비디오 품질을 제공하기 위해 인코딩되고, 디코딩되며, 이후 선명도 강화 알고리즘으로 처리된다.
도 2에 도시된 바와 같이 선명도 강화 알고리즘의 결과는 다음과 같다:
out_pixel=input_pixel+mpeg_gain*convolution_result식(4)
여기서,out_pixel은 픽셀을 위해 사용될 마지막 루미넌스 값이고,input_pixel은 입력 픽셀의 루미넌스 값이며,mpeg_gain은 임의의 위의 방법들을 통해 계산된 강화 이득(즉, 업데이트된 강화 이득 또는 개선된 강화 이득)이고,convolution_result는 고역 통과 필터 출력이다.
위에서 설명되고 도면들에서 도시된 본 발명의 방법 및 시스템은 선명도 강화 알고리즘을 사용하여 디지털 비디오 신호의 품질을 강화하기 위한 개선된 방법을 제공한다. 특히, 선명도 강화 알고리즘의 시간적인 일관성이 이루어진다.
다양한 변경들 및 변화들이 본 발명으로부터 벗어남이 없이 본 발명의 방법 및 시스템들로 만들어질 수 있다는 것이 당업자에게 명백할 것이다. 따라서, 본 발명은 첨부된 청구범위들 및 그들의 동등물들의 범위 내에 있는 변경들 및 변화들을 포함하는 것으로 의도된다.

Claims (13)

  1. 강화 이득을 갖는 선명도 강화 알고리즘을 이용하여 적어도 하나의 프레임을 나타내는 강화된 신호의 시간적인 일관성을 개선하는 방법에 있어서, 상기 방법은:
    적어도 하나의 프레임을 포함하는 상기 강화된 신호(210)를 수신하는 단계와;
    상기 프레임의 각 픽셀에 대해 상기 선명도 강화 알고리즘과 연관된 강화 이득을 얻는 단계와;
    상기 프레임의 각 픽셀의 상기 강화 이득에 대한 업데이트된 강화 이득(235)을 결정하는 단계와;
    상기 업데이트된 강화 이득(235)을 이득 메모리(325)에 저장하는 단계와;
    상기 강화된 신호(210)의 시간적인 일관성을 개선시키도록 상기 선명도 강화 알고리즘으로 상기 업데이트된 강화 이득(235)을 적용하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 프레임이 I 프레임인지를 식별하는 단계(315)를 더 포함하고;
    상기 결정 단계는 상기 선명도 강화 알고리즘에서 사용하기 위한 이득 맵을 계산하는 단계를 포함하며, 각 픽셀의 상기 업데이트된 강화 이득(235)은 상기 프레임이 I 프레임 타입일 때 상기 선명도 강화 알고리즘에서 사용하기 위하여 이전에 얻어진 상기 강화 이득과 동일한, 방법.
  3. 제 1 항에 있어서, 상기 프레임이 P 프레임 타입인지(340) 또는 B 프레임 타입인지(355)를 식별하는 단계들; 및, 상기 프레임이 P 프레임 타입 또는 B 프레임 타입이면,
    움직임 벡터들에 기초하여 상기 이득 메모리(325)의 기준 프레임으로부터 각 픽셀의 강화 이득값을 검색하는 단계(375)를 더 포함하고;
    상기 결정 단계는 다음 식:
    gain_update = α*gainSEA + (1-α)*gainREF
    에 따라 업데이트된 강화 이득을 계산하는 단계를 포함하고, 여기서gain_update는 상기 선명도 강화 알고리즘에서 사용하기 위한 상기 업데이트된 강화 이득이며,gainSEA는 상기 선명도 강화 알고리즘에서 미리 정의된 상기 강화 이득이고,gainREF는 상기 기준 프레임의 움직임 벡터에 의해 나타내진 기준 픽셀의 상기 강화 이득값이며, α는 0 과 1 사이의 범위에 있는 계수인, 방법.
  4. 제 1 항에 있어서, 상기 프레임이 B 프레임 타입인지를 식별하는 단계(355)를 더 포함하며;
    상기 결정 단계는 상기 선명도 강화 알고리즘에서 사용하기 위해 이득 맵을 계산하는 단계를 포함하고, 각 픽셀의 상기 업데이트된 강화 이득은 상기 프레임이 B 프레임 타입일 때 이전의 기준 프레임으로부터의 상기 강화 이득과 동일한, 방법.
  5. 제 1 항에 있어서:
    상기 이득 메모리(325)에 저장된 상기 업데이트된 강화 이득 상의 움직임 적응 시간적 IIR 필터(330)를 적용함으로써 프레임의 픽셀의 개선된 강화 이득을 계산하는 단계로서, 상기 개선된 강화 이득은 다음 식:
    gain_final = K*gain_update + (1-K)*gain_prev
    에 의해 결정되고, 여기서gain_final은 상기 선명도 강화 알고리즘에서 사용하기 위한 상기 개선된 강화 이득이고,gain_update는 상기 이득 메모리(325)에 미리 저장된 상기 업데이트된 강화 이득이며,gain_prev는 상기 이전 프레임의 동일한 위치에 있는 픽셀의 상기 강화 이득이고, K는 전체적인 움직임 평가(310)에 기초하여 계산된 팩터인, 상기 계산 단계와;
    상기 개선된 강화 이득을 이득 메모리(325)에 저장하는 단계를 더 포함하는, 방법.
  6. 제 5 항에 있어서, 상기 K 팩터를 결정하기 위한 프레임의 상기 전체적인 움직임 평가(310)는:
    픽셀당 현재 프레임과 이전 프레임 사이의 차의 절대값을 계산하는 단계와;
    상기 절대값을 미리 정해진 임계값과 비교하는 단계와;
    상기 임계값보다 큰 다수의 절대값들을 카운팅하는 단계와;
    식:
    motion_global = count_over/count_num
    에 기초하여 전체적인 움직임을 평가하는 단계로서,motion_global은 K 팩터로서 사용되고,count_over는 상기 임계치보다 큰 다수의 절대값들이며,count_num은 계산된 차이들의 총수인, 상기 평가 단계를 포함하는, 방법.
  7. 강화 이득을 갖는 선명도 강화 알고리즘을 이용하여 적어도 하나의 프레임을 나타내는 강화된 신호(210)의 시간적인 일관성을 개선하는 방법에 있어서, 상기 방법은:
    적어도 하나의 프레임을 포함하는 상기 강화된 신호를 수신하는 단계와;
    상기 프레임의 각 픽셀에 대해 상기 선명도 강화 알고리즘과 연관된 강화 이득을 얻는 단계와;
    상기 강화 이득 상의 움직임 적응 시간적 IIR 필터(330)를 적용함으로써 프레임의 픽셀의 개선된 강화 이득(235)을 계산하는 단계로서, 상기 개선된 강화 이득(235)은 다음 식:
    gain_final = K*gain_SEA + (1-K)*gain_prev
    에 의해 결정되고, 여기서gain_final은 상기 선명도 강화 알고리즘에서 사용하기 위한 상기 개선된 강화 이득이고,gain_SEA는 상기 선명도 강화 알고리즘에서 미리 정의된 상기 강화 이득이며,gain_prev는 상기 이전 프레임(300)의 동일한 위치에 있는 픽셀의 상기 강화 이득이고, K는 전체적인 움직임 평가(310)에 기초하여 계산된 팩터인, 상기 계산 단계와;
    상기 개선된 강화 이득(235)을 이득 메모리(325)에 저장하는 단계와;
    상기 강화된 신호(210)의 시간적인 일관성을 개선시키도록 상기 선명도 강화 알고리즘으로 상기 업데이트된 강화 이득(235)을 적용하는 단계를 포함하는, 방법.
  8. 제 7 항에 있어서, 상기 K 팩터를 결정하기 위한 프레임의 상기 전체적인 움직임 평가(310)는:
    픽셀당 현재 프레임(305)과 이전 프레임(300) 사이의 차의 절대값을 계산하는 단계와;
    상기 절대값을 미리 정해진 임계값과 비교하는 단계와;
    상기 임계값보다 큰 다수의 절대값들을 카운팅하는 단계와;
    식:
    motion_global = count_over/count_num
    에 기초하여 전체적인 움직임을 평가하는 단계로서,motion_global은 K 팩터로서 사용되고,count_over는 상기 임계치보다 큰 다수의 절대값들이며,count_num은 계산된 차이들의 총수인, 상기 평가 단계를 포함하는, 방법.
  9. 강화 이득을 갖는 선명도 강화 알고리즘을 이용하여 적어도 하나의 프레임을 나타내는 강화된 신호의 시간적인 일관성을 개선하는 시스템에 있어서, 상기 시스템은:
    적어도 하나의 프레임을 포함하는 상기 강화된 신호를 수신하는 수단과;
    상기 프레임의 각 픽셀에 대해 상기 선명도 강화 알고리즘과 연관된 강화 이득을 얻는 수단과;
    상기 강화 이득 상의 움직임 적응 시간적 IIR 필터(330)를 적용함으로써 프레임의 픽셀의 개선된 강화 이득(235)을 계산하는 수단(135)으로서, 상기 개선된 강화 이득은 다음 식:
    gain_final = K*gain_SEA + (1-K)*gain_prev
    에 의해 결정되고, 여기서gain_final은 상기 선명도 강화 알고리즘에서 사용하기 위한 상기 개선된 강화 이득이고,gain_SEA는 선명도 강화 알고리즘에서 미리 정의된 상기 강화 이득이며,gain_prev는 상기 이전 프레임(300)의 동일한 위치에 있는 픽셀의 강화 이득이고, K는 전체적인 움직임 평가 수단을 사용하여 계산된 팩터인, 상기 계산 수단과;
    상기 개선된 강화 이득을 이득 메모리(325)에 저장하는 수단과;
    상기 강화된 신호(210)의 시간적인 일관성을 개선시키도록 상기 선명도 강화 알고리즘으로 상기 개선된 강화 이득(235)을 적용하는 수단을 포함하는, 시스템.
  10. 제 9 항에 있어서, 상기 K 팩터를 결정하는 상기 전체적인 움직임 평가 수단은:
    픽셀당 현재 프레임(305)과 이전 프레임(300) 사이의 차의 절대값을 계산하는 수단과;
    상기 절대값을 미리 정해진 임계값과 비교하는 수단과;
    상기 임계값보다 큰 다수의 절대값들을 카운팅하는 수단과;
    식:
    motion_global = count_over/count_num
    에 기초하여 전체적인 움직임을 평가하는 수단으로서,motion_global은 상기 K 팩터로서 사용되고,count_over는 상기 임계치보다 큰 다수의 절대값들이며,count_num은 계산된 차이들의 총수인, 상기 평가 수단을 포함하는, 시스템.
  11. 강화 이득을 갖는 선명도 강화 알고리즘을 이용하여 적어도 하나의 프레임을 나타내는 강화된 신호(210)의 시간적인 일관성을 개선하는 시스템에 있어서, 상기 시스템은:
    적어도 하나의 프레임을 포함하는 상기 강화된 신호를 수신하는 수단과;
    상기 프레임의 각 픽셀에 대해 상기 선명도 강화 알고리즘과 연관된 강화 이득을 얻는 수단과;
    움직임 벡터들에 기초하여 이득 메모리(325)의 기준 프레임으로부터 각 픽셀의 강화 이득값을 검색하는 수단과;
    상기 프레임이 I, P 또는 B 프레임 타입인지를 식별하는 수단과;
    상기 선명도 강화 알고리즘에서 사용하기 위한 이득 맵(320)을 계산하는 것에 의해 I 프레임 타입에 대한 업데이트된 강화 이득(235)을 결정하는 수단으로서, 각 픽셀의 상기 업데이트된 강화 이득은 상기 선명도 강화 알고리즘에서 사용하기 위해 미리 결정된 강화 이득과 동일한, 상기 결정 수단과;
    식:
    gain_update = α*gainSEA + (1-α)*gainREF
    에 따라 P 또는 B 프레임 타입에 대한 업데이트된 강화 이득을 결정하는 수단(335)으로서,gain_update는 상기 선명도 강화 알고리즘에서 사용하기 위한 상기 업데이트된 강화 이득이며,gainSEA는 상기 선명도 강화 알고리즘에서 미리 정의된 상기 강화 이득이고,gainREF는 상기 기준 프레임의 움직임 벡터에 의해 나타내진 기준 픽셀의 상기 강화 이득값이며, α는 0 과 1 사이의 범위에 있는 계수인, 상기 결정 수단과;
    상기 업데이트된 강화 이득을 이득 메모리(325)에 저장하는 수단을 포함하는, 시스템.
  12. 제 11 항에 있어서,
    상기 업데이트된 강화 이득 상의 움직임 적응 시간적 IIR 필터(330)를 적용함으로써 프레임의 픽셀의 개선된 강화 이득을 계산하는 수단으로서, 상기 개선된 강화 이득은 다음 식:
    gain_final = K*gain_update + (1-K)*gain_prev
    에 의해 결정되고, 여기서gain_final은 상기 선명도 강화 알고리즘에서 사용하기 위한 상기 개선된 강화 이득이고,gain_update는 상기 선명도 강화 알고리즘에 대해 미리 계산된 상기 업데이트된 강화 이득이며,gain_prev는 상기 이전 프레임의 동일한 위치에 있는 픽셀의 강화 이득이고, K는 전체적인 움직임 평가 수단을 이용하여 계산된 팩터인, 상기 계산 수단과;
    상기 개선된 강화 이득을 이득 메모리(325)에 저장하는 수단과;
    상기 강화된 신호(210)의 시간적인 일관성을 개선시키도록 상기 선명도 강화 알고리즘으로 상기 개선된 강화 이득을 적용하는 수단을 포함하는, 시스템.
  13. 제 12 항에 있어서, 상기 K 팩터를 결정하는 상기 전체적인 움직임 평가 수단은:
    픽셀당 현재 프레임(305)과 이전 프레임(300) 사이의 차의 절대값을 계산하는 수단과;
    상기 절대값을 미리 정해진 임계값과 비교하는 수단과;
    상기 임계값보다 큰 다수의 절대값들을 카운팅하는 수단과;
    식:
    motion_global = count_over/count_num
    에 기초하여 전체적인 움직임을 평가하는 수단으로서,motion_global은 K 팩터로서 사용되고,count_over는 상기 임계치보다 큰 다수의 절대값들이며,count_num은 계산된 차이들의 총수인, 상기 평가 수단을 포함하는, 시스템.
KR10-2004-7010236A 2001-12-27 2002-12-09 비디오 선명도 강화의 시간적인 일관성 개선 KR20040069208A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/029,823 US6873657B2 (en) 2001-12-27 2001-12-27 Method of and system for improving temporal consistency in sharpness enhancement for a video signal
US10/029,823 2001-12-27
PCT/IB2002/005308 WO2003056835A1 (en) 2001-12-27 2002-12-09 Improving temporal consistency in video sharpness enhancement

Publications (1)

Publication Number Publication Date
KR20040069208A true KR20040069208A (ko) 2004-08-04

Family

ID=21851075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7010236A KR20040069208A (ko) 2001-12-27 2002-12-09 비디오 선명도 강화의 시간적인 일관성 개선

Country Status (7)

Country Link
US (1) US6873657B2 (ko)
EP (1) EP1461957A1 (ko)
JP (1) JP2005513968A (ko)
KR (1) KR20040069208A (ko)
CN (1) CN1608378A (ko)
AU (1) AU2002367218A1 (ko)
WO (1) WO2003056835A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772215B1 (ko) * 2005-12-30 2007-11-01 엘지전자 주식회사 영상표시기기의 영상 제어장치 및 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US7031388B2 (en) * 2002-05-06 2006-04-18 Koninklijke Philips Electronics N.V. System for and method of sharpness enhancement for coded digital video
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7558428B2 (en) * 2004-09-13 2009-07-07 Microsoft Corporation Accelerated video encoding using a graphics processing unit
TWI343212B (en) * 2007-03-23 2011-06-01 Via Tech Inc Deinterlacing method and apparatus for digital motion picture
JP4922839B2 (ja) * 2007-06-04 2012-04-25 三洋電機株式会社 信号処理装置、映像表示装置及び信号処理方法
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
EP2051524A1 (en) * 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
JP5708916B2 (ja) * 2008-04-30 2015-04-30 日本電気株式会社 画像評価方法、画像評価システム及びプログラム
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
WO2012093348A1 (en) * 2011-01-07 2012-07-12 Tp Vision Holding B.V. Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
US8559745B2 (en) * 2011-09-22 2013-10-15 Himax Imaging Limited Image signal processor and method for image enhancement
US20150146981A1 (en) * 2013-09-05 2015-05-28 Tp Vision Holding B.V. Apparatus and method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
EP3016383B1 (en) * 2014-11-03 2017-06-21 Axis AB Method, device, and system for pre-processing a video stream for subsequent motion detection processing
US10404996B1 (en) * 2015-10-13 2019-09-03 Marvell International Ltd. Systems and methods for using multiple frames to adjust local and global motion in an image
KR20210133800A (ko) * 2020-04-29 2021-11-08 삼성전자주식회사 이미지 압축 방법, 인코더, 및 인코더를 포함하는 카메라 모듈

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5465119A (en) * 1991-02-22 1995-11-07 Demografx Pixel interlacing apparatus and method
US5835375A (en) * 1996-01-02 1998-11-10 Ati Technologies Inc. Integrated MPEG audio decoder and signal processor
DE69710413T2 (de) * 1996-05-24 2002-10-02 Koninkl Philips Electronics Nv Bewegungsschätzung
KR100189922B1 (ko) * 1996-06-20 1999-06-01 윤종용 히스토그램 등화를 이용한 동영상의 콘트라스트개선회로 및 그 방법
IT1289206B1 (it) * 1996-09-12 1998-09-29 Sgs Thomson Microelectronics Metodo di ricompressione e decompressione adpcm di un flusso di dati digitali costituente un segnale video digitale e stimatore
KR100200628B1 (ko) * 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
US6034742A (en) * 1997-10-27 2000-03-07 Sony Corporation Adaptive sharpness enhancement for a multi-frequency scanning monitor
WO2000042778A1 (en) 1999-01-15 2000-07-20 Koninklijke Philips Electronics N.V. Sharpness enhancement
US6239561B1 (en) * 1999-11-05 2001-05-29 Thomson Licensing S.A. Signal processing for scanning beam velocity modulation
EP1157543A1 (en) 1999-12-17 2001-11-28 Koninklijke Philips Electronics N.V. Signal peaking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772215B1 (ko) * 2005-12-30 2007-11-01 엘지전자 주식회사 영상표시기기의 영상 제어장치 및 방법

Also Published As

Publication number Publication date
AU2002367218A1 (en) 2003-07-15
WO2003056835A1 (en) 2003-07-10
EP1461957A1 (en) 2004-09-29
JP2005513968A (ja) 2005-05-12
US6873657B2 (en) 2005-03-29
CN1608378A (zh) 2005-04-20
US20030123549A1 (en) 2003-07-03

Similar Documents

Publication Publication Date Title
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US6873657B2 (en) Method of and system for improving temporal consistency in sharpness enhancement for a video signal
US6281942B1 (en) Spatial and temporal filtering mechanism for digital motion video signals
US7983493B2 (en) Adaptive overlapped block matching for accurate motion compensation
US6037986A (en) Video preprocessing method and apparatus with selective filtering based on motion detection
EP1506525B1 (en) System for and method of sharpness enhancement for coded digital video
AU684901B2 (en) Method and circuit for estimating motion between pictures composed of interlaced fields, and device for coding digital signals comprising such a circuit
US8514935B2 (en) Image coding apparatus, image coding method, integrated circuit, and camera
US6950561B2 (en) Method and system for sharpness enhancement for coded video
US20070140336A1 (en) Video coding device and image recording/reproducing device
US7161633B2 (en) Apparatus and method for providing a usefulness metric based on coding information for video enhancement
US8767830B2 (en) Neighbor management module for use in video encoding and methods for use therewith
US20150195524A1 (en) Video encoder with weighted prediction and methods for use therewith
Basavaraju et al. Modified pre and post processing methods for optimizing and improving the quality of VP8 video codec
Lauzon et al. Performance evaluation of MPEG-2 for HDTV
JPH1093976A (ja) 動き検出装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid