KR102049293B1 - Ｈｅｖｃ용 썸네일 영상 추출 장치 및 방법 - Google Patents

Ｈｅｖｃ용 썸네일 영상 추출 장치 및 방법 Download PDF

Info

Publication number
KR102049293B1
KR102049293B1 KR1020180006940A KR20180006940A KR102049293B1 KR 102049293 B1 KR102049293 B1 KR 102049293B1 KR 1020180006940 A KR1020180006940 A KR 1020180006940A KR 20180006940 A KR20180006940 A KR 20180006940A KR 102049293 B1 KR102049293 B1 KR 102049293B1
Authority
KR
South Korea
Prior art keywords
block
equation
value
prediction
residual
Prior art date
Application number
KR1020180006940A
Other languages
English (en)
Other versions
KR20190088635A (ko
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020180006940A priority Critical patent/KR102049293B1/ko
Publication of KR20190088635A publication Critical patent/KR20190088635A/ko
Application granted granted Critical
Publication of KR102049293B1 publication Critical patent/KR102049293B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

HEVC용 썸네일 영상 추출 장치 및 방법은 HEVC(High Efficiency Video Coding)에서 계산 복잡성을 줄이기 위해서 부분 축소와 인트라 예측 모드의 결과에 기반한 가중치를 이용하여 썸네일 영상의 화질을 향상시키고, 전체 썸네일 이미지 생성의 계산 복잡도를 현저하게 증가시키지 않으며, 엘리어싱 부작용을 효과적으로 제거한다.

Description

ＨＥＶＣ용 썸네일 영상 추출 장치 및 방법{Apparatus and Method for Extracting Thumbnail Video for High Efficiency Video Coding}
본 발명은 썸네일 영상 추출 장치에 관한 것으로서, 특히 HEVC(High Efficiency Video Coding)에서 계산 복잡성을 줄이기 위해서 부분 축소와 인트라 예측 모드의 결과에 기반한 가중치를 이용하여 썸네일 영상의 화질을 향상시키는 HEVC용 썸네일 영상 추출 장치 및 방법에 관한 것이다.
인코딩된 비디오 비트스트림에서 썸네일 이미지 추출은 다운샘플링에 의해 디코딩을 포함한 복잡한 계산 프로세스가 필요하다.
이러한 썸네일 이미지 추출의 문제점을 해결하기 위하여 MPEG-2에서, 썸네일 이미지는 DCT 도메인에서 각 매크로블록의 DC 값을 추출하여 직접 생성할 수 있다.
이는 DCT 도메인의 DC 값이 픽셀 도메인의 평균값이기 때문이다.
H.264/AVC에서 인트라 예측을 추가하여 높은 압축률을 얻을 수 있다. MPEG-2 썸네일 추출 방법은 DCT 도메인의 DC 값이 인트라 예측 방법으로 인한 잔류 DC 값이므로 H.264/AVC에서 사용할 수 없었다.
이로 인하여 H.264/AVC 썸네일 추출 알고리즘이 개발되었다. H.264/AVC 썸네일 추출 알고리즘은 DCT 영역에서 룩업 테이블을 이용한 썸네일 이미지를 생성한다. 그러나 H.264/AVC에서 제안된 썸네일 추출 알고리즘은 264개의 2차원 룩업 테이블이 필요하며 이들은 블록 크기와 모드 수를 조합하여 생성된다.
블록의 평균값인 DC 값은 DCT 도메인으로부터 직접 추출되며, 블록 크기에 관계없이 하나의 DC 값만 추출된다.
8×8 DCT가 수행되면, 하나의 DC 값이 추출되어 인접한 4×4 위치에서 공유된다(일반적으로 썸네일 이미지는 원본 이미지 크기의 1/16이며, 8×8 블록에서 4개의 평균값이 필요함).
최근에 고효율 비디오 코딩(High Efficiency Video Coding, HEVC) 표준은 H.264/AVC보다 높은 압축률을 제공한다.
HEVC에서는 낮은 복잡도의 썸네일 추출 알고리즘이 필요하다. 그러나 H.264/AVC 썸네일 추출 방법은 새로운 인트라 예측 모드, 다양한 인트라 모드 방향 및 높은 압축을 달성하기 위해서 큰 블록 크기가 사용되어야 하므로 HEVC에 적용될 수 없다.
H.264/AVC에서 제안된 썸네일 추출 알고리즘은 큰 블록 크기를 갖는 HEVC에서 심한 이미지의 품질 열화를 발생할 수 있다.
새로운 인트라 예측 모드인 평면모드가 HEVC에 추가되어야 하며, 종래의 썸네일 추출 방법은 평면모드에서 룩업 테이블을 정의할 수 있어야 한다.
룩업 테이블을 정의하기 위해서는 매우 큰 메모리 즉, 264개의 2차원 룩업 테이블을 필요로 한다. 이를 HEVC에 적용하기 위해서는 부가적인 인트라 예측 모드 및 다양한 블록 크기를 고려해야 한다. 따라서, 총 1680개의 2차원 룩업 테이블을 저장해야 한다.
이러한 이유로 H.264/AVC에서 제안된 썸네일 추출 알고리즘은 HEVC에 적용할 수 없게 된다.
한국 등록특허번호 제10-0907707호("발명의 명칭: Ｈ.264/ＡＶＣ 압축 영역에서의 썸네일 영상의 고속 추출방법, 그 장치 및 이를 기록한 기록매체")
이와 같은 문제점을 해결하기 위하여, 본 발명은 HEVC(High Efficiency Video Coding)에서 계산 복잡성을 줄이기 위해서 부분 축소와 인트라 예측 모드의 결과에 기반한 가중치를 이용하여 썸네일 영상의 화질을 향상시키는 HEVC용 썸네일 영상 추출 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 HEVC용 썸네일 영상 추출 장치는,
HEVC(High Efficiency Video Coding) 표준에 따라 압축된 동영상의 비트스트림을 N×N 역이산 코사인 변환을 수행하고, 상기 역이산 코사인 변환을 수행한 비트스트림에서 4×4 특정 경계의 픽셀의 잔여값을 재구성하여 부분 변환을 수행하는 부분 디코딩부;
4×4 크기의 픽셀에서 인트라 모드를 이용하여 예측 블록을 생성하고, 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 블록 생성부; 및
상기 예측 블록에 대한 가중 평균 예측값을 기정의된 가중치 테이블을 이용하여 계산하고, 상기 잔여 블록의 가중 평균 잔여값을 상기 가중치 테이블을 이용하여 계산하며, 상기 가중 평균 잔여값과 상기 가중 평균 예측값을 가산하여 썸네일 픽셀을 생성하는 다운 샘플링부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 HEVC용 썸네일 영상 추출 방법은,
HEVC(High Efficiency Video Coding) 표준에 따라 압축된 동영상의 비트스트림을 N×N 역이산 코사인 변환을 수행하는 단계;
상기 역이산 코사인 변환을 수행한 비트스트림에서 4×4 특정 경계의 픽셀의 잔여값을 재구성하여 부분 변환을 수행하는 단계;
4×4 크기의 픽셀에서 인트라 모드를 이용하여 예측 블록을 생성하고, 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 단계;
상기 예측 블록에 대한 가중 평균 예측값을 기정의된 가중치 테이블을 이용하여 계산하고, 상기 잔여 블록의 가중 평균 잔여값을 상기 가중치 테이블을 이용하여 계산하는 단계; 및
상기 가중 평균 잔여값과 상기 가중 평균 예측값을 가산하여 썸네일 픽셀을 생성하는 단계를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 전체 썸네일 이미지 생성의 계산 복잡도를 현저하게 증가시키지 않고, 엘리어싱 부작용을 효과적으로 제거한다.
본 발명은 HEVC 썸네일 영상 추출 시 낮은 복잡성을 유지하면서 썸네일 이미지의 시각적 품질을 향상시키는 효과가 있다.
도 1은 본 발명의 실시예에 따른 고효율 비디오 코딩에서의 썸네일 영상 추출 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예의 인트라 예측 모드 10의 잔여값들의 누적 분포를 나타낸 도면이다.
도 3은 본 발명의 실시예의 인트라 모드 10에서 예측 블록이 생성되는 모습을 나타낸 도면이다.
도 4는 다양한 시퀀스의 썸네일 결과의 일례를 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 고효율 비디오 코딩에서의 썸네일 영상 추출 방법은 기정의된 가중치 테이블을 이용하여 썸네일 영상의 품질을 향상시키는 알고리즘을 제공한다.
고효율 비디오 코딩(High Efficiency Video Coding, HEVC)에서의 종래의 썸네일 추출 방법은 간단한 다운 샘플링 방법을 사용하여 낮은 복잡도로 썸네일 이미지를 생성함으로써 썸네일 품질 저하를 초래한다.
본 발명의 고효율 비디오 코딩에서의 썸네일 영상 추출 방법은 인트라 모드 방향에 기반한 일정한 픽셀들의 가중 평균값을 이용하여 각 썸네일 픽셀의 원본 평균값을 추정한다.
본 발명의 썸네일 영상 추출 방법은 낮은 복잡성을 유지하면서 썸네일 이미지의 시각적 품질을 향상시킨다.
엔코딩된 HEVC 비트 스트림으로부터 썸네일 이미지를 생성하기 위해서는 HEVC 디코더는 엔트로피 디코딩, 역 양자화, 인트라 예측, 역변환, 루프 내 필터링, 다운 샘플링을 순차적으로 수행한다. 그러나 본 발명의 썸네일 추출 방법은 부분 디코딩 프로세스만을 사용하여 4×4 크기의 경계 픽셀을 디코딩하여 계산 복잡도를 줄이고 인 루프를 생략한다.
도 1은 본 발명의 실시예에 따른 고효율 비디오 코딩에서의 썸네일 영상 추출 장치의 구성을 나타낸 도면이다.
본 발명의 실시예에 따른 고효율 비디오 코딩에서의 썸네일 여앙 추출 장치(100)는 부분 디코딩부(110), 블록 생성부(120), 가중치 저장부(130) 및 다운 샘플링부(140)를 포함한다.
(1) 변환 및 예측 유닛에 대한 부분 디코딩
본 발명의 디코딩 프로세스는 변환 유닛 및 예측 유닛상에서 수행된다.
부분 디코딩부(110)는 HEVC(High Efficiency Video Coding) 표준에 따라 압축된 동영상의 비트스트림을 하기의 [수학식 1]에 의해 N×N 역이산 코사인 변환을 수행하고, 상기 역이산 코사인 변환을 수행한 비트스트림에서 4×4 특정 경계의 픽셀의 잔여값을 하기의 [수학식 2]에 의해 재구성하여 부분 변환을 수행한다.
고효율 비디오 코딩(High Efficiency Video Coding, HEVC)의 N×N 역이산 코사인 변환은 다음의 [수학식 1]과 같이 표현된다.
Figure 112018006510421-pat00001
여기서, N과 A는 블록 크기와 변환 행렬을 나타내고,
Figure 112018006510421-pat00002
은 픽셀 영역과 변환 영역의 잔여 블록을 나타낸다.
HEVC 비디오에 대한 썸네일 이미지를 생성하기 위해서는 역이산 코사인 변환을 [수학식 1]을 이용하여 수행할 수 있다.
역이산 코사인 변환은 엠펙(MPEG) 표준 규격으로 압축된 영상을 전개(복호화)할 때 주파수 영역의 값을 휘도 값으로 되돌려주는 처리를 의미한다.
잔여 블록의 전체 잔여값은 썸네일 이미지에 대한 인트라 프레임을 생성하기 위해 재구성되어야 한다.
그러나 잔여 블록의 전체 잔류값은 썸네일 이미지에 대해 추출될 필요가 없다. 이러한 이유로 부분 변환이 제안되어 낮은 계산 복잡성을 갖는 썸네일 이미지를 생성할 수 있다.
부분 변환은 다음의 [수학식 2]와 같이, 4×4 경계에서 잔여값을 재구성한다.
Figure 112018006510421-pat00003
여기서,
Figure 112018006510421-pat00004
는 각각 정수, 요소별 곱셈 및 XOR 연산을 나타내고, k는 벡터의 위치이고, 4×4 내지 32×32 크기의 경우, k는 {3}, {3, 7}, {3, 7, 11, 15}, {3, 7, 11,15, 19, 23, 27, 31}로 각각 표시된다.
예를 들어, 블록 크기가 4×4인 경우 n과 k는 정수이므로 n은 0, k는 3일 수 있다. 본 발명은 인트라 예측에 의해 생성되는 예측 블록 내의 전체 예측값을 필요로 하지 않는다.
이와 같이, 부분적인 인트라 예측은 예측 블록의 4×4 경계 상의 예측값을 재구성하는데 사용되며, 이러한 결과는 썸네일 추출에 필요한 값을 생성하는데 사용된다.
(2) 썸네일 생성을 위한 다운 샘플링 방법
썸네일 이미지를 생성하기 위해서는 썸네일이 축소된 이미지 크기가 요구되므로 다운 샘플링이 필요하다.
썸네일은 서브 샘플링 방법을 이용하여 생성하며, 4×4 영역 당 하나의 픽셀을 추출한다. 그러나 이러한 방법은 과도한 엘리어싱(Aliasing)을 유발할 수 있다.
썸네일 이미지는 4×4 블록의 모든 픽셀의 평균값을 이용하여 생성할 수 있다. 이러한 방법은 엘리어싱을 감소할 수 있지만 높은 계산 복잡성을 갖는다.
종래의 썸네일 추출 방법은 4×4 경계에서 7개의 픽셀의 평균값을 사용하여 썸네일을 생성하므로 엘리어싱이 많이 감소되지 못하는 문제점이 있었다.
썸네일 픽셀은 잔여 블록 및 예측 블록에 대한 가중 평균값을 가산하여 생성된다.
블록 생성부(120)는 4×4 크기의 픽셀에서 인트라 모드를 이용하여 예측 블록을 생성하고, 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성한다.
도 2의 (a)는 인트라 예측 모드 10의 잔여값들의 누적 분포를 나타내고 있다.
인트라 예측(Intra Prediction)은 인트라 모드를 사용하여 예측 블록을 생성하고, 현재 블록에서 예측 블록을 감산하여 잔여 블록을 얻는다
인트라 모드 10에서, 잔여 블록은 좌측의 참조 픽셀(Reference Pixels)을 통해 생성된다.
잔여 블록의 분포는 인트라 모드 10의 방향을 기초하여 일정한 성장을 나타낸다. 즉, 잔여값의 분포와 인트라 예측 모드 10의 방향 사이에 상관 관계가 있다.
4×4 크기의 픽셀의 평균값은 인트라 모드 방향을 기초로 한 가중치(표 1)를 이용하여 계산할 수 있다. 4×4 크기의 누적 분포의 차이는 도 2의 (b)와 같이, 너무 작아진다.
4×4 크기의 픽셀의 평균 잔여값은 4×4 경계에서 인트라 모드 방향과 잔여값들로부터 얻은 가중치와 결합에 의해 추정할 수 있다.
가중치 저장부(130)는 이하의 [표 1]과 같이, 평균 잔여값에 대해 기정의된 가중치로 이루어진 가중치 테이블을 저장하고 있다.
Figure 112018006510421-pat00005
모드 0과 모드 1은 4×4 경계 상에서 7개의 픽셀들의 평균값을 사용한다. 모드 6의 가중치는 모드 2와 모드 10의 평균값으로 정의된다.
모드 4의 가중치는 모드 2와 모드 6의 평균값으로 계산할 수 있다.
나머지 모드들의 가중치는 전술한 방법과 유사하게 정의될 수 있다.
다운 샘플링부(140)는 예측 블록에 대한 가중 평균 예측값을 기정의된 가중치 테이블을 이용하여 계산하고, 잔여 블록의 가중 평균 잔여값을 상기 가중치 테이블을 이용하여 계산한다.
가중 평균 잔여값은 기정의된 가중치 테이블(표 1)을 이용하여 다음의 [수학식 3]과 같이 나타낸다.
Figure 112018006510421-pat00006
여기서, M은 인트라 모드이고,
Figure 112018006510421-pat00007
은 [표 1]의 평균 잔여값에 대한 가중치이다.
유사한 방식으로 가중 평균 예측값은 기정의된 가중치 테이블(표 1)을 이용하여 다음의 [수학식 4]와 같이 나타낸다.
Figure 112018006510421-pat00008
여기서,
Figure 112018006510421-pat00009
은 예측 블록이고,
Figure 112018006510421-pat00010
은 평균 예측값에 대한 기정의된 가중치이다.
예를 들어, 도 3에 도시된 바와 같이, 4×4 예측 블록은 인트라 예측 모드 10을 갖는 참조 픽셀들을 이용하여 생성된다고 가정하면, 예측 블록의 평균값을 계산하기 위해서는 참조 픽셀을 이용하여 블록을 생성한다. 평균값은 4×4 크기의 모든 예측값을 가산하고 16으로 나눔으로써 얻어진다.
따라서, 예측 블록의 평균값은 기정의된 가중치들(WPs)을 참조 픽셀들에 곱하여 계산될 수 있다.
왼쪽 라인 상의 4개의 참조 픽셀들을 사용하고, 예측 블록의 평균값은 다음의 [수학식 5]와 같이 나타낸다.
Figure 112018006510421-pat00011
여기서, P4×4와 인덱스 -1은 예측 블록과 참조 픽셀의 위치를 나타낸다.
[수학식 5]에 도시된 바와 같이, 예측 블록의 평균값에 대한 4개의 가중치를 획득할 수 있다. 다른 모드에 대한 가중치는 유사한 방식으로 정의될 수 있다.
본 발명은 블록 크기를 참조하지 않고 4×4 크기의 가중치만 정의된다.
다운 샘플링부(140)는 상기 가중 평균 잔여값과 상기 가중 평균 예측값을 가산하여 썸네일 픽셀을 생성한다.
썸네일은 다음의 [수학식 6]과 같이, WARV와 WARV를 합하여 생성할 수 있다.
Figure 112018006510421-pat00012
본 발명은 HEVC(High Efficiency Video Coding) 레퍼런스 소프트웨어를 사용하여 테스트하였다. Class C와 Class D를 제외한 모든 HEVC 테스트 시퀀스가 실험에 사용되었다.
일반적으로 썸네일은 원본 프레임의 1/16 크기로 생성된다.
Class C와 Class D의 경우, 시퀀스의 해상도는 각각 832×480, 416×240으로 인식하기에 너무 작기 때문에 실험에서 제외한다.
모든 프레임은 I-프레임이고 [표 2]는 계산 비용의 척도로서 다양한 시퀀스에 대한 다양한 방법의 썸네일 추출 시간을 비교한 것이다.
Figure 112018006510421-pat00013
[표 2]에서 FD는 풀 디코딩(Full Decoding) 방법으로 풀 디코팅한 후 4×4 크기에서 16개의 픽셀값의 평균값을 갖는 썸네일 추출 방법이다.
PDSS는 서브 샘플링을 이용한 썸네일 추출 방법이며, 서브 샘플링은 4×4 영역 당 하나의 픽셀을 추출한다.
PDAVG7은 4×4 경계에서 7개의 픽셀의 평균값을 사용하는 썸네일 생성 방법이다. [표 2]에 기재된 결과는 평균 50회 반복하여 얻은 결과이다.
[표 2]에 도시된 바와 같이, 본 발명의 썸네일 추출 방법은 FD에 비해 평균 29.34% 더 적은 시간을 필요로 하는 것을 알 수 있다.
[표 3]은 생성된 썸네일의 휘도 성분의 피크 신호대 잡음비(Peak Signal to Noise Ratios, PSNRs)를 비교한 것이다.
Figure 112018006510421-pat00014
본 발명의 썸네일 추출 방법은 FD에 비해 평균 8.2dB의 PSNR의 저하를 가져온다. 본 발명의 썸네일 추출 방법의 성능은 기존의 방법보다 휠씬 더 좋은 성능을 보이며, 인트라 예측 방향을 가진 기정의된 가중치 테이블의 사용을 입증하였다.
도 4는 다양한 시퀀스의 썸네일 결과의 일례를 나타낸 도면이다.
도 4은 BQTerrace 시퀀스의 썸네일 결과이고, 도 4의 (a)는 FD의 잘라낸 썸네일 영상 결과이고, 도 4의 (b)는 PDSS의 잘라낸 썸네일 영상 결과이고, 도 4의 (c)는 PDSS의 잘라낸 썸네일 영상 결과이고, 도 4의 (d)는 본 발명의 썸네일 영상 결과이다.
도 4는 본 발명의 썸네일 추출 방법이 적은 엘리어싱(Aliasing) 부작용을 생성함을 보여준다.
PDSS와 PDAVG7에 엘리어싱 부작용이 남아 있는데 반해, 본 발명의 썸네일 추출 방법은 도 4의 (d)와 같이, 엘리어싱 부작용을 감소시키는 장점이 있다.
본 발명은 썸네일 생성의 계산 복잡성을 줄이기 위해서 부분 축소 및 기정의된 가중치 테이블을 이용하여 썸네일 이미지의 시각적 품질을 향상시키는 방법을 제안하였다.
본 발명은 인트라 예측 모드의 결과에 기반한 가중치를 이용하여 썸네일 영상의 화질을 향상시킨다.
본 발명의 썸네일 추출 방법은 전체 썸네일 이미지 생성의 계산 복잡도를 현저하게 증가시키지 않고, 엘리어싱 부작용을 효과적으로 제거한다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 썸네일 영상 추출 장치
110: 부분 디코딩부
120: 블록 생성부
130: 가중치 저장부
140: 다운 샘플링부

Claims (9)

  1. HEVC(High Efficiency Video Coding) 표준에 따라 압축된 동영상의 비트스트림을 N×N 역이산 코사인 변환을 수행하고, 상기 역이산 코사인 변환을 수행한 비트스트림에서 4×4 특정 경계의 픽셀의 잔여값을 재구성하여 부분 변환을 수행하는 부분 디코딩부;
    4×4 크기의 픽셀에서 인트라 모드를 이용하여 예측 블록을 생성하고, 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 블록 생성부; 및
    상기 예측 블록에 대한 가중 평균 예측값을 기정의된 가중치 테이블을 이용하여 계산하고, 상기 잔여 블록의 가중 평균 잔여값을 상기 가중치 테이블을 이용하여 계산하며, 상기 가중 평균 잔여값과 상기 가중 평균 예측값을 가산하여 썸네일 픽셀을 생성하는 다운 샘플링부를 포함하며,
    상기 가중치 테이블은 인트라 예측 모드에 따라 각각의 평균 잔여값에 대응하는 가중치가 각각 다르게 설정되어 있는 것을 특징으로 하는 HEVC용 썸네일 영상 추출 장치.
  2. 제1항에 있어서,
    상기 부분 디코딩부는 HEVC(High Efficiency Video Coding) 표준에 따라 압축된 동영상의 비트스트림을 하기의 수학식 1에 의해 상기 N×N 역이산 코사인 변환을 수행하는 것을 특징으로 하는 HEVC용 썸네일 영상 추출 장치.
    [수학식 1]
    Figure 112018006510421-pat00015

    여기서, N과 A는 블록 크기와 변환 행렬을 나타내고,
    Figure 112018006510421-pat00016
    은 픽셀 영역과 변환 영역의 잔여 블록임.
  3. 제1항에 있어서,
    상기 부분 디코딩부는 상기 역이산 코사인 변환을 수행한 비트스트림에서 4×4 특정 경계의 픽셀의 잔여값을 하기의 수학식 2에 의해 재구성하여 부분 변환을 수행하는 것을 특징으로 하는 HEVC용 썸네일 영상 추출 장치.
    [수학식 2]
    Figure 112018006510421-pat00017

    여기서,
    Figure 112018006510421-pat00018
    는 각각 정수, 요소별 곱셈 및 XOR 연산을 나타내고, k는 벡터의 위치이고, 4×4 내지 32×32 크기의 경우, k는 {3}, {3, 7}, {3, 7, 11, 15}, {3, 7, 11,15, 19, 23, 27, 31}로 각각 표시됨.
  4. 제1항에 있어서,
    상기 예측 블록에 대한 가중 평균 예측값은 상기 가중치 테이블을 이용하여 하기의 수학식 3과 같이 표현되는 것을 특징으로 하는 HEVC용 썸네일 영상 추출 장치.
    [수학식 3]
    Figure 112018006510421-pat00019

    여기서, M은 인트라 모드이고,
    Figure 112018006510421-pat00020
    은 [표 1]의 평균 잔여값에 대한 가중치임.
  5. 제1항에 있어서,
    상기 잔여 블록의 가중 평균 잔여값은 상기 가중치 테이블을 이용하여 하기의 수학식 4와 같이 표현되는 것을 특징으로 하는 HEVC용 썸네일 영상 추출 장치.
    [수학식 4]
    Figure 112018006510421-pat00021

    여기서,
    Figure 112018006510421-pat00022
    은 예측 블록이고,
    Figure 112018006510421-pat00023
    은 평균 예측값에 대한 기정의된 가중치임.
  6. 삭제
  7. HEVC(High Efficiency Video Coding) 표준에 따라 압축된 동영상의 비트스트림을 하기의 수학식 1에 의해 N×N 역이산 코사인 변환을 수행하는 단계;
    상기 역이산 코사인 변환을 수행한 비트스트림에서 4×4 특정 경계의 픽셀의 잔여값을 하기의 수학식 2에 의해 재구성하여 부분 변환을 수행하는 단계;
    4×4 크기의 픽셀에서 인트라 모드를 이용하여 예측 블록을 생성하고, 현재 블록에서 상기 예측 블록을 감산하여 잔여 블록을 생성하는 단계;
    상기 예측 블록에 대한 가중 평균 예측값을 기정의된 가중치 테이블을 이용하여 계산하고, 상기 잔여 블록의 가중 평균 잔여값을 상기 가중치 테이블을 이용하여 계산하는 단계; 및
    상기 가중 평균 잔여값과 상기 가중 평균 예측값을 가산하여 썸네일 픽셀을 생성하는 단계를 포함하며,
    상기 가중치 테이블은 인트라 예측 모드에 따라 각각의 평균 잔여값에 대응하는 가중치가 각각 다르게 설정되어 있는 것을 특징으로 하는 HEVC용 썸네일 영상 추출 방법.
    [수학식 1]
    Figure 112019091344331-pat00024

    여기서, N과 A는 블록 크기와 변환 행렬을 나타내고,
    Figure 112019091344331-pat00025
    은 픽셀 영역과 변환 영역의 잔여 블록임.
    [수학식 2]
    Figure 112019091344331-pat00026

    여기서,
    Figure 112019091344331-pat00027
    는 각각 정수, 요소별 곱셈 및 XOR 연산을 나타내고, k는 벡터의 위치이고, 4×4 내지 32×32 크기의 경우, k는 {3}, {3, 7}, {3, 7, 11, 15}, {3, 7, 11,15, 19, 23, 27, 31}로 각각 표시됨.
  8. 제7항에 있어서,
    상기 예측 블록에 대한 가중 평균 예측값은 상기 가중치 테이블을 이용하여 하기의 수학식 3과 같이 표현되는 것을 특징으로 하는 HEVC용 썸네일 영상 추출 방법.
    [수학식 3]
    Figure 112018006510421-pat00028

    여기서, M은 인트라 모드이고,
    Figure 112018006510421-pat00029
    은 [표 1]의 평균 잔여값에 대한 가중치임.
  9. 제7항에 있어서,
    상기 잔여 블록의 가중 평균 잔여값은 상기 가중치 테이블을 이용하여 하기의 수학식 4와 같이 표현되는 것을 특징으로 하는 HEVC용 썸네일 영상 추출 방법.
    [수학식 4]
    Figure 112018006510421-pat00030

    여기서,
    Figure 112018006510421-pat00031
    은 예측 블록이고,
    Figure 112018006510421-pat00032
    은 평균 예측값에 대한 기정의된 가중치임.
KR1020180006940A 2018-01-19 2018-01-19 Ｈｅｖｃ용 썸네일 영상 추출 장치 및 방법 KR102049293B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180006940A KR102049293B1 (ko) 2018-01-19 2018-01-19 Ｈｅｖｃ용 썸네일 영상 추출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180006940A KR102049293B1 (ko) 2018-01-19 2018-01-19 Ｈｅｖｃ용 썸네일 영상 추출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190088635A KR20190088635A (ko) 2019-07-29
KR102049293B1 true KR102049293B1 (ko) 2019-11-28

Family

ID=67480571

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180006940A KR102049293B1 (ko) 2018-01-19 2018-01-19 Ｈｅｖｃ용 썸네일 영상 추출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102049293B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100907707B1 (ko) 2007-09-06 2009-07-14 동국대학교 산학협력단 Ｈ.264/ａｖｃ 압축 영역에서의 썸네일 영상의 고속 추출방법, 그 장치 및 이를 기록한 기록매체

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100727974B1 (ko) * 2005-09-10 2007-06-14 삼성전자주식회사 디지털 이미지에서 썸네일을 생성하는 방법 및 장치
KR101035455B1 (ko) * 2008-06-24 2011-05-18 경희대학교 산학협력단 Ｈ.264 표준에서 섬네일 이미지를 생성하는 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100907707B1 (ko) 2007-09-06 2009-07-14 동국대학교 산학협력단 Ｈ.264/ａｖｃ 압축 영역에서의 썸네일 영상의 고속 추출방법, 그 장치 및 이를 기록한 기록매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wonjin Lee et al., ‘Efficient fast thumbnail extraction algorithm for HEVC’, Proc. SPIE 9400, Real-Time Image and Video Processing 2015, 94000H ( 2015.02.27);*

Also Published As

Publication number Publication date
KR20190088635A (ko) 2019-07-29

Similar Documents

Publication Publication Date Title
KR101972407B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
KR100723403B1 (ko) 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
KR101246915B1 (ko) 동영상 부호화 또는 복호화 방법 및 장치
JP5454584B2 (ja) 映像符号化装置および映像復号装置
KR101482896B1 (ko) 최적화된 디블록킹 필터
KR20180119753A (ko) 압축 파라미터를 이용한 영상 복원용 머신러닝 알고리즘 및 이를 이용한 영상 복원방법
US7684626B1 (en) Method and apparatus for image decoder post-processing using image pre-processing and image encoding information
US20110194615A1 (en) Video sequence encoding system and algorithms
KR20080073157A (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR20120003147A (ko) 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
KR101362755B1 (ko) 센서영상 부호화 및 복호화장치와 그 방법
AU2011316747A1 (en) Internal bit depth increase in deblocking filters and ordered dither
Aziz et al. Motion estimation and motion compensated video compression using DCT and DWT
US20130114690A1 (en) Video encoding device and video decoding device
US9055292B2 (en) Moving image encoding apparatus, method of controlling the same, and computer readable storage medium
US8687910B2 (en) Image filtering method using pseudo-random number filter and apparatus thereof
KR102049293B1 (ko) Ｈｅｖｃ용 썸네일 영상 추출 장치 및 방법
EP1511319A1 (en) Film Grain Extraction Filter
Yang et al. A novel SAO-based filtering technique for reduction in temporal flickering artifacts in H. 265/HEVC
Lee et al. Video thumbnail extraction for HEVC
Elarabi et al. Hybrid wavelet-DCT intra prediction for H. 264/AVC interactive encoder
Patel et al. Hardware Efficient Hybrid Encoder for Video Surveillance Application
Ahmed Comparison between HEVC and AVC for Video Compression
Ezhilarasan et al. An improved transformation technique for H. 264/Advanced Video Coding
US20160050441A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right