KR20150068402A - 동영상 압축 방법 - Google Patents

동영상 압축 방법 Download PDF

Info

Publication number
KR20150068402A
KR20150068402A KR1020157010193A KR20157010193A KR20150068402A KR 20150068402 A KR20150068402 A KR 20150068402A KR 1020157010193 A KR1020157010193 A KR 1020157010193A KR 20157010193 A KR20157010193 A KR 20157010193A KR 20150068402 A KR20150068402 A KR 20150068402A
Authority
KR
South Korea
Prior art keywords
video
operator
reconstructed
higher resolution
resolution
Prior art date
Application number
KR1020157010193A
Other languages
English (en)
Inventor
일란 바-온
올레그 코스텐코
Original Assignee
뉴메리 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 뉴메리 엘티디. filed Critical 뉴메리 엘티디.
Publication of KR20150068402A publication Critical patent/KR20150068402A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Abstract

본 발명은, 동영상을 인코딩하도록 구성된 인코딩부와, 상기 인코딩된 동영상을 재구성하도록 구성된 재구성부 - 상기 재구성부는 디코딩 데이터의 비트 스트림을 생성함 - 와, 디코딩 데이터의 비트 스트림을 수신하고, 상기 비트 스트림내의 동영상을 디코딩하도록 구성된 디코딩부를 포함하는 동영상 코덱이다.

Description

동영상 압축 방법{VIDEO COMPRESSION METHOD}
본 발명은 동영상 압축의 분야에 관한 것이다.
관련 출원에 관한 상호 참조
본 특허 출원은 2012년 10월 7일에 출원된 미국 가특허 출원 일련 번호 61/710,723으로부터 우선권을 주장하고, 이와 관련되며, 미국 가특허 출원은 그 전체가 본원에 참조로서 포함된다.
원시 동영상 파일은 엄청 많은 공간을 소모한다. 예를 들어, 초당 60 프레임(fps), 1920x1080 픽셀의 프레임 해상도, 컬러 농도 3 및 컬러당 8비트를 가진 고화질(HD) 영화는,
1,920*1,080*60*3 = 초당 373,248,000 바이트를 소모한다.
그리고 이러한 영화를 두 시간 보는 것은,
373,248,000*7,200 = 2,687,385,600,000 바이트
Figure pct00001
3 테라 바이트(Tbytes)를 소모한다.
일반 DVD 디스크, 즉, 4.7 기가 바이트(Gbyte) 디스크에 영화를 저장하려면, 우리는,
Figure pct00002
2,687 / 4.7
Figure pct00003
600 DVD 디스크가 필요하다.
그리고, 인터넷으로 이 영화를 전송하기 위해서는, 다시 말해, 빠른 100Mbps 채널을 통해 전송하려면, 우리는,
Figure pct00004
2,687,386 * 8 / 100
Figure pct00005
2,149,908초
Figure pct00006
60 시간이 소요된다.
동영상 압축은 지각된 품질에 영향을 주지 않으면서 동영상 크기를 줄이는 기술 분야이다.
동영상 콘텐츠는 항상 최고의 장비와 최고의 사진 촬영기로 찍히지는 않는다. 이러한 경우에, 동영상 개선(video enhancement)으로도 알려진 디지털 이미지 프로세싱이 동영상의 가시적 품질을 실질적으로 향상시킬 수 있고, 동영상 압축 프로세스에 도움이 될 수 있다. 동영상 개성을 위해 더욱 알려진 방법 중 일부는 다음과 같은 동영상 프리프로세싱(preprocessing) 툴(tool)을 사용한다.
디- 인터레이싱 ( De - interlacing ) 인터레이스된 영화는 빠르게 움직이는 물체를 녹화할 때 문제가 발생할 수 있다. 움직이는 물체는 "짝수" 화면에서 한 곳에 있고, "홀수" 화면에서 다른 곳에 있을 수 있어서, 매우 혼란스러운 "손상된" 화면을 생성할 수 있다.
디- 블록킹 ( De - blocking ) 블록형 인공물은 현재 MPEG의 낮은 품질 고도로 압축된 동영상의 부작용이다. 디-블록킹은 이러한 동영상의 품질을 많이 증가시킨다.
샤프닝(Sharpening)은 텍스쳐와 세부사항을 강조하는데, 대부분 디지털 이미지를 포스트프로세싱 할 때 중요하다. "언샤프 마스ㅋ(unsharp mask)"가 이미지를 선명하게 하는데 실제로 사용된다.
디- 노이징 ( De - noising ) 노이즈의 어떤 정도는 "신호"를 송신 또는 수신하는 어떠한 전자 장치에 항상 존재한다. 텔레비젼에서, 이러한 신호는 케이블을 통해 송신되거나 안테나에서 수신되는 방송 데이터이다. 디지털 카메라에서, 이 신호는 카메라 센서를 치는 광이다. 동영상 디-노이징은 동영상 신호로부터의 노이즈를 제거하는 프로세스이다.
스태빌라이제이션(Stabilization)은 카메라의 움직임과 관련된 흔들림(blurring)을 줄이는데 사용된다. 구체적으로, 이는 카메라 또는 그 밖의 이미징 장치의 팬(pan) 또는 틸트(tilt)를 보상한다. 동영상 카메라를 사용하여, 카메라의 흔들림은 녹화된 동영상에서 가시적인 프레임 투 프레임 지터(frame-to-frame jitter)를 야기한다.
카메라 캘리브레이션(Camera Calibration)은 안정하고 신뢰성 있는 이미지를 얻기 위해 중요하다. 동기식으로 작동하거나 부정확하게 조절된 카메라는 흐릿하거나 혼란스러운 이미지를 생성할 수 있다.
이러한 툴은 동영상 품질을 많이 개선시키고, 압축 프로세스에 도움을 줄 수 있다. 여기서, 우리는 이러한 문제를 무시하고, 동영상은 원하는 대로 이미 프리프로세싱되었다고 가정한다. 좀 더 자세한 사항은 참조 문헌 [1]을 참조한다.
디지털 동영상은, 동영상, 오디오 및 컨트롤과 같은 복수의 스트림으로 구성되고, 이는 함께 동일한 컨테이너 파일(container file) 내에 저장된다. 예를 들어, 공통의 컨테이너 포맷은 AVI(Audio Video Interlaced), WMV(Windows Media Video), FLV(Flash Video), MOV(Apple Quick Time Movie)이다. 동영상 스트림 자체는 다른 스트림 또는 컨테이너 타입과 대개 독립적이고, 많은 다양한 포맷으로 표현될 수 있다. Apple iTunes나 Microsoft Windows Media Player와 같은 미디어 플레이어는 해당 Codec ( Encoder / Decoder ) 소프트웨어를 사용하여 스크린상에 동영상을 디스플레이한다.
디스플레이된 동영상은 원시 RGB 색 공간 포맷으로 대개 표현되는데, 이는 사람 시각 시스템도 유사한 방식, 즉, 사람 눈 칼라 비전은 빨강, 초록 및 파랑 컬러 센서에 기초하여 작동하기 때문이다. 원시 RGB 파일(100)은 도 1에 개략적으로 도시되는데, 이는 헤더 섹션(120) 이후의 프레임(130)을 포함한다. 헤더(120)는 가령, n - 로우의 수, m - 컬럼의 수, 그리고 N - 프레임의 수와 같은 동영상 파라미터를 포함한다. 프레임(130)은 n * m 픽셀값을 포함하고, 각각은 R, G 및 B에 대한 트리플릿(triplet)이다.
원시 YUV 색 공간 포맷은 동영상 표현을 위한 또 다른 매우 유용한 포맷이다. 여기서, Y는 동영상의 검정색과 흰색의 표현에 해당하고, U 및 V에 추가된 색차(color difference)에 해당한다. RGB에서 YUV로 또는 그 반대로 전환하기 위한 많은 유사한 공식들이 있다. 이들 중 하나(참고 문헌 [2] 참조)는 도 2에 예시되는데, 여기서, RGB에서 YUV로의 변환 공식은 유닛(210)에서 주어지고, YUV에서 RGB로의 변환 공식은 유닛(220)에서 주어진다. 원시 YUV 파일(300)은 도 3에 개략적으로 도시되는데, 이는 도 1의 유닛(120)과 같은 헤더 섹션(310), 이후에 이어지는 Y 프레임(320), U 프레임(330) 및 V 프레임(340)을 포함한다. Y, U 및 V 구성에 대한 전형적인 프레임이 도시된다. 다음에 이어지는 것은, 우리는 일반성(w.l.g.)의 손실 없이 컨테이터 파일의 동영상 스트림 부분만을 고려하고, 우리는 YUV 색 공간 표현을 가정한다.
카메라는 영화 동안에 뷰의 각도를 많이 변화시킬 수 있다. 영화의 컷이라고도 불리는 장면의 이러한 변화는 이들의 모양과 콘텐츠에 의해 구별된다(참고 문헌 [3] 참조). 압축의 면에서, 이는 우리가 컷들 사이에 약간의 중복(redundancy)을 가지고 있다는 의미이다.
컷 파일(400)은 도 4에 개략적으로 도시되는데, 이는 헤더 섹션(410)에 이어서 컷(420)을 포함한다. 헤더는 다음과 같다.
n은 로우의 수이고, m은 컬럼의 수이다.
N은 프레임의 수이고, M은 컷의 수이다.
파일의 각각의 컷은 도 3의 유닛(300)에서 주어진 YUV 파일 포멧과 동일한 구성을 가진다. 간결성을 위해, 우리는 이제부터, 각각의 이러한 컷의 오직 하나의 이러한 구성에 대해 고려할 것이다. 모든 구성으로의 일반성이 간단하다.
잔물결과 다중잔물결(참고문헌 [4] 참조)은 이하의 응용분야에서 우리가 사용하는 중요한 수학적 툴이다. 전형적인 이산 웨이블릿 변환(DWT) 필터는 도 5에 도시되는데, 한 쌍의 로우 패스와 하이 패스 분석 필터가 유닛(510)에 도시되고, 한 쌍의 로우 패스와 하이 패스 분석 필터가 유닛(520)에 도시된다. 예를 들어, 일차원 Haar 변환이 유닛(530)에 도시된다.
일반적으로, 우리는 도 6에 도시된 바와 같이, m > 1 필터를 가지고, 분석 필터는 유닛(610)에 도시되고, 합성 필터는 유닛(620)에 도시된다. 예를 들어, 2D Haar 변환은 유닛(630)에 도시된다. 좀 더 일반적으로, 필터는 이산 멀티웨이블릿 변환(DMWT)에 관한 것일 수 있다.
정수의 래티스(lattice,
Figure pct00007
)는 유클리드 공간
Figure pct00008
내의 정수의 n-튜플의 세트이다. 프레임은 래티스(
Figure pct00009
) 상의 직사각형 그리드(grid)로서 표현될 수 있고,
Figure pct00010
상의 큐빅 그리드로서 동영상으로 표현될 수 있다. 그 자체로 래티시인 래티스의 서브세트는 서브-래티스로 불린다.
Figure pct00011
의 서브-래티스의 예시는 도 7에 주어진다. 퀸컹스(Quincunx) 서브-래티스는 유닛(710)에 도시된다. 하얀 동그란 점은 짝수의 서브-래티스에 해당하고, 어두운 동그란 점은 홀수의 서브-래티스에 해당한다. 다이애딕(Dyadic) 서브-래티스는 유닛(720)에 유사하게 도시된다. 퀸컹스 서브-래티스는 유닛(715) 내의 딜레이션 매트릭스(dilation matrix)에 의해 결정되고, 다이애딕 서브-래티스는 유닛(725)의 딜레이션 매트릭스에 의해 결정된다. 서브-래티스의 수는 퀸컹스 경우에는 2, 다이애딕에서는 4인 해당 딜레이션 매트릭스의 판별식에 의해 결정된다. 다운-샘플링(Down-sampling)은 주어진 래티스로부터 서브-래티스를 추출하는 프로세스에 관한 것이다. 예를 들어, 우리는 도 8에서 다이애딕 다운 샘플링을 디스플레이한다. 입력 신호는 유닛(810)에 주어지고, 시간 다운 샘플링은 유닛(820)에 주어지며, 공간 다운 샘플링은 유닛(830)에 주어지고, 결합된 공간 및 시간 다운 샘플링은 유닛(840)에 주어진다.
본 발명의 태양에 따르면, 동영상을 인코딩하는 방법이 제공되는데, 상기 방법은, 동영상을 수신하는 단계와, 상기 수신된 동영상에 대해 수축 연산(shrink operation)을 수행하는 단계 - 상기 수축 연산은, 상기 동영상으로부터 제1 더 낮은 해상도 동영상을 생성하는 단계 및 추가적인 N-1 더 낮은 해상도 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 추가적인 더 낮은 해상도 동영상의 각각은 상기 이전의 더 낮은 해상도 동영상으로부터 생성됨 - 와, 가장 낮은 해상도 동영상을 압축하는 단계와, 상기 가장 낮은 해상도 압축된 동영상을 압축해제함에 의해 가장 낮은 해상도 재구성된 동영상을 생성하는 단계와, 상기 가장 낮은 해상도 재구성된 동영상에 제1 상승 연산을 수행하는 단계 - 상기 제1 상승 연산은 N 개의 더 높은 해상도 재구성된 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 더 높은 해상도 재구성된 동영상의 각각은, 상기 더 낮은 해상도 재구성된 동영상으로부터 더 높은 해상도 동영상을 생성하는 단계와 상기 각각의 더 낮은 해상도 동영상과 상기 생성된 더 높은 해상도 동영상 사이의 나머지(residual)를 계산하는 단계와, 상기 계산된 나머지를 압축하는 단계와 상기 압축된 나머지를 압축해제하는 단계와 상기 압축해제된 나머지와 상기 생성된 더 높은 해상도 동영상을 결합하여 각각의 더 높은 해상도 재구성된 동영상을 생성하는 단계에 의하여, 상기 이전의 더 낮은 해상도 재구성된 동영상으로부터 생성됨 - 와, 상기 가장 낮은 해상도 압축된 동영상, 상기 압축된 나머지 및 상기 N을 포함하는 제어 정보를 포함하는 비트 스트림을 제공하는 단계를 포함한다.
비트 스트림은 로우 패스 분석 필터를 포함하고, 더 낮은 해상도 동영상을 생성하는 단계는 로우 패스 분석 필터를 동영상에 적용하는 단계를 포함할 수 있다.
비트 스트림은, 흔들림 연산자 및 다운 샘플링 연산자를 포함하고, 더 낮은 해상도 동영상을 생성하는 단계는 흔들림 연산자를 동영상에 적용하는 단계와 다운 샘플링 연산자를 흔들림 연산의 결과에 적용하는 단계를 포함할 수 있다.
비트 스트림은 흔들림 연산자 및 다운 샘플링 연산자를 포함할 수 있고, 상기 로우 패스 분석 필터는 상기 흔들림 연산자 및 다운 샘플링 연산자로부터 계산된다.
비트 스트림은 로우 패스 합성 필터를 포함할 수 있고, 더 높은 해상도 동영상을 생성하는 단계는 로우 패스 합성 필터를 더 낮은 해상도 재구성된 동영상에 적용하는 단계를 포함한다.
비트 스트림은 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자를 포함할 수 있고, 더 높은 해상도 동영상을 생성하는 단계는, a. 업 샘플링 연산자에 이어서 보간 연산자를 더 낮은 해상도 재구성된 동영상에 적용하는 단계와, b. 오라클 연산자를 보간 연산자의 결과에 적용하는 단계와, c. 흔들림 방지 연산자를 오라클 연산자의 결과에 적용하는 단계를 포함한다.
비트 스트림은 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자를 포함할 수 있고, 상기 로우 패스 합성 필터가 상기 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자로부터 계산될 수 있다.
나머지를 계산하는 단계는, 각각의 더 낮은 해상도 동영상과 더 높은 해상도 동영상간의 차이값을 계산하는 단계를 포함할 수 있다.
비트 스트림은 하이 패스 분석 필터를 포함할 수 있고, 나머지를 계산하는 단계는 하이 패스 분석 필터를 계산된 차이값에 적용하는 단계를 추가적으로 포함할 수 있다.
하이 패스 분석 필터는 상기 계산된 차이값으로부터 계산될 수 있다.
더 높은 해상도 재구성된 동영상을 계산하는 단계는 압축해제된 나머지를 더 높은 해상도 동영상에 추가하는 단계를 포함할 수 있다.
비트 스트림은 하이 패스 합성 필터를 포함할 수 있고, 더 높은 해상도 재구성된 동영상을 생성하는 단계는 하이 패스 합성 필터를 각각의 압축해제된 나머지에 적용하는 단계 및 결과를 더 높은 해상도 동영상에 추가하는 단계를 포함할 수 있다.
하이 패스 합성 필터는 로우 패스 분석 필터 및 하이 패스 분석 필터 및 로우 패스 합성 필터로부터 계산될 수 있다.
본 발명의 또 다른 태양에 따르면, 상기 방법에 따라 인코딩된 동영상을 디코딩하는 방법이 제공되는데, 상기 디코딩하는 방법은, 상기 가장 낮은 해상도 압축된 동영상, 상기 압축된 나머지 및 상기 제어 정보를 포함하는 상기 비트스트림을 수신하고 프로세싱하는 단계; 상기 가장 낮은 해상도 압축된 동영상을 압축해제함에 의해 가장 낮은 해상도 재구성된 동영상을 생성하는 단계; 및 상기 가장 낮은 해상도 재구성된 동영상에 제2 상승 연산을 수행하는 단계 - 상기 제2 상승 연산은 N 개의 더 높은 해상도 재구성된 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 더 높은 해상도 재구성된 동영상의 각각은, 상기 더 낮은 해상도 재구성된 동영상으로부터 더 높은 해상도 동영상을 생성하는 단계와 상기 각각의 더 낮은 해상도 동영상과 상기 생성된 더 높은 해상도 동영상 사이의 나머지(residual)를 디코딩하는 단계와, 상기 디코딩된 나머지와 상기 생성된 더 높은 해상도 동영상을 결합하여 각각의 더 높은 해상도 재구성된 동영상을 생성하는 단계에 의하여, 상기 이전의 더 낮은 해상도 재구성된 동영상으로부터 생성됨 - 를 포함한다.
비트 스트림은 로우 패스 합성 필터를 포함할 수 있고, 더 높은 해상도 동영상을 생성하는 단계는 로우 패스 합성 필터를 더 낮은 해상도 재구성된 동영상에 적용하는 단계를 포함할 수 있다.
비트 스트림은 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자를 포함하고, 더 높은 해상도 동영상을 생성하는 단계는, a. 업 샘플링 연산자에 이어서 보간 연산자를 더 낮은 해상도 재구성된 동영상에 적용하는 단계와, b. 오라클 연산자를 보간 연산자의 결과에 적용하는 단계와, c. 흔들림 방지 연산자를 오라클 연산자의 결과에 적용하는 단계를 포함할 수 있다.
비트 스트림은 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자를 포함할 수 있고, 상기 로우 패스 합성 필터가 상기 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자로부터 계산될 수 있다.
더 높은 해상도 재구성된 동영상을 계산하는 단계는 압축해제된 나머지를 더 높은 해상도 동영상에 추가하는 단계를 포함할 수 있다.
비트 스트림은 하이 패스 합성 필터를 포함할 수 있고, 더 높은 해상도 재구성된 동영상을 생성하는 단계는 하이 패스 합성 필터를 각각의 압축해제된 나머지에 적용하는 단계 및 결과를 더 높은 해상도 동영상에 추가하는 단계를 포함할 수 있다.
하이 패스 합성 필터는 로우 패스 분석 필터 및 하이 패스 분석 필터 및 로우 패스 합성 필터로부터 계산될 수 있다.
본 발명의 또 다른 태양에 따르면, 동영상 코덱이 제공되는데, 상기 동영상 코덱은 동영상을 인코딩하도록 구성된 인코딩부와, 상기 인코딩된 동영상을 재구성하도록 구성된 재구성부 - 상기 재구성부는 디코딩 데이터의 비트 스트림을 생성함 - 와, 디코딩 데이터의 비트 스트림을 수신하고, 상기 비트 스트림내의 동영상을 디코딩하도록 구성된 디코딩부를 포함한다.
인코딩부는, 동영상을 수신하고, 상기 수신된 동영상에 대해 수축 연산을 수행하도록 구성될 수 있고, 상기 수축 연산은 상기 동영상으로부터 제1 더 낮은 해상도 동영상을 생성하는 단계와, 추가적인 N - 1 더 낮은 해상도 동영상을 순차적으로 생성하는 단계 - 상기 추가적인 더 낮은 해상도 동영상의 각각은 상기 이전의 더 낮은 해상도 동영상으로부터 생성됨 - 및 가장 낮은 해상도 동영상을 압축하는 단계를 포함한다.
재구성부는, 상기 가장 낮은 해상도 압축된 동영상을 압축해제함에 의해 가장 낮은 해상도 재구성된 동영상을 생성하고, 상기 가장 낮은 해상도 재구성된 동영상에 제1 상승 연산을 수행 - 상기 제1 상승 연산은 N 개의 더 높은 해상도 재구성된 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 더 높은 해상도 재구성된 동영상의 각각은, 상기 더 낮은 해상도 재구성된 동영상으로부터 더 높은 해상도 동영상을 생성하는 단계와 상기 각각의 더 낮은 해상도 동영상과 상기 생성된 더 높은 해상도 동영상 사이의 나머지(residual)를 계산하는 단계와, 상기 계산된 나머지를 압축하는 단계와 상기 압축된 나머지를 압축해제하는 단계와 상기 압축해제된 나머지와 상기 생성된 더 높은 해상도 동영상을 결합하여 각각의 더 높은 해상도 재구성된 동영상을 생성하는 단계에 의하여, 상기 이전의 더 낮은 해상도 재구성된 동영상으로부터 생성됨 - 하되, 상기 비트 스트림은 상기 압축된 가장 낮은 해상도 동영상, 상기 압축된 나머지 및 상기 N을 포함하는 제어 정보를 포함한다.
디코딩부는, 상기 가장 낮은 해상도 압축된 동영상, 상기 압축된 나머지 및 상기 제어 정보를 포함하는 상기 비트 스트림을 수신하고 프로세싱하고, 상기 가장 낮은 해상도 압축된 동영상을 압축해제함에 의해 가장 낮은 해상도 재구성된 동영상을 생성하며, 상기 가장 낮은 해상도 재구성된 동영상에 제2 상승 연산을 수행 - 상기 제2 상승 연산은 N 개의 더 높은 해상도 재구성된 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 더 높은 해상도 재구성된 동영상의 각각은, 상기 더 낮은 해상도 재구성된 동영상으로부터 더 높은 해상도 동영상을 생성하는 단계와 상기 각각의 더 낮은 해상도 동영상과 상기 생성된 더 높은 해상도 동영상 사이의 나머지(residual)를 디코딩하는 단계와, 상기 디코딩된 나머지와 상기 생성된 더 높은 해상도 동영상을 결합하여 각각의 더 높은 해상도 재구성된 동영상을 생성하는 단계에 의하여, 상기 이전의 더 낮은 해상도 재구성된 동영상으로부터 생성됨 - 하도록 구성될 수 있다.
본 발명의 또 다른 태양에 따르면, 상기 방법에 따라 인코딩된 동영상을 디코딩하는 방법이 제공되는데, 상기 디코딩부는 상기 재구성된 더 높은 해상도 동영상을 분석하도록 구성된다.
디코딩부는 상기 재구성된 동영상의 모션 필드(motion field)를 계산하도록 구성될 수 있다.
디코딩부는 상기 재구성된 동영상의 물체 인식을 수행하도록 구성될 수 있다.
본 발명을 더욱 잘 이해하고, 어떻게 동일한 효과를 수행될 수 있는지를 나타내기 위하여, 도면을 참조하여 순전히 예로서 참조될 것이다.
이제 도면을 자세히 참조하면, 내용은 본 발명의 바람직한 실시예의 예시로서, 그리고 설명을 위한 논의에 의해 나타나고, 본 발명의 원리 및 개념적인 태양의 설명을 용이하게 이해하고 유용하다고 믿는 것을 제공하기 위해 제시된다. 이와 관련하여, 본 발명의 기본적인 이해를 위해 필요한 것보다 더 자세히 본 발명의 구조적인 세부 사항을 나타내지 않고, 도면과 함께 설명에 의해, 본 발명의 여러 형태가 실제로 어떻게 구현될 수 있는지를 기술 분야의 당업자에게 명백하게 될 것이다.
도 1은 원시 RGB 파일을 기술한다.
도 2는 RGB 포맷과 YUV 포맷간의 변형을 기술한다.
도 3은 원시 YUV 파일을 기술한다.
도 4는 컷 파일을 기술한다.
도 5는 2-방법의 이산 웨이블릿 변형 필터를 기술한다.
도 6은 m-방법의 이산 웨이블릿 변형 필터를 기술한다.
도 7은 래티스 및 서브-래티스를 기술한다.
도 8은 다이애딕 다운 샘플링을 기술한다.
도 9는 새로운 코덱의 순서도이다.
도 10은 인코더의 순서도이다.
도 11은 비트 스트림을 기술한다.
도 12는 디코더의 순서도이다.
도 13은 M 코덱을 기술한다.
도 14은 M 코덱을 기술한다.
도 15은 M 코덱을 기술한다.
도 16은 O 코덱 파라미터를 기술한다.
도 17은 O 코덱을 기술한다.
도 18은 O 코덱을 기술한다.
도 19는 OM 코덱을 기술한다.
도 20은 OM 코덱을 기술한다.
본 발명은, H.264와 같은 표준 MPEG 방법과 달리, 최신 컴퓨터 비전과 수학적 방법을 사용하여, 인코더와 디코더 모두에서 동영상의 분석으로부터 이익을 얻는 동영상 압축의 새로운 기술을 제공한다. 예를 들어, 모션 필드 계산 및 물체 인식(참고문헌 [1] 및 [7] 참조)은 인코더와 디코더 모두에서 동영상을 재구성하는데 사용될 수 있다.
새로운 제너릭 코덱( Codec )의 개략도는 도 9에 도시된다. 이 코덱은 두 개의 주요 부분, 인코더( Encoder )와 디코더( Decoder )로 구성된다. 인코더(1000)는 동영상(Y)을 비트 스트림( Bit Stream )(1100)으로 압축하고, 디코더(1200)는 비트 스트 림을 재구성된 동영상(
Figure pct00012
)으로 압축해제한다. 인코더로부터의 출력이고 디코더로의 입력인 비트 스트림(1100)은 압축된 동영상을 나타낸다. 비트 스트림은 디스크상에 저장되거나 네트워크로 전송될 수 있다. Y 및
Figure pct00013
는 이하 설명 전반에 걸쳐 "동영상"으로 언급된다. Y는 상기 설명된 바와 같이 컷의 성분이라는 점을 유의한다.
다음에 이어지는 것은, 우리는 인코더(1000)(도 10 참조), 비트 스트림(1100)(도 11 참조) 및 디코더(1200)(도 12 참조)를 기술한다.
인코더(1000)는 다음과 같이 세 개의 단계를 가진다.
단계 I( Stage I) (E) 은 다음과 같이 N 반복으로 구성된다.
Y0 ≡ Y를 정의하자. 그리고 나서, 동영상 (Yk)는 반복 k = 0,…,N-1로의 입력이고, 동영상(Yk +1)은 반복 k = 0,…,N-1의 출력이다. 여기서, 동영상(Yk +1)은 동영상(Yk)의 더 낮은 해상도, 더 거친 표현이다. 더 낮은 해상도는 공간적으로 더 낮은 해상도, 시간적으로 더 낮은 해상도 또는 공간적 및 시간적으로 더 낮은 해상도를 의미한다. 우리는 동영상 해상도를 낮추는 이러한 연산을 수축( Shrin k ) 연산이라고 부른다. 이러한 반복의 수, 다시 말해 N은 인코더( Encoder )에 의해 결정된다.
단계 II ( Stage II ) (E) 는 압축( Compress ) 및 압축해제( Decompress ) 연산으로 구성된다. 압축 연산은 특허 [1]의 예시에서 논의된 바와 같이, 동영상을 압축하기 위한 어떤 방법을 말한다. 압축해제 연산은 압축된 동영상으로부터 원래의 동영상으로 재구성하는 반대 연산을 말한다. YN을 단계 I (E) 이후의 결과 동영상으로 표시하고, 우리는 압축된 동영상을 FN으로, 압축해제된 동영상을
Figure pct00014
으로 표시한다. 동영상(
Figure pct00015
)은 압축 방법의 품질에 의해 방해된(hamper) 동영상(YN)의 재구성이다. 손실 없는 압축의 경우에, 재구성된 동영상(
Figure pct00016
)은 YN과 정확히 동일하다. 그러나, 실제로, 압축 프로세스는 손실이 있고,
Figure pct00017
는 YN과 동일하지 않다. 대개, 압축이 강할수록, 동영상은 더욱 상이하고, 더 많은 왜곡이 존재한다. 우수한 압축 방법은 재구성된 동영상의 품질을 주시하면서, 압축된 동영상의 크기를 최소로 한다. 압축된 동영상(FN)은 비트 스트림(1100)에 포함된다는 것을 또한 유의한다.
단계 III ( Stage III ) (E)는 다음과 같이, N 백워드 반복을 포함하는 제1 상승 연산으로 구성된다.
반복 k = N -1,…, 0 에서, 이전의 반복(또는 k = N - 1의 경우에서의 단계)로부터 재구성된 동영상(
Figure pct00018
)은 입력이고, 출력은 재구성된 동영상(
Figure pct00019
)이며, 이는 동영성(Yk)와 (공간적 및 시간적으로) 동일한 해상도를 가진다. 그러므로, 최종 동영상(
Figure pct00020
)은 초기 동영상(Y0)의 재구성이다(상기 단계 I (E) 참조).
Figure pct00021
를 얻기 위하여, 우리는 다음 단계를 따른다.
1) 우선, 우리는 동영상(
Figure pct00022
)을 동영상(Yk)와 동일한 해상도인 더 높은 해상도 동영상(
Figure pct00023
)으로 치수를 조절한다. 우리는 동영상 해상도를 높이는 이러한 연산을 Expand 연산이라고 한다.
2) 다음으로, 우리는 동영상(Yk)과 확장된 동영상(
Figure pct00024
) 간의 나머지(Residual, Rk)를 계산한다. 우리는 나머지를 계산하는 이러한 연산을 Resultant 연산이라고 한다.
3) 마지막으로, 우리는 나머지(Rk)를 Ek로 압축한다. 여기서, 다시 압축에 의해, 우리는 상기 단계 II (E)에서 논의되었던 임의의 유효한 압축 방법을 의미한다. 우리는 나머지를 압축하는 이러한 연산을 Encode 연산이라고 한다. 압축된 나머지(Ek)는 비트 스트림(1100)으로 포함된다는 것도 유의한다.
Encoder의 다음 단계는 Decoder에서 행해진 연산을 시뮬레이트한다.
4) 우리는 압축된 나머지(Ek)를 재구성된 나머지(
Figure pct00025
)로 압축해제한다. 우리는 압축된 나머지를 압축해제하는 이러한 연산을 Decode 연산이라고 한다.
5) 우리는 확장된 동영상(
Figure pct00026
)과 재구성된 나머지(
Figure pct00027
)를 결합하여 재구성된 동영상(
Figure pct00028
)을 얻는다. 우리는 확장된 동영상과 재구성된 나머지를 결합하는 이러한 연산을 Assemble 연산이라고 한다. Assemble 연산은 Resultant 연산의 반대의 뜻이다.
비트 스트림(1100)은 다음 구성을 포함한다.
ctrl, Encoder에는 알려져 있으나 Decoder에서는 알려지지 않은 추가적인 정보이며, 이는 비트 스트림을 압축해제하기 위해 필요로 한다. 예를 들어, Encoder에 의해 결정되는 반복의 수(N)는 ctrl의 일부이다. ctrl은 압축된 형태로 전송된다는 것도 유의한다.
압축된 동영상(FN)
압축된 나머지: Ek, k = N - 1,…, 0.
Decoder(1200)는 다음과 같은 두 개의 단계를 가진다.
단계 I ( Stage I) (D) 는 Process 및 Decompress 연산으로 구성된다. Process 연산은 ctrl 정보를 복원하고 필요한 파라미터, 가령, 디코딩을 위해 요구되는 반복 수(N)와 같은 필요한 파라미터를 설정한다. Decompress 연산은, Encoder의 Stage II (E)에서 행해진 바와 같이, FN을 동영상(
Figure pct00029
)으로 압축해제한다.
단계 II ( Stage II ) (D) 는 다음과 같이, N 백워드 반복을 포함하는 제2 상승 연산으로 구성된다.
반복 k = N - 1,…,0 에서, 이전의 반복(또는 k = N - 1의 경우에서의 단계)로부터 재구성된 동영상(
Figure pct00030
)은 입력이고, 출력은 재구성된 동영상(
Figure pct00031
)이다. 이는 다음과 방법으로 행해진다(또한 Encoder의 단계 III (E) 참조).
1) Decode 연산을 사용하여 압축된 나머지(Ek)를 재구성된 나머지(Rk)로 압축해제한다.
2) Assemble 연산을 사용하여 확장된 동영상(
Figure pct00032
)과 재구성된 나머지(
Figure pct00033
)를 결합하여 재구성된 동영상(
Figure pct00034
)을 얻는다.
본 발명을 더욱 명확하게 하기 위하여, 여기서 우리는 제너릭 코덱의 어떤 가능한 실행예를 기술한다. 이들은 M 코덱, O 코덱 및 OM 코덱이다. 그러나, 많은 그 밖의 실싱예도 가능하고 이들 예에 의해 배제되지 않는다는 것을 유의한다.
실시예 I: 다중잔물결 (M) 코덱( The Multiwavelet (M) Codec)
M 코덱은 도 13에 유닛(1310)에 도시된 바와 같이, DMWT 필터라 불리는, mk 다중잔물결 필터의 각각의 세트에 의해 지배된다. 이들의 역할은 다음에 설명된다.
Encoder(1000)에서,
단계 I ( Stage I) (E) 반복 k = N -1,…, 0에서, Shrink 연산은 로우 패스 분석 필터(
Figure pct00035
)에 의해 결정된다. 다시 말해, 우리는 필터(
Figure pct00036
)를 Yk에 적용하여 Yk+1을 얻는다(도 13의 유닛(1320) 참조).
단계 II ( Stage II ) (E) 는 이전과 같이 일반적이다.
단계 III ( Stage III ) (E) 반복 k = N - 1,…, 0에서,
1) Expand 연산은 로우 패스 합성 필터(
Figure pct00037
)에 의해 결정된다. 다시 말해, 우리는 필터(
Figure pct00038
)를
Figure pct00039
에 적용하여
Figure pct00040
를 얻는다(도 13의 유닛(1330) 참조).
2) Resultant 연산은 mk - 1에 하이 패스 분석 필터(
Figure pct00041
)에 의해 결정된다.
우선, Yk와
Figure pct00042
간의 차이점, 즉, Dk가 계산된다(도 14의 유닛(1410) 참조).
그리고 나서, j = 1,…, mk - 1에 대하여, 우리는
Figure pct00043
를 Dk에 적용하여 각각의 나머지 구성(
Figure pct00044
)을 얻는다(유닛(1420) 참조).
3) 우리는 j = 1,…, mk - 1에 대하여, 나머지(
Figure pct00045
)를
Figure pct00046
로 인코딩한다(유닛(1430) 참조).
4) 우리는 j = 1,…, mk - 1에 대하여,
Figure pct00047
로부터 재구성된 나머지(
Figure pct00048
)를 디코딩한다(도 15의 유닛(1510) 참조).
5) Assemble 연산은 mk - 1 하이 패스 합성 필터(
Figure pct00049
)에 의해 결정된다.
j = 1,…, mk - 1에 대하여, 우리는
Figure pct00050
를
Figure pct00051
에 적용하여 구성
Figure pct00052
를 얻는다(유닛(1520) 참조).
그리고 나서, 우리는 합산에 의해
Figure pct00053
를 재구성한다.
Figure pct00054
유닛(1530) 참조.
비트 스트림(1100)에서,
ctrl 정보는 N에 더하여 DMWT 필터를 포함한다.
디코더(1200)에서,
단계 I (D) 는 이전과 같이, Process 연산과 Decompres s 연산으로 구성된다.
단계 II (D) 는 반복 k = N - 1,…,0에서,
1) 우리는 j = 1,…, mk - 1에 대하여,
Figure pct00055
로부터 재구성된 나머지(
Figure pct00056
)를 디코딩한다(도 15의 유닛(1510) 참조).
2) 우리는 상기 단계 III (E)에서와 같은 Assemble 연산을 사용하여 동영상(
Figure pct00057
)을 재구성한다. 다시 말해, 상기 단계 5에서와 같이, 우리는
Figure pct00058
를
Figure pct00059
에 적용하여 구성
Figure pct00060
를 얻고, 이들 구성을
Figure pct00061
와 합산하여
Figure pct00062
를 얻는다(유닛(1520 및 1530) 참조).
실시예 II : 오라클(O) 코덱( The Oracle Codec )
O 코덱은 각각의 세트의 파라미터에 의해 지배된다(도 16 참조). 이러한 세트는 흔들림/흔들림 방지 인버스 연산자(유닛(1610) 참조), 다운 샘플링/업 샘플링 반대 연산자 및 보간 연산자(유닛(1620) 참조), 및 오라클 연산자(유닛(1630) 참조)를 포함한다. 그들의 역할을 이하에 기술된다.
인코더(1000)에서,
단계 I (E) k = 0,…, N - 1에서,
Shrink 연산은 각각의 흔들림 및 다운 샘플링 연산자에 의해 결정된다. 다시 말해, 우리는 흔들림 연산자(B(k))를 Yk에 적용하여 Zk를 생성하고, 다운 샘플링 연산자(
Figure pct00063
)를 Zk에 적용하여 Yk +1을 생성한다(도 17의 유닛(1710) 참조).
단계 II (E) 는 이전과 같이 일반적이다.
단계 III (E) k = 0,…, N - 1에서,
1) Expand 연산은 각각의 업 샘프링, 보간법, 오라클 및 흔들림 방지 연산자에 의해 결정된다. 다시 말해, 우리는 업 샘플링 연산자(
Figure pct00064
)에 이어서 보간 연산자(I(k))를 적용하여 동영상(
Figure pct00065
)을 생성한다. 그리고 나서, 우리는 오라클 연산자(O(k))를
Figure pct00066
에 적용하여 단계 I (E)의 동영상(Zk)의 재구성된 버전인
Figure pct00067
를 생성한다.
Figure pct00068
를 기초하여 Zk에 대한 최고의 근사치(
Figure pct00069
)를 재구성하는 오라클 연산은 초해상도(참고 문헌 [5] 참조) 및 압축된 센싱(참고 문헌 [6] 참조)과 같은 이러한 방법을 사용할 수 있다. 마지막으로, 우리는 흔들림 방지 연산자(
Figure pct00070
)를
Figure pct00071
에 적용하여
Figure pct00072
를 생성한다(유닛(1720) 참조).
2) Resultant 연산은 간단히 차분 연산이다. 다시 말해, 나머지(Rk)는 Yk와
Figure pct00073
간의 차이이다. 그리고 나서, 우리는 나머지(Rk)를 Ek로 인코딩한다(도 18의 유닛(1810) 참조).
3) 그리고 나서, 우리는 Ek로부터 재구성된 나머지(
Figure pct00074
)을 디코딩한다. Assemble 연산이 단순히 합산 연산이어서, 우리는
Figure pct00075
를
Figure pct00076
에 추가하여 동영상(
Figure pct00077
)를 얻는다(유닛(1820) 참조).
비트 스트림(1100)에서,
ctrl 정보는 N에 더하여 도 16에서의 파라미터를 포함한다.
디코더(1200)에서,
단계 I (D) 는 이전과 같이, Process 연산과 Decompres s 연산으로 구성된다.
단계 II (D) 는 반복 k = N - 1,…,0에서,
1) 우리는 상기 단계 III (E)의 스텝 1에서와 같이, Expand 연산을 사용하여 동영상(
Figure pct00078
)로부터 동영상(
Figure pct00079
)를 재구성한다(유닛(1720) 참조).
2) 우리는 Decode 연산을 사용하여
Figure pct00080
를 얻고, 상기 단계 III (E)의 스텝 3에서와 같이 Assemble 연산을 사용하여
Figure pct00081
와
Figure pct00082
로부터
Figure pct00083
를 재구성한다(유닛(1820) 참조).
실시예 III : 오라클 다중잔물결( OM ) 코덱( The Oracle Multiwavelet Codec )
우리는 다음과 같이 Oracle Codec과 Multiwavelet Codec을 결합한다.
우리는 O Codec 파라미터(도 16 참조)에 기초하여 mk 다중잔물결 필터(유닛(1310) 참조)를 정의한다. 우리는 결과적인 방법을 OM Codec이라고 한다.
우리는 이제 주어진 O Codec으로 파라미터에서 DMWT를 어떻게 얻는지를 기술한다.
1) 우리는 로우 패스 분석 필터(
Figure pct00084
)를 형성하여, 결과적인 Shrink 방법은 주어진 O Codec Shrink 방법을 근사화한다(도 19의 유닛(1910) 참조).
2) 우리는 로우 패스 합성 필터(
Figure pct00085
)를 형성하여, 결과적인 Expand 방법은 주어진 O Codec Expand 방법을 근사화한다(도 19의 유닛(1920) 참조).
3) 우리는 한 세트의 mk - 1 하이 패스 분석 필터(
Figure pct00086
)를
Figure pct00087
소멸시키는(annihilate) 다중잔물결 필터로 정의한다.
4) 우리는
Figure pct00088
를 설정함에 의해 한 세트의 DMWT 필터를 완성한다. 이는 우리가 잔물결의 수학적 이론을 사용하여 행한다(참고 문헌 [4] 및 특허 문헌 [2] 참조).
ctrl 정보는 도 16에서와 같이 파라미터를 포함하고, 해당 DMWT 필터는 도 19에서와 같이 N을 포함한다.
OM Codec의 순서도는 도 20에 도시된다. Encoder 순서도는 유닛(2010)에 도시되고, Decoder는 유닛(2020)에 도시된다. 이하의 문헌은 본 출원에서 참조되고, 이는 모두 본원에 참조로서 포함된다.
특허 문헌
[1] Man Bar-On and Oleg Kostenko, A Method And A System For Wavelet Based Processing, WO/2008/081459.
[2] Man Bar-On, Method And Apparatus For A Multidimensional Discrete Multiwavelet Transform, US 8,331 ,708 B2, Dec. 11 , 2012.
참고 문헌
[1] "Computer Vision, A Modern Approach", D. Forsyth and J. Ponce, 2012.
[2] "ITU-R Recommendation BT. 709", http://en.wikipedia.org/wiki/Rec._709
[3] "Cut by Cut", G. Chandler, 2012.
[4] "Wavelets and Multiwavelets", Fritz Keinert, 2004.
[5] "Super-Resolution Imaging", P. Milanfar, Sep. 2010.
[6] "Compressed Sensing, Theory and Applications", Y.C.EIdar et al., June 2012.
[7] "Optical flow", http://en.wikipedia.org/wiki/Optical_flow.

Claims (27)

  1. 동영상을 인코딩하는 방법에 있어서, 상기 방법은
    동영상을 수신하는 단계와,
    상기 수신된 동영상에 대해 수축 연산(shrink operation)을 수행하는 단계 - 상기 수축 연산은, 상기 동영상으로부터 제1 더 낮은 해상도 동영상을 생성하는 단계 및 추가적인 N-1 더 낮은 해상도 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 추가적인 더 낮은 해상도 동영상의 각각은 상기 이전의 더 낮은 해상도 동영상으로부터 생성됨 - 와,
    가장 낮은 해상도 동영상을 압축하는 단계와,
    상기 가장 낮은 해상도 압축된 동영상을 압축해제함에 의해 가장 낮은 해상도 재구성된 동영상을 생성하는 단계와,
    상기 가장 낮은 해상도 재구성된 동영상에 제1 상승 연산을 수행하는 단계 - 상기 제1 상승 연산은 N 개의 더 높은 해상도 재구성된 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 더 높은 해상도 재구성된 동영상의 각각은, 상기 더 낮은 해상도 재구성된 동영상으로부터 더 높은 해상도 동영상을 생성하는 단계와 상기 각각의 더 낮은 해상도 동영상과 상기 생성된 더 높은 해상도 동영상 사이의 나머지(residual)를 계산하는 단계와, 상기 계산된 나머지를 압축하는 단계와 상기 압축된 나머지를 압축해제하는 단계와 상기 압축해제된 나머지와 상기 생성된 더 높은 해상도 동영상을 결합하여 각각의 더 높은 해상도 재구성된 동영상을 생성하는 단계에 의하여, 상기 이전의 더 낮은 해상도 재구성된 동영상으로부터 생성됨 - 와,
    상기 가장 낮은 해상도 압축된 동영상, 상기 압축된 나머지 및 상기 N을 포함하는 제어 정보를 포함하는 비트 스트림을 제공하는 단계를 포함하는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  2. 제 1 항에 있어서, 상기 비트 스트림은 로우 패스 분석 필터를 포함하고, 더 낮은 해상도 동영상을 생성하는 단계는 로우 패스 분석 필터를 동영상에 적용하는 단계를 포함하는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  3. 제 1 항에 있어서, 상기 비트 스트림은, 흔들림 연산자 및 다운 샘플링 연산자를 포함하고, 더 낮은 해상도 동영상을 생성하는 단계는 흔들림 연산자를 동영상에 적용하는 단계와 다운 샘플링 연산자를 흔들림 연산의 결과에 적용하는 단계를 포함하는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  4. 제 2 항에 있어서, 상기 비트 스트림은 흔들림 연산자 및 다운 샘플링 연산자를 포함하고, 상기 로우 패스 분석 필터는 상기 흔들림 연산자 및 다운 샘플링 연산자로부터 계산된 것을 특징으로 하는 동영상을 인코딩하는 방법.
  5. 제 1 항에 있어서, 상기 비트 스트림은 로우 패스 합성 필터를 포함하고, 더 높은 해상도 동영상을 생성하는 단계는 로우 패스 합성 필터를 더 낮은 해상도 재구성된 동영상에 적용하는 단계를 포함하는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  6. 제 1 항에 있어서, 상기 비트 스트림은 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자를 포함하고, 더 높은 해상도 동영상을 생성하는 단계는,
    a. 업 샘플링 연산자에 이어서 보간 연산자를 더 낮은 해상도 재구성된 동영상에 적용하는 단계와,
    b. 오라클 연산자를 보간 연산자의 결과에 적용하는 단계와,
    c. 흔들림 방지 연산자를 오라클 연산자의 결과에 적용하는 단계를 포함하는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  7. 제 5 항에 있어서, 상기 비트 스트림은 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자를 포함하고, 상기 로우 패스 합성 필터가 상기 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자로부터 계산되는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  8. 제 1 항에 있어서, 나머지를 계산하는 단계는, 각각의 더 낮은 해상도 동영상과 더 높은 해상도 동영상간의 차이값을 계산하는 단계를 포함하는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  9. 제 8 항에 있어서, 상기 비트 스트림은 하이 패스 분석 필터를 포함하고, 나머지를 계산하는 단계는 하이 패스 분석 필터를 계산된 차이값에 적용하는 단계를 추가적으로 포함하는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  10. 제 9 항에 있어서, 상기 하이 패스 분석 필터는 상기 계산된 차이값으로부터 계산되는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  11. 제 1 항에 있어서, 더 높은 해상도 재구성된 동영상을 계산하는 단계는 압축해제된 나머지를 더 높은 해상도 동영상에 추가하는 단계를 포함하는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  12. 제 1 항에 있어서, 상기 비트 스트림은 하이 패스 합성 필터를 포함하고, 더 높은 해상도 재구성된 동영상을 생성하는 단계는 하이 패스 합성 필터를 각각의 압축해제된 나머지에 적용하는 단계 및 결과를 더 높은 해상도 동영상에 추가하는 단계를 포함하는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  13. 제 12 항에 있어서, 상기 하이 패스 합성 필터는 로우 패스 분석 필터 및 하이 패스 분석 필터 및 로우 패스 합성 필터로부터 계산되는 것을 특징으로 하는 동영상을 인코딩하는 방법.
  14. 제 1 항으로부터의 방법에 따라 인코딩된 동영상을 디코딩하는 방법에 있어서, 상기 디코딩하는 방법은,
    상기 가장 낮은 해상도 압축된 동영상, 상기 압축된 나머지 및 상기 제어 정보를 포함하는 상기 비트스트림을 수신하고 프로세싱하는 단계;
    상기 가장 낮은 해상도 압축된 동영상을 압축해제함에 의해 가장 낮은 해상도 재구성된 동영상을 생성하는 단계; 및
    상기 가장 낮은 해상도 재구성된 동영상에 제2 상승 연산을 수행하는 단계 - 상기 제2 상승 연산은 N 개의 더 높은 해상도 재구성된 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 더 높은 해상도 재구성된 동영상의 각각은, 상기 더 낮은 해상도 재구성된 동영상으로부터 더 높은 해상도 동영상을 생성하는 단계와 상기 각각의 더 낮은 해상도 동영상과 상기 생성된 더 높은 해상도 동영상 사이의 나머지(residual)를 디코딩하는 단계와, 상기 디코딩된 나머지와 상기 생성된 더 높은 해상도 동영상을 결합하여 각각의 더 높은 해상도 재구성된 동영상을 생성하는 단계에 의하여, 상기 이전의 더 낮은 해상도 재구성된 동영상으로부터 생성됨 - 를 포함하는 것을 특징으로 하는 디코딩하는 방법.
  15. 제 14 항에 있어서, 상기 비트 스트림은 로우 패스 합성 필터를 포함하고, 더 높은 해상도 동영상을 생성하는 단계는 로우 패스 합성 필터를 더 낮은 해상도 재구성된 동영상에 적용하는 단계를 포함하는 것을 특징으로 하는 디코딩하는 방법.
  16. 제 14 항에 있어서, 상기 비트 스트림은 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자를 포함하고, 더 높은 해상도 동영상을 생성하는 단계는,
    a. 업 샘플링 연산자에 이어서 보간 연산자를 더 낮은 해상도 재구성된 동영상에 적용하는 단계와,
    b. 오라클 연산자를 보간 연산자의 결과에 적용하는 단계와,
    c. 흔들림 방지 연산자를 오라클 연산자의 결과에 적용하는 단계를 포함하는 것을 특징으로 하는 디코딩하는 방법.
  17. 제 15 항에 있어서, 상기 비트 스트림은 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자를 포함하고, 상기 로우 패스 합성 필터가 상기 업 샘플링 연산자, 보간 연산자, 오라클 연산자 및 흔들림 방지 연산자로부터 계산되는 것을 특징으로 하는 디코딩하는 방법.
  18. 제 14 항에 있어서, 더 높은 해상도 재구성된 동영상을 계산하는 단계는 압축해제된 나머지를 더 높은 해상도 동영상에 추가하는 단계를 포함하는 것을 특징으로 하는 디코딩하는 방법.
  19. 제 14 항에 있어서, 상기 비트 스트림은 하이 패스 합성 필터를 포함하고, 더 높은 해상도 재구성된 동영상을 생성하는 단계는 하이 패스 합성 필터를 각각의 압축해제된 나머지에 적용하는 단계 및 결과를 더 높은 해상도 동영상에 추가하는 단계를 포함하는 것을 특징으로 하는 디코딩하는 방법.
  20. 제 19 항에 있어서, 상기 하이 패스 합성 필터는 로우 패스 분석 필터 및 하이 패스 분석 필터 및 로우 패스 합성 필터로부터 계산되는 것을 특징으로 하는 디코딩하는 방법.
  21. 동영상 코덱에 있어서, 상기 동영상 코덱은,
    동영상을 인코딩하도록 구성된 인코딩부와,
    상기 인코딩된 동영상을 재구성하도록 구성된 재구성부 - 상기 재구성부는 디코딩 데이터의 비트 스트림을 생성함 - 와,
    디코딩 데이터의 비트 스트림을 수신하고, 상기 비트 스트림내의 동영상을 디코딩하도록 구성된 디코딩부를 포함하는 것을 특징으로 하는 동영상 코덱.
  22. 제 21 항에 있어서, 상기 인코딩부는,
    동영상을 수신하고,
    상기 수신된 동영상에 대해 수축 연산을 수행하도록 구성되고, 상기 수축 연산은 상기 동영상으로부터 제1 더 낮은 해상도 동영상을 생성하는 단계와, 추가적인 N - 1 더 낮은 해상도 동영상을 순차적으로 생성하는 단계 - 상기 추가적인 더 낮은 해상도 동영상의 각각은 상기 이전의 더 낮은 해상도 동영상으로부터 생성됨 - 및 가장 낮은 해상도 동영상을 압축하는 단계를 포함하는 것을 특징으로 하는 동영상 코덱.
  23. 제 22 항에 있어서, 상기 재구성부는,
    상기 가장 낮은 해상도 압축된 동영상을 압축해제함에 의해 가장 낮은 해상도 재구성된 동영상을 생성하고,
    상기 가장 낮은 해상도 재구성된 동영상에 제1 상승 연산을 수행 - 상기 제1 상승 연산은 N 개의 더 높은 해상도 재구성된 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 더 높은 해상도 재구성된 동영상의 각각은, 상기 더 낮은 해상도 재구성된 동영상으로부터 더 높은 해상도 동영상을 생성하는 단계와 상기 각각의 더 낮은 해상도 동영상과 상기 생성된 더 높은 해상도 동영상 사이의 나머지(residual)를 계산하는 단계와, 상기 계산된 나머지를 압축하는 단계와 상기 압축된 나머지를 압축해제하는 단계와 상기 압축해제된 나머지와 상기 생성된 더 높은 해상도 동영상을 결합하여 각각의 더 높은 해상도 재구성된 동영상을 생성하는 단계에 의하여, 상기 이전의 더 낮은 해상도 재구성된 동영상으로부터 생성됨 - 하되,
    상기 비트 스트림은 상기 압축된 가장 낮은 해상도 동영상, 상기 압축된 나머지 및 상기 N을 포함하는 제어 정보를 포함하는 것을 특징으로 하는 동영상 코덱.
  24. 제 23 항에 있어서, 상기 디코딩부는,
    상기 가장 낮은 해상도 압축된 동영상, 상기 압축된 나머지 및 상기 제어 정보를 포함하는 상기 비트 스트림을 수신하고 프로세싱하고,
    상기 가장 낮은 해상도 압축된 동영상을 압축해제함에 의해 가장 낮은 해상도 재구성된 동영상을 생성하며,
    상기 가장 낮은 해상도 재구성된 동영상에 제2 상승 연산을 수행 - 상기 제2 상승 연산은 N 개의 더 높은 해상도 재구성된 동영상을 순차적으로 생성하는 단계를 포함하고, 상기 더 높은 해상도 재구성된 동영상의 각각은, 상기 더 낮은 해상도 재구성된 동영상으로부터 더 높은 해상도 동영상을 생성하는 단계와 상기 각각의 더 낮은 해상도 동영상과 상기 생성된 더 높은 해상도 동영상 사이의 나머지(residual)를 디코딩하는 단계와, 상기 디코딩된 나머지와 상기 생성된 더 높은 해상도 동영상을 결합하여 각각의 더 높은 해상도 재구성된 동영상을 생성하는 단계에 의하여, 상기 이전의 더 낮은 해상도 재구성된 동영상으로부터 생성됨 - 하도록 구성된 것을 특징으로 하는 동영상 코덱.
  25. 제 1 항의 방법에 따라 인코딩된 동영상을 디코딩하는 방법에 있어서, 상기 디코딩부는 상기 재구성된 더 높은 해상도 동영상을 분석하도록 구성된 것을 특징으로 하는 동영상을 디코딩하는 방법.
  26. 제 25 항에 있어서, 상기 디코딩부는 상기 재구성된 동영상의 모션 필드(motion field)를 계산하도록 구성된 것을 특징으로 하는 동영상을 디코딩하는 방법.
  27. 제 25 항에 있어서, 상기 디코딩부는 상기 재구성된 동영상의 물체 인식을 수행하도록 구성된 것을 특징으로 하는 동영상을 디코딩하는 방법.
KR1020157010193A 2012-10-07 2013-09-30 동영상 압축 방법 KR20150068402A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261710723P 2012-10-07 2012-10-07
US61/710,723 2012-10-07
PCT/IB2013/059007 WO2014053982A2 (en) 2012-10-07 2013-09-30 Video compression method

Publications (1)

Publication Number Publication Date
KR20150068402A true KR20150068402A (ko) 2015-06-19

Family

ID=50435527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157010193A KR20150068402A (ko) 2012-10-07 2013-09-30 동영상 압축 방법

Country Status (9)

Country Link
US (1) US10334256B2 (ko)
EP (1) EP2904807A4 (ko)
JP (1) JP2015536108A (ko)
KR (1) KR20150068402A (ko)
CN (1) CN104704839A (ko)
CA (1) CA2886174C (ko)
IL (1) IL238006B (ko)
IN (1) IN2015DN02570A (ko)
WO (1) WO2014053982A2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014300624A1 (en) 2013-06-25 2015-12-10 Numeri Ltd. Multi-level spatial-temporal resolution increase of video
AU2015287391A1 (en) 2014-07-09 2017-01-05 Numeri Ltd. An universal video codec
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US10880566B2 (en) 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
CN105163124B (zh) * 2015-08-28 2019-01-18 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置
CN105654523B (zh) * 2015-12-25 2019-03-05 北京像素软件科技股份有限公司 一种三维图集的优化方法及装置
WO2017199149A1 (en) * 2016-05-16 2017-11-23 Numeri Ltd. A new pyramid algorithm for video compression and video analysis
CN107993290A (zh) * 2017-12-18 2018-05-04 快创科技（大连）有限公司 一种基于ar和云存储技术的机械部件装配演示系统
CN107995443A (zh) * 2017-12-18 2018-05-04 快创科技（大连）有限公司 一种基于ar的电梯维修管理系统
US11669743B2 (en) * 2019-05-15 2023-06-06 Huawei Technologies Co., Ltd. Adaptive action recognizer for video
US11711491B2 (en) 2021-03-02 2023-07-25 Boe Technology Group Co., Ltd. Video image de-interlacing method and video image de-interlacing device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799646A (ja) * 1993-05-31 1995-04-11 Sony Corp ディジタル画像信号の階層符号化および復号装置
JP3590996B2 (ja) * 1993-09-30 2004-11-17 ソニー株式会社 ディジタル画像信号の階層符号化および復号装置
JP3758211B2 (ja) * 1994-07-19 2006-03-22 ソニー株式会社 ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法
JP3830549B2 (ja) 1994-12-28 2006-10-04 ソニー株式会社 ディジタル画像信号の階層符号化装置および方法
WO1997001934A1 (en) * 1995-06-29 1997-01-16 Thomson Multimedia S.A. System for encoding and decoding layered compressed video data
JP3877087B2 (ja) * 1995-12-27 2007-02-07 ソニー株式会社 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
JP2000244743A (ja) 1999-02-23 2000-09-08 Sony Corp フィルタバンク構成方法及びフィルタバンク装置
US20030021347A1 (en) * 2001-07-24 2003-01-30 Koninklijke Philips Electronics N.V. Reduced comlexity video decoding at full resolution using video embedded resizing
AU2003240828A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Video interpolation coding
US7434690B2 (en) * 2004-04-30 2008-10-14 Cutispharma, Inc. Container and method for the preparation, storage and dispensing of compounded suppositories
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
FR2889778A1 (fr) * 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
JP4906864B2 (ja) * 2005-09-29 2012-03-28 テレコム・イタリア・エッセ・ピー・アー スケーラブルビデオコーディング方法
WO2007083312A2 (en) * 2006-01-18 2007-07-26 Numeri Ltd. Method and apparatus for a multidimensional discrete multiwavelet transform
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
EP2370934A4 (en) * 2008-08-29 2012-10-24 Angel Decegama SYSTEMS AND METHODS FOR COMPRESSION, TRANSMISSION AND DECOMPRESSION OF VIDEO CODECS
WO2011126284A2 (en) * 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
CN104620583A (zh) * 2012-05-14 2015-05-13 卢卡·罗萨托 基于支持信息的残差数据的编码和重构
US8687913B2 (en) * 2012-07-17 2014-04-01 Adobe Systems Incorporated Methods and apparatus for image deblurring and sharpening using local patch self-similarity

Also Published As

Publication number Publication date
EP2904807A4 (en) 2016-06-01
EP2904807A2 (en) 2015-08-12
IL238006B (en) 2020-02-27
JP2015536108A (ja) 2015-12-17
US10334256B2 (en) 2019-06-25
US20150256837A1 (en) 2015-09-10
CA2886174A1 (en) 2014-04-10
WO2014053982A3 (en) 2014-05-30
IL238006A0 (en) 2015-05-31
CA2886174C (en) 2018-07-10
IN2015DN02570A (ko) 2015-09-11
CN104704839A (zh) 2015-06-10
WO2014053982A2 (en) 2014-04-10

Similar Documents

Publication Publication Date Title
CA2886174C (en) Video compression method
US9554132B2 (en) Video compression implementing resolution tradeoffs and optimization
US9438849B2 (en) Systems and methods for transmitting video frames
US6724826B1 (en) Method and apparatus for improving the image quality of transmitted video signals via pre-filtering
JP2010022006A (ja) 画像データ処理方法
US20130156113A1 (en) Video signal processing
KR20150010903A (ko) 모바일 단말 화면을 위한 3ｋ해상도를 갖는 디스플레이 영상 생성 방법 및 장치
JP2005176383A (ja) 色空間の符号化フレームワーク
KR20210018668A (ko) 딥러닝 신경 네트워크를 사용하여 다운샘플링을 수행하는 이미지 처리 시스템 및 방법, 영상 스트리밍 서버 시스템
Narayanan et al. Multiframe adaptive Wiener filter super-resolution with JPEG2000-compressed images
KR101081074B1 (ko) 데이터 값의 다운-샘플링 방법 및 디바이스와 이를 포함하는 저장 유닛, 디스플레이 유닛, 비디오 인코더, 비디오 디코더, 휴대용 장치 및 컴퓨터 판독가능 매체
JP2007514359A (ja) デッドゾーンによる空間スケーラブル圧縮スキーム
US20120044422A1 (en) Video Signal Processing
US20100172419A1 (en) Systems and methods for compression, transmission and decompression of video codecs
US20130028528A1 (en) Image processing method, encoding device, decoding device, and image processing apparatus
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
EP3203741A1 (en) Video coding
CN106664387B (zh) 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质
Matsuo et al. Video coding of 8K UHDTV by HEVC/H. 265 with spatio-gradational reduction and its restoration
CN116762338A (zh) 使用预处理的视频编码
Fournier et al. Multimodal compression using JPEG 2000: supervised insertion approach
Thomas et al. Towards Low-Complexity Scalable Coding for Ultra-High Resolution Video And Beyond
JP4231386B2 (ja) 解像度スケーラブル復号化方法及び装置
JP4470440B2 (ja) 画像群のウェーブレット時間係数を算出する方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid