KR20170033355A - 4ｋ 및 8ｋ 애플리케이션을 위한 다중 비디오 압축, 압축 해제, 및 디스플레이 - Google Patents

4ｋ 및 8ｋ 애플리케이션을 위한 다중 비디오 압축, 압축 해제, 및 디스플레이 Download PDF

Info

Publication number
KR20170033355A
KR20170033355A KR1020177004031A KR20177004031A KR20170033355A KR 20170033355 A KR20170033355 A KR 20170033355A KR 1020177004031 A KR1020177004031 A KR 1020177004031A KR 20177004031 A KR20177004031 A KR 20177004031A KR 20170033355 A KR20170033355 A KR 20170033355A
Authority
KR
South Korea
Prior art keywords
frame
video
computer
processing
columns
Prior art date
Application number
KR1020177004031A
Other languages
English (en)
Other versions
KR102367075B1 (ko
Inventor
앤젤 데세가마
Original Assignee
얌쯔 아이피 비브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 얌쯔 아이피 비브이 filed Critical 얌쯔 아이피 비브이
Publication of KR20170033355A publication Critical patent/KR20170033355A/ko
Application granted granted Critical
Publication of KR102367075B1 publication Critical patent/KR102367075B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/145—Square transforms, e.g. Hadamard, Walsh, Haar, Hough, Slant transforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Abstract

본 발명의 실시예들은 추후 압축된 비디오 프레임을 만들기 위해 코덱을 이용하여 압축될 수 있는 비디오 프레임들을 전처리하기 위해 하르 웨이브렛 변환(HWT)을 이용하는 컴퓨터 구현된 방법을 포함한다. 압축된 비디오 프레임은 전송, 압축 해제, 후처리, 및 그들의 오리지널 크기 및 품질로 디스플레이될 수 있으므로, 실시간으로 고품질의 비디오 시퀀스의 재생을 만들어낸다. 장치들은 본 발명의 방법을 구현할 수 있고, 메인프레임 컴퓨터, 데스크탑 컴퓨터, 퍼스널 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 무선 컴퓨터, 텔레비전 세트, 셋탑 박스, 휴대 전화, 및 컴퓨터 판독 가능한 매체를 포함한다. 컴퓨터 구현된 단계들은 멀티코어 병렬 하드웨어 아키텍처에 쉽고 효율적으로 구현될 수 있다.

Description

4Ｋ 및 8Ｋ 애플리케이션을 위한 다중 비디오 압축, 압축 해제, 및 디스플레이{MULTILEVEL VIDEO COMPRESSION, DECOMPRESSION, AND DISPLAY FOR 4K AND 8K APPLICATIONS}
본 발명은 비디오 압축, 전송, 압축 해제 및 디스플레이에 관한 것이다. 더욱 상세하게는, 본 발명은 비디오 정보를 전처리(pre-precessing) 및 후처리(post-processing) 하는 새로운 장치 및 방법에 관한 것이다. 더욱 상세하게는, 본 발명은 하르 웨이브렛(Haar Wavelet) 기반의 방법을 이용한 컴퓨터 구현식 압축 및 압축 해제를 통합한 장치에 관한 것이다.
비디오 통신 시스템은 데이터 량의 증가에 의해 압도되고 있고, 현재의 비디오 압축 기술은 컴퓨터, 케이블 시스템, 모바일 장치, 및 텔레비전의 증가하는 수요를 간신히 따라갈 수 있을 정도일 뿐이다. 전세계적으로, 유무선 통신 네트워크를 통한 비디오 데이터 트래픽이 급격하게 증가하고 있으며, 특히 현재 4K 및 8K UHD 멀티미디어 컨텐트의 도입에 의해, 통신 네트워크의 물리적 용량이 고갈되고 있고 그에 대응하여 수백만의 사용자에 대한 서비스 품질이 저하되고 있다.
현재의, 아직은 일시적인, 해법은 도시 및 지방에 서비스하기 위해 광범위 케이블 네트워크를 포함하는 인프라구조에 대규모 투자를 제공하는 것이다. 그러나, 이러한 시스템은 대규모의 인프라구조, 투자 및 시간을 필요로 한다. 그러므로, 케이블 제공자는, 사업상의 이유로, 케이블 인프라구조를 설치하는데 엄청난 돈을 투자하는 것을 꺼릴 수 있다. 현재의 다른 해법은 비디오 컨텐트의 분배를 위한 광 통신 시스템(fiber optic system)을 설치하는 것이다. 광통신 시스템이 케이블 시스템에 비해 정보량을 증가시킬 수 있지만, 광통신 시스템은 과도한 설치, 수리, 및 보수를 필요로 한다는 유사한 문제점을 겪고 있다. 광 통신 제공자는, 케이블 제공자와 유사한 사업상의 이유로, 지방 또는 인구가 적은 지역에 서비스하기 위해 필요한 많은 금액을 투자하는 것을 꺼릴 수 있다.
게다가, 케이블 및 광 통신 시스템이 효율성을 높일 수 있음에도 불구하고, 비디오 정보를 저장, 전송, 및 디스플레이하는 비용은 매우 크다. 그러므로, 현재의 다른 시스템들은 전송 전에 비디오 및 다른 정보를 압축하기 위한 코덱의 사용을 포함한다. 다양한 이러한 코덱들이 현재 사용되고 있다.
케이블 및 광통신 시스템의 속도 및 용량이 향상되어 왔지만, 이들 시스템의 속도 및 용량 모두 그들을 통해 공급될 수 있는 데이터의 압축 정도에 의해 제한된다. 더욱 더 많은 타입의 비디오 정보들이 컨텐트 제공자에 의해 생성되고 있기 때문에, 비디오 컨텐트의 종래의 처리, 전송, 및 디스플레이에 대한 대안을 제공해야 한다는 시급한 필요성이 존재한다. 이러한 문제점은 모바일 폰, 랩탑 컴퓨터, 아이패드(iPads®), 및 데스크탑 컴퓨터 등을 포함하는 비교적 저렴한 이동 장치들의 세계적인 확산에 의해 여러모로 증가된다. 이동 장치들은 종래의 케이블 또는 광통신 시스템에 대하여 매우 어려운 문제를 제공하고, 무선 통신의 세계적인 확산에 의해, 대안에 대한 시급한 필요성이 존재한다.
임의의 주어진 시간에 존재하는 통신 인프라구조가 장기적으로 고품질의 서비스를 제공하는 것을 가능하게 하는, 발전된 기술을 기초로 하는 새로운 해법들이 여기 제공된다. 이러한 해법들은 단독으로 코덱에 의해 만들어지는 비디오 품질의 저하없이, 수 차례 임의의 코덱의 비디오 압축 능력을 증가시키는 방법의 수학적 설명을 포함한다.
4K/8K UHD 컨텐트
여기 제공된 해법들은 또한 등장하기 시작한 새로운 4K 초고해상도(UHD: Ultra High Definition) TV를 위한 고화질(HD)의 1080p 해상도를 넘어서는 컨텐트를 생성하는 것의 문제점을 해결한다. 이러한 4K TV 세트는 일반적으로 TV로 입력되는 기존의 블루레이(Blu-ray) 디스크의 1080p 컨텐트를 이용하고, 이는 이러한 입력의 4K로의 "업스케일(upscale)"(해상도를 2배 높이는 것)을 위한 내부 회로를 가진다. 4K TV의 품질에 따라, 이러한 업스케일링은 화소 복제(pixel replication) 및 수학적 보간(mathematical interpolation)과 같은 간단한 기술을 이용하는데, 진짜 4K 해상도에 비해서는 시각적 품질의 대응하는 손실을 가진다.
여기 제공된 새로운 접근법은 관심 있는 개인 및 기관에 대한 이러한 품질 문제를 다룬다. 현재는 8K 컨텐트에 대한 실질적인 수요는 없지만, 여기 제공된 해법은 픽셀 단위로 동일한 증명된 수학적 정밀도로 4K 컨텐트로부터 8K 컨텐트를 만들 수 있다.
인터넷 전송을 위한 4K 컨텐트의 압축
4K 컨텐트의 스트리밍은 적어도 15Mpbs를 필요로 한다는 것이 넷피익스(Netfiix)에 의해 밝혀져 있다. 여기 제공된 해법들은 2Mbps 미만(대부분의 경우에 실제로 대략 1.5Mbps)로 4K 컨텐트를 제공할 수 있다. 여기 제공된 방법 및 장치를 이용하면, 1080p 해상도는 1Mbps로 전송될 수 있고, 고품질의 스마트폰 비디오는 0.15Mbps로 전송될 수 있다.
애플리케이션
이 새로운 기술에 대한 다양한 타입의 애플리케이션이 존재한다. 이들은 다음을 포함한다.
1. (몇몇 4K TV 모델의 넥피익스 플레이어와 같은) 4K TV 제조자, 여기서 소프트웨어 구현은 내부 하드웨어를 이용하여 수행될 수 있다;
2. 고속 및 효율적인 컴퓨터 구현 방법을 이용하여 고속 및 효율적인 프로세싱이 바람직한, 도시바, 레노보 등을 포함하는 4K 랩탑 제조자;
3. a. TV의 비용을 절감시키는 블루레이 플레이어 및 4K TV 사이에, 그리고
b. 케이블 회사 박스와 4K TV 사이에
이 새로운 방법 및 장치를 구현시키는 셋탑박스 제조자;
4. 동글 제조자는 임의의 위치로부터 고도로 압축된 비디오를 무선으로 수신하고 디스플레이하도록 4K TV를 구동시킬 수 있고;
5. 컨텐트 제공자는 넷피익스 등을 포함한, 4K 디스플레이 뿐만 아니라 임의의 다른 해상도를 위한 비디오 전송 비용을 급격하게 줄일 수 있고;
6. ST 마이크로일렉트로닉스(STMicroelectronics) 등과 같은, 상당한 비용 절감을 산출하는 60fps용 케이블 박스 및 비디오 스트리밍 장치용 칩의 제조자;
7. 컨텐트 뷰어에게 4K 컨텐트를 전송하기 위한 비용을 조절하기 위해 1080p 해상도를 즉각적으로 이용할 수 있고;
8. 개인 및 조직의 사용을 보호하기 위한 비디오 통신;
9. 정부 애플리케이션; 및
10. 8K 애플리케이션.
본 발명의 형태들은 네트워크의 물리적 용량이 고갈되고 있고 그에 대응하여 서비스 품질이 저하되고 있는 유무선 통신 네트워크를 통한 비디오 데이터 트래픽이 급격하게 증가하고 있다는 문제점을 다룬다. 4K 및 8K 초고해상도("UHD") 멀티미디어 컨텐트의 도입과 함께, 현재 사용 가능한 임시적인 해법들은 케이블, 광통신, 및 다른 유사한 기술로 대규모 인프라구조에 투자하는 것이었다. 불행하게도, 이러한 투자는 매우 고비용이고 그 공사 현장 부근에 사는 사람들에게 지장을 준다. 이러한 인프라구조 개발은 플렉시블 케이블 또는 광섬유 제공자에게 접근하지 못하는 사람들에게는 무관한 것이다.
최근, 본 발명자는 하르 웨이브렛 변환(Haar Wavelet Transform)을 이용한 어떤 컴퓨터 구현된 방법을 개시하였다. 그 개시물들은 미국 특허 번호 제8,031,782호, 제8,503,543호, PCT 출원번호 PCT/US2009/04879, 미국 특허 출원번호 제61/190,585호, 및 미국 특허 출원번호 제13/958,945호에서 볼 수 있다. 이들 특허 및 특허출원 각각의 내용들은 참조로서 본 명세서에 완전히 통합되어 있다.
본 발명자는 이 문제에 대한 완전히 새로운 접근법을 취하였다. 새로운 해법은 새로운 수학적 원리를 기반으로 하는 독창적인 컴퓨터 구현된 프로세싱 단계의 적용을 기초로 한다. 이러한 해법들은 코덱 자체에 의해서 만들어지는 비디오 품질의 저하 없이 수차례 임의의 코덱의 비디오 압축 능력을 향상시킨다. 포함된 프로세싱은 주어진 코덱으로 보내기 전 오리지널 비디오 파일의 비디오 프레임의 준비를 포함한다. 그 다음, 코덱은 수신된 프레임을 그것의 통상적인 방식으로 프로세싱하여 초기 프로세싱되지 않은 것보다 훨씬 더 작게 압축된 비디오 파일을 만들어낸다. 그 다음 이 압축된 비디오 파일은 저장 및/또는 전송될 수 있다. 압축 해제 및 재생을 위해, 코덱은 압축된 비디오 프레임을 그것의 통상적인 방식으로 압축 해제한 후, 그것을 디스플레이될 때 전처리 및 후처리 단계를 이용하지 않고 코덱 단독에 의해서 만들어진 것과 구별 불가능하게 매우 높은 품질을 가지고 훨씬 높은 비트 레이트로 비디오 파일로 되살려내는 후처리 장치로 보내진다.
본 발명은 그것의 특정한 실시예를 참조하여 설명된다. 본 발명의 다른 특징들은 아래의 도면을 참조하여 이해될 수 있다.
도 1a-1c는 하나의 실시예에 따른 비디오 전처리를 도시한다.
도 1a는 오리지널 프레임(100)을 도시하는데, 그 최상단에 일부가 라벨링되어 있는 칼럼 및 로우를 가진다. 웨이브렛 변환은 도 1b에 도시된 바와 같이 적용된다.
도 1b는 수평 웨이브렛 변환(110)이 수행되는 하나의 실시예를 도시한다. 웨이브렛 변환은 도 1c에 도시된 바와 같이 적용된다.
도 1c는 수직 웨이브렛 변환(120)이 수행되는 하나의 실시예를 도시한다.
도 2a-2c는 단일 레벨의 전처리 및 후처리가 발생하는 하나의 실시예에 따른 비디오 후처리를 도시한다.
도 2a는 비디오 디코더의 출력(200)을 도시한다(pFrame In).
도 2b는 인버스 웨이브렛 변환("IWT")을 이용한 로우가 압축 해제된 비디오 프레임(210)을 도시한다(Img).
도 2c는 칼럼이 압축해제된 비디오 프레임(220)을 도시한다(pFrame Out).
도 3a-3e는 2 레벨의 레졸루션(resolution)(압축 및 압축 해제)가 발생하는 하나의 실시예에 따른 비디오 후처리를 도시한다.
도 3a는 비디오 디코더의 출력(300)을 도시한다(pFrame In).
도 3b는 로우의 제1 레벨의 인버스 웨이브렛 변환(IWT)(310)을 도시한다(Img).
도 3c는 칼럼의 제1 레벨 IWT(320)를 도시한다(Frame Out).
도 3d는 완료된 제1 레벨 IWT 및 제2 레벨 IWT(330)로의 입력을 도시한다(Frame In = Frame Out).
도 3e는 로우의 제2 레벨 IWT(340)를 도시한다(Img).
도 3f는 칼럼의 제2 레벨 IWT(350)를 도시하고(pFrame Out), 이는 2-레벨 레졸루션을 야기한다.
정의
본 명세서에 사용된, 용어 "알고리즘"은 단계들을 수행하고 구현하도록 특별하게 프로그래밍된 컴퓨터 내에 구현된 동작 단계들의 수학적 표현을 의미한다.
용어 "하나" 및 "하나의"는 하나 이상을 의미한다.
용어 "포함하는"은 "~을 포함하지만 그것에 제한되지는 않는다"는 의미이다.
용어 "~으로 이루어진"은 "~을 포함하고 그것으로 제한된다"는 의미이다.
용어 "본질적으로 ~으로 이루어진"은 "문자 그대로의 엘리먼트와 그것의 동등물을 포함한다"는 의미이다.
용어 "특수 목적 컴퓨터"는 웨이브렛 변환에 따라 전처리, 압축, 전송, 압축해제, 및 전송을 포함하는 기술적 단계들을 수행하고 구현하도록 프로그래밍된 컴퓨터 장치를 의미한다. 특수 목적 컴퓨터는 또한 다수의 현재의 비디오 코덱 중 하나를 포함할 수 있다.
용어 "HD"는 고화질을 의미한다.
용어 "HWT"는 하르 웨이브렛 변환을 의미한다.
용어 "UHD"는 초고화질을 의미한다.
용어 "WT"는 웨이브렛 변환을 의미한다.
용어 "IHWT"는 "인버스 하르 웨이브렛 변환"이다.
용어 "변환"은 입력을 기초로 한 출력 이미지 또는 그것의 일부분의 생성을 의미한다.
용어 "전처리기(pre-processor)"는 HWT에 따른 프로세스의 초기 단계들을 수행하도록 특별하게 프로그래밍된 컴퓨터 모델을 의미하고, HWT를 이용하여 비디오 프레임을 압축하기 위한 프로그래밍된 명령어를 포함한다.
본 명세서에 사용된, 용어 "프레임 전처리", "프레임 크기 전처리", 및 "프레임 크기 축소"는 HWT를 이용하여 본 발명의 형태에 따라 비디오 이미지 또는 비디오 프레임의 크기가 축소되는 프로세스들을 의미한다. 그렇게 만들어진 프레임은 또한 "축소된 프레임"이라 알려져 있다.
용어 "후처리기(post-processor)"는 인버스 HWT를 이용하여 전송된 비디오 리프리젠테이션의 압축 해제를 수행하도록 특별하게 프로그래밍된 컴퓨터 모듈을 의미한다.
본 명세서에 사용된, 용어 "프레임 후처리", "프레임 크기 후처리", 및 "프레임 확대"는 IHWT를 이용하여 본 발명의 방법에 따라 이미지를 확대시켜 고품질의 이미지를 만들어내는 프로세스들을 의미한다. 이러한 프레임은 또한 "확대된 프레임"이라 불릴 수 있다. "확대된 프레임"이 임의의 "전처리" 코딩된 압축 및 코덱 압축 해제 없이 확대된 이미지를 의미할 수도 있음을 이해해야 한다.
본 명세서에 사용된 용어 "비디오 이미지"는 "비디오 프레임"과 동일한 의미를 가지고, 용어 "이미지"는 비디오 정보 맥락으로 사용된 때 "프레임"과 동일한 의미를 가진다.
용어 "코덱"은 정보를 코딩 및 디코딩하는 컴퓨터화된 방법을 의미하고, MPEG-4, H-264, VC-1, 뿐만 아니라, 그 내용이 완전히 본 명세서에 참조로서 통합된, 미국 특허 번호 제7,317,840호에 개시된 비디오 압축/압축 해제를 위한 웨이브렛 기반의 방법을 포함하는 다수의 다양한 코덱 기술들을 의미한다.
저장 장치에 적용되는 용어 "물리적 컴퓨터 판독 가능한 매체" 또는 "물리적 매체"는 본 발명의 방법에 따라 동작하도록 프로그래밍된 특수 목적 컴퓨터를 이용하여 구현된 그리고 컴퓨터 장치에 의해 추출될 수 있는 명령어들을 담고 있는 디스켓, 컴팩트 디스크(CD), 자기 테이프, 종이, 플래시 드라이브, 펀치 카드, 또는 다른 물리적 구현을 포함한다.
"비-물리적 컴퓨터 판독 가능한 매체" 또는 "비-물리적 매체"는 컴퓨터 시스템에 의해 전자적으로 수신되고, 저장되고, 컴퓨터 프로세서에 구현될 수 있는 신호들을 의미한다.
전처리(pre-processing)
본 발명의 전처리 방법은 1 레벨의 변환에 대하여 ¼, 또는 2 레벨의 변환에 대하여 1/16, 등등의 프레임의 크기 축소를 야기할 수 있다. 이것은 주어진 비디오 시퀀스 내의 모든 프레임에 대하여 수행될 수 있다. 그 다음 축소된 프레임은, 예컨대, avi 포맷의 새로운 비디오 파일를 생성하기 위해 사용된다. 예컨대, OG3, Asf, 퀵타임(Quick Time), 리얼 미디어(Real Media), 마트로스카(Matroska), DIVX 및 MP4를 포함하는 다른 파일 포맷이 사용될 수도 있음이 이해될 것이다. 그 다음, 이 파일은 임의의 사용 가능한 코덱의 선택을 위해 입력되고, 전형적으로 프레임 크기 축소 단계 없이 얻어지는 압축된 크기의 20%(1레벨의 WT)에서 10% 미만(2레벨 이상의 WT)까지의 범위인 크기로 그것의 표준 프로시저를 따르는 코덱에 의해 압축된다. 이러한 파일은 매우 큰 비용 절감과 함께 저장 및/또는 전송될 수 있다. 코덱과 적절하게 인터페이싱함으로써, 이러한 프로시저는 중간 파일을 생성하는 것을 대신하여 프레임 단위로 수행될 수 있다.
도 1은 하나의 실시예에 따른 비디오 전처리를 도시한다. 도 1a는 최상단에 보이는 오리지널 프레임(100)을 도시하고, 픽셀 중 일부는 y0, y1, y2 ... yn -1 및 yn으로 라벨링되어 있다. 하르 웨이브렛 변환은 수평 웨이브렛 변환(110)이 수행되는, 도 1b에 도시된 바와 같이 적용된다. 몇몇 픽셀은 y0, x0, x1, x2 ... xn -1 및 xn으로 라벨링되어 있다. 하르 웨이브렛 변환은, 수직 웨이브렛 변환(120)이 수행되는, 도 1c에 도시된 바와 같이 적용된다. 몇몇 픽셀은 y0, x0, x1 ... xn -1 및 xn으로 라벨링되어 있다.
후처리(post-processing)
각각의 프레임의 압축 해제를 위해, 코덱은 그것의 통상적인 방식으로 사용되고, 오리지널의 압축되지 않은 파일 크기의 ¼(1 레벨의 WT) 또는 1/16, 1/64, 등(2 레벨 이상의 WT)과 대략 동등한 크기의 파일(예컨대, avi 포맷)이 얻어진다. 마지막 단계는 모든 프레임이 오리지널의 압축되지 않은 파일의 크기와 동등한 파일 크기를 가지는 풀 사이즈(full size)인 파일을 생성하는 것이다. 최초 프레임 크기 축소 없이, 코덱에 의해 만들어지는 압축 해제된 프레임에 대한 품질 손실 없이, 이를 달성하기 위한 방법 및 시스템이 여기 설명된다. 이 단계는 중간 파일을 만들지 않고 프레임 단위로 달성될 수 있어, 프로세스의 효율을 더 향상시킨다.
도 2는 단일 레벨의 전처리 및 후처리가 발생하는 하나의 실시예에 따른 비디오 후처리를 도시한다. 도 2a는 비디오 디코더의 출력(200)을 도시한다(pFrame In). 도 2b는 인버스 하르 웨이브렛 변환("IHWT")을 이용한 로우가 압축해제된 비디오 프레임(210)을 도시하고(Img), 도 2c는 칼럼이 압축 해제된 비디오 프레임(220)을 도시한다(pFrame Out).
도 3은 2 레벨의 레졸루션(압축 및 압축 해제)가 발생하는 하나의 실시예에 따른 비디오 후처리를 도시한다. 도 3a는 비디오 디코더의 출력(300)을 도시한다(pFrame In). 도 3b는 로우의 제1 레벨의 인버스 웨이브렛 변환(IWT)(310)을 도시한다(Img). 도 3c는 칼럼의 제1 레벨의 IWT(320)을 도시한다(Frame Out). 도 3d는 완료된 제1 레벨 IWT 및 제2 레벨 IWT(330)으로의 입력을 도시한다(Frame In = Frame Out). 도 3e는 로우의 제2 레벨 IWT(340)을 도시하고(Img), 도 3e는 칼럼의 제2 레벨 IWT(350)을 도시하고(pFrame Out), 이는 2레벨 레졸루션을 야기한다.
일련의 프레임들이 실시간으로 전처리, 압축, 전송, 압축 해제, 후처리, 및 디스플레이될 수 있고, 그로 인해 영화 또는 생방송과 같은 고품질 비디오를 만들어짐이 이해될 것이다. 전처리, 압축, 압축 해제, 후처리 단계가 매우 빠르게 수행될 수 있기 때문에, 재생되는 비디오(예컨대, 영화 또는 생방송)는 실시간으로 시청될 수 있다.
프레임 확대는 입력 이미지의 크기보다 큰 크기의 고품질의 비디오 이미지를 만들도록 전처리된, 코덱 압축된, 코덱 확대된, 또는 기타 처리된 임의의 입력 이미지에 적용될 수 있음을 이해해야 한다.
형태의 설명
본 발명의 형태는 웨이브렛 변환(WT)의 수학을 기초로 한다. 본 발명의 실시예는 하나 이상의 레벨에 의해 크기 및 컨텐트가 축소된 주어진 비디오 프레임의 데시메이팅된(decimated) WT를 취하고, 각각의 레벨에서 저주파수 부분만 유지하는 것을 포함한다. 본 발명의 실시예는 비디오 이미지를 포함하는 전자 파일을 저장하기 위해 필요한 공간의 양을 줄이는 새로운 시스템 및 방법을 포함한다.
여기 서술된 본 발명의 형태 및 부분들은 본 발명을 벗어나지 않고, 임의의 조합으로 그리고 임의의 순서로 적절하게 사용될 수 있음을 이해해야 한다.
어느 실시예에서, 비디오 파일의 프레임은 그것의 크기를 4, 16, 64 또는 그 이상의 비율로 축소하기 위해 WT 또는 HWT를 이용하는 본 발명의 방법 및 시스템에 의해 전처리된다. 그 다음, 비디오 코덱은 상당히 축소된 크기의 프레임을 압축하기 위해 적용되어, 프레임 전처리의 사용 없을 때의 파일보다 상당히 작은 압축된 파일을 만들어낸다. 몇몇 실시예에서, 비디오 파일의 모든 프레임은 압축된 파일 또는 일련의 압축된 파일들을 만들어내기 위해 유사한 방식으로 처리될 수 있다. 그 다음, 압축된 파일은 압축 해제되기 전에 저장 및/또는 전송될 수 있다. 후처리에서, 프로세싱 단계는 하나 이상의 각각의 비디오 프레임을 고품질을 가진 그들의 오리지널 크기 또는 더 큰 크기로 복구할 수 있다. 이것은 코덱 압축 해제단계 후 사용될 수 있는 본 발명의 다른 형태에 의해 달성된다.
그러므로, 어느 형태에서, 본 발명은 비디오 이미지 압축 및 압축 해제를 위한 시스템 또는 장치를 제공하는데, 이들은:
다이렉트 웨이브렛 변환(WT) 또는 하르 웨이브렛 변환(HWT)을 이용하여 이미지 프레임 전처리를 하는 제1 컴퓨터 모듈;
비디오 코덱;
WT 또는 HWT의 저주파수 부분 및 WT 또는 HWT 전의 오리지널 이미지의 모든 로우 및 칼럼의 처음 또는 마지막 픽셀을 이용하여 이미지 프레임 후처리를 하는 제2 컴퓨터 모듈; 및
출력 장치를 포함한다.
다른 형태에서, 본 발명은 제1 컴퓨터 모듈이:
비디오 이미지 프레임을 저장하기 위한 입력 버퍼;
다이렉트 WT 또는 HWT를 기초로 하는 프레임 후처리를 위한 명령어를 저장하는 메모리 장치;
프레임 후처리를 위한 상기 명령어를 구현하기 위한 프로세서; 및
출력부를 포함하는 시스템을 제공한다.
다른 형태에서, 본 발명은 상기 제2 컴퓨터 모듈이:
입력 버퍼;
프레임 후처리를 위한 명령어를 저장하는 메모리 장치로서, 이 명령어는 WT 또는 HWT의 저주파수 부분 및 WT 또는 HWT 전의 오리지널 이미지의 모든 로우 및 칼럼의 처음 또는 마지막 픽셀을 이용하는 것을 기초로 하는 것인, 상기 메모리 장치;
프레임 후처리를 위한 상기 명령어를 구현하는 프로세서; 및
출력부를 포함하는 시스템을 포함한다.
또 다른 형태에서, 본 발명은 상기 비디오 이미지의 후처리된 프레임을 저장하기 위한 다른 저장 장치를 더 포함하는 시스템을 제공한다.
다른 형태에서, 본 발명의 시스템은 데시메이팅된 WT 또는 HWT를 이용하여 프레임 전처리를 행하고, 상기 데시메이팅된 WT의 저주파수 부분을 보유하고, 데시메이팅된 WT 또는 HWT의 고주파수 부분을 폐기하는 명령어를 포함한다.
또 다른 형태에서, 본 발명의 시스템은 WT 또는 HWT의 저주파수 부분 및 WT 또는 HWT 이전 오리지널 이미지의 모든 로우 또는 칼럼의 첫번째 또는 마지막 픽셀을 이용하고, IWT 또는 IHWT를 이용하여 입력된 이미지를 재생성하도록 후처리된 프레임을 재생성하기 위해 프레임 후처리를 하기 위한 명령어를 포함한다.
다른 형태에서, 본 발명의 시스템은 WT 또는 HWT의 저주파수 부분 및 WT 또는 HWT 이전의 오리지널 이미지의 모든 로우 및 칼럼의 첫번째 또는 마지막 픽셀을 이용하여 풀 사이즈의 후처리된 프레임을 재생성하도록 프레임 후처리를 위한 명령어를 포함한다.
다른 형태에서, 본 발명은 비디오 이미지 프레임을 전처리하는 통합된 컴퓨터 장치를 제공하고, 이 장치는:
데시메이팅된 WT 또는 HWT에 따라 프레임 전처리를 하는 명령어를 담고 있는 컴퓨터 저장 모듈; 및
저주파수 부분만 보유하고 고주파수 부분을 폐기함으로써 상기 데시메이팅된 WT 또는 HWT를 처리하는 프로세서를 포함한다.
추가적인 형태에서, 본 발명은 비디오 이미지 프레임을 후처리하는 통합된 컴퓨터 장치를 제공하고, 이 장치는:
WT 또는 HWT의 저주파수 부분 및 WT 또는 HWT 이전의 오리지널 이미지의 모든 로우 및 칼럼의 첫번째 또는 마지막 픽셀을 이용하여 프레임 후처리를 하기 위한 명령어를 담고 있는 컴퓨터 저장 모듈; 및
풀 사이즈 비디오 이미지를 재생성하기 위해 상기 계산을 처리하기 위한 프로세서를 포함한다.
또 다른 형태에서, 본 발명은 컴퓨터 판독 가능한 매체로서,
매체; 및
WT 또는 HWT를 이용하여 비디오 프레임을 전처리하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 매체를 제공한다.
또 다른 추가적인 형태에서, 본 발명은 컴퓨터 판독 가능한 매체로서,
매체; 및
WT 또는 HWT의 저주파수 부분 및 WT 이전의 오리지널 이미지의 모든 로우 및 칼럼의 첫번째 또는 마지막 픽셀을 이용하여 오리지널 크기의 비디오 프레임을 재생성하도록 축소된 비디오 프레임을 후처리하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 매체를 제공한다.
다른 형태에서, 본 발명은 전처리 없이 IHWT를 이용하여 프레임 확대를 하는 방법 및 장치를 제공한다.
또 다른 형태에서, 본 발명은 전처리 또는 코덱 압축 해제 없이 IHWT를 이용하여 프레임 확대를 하는 방법 및 장치를 제공한다.
다른 형태에서, 본 발명은 전처리, 코덱 압축, 또는 코덱 압축 해제 없이 IHWT를 이용하여 프레임 확대를 하는 방법 및 장치를 제공한다.
이러한 상기 형태들 중 어느 형태에서, 컴퓨터 판독 가능한 물리적 매체는 디스켓, 컴팩트 디스크(CD), 자기 테이프, 종이, 또는 펀치 카드이다.
본 발명의 형태에서, 하르 WT가 사용된다.
본 발명의 다른 형태에서, 도비시(Daubechies)-4, 도비시-6, 도비시-8, 양-직교형(bi-orthogonal) 또는 비대칭형 웨이브렛이 사용될 수 있다.
본 발명의 시스템은 실시간으로 고품질의 비디오 이미지 재생을 제공할 수 있다. 몇몇 형태에서, 시스템은 저장 공간의 50% 이상의 감소를 제공할 수 있다. 다른 형태에서, 시스템은 시각적 품질의 인지할 수 없을 정도로만 손실한 채, 전송 비용의 50% 이상의 감소를 제공할 수 있다. 다른 형태에서, 본 발명의 시스템은 저장 비용의 70% 내지 80% 감소를 제공할 수 있다. 추가적인 형태에서, 본 발명의 시스템은 코덱 단독 압축, 전송 및 압축 해제와 비교하여 시각적 품질의 인지할 수 없을 정도로만 손실한 채, 또는 손실없이, 전송 비용의 70% 내지 80% 감소를 제공할 수 있다.
다른 형태에서, 본 발명은 대상의 비디오 이미지를 생성하는 방법을 제공하고, 이 방법은:
a. 상기 대상의 디지털화된 이미지 프레임을 제공하는 단계;
b. 상기 디지털화된 이미지 프레임의 데시메이팅된 WT 또는 HWT를 제공하는 단계;
c. 상기 데시메이팅된 WT의 고주파수 성분을 폐기하여 전처리된 프레임을 만들어 내는 단계;
d. 비디오 코덱을 이용하여 상기 전처리된 프레임을 압축하여 압축된 비디오 프레임을 만들어내는 단계;
e. 상기 코덱을 이용하여 상기 압축된 비디오 프레임을 압축 해제하는 단계; 및
f. WT 또는 HWT의 저주파수 부분 및 WT 또는 HWT 이전의 오리지널 이미지의 모든 로우 및 칼럼의 마지막 픽셀을 이용하여 후처리를 이용하여 상기 프레임의 풀 사이즈 이미지를 재생성하는 단계를 포함한다.
다른 형태에서, 본 발명의 방법은, 상기 d 단계 후, 상기 압축된 이미지를 먼 위치로 전송하는 단계를 제공한다.
또 다른 형태에서, 본 발명은 상기 풀 사이즈 이미지를 비디오 모니터상에 디스플레이하는 단계를 더 포함한다.
이들 형태 중 어느 형태에서, 본 발명은 제2 레벨 전처리 단계를 더 포함하는 방법을 제공한다.
이들 형태 중 다른 형태에서, 본 발명은 제2 레벨 전처리 단계 및 제3 레벨 전처리 단계를 더 포함하는 방법을 제공한다.
이들 형태 중 다른 형태에서, 본 발명은 프레임 크기 확대의 제2 레벨 단계 및 제3 레벨 단계를 더 포함하는 방법을 포함한다.
어느 실시예에서, 본 발명은 코덱이 MPEG-4, H264, VC-1, H265, 및 DivX로 이루어진 그룹에서 선택되는 것인 방법을 포함한다.
다른 실시예에서, 본 발명은 상기 코덱이 웨이브렛 기반의 코덱 또는 임의의 다른 종류의 코덱인 것인 방법을 포함한다.
어느 형태에서, 본 발명은 실시간으로 비디오 이미지의 고품질 비디오 재생을 제공할 수 있다. 몇몇 형태에서, 방법은 저장 공간의 50% 이상의 감소를 제공할 수 있다. 다른 형태에서, 방법은 시각적 품질의 인지할 수 없을 정도로만 손실된 채, 전송 비용의 50% 이상의 감소를 제공할 수 있다. 다른 형태에서, 저장 공간의 감소는 코덱 단독의 압축, 전송 및 압축 해제와 비교하여, 비디오 품질을 거의 저하시키지 않으면서도, 70% 내지 80% 이상이 될 수 있다.
어느 형태는 비디오 이미지 프레임을 전처리하는 컴퓨터 장치를 포함하고, 이 장치는:
입력부;
데시메이팅된 하르 WT에 따라 상기 입력부에 의해 수신된 비디오 프레임의 프레임 전처리를 하는 명령어를 담고 있는 컴퓨터 저장 모듈;
저주파수 부분을 유지하고 고주파수 부분을 폐기함으로써 상기 데시메이팅된 WT를 처리하는 프로세서; 및
출력부를 포함하고, 상기 전처리를 하는 명령어는 아래의 단계들을 포함한다.
i. 모든 로우, i에 대하여, 오리지널 프레임, W0(i, 0)의 첫 항에 제1 픽셀을 저장하고, HWT의 모든 저주파수 값을 계산하고, 그것들을 프레임 W0(i, j)에 저장하는 단계; 및
ii. 각각의 프레임, W0(i, j)의 모든 칼럼, j에 대하여, W(0, j)의 첫 항에 제1 픽셀을 저장하고, HWT의 모든 저주파수 값을 계산하고, 그것들을 프레임, W(i, j)에 저장하는 단계.
추가적인 형태는 비디오 이미지 프레임을 후처리하는 컴퓨터 장치를 포함하고, 이 장치는:
입력부;
아래의 단계들을 이용하여 하르 WT의 저주파수 부분을 이용하여 프레임 후처리를 하는 명령어를 담고 있는 컴퓨터 저장 모듈; 및
아래의 단계를 수행하도록 프로그래밍된 프로세서를 포함한다.
i. 프레임, Wx(i, j)의 모든 로우, i에 대하여, 제1 로우를 F0(0, j) = Wx(0, j)에 카피하고;
ii. 모든 칼럼, j에 대하여, 다음 로우, F0(l, j) = (2*Wx(1, j) + F0(0, j))/3를 계산하고;
iii. 모든 칼럼, j에 대하여, 다음 로우 F0(2, j) = (2*Wx(2, j) - F0(1, j))/3)를 계산하고;
iv. 모든 칼럼, j에 대하여, 다음 로우 F0(3, j) = 2*Wx(2, j) - F0(2, j)를 계산하고;
v. 모든 칼럼, j에 대하여, 후속 로우들을 유사하게 계산하고;
vi. F0(i,j)의 제1 칼럼을 F(i, 0)에 카피하고, F(i, 0) = F0(i, 0),
vii. F0(i, j)의 모든 로우, i에 대하여, 다음 칼럼,
F(i, 1) = ((2F0(i,l) + F(i,0))/3;
F(i, 2) = ((2F0(i,2) + F(i,1))/3;
F(i, 3) = ((2F0(i,2) - F(i,2))을 계산하고;
viii. 모든 j > 3인 칼럼에 대하여, 후속 칼럼들을 유사하게 계산하고; 그리고
ix. 계산된 픽셀을 저장한다.
다른 형태는 비디오 이미지 압축 및 압축 해제를 위한 시스템을 포함하고, 이 시스템은:
이전 형태의 이미지 프레임 전처리를 위한 제1 컴퓨터 모듈;
비디오 코덱;
이전 형태의 이미지 프레임 후처리를 위한 제2 컴퓨터 모듈; 및
출력 장치를 포함하고,
상기 제1 컴퓨터 모듈 또는 상기 제2 컴퓨터 모듈은 메인프레임 컴퓨터, 데스크탑 컴퓨터, 퍼스널 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 무선 컴퓨터, 및 휴대 전화로 이루어진 그룹으로부터 선택된 프로그래밍 가능한 프로세싱 장치이다.
추가적인 형태는 컴퓨터 판독 가능한 매체를 포함하고, 이 매체는:
물리적 매체; 및
이전 형태에 따른 비디오 프레임을 전처리하기 위한 명령어를 포함한다.
다른 추가적인 형태는 컴퓨터 판독 가능한 매체를 포함하고, 이 매체는:
물리적 매체; 및
이전 형태에 따른 축소된 비디오 프레임을 후처리하기 위한 명령어를 포함한다.
또 다른 형태는 이전 형태의 컴퓨터 판독 가능한 매체를 포함하고, 상기 매체는 디스켓, 컴팩트 디스크(CD), 자기 테이프, 종이, 플래시 드라이브, 펀치 카드, 자기 디스크, 제거 가능한 플래시 메모리 장치, 및 컴퓨터 프로세서 저장 버퍼로 이루어진 그룹에서 선택된다.
추가적으로, 형태는 이전 형태의 시스템을 포함하고, 상기 후처리 모듈은 Y, U, V, R, G, 또는 B로 이루어진 그룹으로부터 선택된 2개의 필터를 더 포함한다.
다른 형태는 대상의 비디오 이미지를 만드는 방법을 포함하고, 이 방법은:
a. 상기 대상의 디지털화된 이미지 프레임을 제공하고, 상기 디지털화된 이미지 프레임을 컴퓨터 프로세서의 메모리 장치 내에 저장하는 단계;
b. 상기 디지털화된 이미지 프레임의 데시메이팅된 하르 웨이브렛 변환(WT)을 제공하는 단계;
c. 상기 데시메이팅된 WT의 고주파수 성분을 폐기하고, 그로 인해
i. 모든 로우, i에 대하여, 제1 픽셀을 오리지널 프레임, W0(i, 0)의 첫 항에 저장하고, HWT의 모든 저주파수 값을 계산하고, 그것들을 프레임, W0(i, j)에 저장하는 스텝;
ii. 각각의 프레임, W0(i, j)의 모든 칼럼, j에 대하여, 각각의 프레임 W0(i, j)의 첫 항에 제1 픽셀을 저장하고, HWT의 모든 저주파수 값을 계산하고, 그것들을 프레임, W(i, j)에 저장하는 스텝에 따라 전처리된 프레임을 만들어내는 단계;
d. 각각의 프레임 W(i, j)을 비디오 코덱으로 보내는 단계;
e. 비디오 코덱을 이용하여 상기 전처리된 프레임을 압축하고, 그로 인해 압축된 비디오 프레임을 만드는 단계;
f. 상기 코덱을 이용하여 상기 압축된 비디오 프레임을 압축 해제하는 단계; 및
g. i. 프레임, Wx(i, j)의 모든 로우, i에 대하여, 첫번째 로우를 F0(0, j) = Wx(0, j)에 카피하는 스텝;
ii. 모든 칼럼, j에 대하여, 다음 로우, F0(1, j) = (2*Wx(1, j) + F0(0, j))/3를 계산하는 스텝;
iii. 모든 칼럼, j에 대하여, 다음 로우, F0(2, j) = (2*Wx(2, j) - F0(l, j))/3)를 계산하는 스텝;
iv. 모든 칼럼, j에 대하여, 다음 로우, F0(3, j) = 2*Wx(2, j) - F0(2, j)를 계산하는 스텝;
v. 모든 칼럼, j에 대하여, 후속 로우들을 유사하게 계산하는 스텝;
vi. F0(i, j)의 첫번째 칼럼을 F(i, 0)에 카피하는 스텝, F(i, 0) = F0(i, 0);
vii. F0(i, j)의 모든 로우에 대하여, 다음 칼럼
F(i, 1) = ((2F0(i, 1) + F(i, 0))/3;
F(i, 2) = ((2F0(i, 2) + F(i, 1))/3;
F(i, 3) = ((2F0(i, 2) - F(i, 2))을 계산하는 스텝;
viii. j>3인 모든 칼럼에 대하여, 후속 칼럼들을 유사하게 계산하는 스텝을 수행함으로써,
WT의 저주파수 부분 및 WT 이전 오리지널 이미지의 모든 로우 및 칼럼의 마지막 픽셀을 이용하여, 후처리를 이용하여, 상기 프레임의 풀 사이즈 이미지를 재생하는 단계; 및
h. 프레임, F(i, j)을 디스플레이하는 단계를 포함한다.
다른 추가적인 형태는 단일 레벨 프레임 크기 축소를 포함하는, 앞서 언급한 형태의 방법을 포함한다.
추가적인 형태는 제2 레벨의 프레임 크기 축소를 더 포함하는, 앞서 언급한 형태의 방법을 포함한다.
다른 추가적인 형태는 제3 레벨의 프레임 크기 축소를 더 포함하는, 앞서 언급한 형태의 방법을 포함한다.
다른 추가적인 형태는 단일 레벨 프레임 크기 확대를 포함하는, 앞서 언급한 형태의 방법을 포함한다.
다른 추가적인 형태는 제2 레벨의 프레임 크기 확대를 더 포함하는, 앞서 언급한 형태의 방법을 포함한다.
또 다른 형태는 제3 레벨의 프레임 크기 확대를 더 포함하는, 앞서 언급한 형태의 방법을 포함한다.
추가적인 형태는 본 명세서에 서술된 시스템을 포함한다.
또 다른 형태는 본 명세서에 서술된 방법을 포함한다.
보안, 원거리 학습, 화상회의, 오락, 및 원격진료와 같은 분야에서 비디오 압축에 대한 다양한 애플리케이션이 존재한다.
실시예의 설명
아래의 설명 및 예는 본 발명의 형태를 설명하도록 의도된 것이며, 본 발명의 범위를 제한하도록 의도된 것은 아니다. 당업자들은 본 명세서의 개시된 내용 및 교시를 이용하여 다른 실시예를 만들 수 있을 것이다. 하나의 실시예에서, 개괄적인 설명은 플로우 차트에 따른 프로그래밍, 또는 의사코드(pseudocode), 또는 여기 개시된 소스 코드를 포함한다. 그러므로, 이러한 실시예들은 본 발명을 수행하기 위한 단지 어떤 특정한 실시예를 나타낼 뿐이다. 더 일반적으로, 여기 개시된 수학적 설명은 실질적으로 동일한 결과를 달성하도록 본 발명을 실질적으로 동일한 방식으로 수행함에 있어서 실질적으로 동일한 기능을 달성하기 위한 다양한 근거를 나타낸다. 서술된 플로우차트, 또는 서술된 의사코드, 또는 서술된 소스 코드 이외의 수학적 식을 구현하는 다른 방법도 각각 본 발명을 수행하는 동등한 방법으로 고려된다. 각각의 그러한 실시예들 및 그것의 동등물은 본 발명의 일부인 것으로 간주된다.
실시예의 개괄적 설명
본 출원인은 수학적 방법의 OpenCL/GPU 컴퓨터 보조 애플리케이션 및 구현을 개발하였다. 이러한 구현의 한 예의 프로그래밍된 단계의 고수준의 세부사항은 아래와 같다.
A. 비디오 전처리
1. 프레임 크기를 수평적으로 축소한다:
모든 로우에 대하여, 모든 픽셀의 첫번째 픽셀, y0 및 저주파수 HWT를 모은다(save).
2. 프레임 크기를 수직적으로 축소한다:
결과적인 기다란 프레임의 모든 칼럼에 대하여, 모든 픽셀의 첫번째 픽셀, y0 및 저주파수 HWT를 모은다.
이 단계들은 더 많은 레벨의 축소를 위해 반복될 수 있지만, 많은 용도에 대하여 한 레벨이 적합하다. 상기 두 단계의 전처리가 임의의 순서로 수행될 수 있음이 이해될 것이다.
B. 비디오 후처리
1. 희망의 프레임 레이트를 위해 "다양한 버전의 방법들" 섹션에 지시된 바와 같이 코덱 압축 해제된 프레임의 중간 저주파수 HWT 성분을 구한다.
2. 프레임 크기를 수직적으로 증가시킨다:
단계 1에서 구해진 프레임의 모든 로우에 대하여, 서술된 방법의 식(즉, 예컨대, y1으로부터 y2=((2x1 + y1)/3) 및 y3 = 2x1 - y2를 통해 y2 및 y3을 구한다)을 적용함으로써 더 높은 레졸루션 프레임의 다음 두 로우의 픽셀을 계산한다. 여기서, y1, y2 및 y3는 3 로우를 따라 이동하는 각각의 칼럼의 픽셀에 대응한다. 모든 이러한 로우는 호스트 CPU 및 OpenCL/CUDA를 이용하여 프로그래밍될 수 있는 NVIDIA GTX980 카드와 같은 다중 병렬(multi-parallel) GPU 비디오 카드를 포함하는 임의의 현대의 이종 아키텍처(heterogeneous architecture)에서 동시에 병행으로 계산될 수 있다.
3. 프레임 크기를 수평적으로 증가시킨다:
그 결과적인 기다란 더 큰 레졸루션 프레임의 모든 로우에 대하여, 이전에 계산된 픽셀을 뒤따르는 더 큰 레졸루션 프레임의 두 칼럼의 픽셀을 계산한다. 예를 들어, y1로부터 y2 = ((2x1 + y1)/3) 및 y3 = 2x1 - y2를 구하고, y2로부터 y4 = ((2x2 + y3)/3) 및 y5 = 2x2 - y4 등을 구하고, 각각의 로우의 픽셀을 따라 이동한다. 모든 로우는 호스트 CPU 및 단계 2에서와 마찬가지로 OpenCL/CUDA 프로그래밍을 이용하는 다중 병렬 비디오 카드로 이루어진 GPU를 가진 하드웨어 아키텍처에서 동시에 병행으로 수행될 수 있다.
상기 2 단계의 후처리가 임의의 순서로 수행될 수 있음일 이해될 것이다.
HD 및 UHD에 적용되는 다중 레벨 비디오 압축, 압축 해제
여기 제공된 방법을 지원하는 수학적 원리 또는 방법은 웨이브렛 변환(WT) 또는 하르 웨이브렛 변한(HWT)의 원리 또는 방법이다. 이것은 사람들이 엄청난 양의 압축을 필요로 하는 모든 감각 정보, 특히, 시각 정보를 사람의 뇌에서 처리하기 위해 WT의 기본 개념을 이용한다는 것이 증명되었기 때문에 중요하다. 이러한 압축은 사람의 인지의 관점과 무관한 모든 데이터를 폐기하는 것을 포함한다.
임의의 방식으로 코덱을 수정하지 않고 임의의 주어진 비디오 코덱과 함께 사용되기 위한 비디오 데이터를 전처리 및 후처리하는 이러한 새로운 방법은 HD 및 UHD 비디오에 대한 아래의 표 1에 나타나는 놀라운 전형적인 결과에 대한 근거이다.
Figure pct00001
이러한 결과는 이 기술이 고화질 및 초고화질 비디오를 포함하는 고품질 비디오의 현재의 저장 및 전송 비용을 상당히 감소시킬 수 있음을 보여준다. 또한, 서비스 품질의 저하 없이 유료 고객의 수를 상당히 증가시키기 위해 기존의 인프라구조가 사용될 수 있다.
이러한 상당한 사업적 향상 결과는 임의의 조직에서 현재 사용되는 코덱에 지장을 주지 않고 달성될 수 있다. 아래의 다이어그램에 나타난 바와 같이, 기존의 프로세싱 시퀀스에 이 기술의 전처리 및 후처리 모듈을 삽입하는 것이 필요한 전부이다.
Figure pct00002
프로그래밍 가능한 컴퓨터 구현 방법의 설명
아래의 설명은 향상된 전처리 및 후처리를 달성하기 위해 하르 웨이브렛 변환(HWT)을 이용하는 방법을 나타낸다. 오리지널의 압축되지 않은 비디오의 비디오 프레임은 비디오 코덱이 추가 비디오 압축을 위해 사용되는 어떤 곳으로 그것을 보내기 전에 전처리된다. 전처리는 프레임의 픽셀의 먼저 로우에 의해 수평적으로 그 후 칼럼에 의해 수직적으로 각각의 비디오 프레임의 HWT에 대한 저주파수 성분을 취하는 단계로 이루어진다(도 1a-1c). 대안으로서, 전처리는 프레임의 픽셀의 먼저 칼럼에 의해 수직적으로 그 후 로우에 의해 수평적으로 각각의 비디오 프레임의 HWT에 대한 저주파수 성분을 취할 수도 있다.
그 다음, 주어진 비디오 코덱은, 프레임 단위로, 저장 또는 전송을 위해 전처리된 프레임으로 이루어진 비디오를 압축하고, 그 후 코덱은 코덱 전에 전처리된 프레임과 현재 매우 근접한, 그러한 프레임을 압축 해제한다. 그 다음, 이 방법은 디코더로부터 수신된 프레임을 후처리하고, 오리지널 비디오 프레임과 시각적으로 구별할 수 없는 프레임을 디스플레이하기 위해 만들어낸다(도 2a-2c 및 3a-3e).
비디오 프레임의 디스플레이에 앞서 최종 후처리 이전에 특정한 로우 또는 칼럼을 취하면, 그것은 아래의 구조를 가진다.
Figure pct00003
Figure pct00004
후처리의 목적은 x 값들로부터 오리지널 픽셀, y0, y1, y2, y3 ... y2n, y2n +1을 복원하는 것이다. HWT의 고주파수 성분을 가진다면, 이러한 픽셀은 정확하게 복원될 수 있다. 이 방법은 정확하게 그것을 행한다. 첫 번째 위치에서, 다음이 얻어진다.
Figure pct00005
그 다음
Figure pct00006
이들 두 식을 더하면, 다음이 얻어진다.
Figure pct00007
그들을 빼면, 다음이 얻어진다.
Figure pct00008
H1을 찾기 위해, 먼저 y2의 근사값을 아래와 같이 정의한다.
Figure pct00009
정확한 인버스 WT를 대신하면, 그것은
Figure pct00010
이 되고,
상기 근사값:
Figure pct00011
을 취하면,
이는
Figure pct00012
를 제공하고,
그 다음,
Figure pct00013
이 된다.
y2의 실제 값이
Figure pct00014
로 주어지기 때문에, 아래의 식에 의해 (y2)'로부터 y2를 구할 수 있다.
Figure pct00015
그리고
Figure pct00016
이를 단순화하면, 아래 식이 얻어진다.
Figure pct00017
그리고,
Figure pct00018
의 실제 값은 최초 추정값의 선택을 확인한다. 결과적으로,
Figure pct00019
이다.
그러므로, 주어진 y1에 대하여, y2 및 y3의 고주파수 하르 WT 성분, H1을 계산할 수 있는데, 이는 아래의 식에서 구해진다.
Figure pct00020
여기서,
Figure pct00021
이고,
Figure pct00022
이다.
또한,
Figure pct00023
이고, 이는 상기 결과를 기초로 하여,
Figure pct00024
이 된다.
그러므로, 이전 픽셀 값을 기초로 하는 효율적인 방법을 통해, 주어진 비디오 프레임의 임의의 로우 또는 칼럼의 실제 픽셀 값 yi'이, 그것의 저주파수 하르 WT 값들로부터 얻을 수 있다.
아래에 서술된 y1을 가진다면, 다음을 구할 수 있다.
Figure pct00025
y1에 대하여, y0으로부터 제1 픽셀, y1 = 2x0 - y0 및 대응하는 로우 또는 칼럼의 하르 WT의 제1 저주파수 성분이 계산될 수 있다. y0는 그것이 오리지널 프레임으로부터 구해졌기 때문에 정해진 값이다.
이 방법을 통해 압축 해제된 비디오 프레임의 PSNR 값의 계산은 이 알고리즘의 정확도를 검증한다. 이러한 PSNR 결과는 아래에 제공된다.
다양한 버전의 방법들
최종 레졸루션 프레임은 모든 로우 및 칼럼의 첫 번째 픽셀 및 모든 로우 및 칼럼의 저주파수 하르 WT로부터 지시된 바와 같이 계산될 수 있다. 초당 프레임 수(fps)에 대한 상이한 값들을 구하기 위해 추가 단계가 수행될 수 있다.
오리지널 입력 비디오의 fps가 수용 가능하다면, 추가적인 단계는 필요하지 않다. 고속 모션 비디오의 인지되는 비디오 품질을 강화하기 위해 더 높은 fps가 요구된다면, 대응하는 fps를 생성하기 위해 추가 프로세싱 단계가 필요하다.
이러한 프로세싱 단계는 연속적인 주어진 프레임 사이에 저주파수 HWT 성분을 통해 중간 프레임을 계산하는 단계로 이루어진다.
1. 2배 프레임 레이트:
동일한 프레임 위치에 있는 특정한 xi'들, 예컨대, x1 및 x2를 가지는 2개의 알고 있는 연속 프레임이 제공되면, 그러한 프레임 위치에서, 중간 프레임의 저주파수 HWT 성분, y1이 아래의 식을 이용하여 구해질 수 있다.
Figure pct00026
그 다음, 각각의 로우 및 칼럼 내의 새로운 중간 프레임 HWT 값의 더 높은 레졸루션 프레임에 대하여 본 서술된 방법을 적용한다.
2. 3배 프레임 레이트: 유사하게도, 각각의 프레임 위치 내의 특정 xj'들을 가지는 2개의 연속 프레임 사이에 2개 이상의 중간 프레임을 추가할 수 있는데, 특정 프레임 위치의 오리지널 x1 및 x2 값이 주어지면, 이는 아래의 식을 이용하여 구해진다.
Figure pct00027
3. 4배 프레임 레이트: 유사하게도 특정 프레임 위치 내에서 xi 값, 예컨대, x1 및 x2을 가지는 2개의 연속 프레임 사이에 yi 값을 가지는 3개 이상의 프레임이 추가될 수 있는데, 이는 아래의 식을 이용하여 구해진다.
Figure pct00028
이 방법의 이러한 버전은 광범위하게 테스트되었고, 그것의 계산상의 효율 및 후처리된 비디오의 희망 품질이 검증되었다.
하르 웨이브렛 변환을 이용한 비디오 프로세싱을 위한 의사코드
A. 전처리
아래의 의사코드는 비디오를 전처리하는 수학적 방식의 애플리케이션의 예를 나타낸다.
Figure pct00029
각각의 프레임, W(i, j)를 비디오 코덱으로 보낸다.
B. 후처리
아래의 의사코드는 비디오를 후처리하는 수학적 방식의 애플리케이션의 예를 나타낸다.
비디오 코덱으로부터 압축된 프레임, W(i, j)을 수신한다. 희망 프레임 레이트을 위해 필요하다면, 연속 W(i, j) 프레임으로부터 중간 프레임, Wx(i, j)을 생성한다.
Figure pct00030
Figure pct00031
F0(i, j)의 제1 칼럼을 F(i, 0)로 카피한다.
Figure pct00032
Figure pct00033
프레임, F(i, j)를 TV 세트에 디스플레이한다.
변환의 레벨 및 압축 범위
전처리 및 후처리의 레벨을 하나 이상의 레벨로 증가시킴으로써, 압축 비율은 레벨의 수가 증가할 때마다 2배가 될 수 있다. 예를 들어, 2 레벨을 통해, HD 1080p에 대한 압축은 0.5Mbps로, 그리고 4K UHD에 대하여 1Mbps 미만으로 낮아진다. 비디오 품질은 인지할 수 있을 정도로 손실되지 않는다.
구현 효율
여기 제공된 모든 새로운 비디오 압축 결과는 16비트/워드(색 성분)에 대응하는 64 비트/픽셀을 이용하여 병렬 디지털 계산 구조를 통해 구해졌다. 이것이 후처리된 비디오 품질이 매우 높아서 계산의 정밀도가 요구되는 이유이다.
4K 및 8K UHD 비디오에 대한 애플리케이션
현재, 계산상의 요구사항 및 저장 요구사항으로 인해 4K 및 8K 컨텐츠가 부족하다. 그러나, 본 설명은 예컨대, 4K에 대한 서술된 후처리 방법을 고려함으로써 적절한 품질을 가지는 그러한 컨텐트를 생성할 수 있다. 본 발명자는, 최종 후처리 단계에서, 크기 3840 x 2160의 4K 프레임의 하르 WT의 저주파수 성분이 되도록 고려된 크기 1920 x 1080 프레임의 HD 1080p에서 시작한다. 여기 개시된 방법은 그들의 저주파수 하르 WT로부터 4K 픽셀들을 정밀하게 계산하였다.
이와 유사하게, 8K UHD 컨텐트는 4K 내지 8K의 큰 정밀도로 가기 위해 하나 이상의 IWT 프로세싱 레벨을 가지게 함으로써 HD 컨텐트로부터 얻어질 수 있다.
그리고, 물론, 이러한 컨텐트는 여기 제공된 전처리 및 후처리 방법을 이용하여, 쉽게 압축, 전송, 저장, 및 사용 가능한 모니터 및 TV 스크린 하드웨어에 의해 디스플레이 될 수 있다. 즉, 4K UHD 비디오는 1.5 Mbps를 필요로 하고, 8K UHD 비디오는 1.75Mbps를 필요로 하는데, 이는 2013년 말 덴마크 비디오 컨퍼런스에서 그리고 2014년 1월 라스베가스 컨슈머 일렉트로닉 쇼에서 논의되었던 수치와 비교된다. 이러한 예측은 4K UHD가 그것이 수 년내에 널리 사용될 때 15 Mbps를 필요로 할 것임을 보여준다.
임의의 이미지 레졸루션의 수학적 정밀도 증가에 대한 근거
여기 제공된 방법은 인버스 하르 웨이브렛 변환을 그것의 저주파수 성분으로부터 계산하기 위한 기술을 제공하고, 주어진 이미지보다 더 높은 레졸루션의 이미지의 계산을 이끌 수 있는데, 이는 계산된 더 높은 레졸루션 이미지의 저주파수 성분이 될 것으로 간주될 수 있다. 그러므로, 1080p 이미지에서 시작하여, 예컨대, 4K 레졸루션 이미지의 저주파수 성분이 주어진 1080p 이미지인 4K 레졸루션 이미지를 정밀하게 계산할 수 있다. 이와 유사하게, 8K 레졸루션 이미지의 저주파수 성분이 주어진 4K 레졸루션 이미지인 8K 레졸루션 이미지를 정밀하게 계산할 수 있다. 이와 유사하게, 16K 레졸루션 이미지의 저주파수 성분이 주어진 8K 레졸루션 이미지인 16K 레졸루션 이미지를 정밀하게 계산할 수 있다. 이와 유사하게, 16K 레졸루션, 32K 레졸루션 또는 임의의 더 높은 레벨을 계산할 수 있다. 이것은 다중 레벨 다이렉트 및 인버스 웨이브렛 변환을 계산할 때 임의의 주어진 이미지를 통해 발생하는 정확한 것이다.
이러한 설명은 대응하는 비용 절감 및 우수한 비디오 품질과 함께 2014년에 요구되는 고품질 비디오 판권의 훨씬 더 우수한 비디오 압축을 제공한다.
예시
아래의 예는 본 발명의 어느 특징을 보여주기 위한 것이며 본 발명의 범위를 제한하도록 의도되지 않았다. 그보다는, 당업자들은 본 명세서에 개시된 것과 교시를 이용하여 변형을 만들 수 있고, 그것들 모두 본 발명의 일부로 간주된다. 당업자들은 본 명세서에 개시된 것과 교시를 이용하여 동일한 기능 및 방법을 이용한 비디오 이미지를 생성할 수 있을 것이고, 또는 사소한 변경을 통해 유사하거나 동일한 결과를 만들 수 있을 것이다. 그것들 모두 본 발명의 일부로 간주된다.
예 1: 성능 데이터
하르 웨이브렛 변환의 수학을 이용하여 프레임 픽셀의 정확한 값을 계산하는 것을 기초로 하는 방법들은 기존의 전처리 및 후처리 단계와 결합된 H264 및 H265 비디오 코덱을 이용하여 광범위하게 테스트되었다. H265는 H264를 능가하는 압축 비율의 일부 향상을 제공하지만, 그것은 훨씬 더 복잡하고, 전형적인 휴대용 장치를 통해 실시간 퍼포먼스 용으로 사용될 수 없고, H264 코덱을 이용하여 앞서 서술된 방법에 비해, 그 자체가 H265보다 더 우수한 압축을 제공한다.
결과적으로, 아래의 표 2에 제공된 성능 값들은 상술된 전처리 및 후처리 알고리즘과 함께 H264 비디오 코덱을 이용하여 구해졌다.
Figure pct00034
PSNR 값에 관하여, 아래의 표 3은 각각의 상기 비트레이트에 대하여 상이한 비디오 타입의 재구성된 프레임에 대하여, 코덱 단독과 여기 개시된 방법과 함께 한 코덱 간의 전형적인 데시벨(db) 값의 비교를 보여준다.
Figure pct00035
예 2: 소프트웨어 구현 방법을 포함하는 장치
전처리 및 후처리 장치
여기 개시된 방법은 다수의 전산화된 장치로 구현될 수 있다. 전산화된 프로세싱 단계는 데시메이션 및 하르 웨이브렛 기반 압축을 수행하는 전처리기 내에 구현될 수 있다. 이러한 장치는 별개로, 컴퓨터 시스템의 스탠드얼론 컴포넌트로 만들어지고 제공될 수 있고, 기존의 컴퓨터, 휴대용 장치, 텔레비전, 케이블 박스, 셋탑 박스 또는 유사한 그러한 장치에 추가될 수도 있다.
이와 더불어, 여기 개시된 방법은 코덱으로부터의 출력을 압축 해제하는 후처리기로 구현될 수 있다. 이러한 후처리기는 기존의 컴퓨터, 텔레비전, 휴대용 장치, 케이블 박스, 셋탑 박스 또는 유사한 장치에 추가될 수 있다.
본 발명은 여기 개시된 방법에 따라 프레임을 전처리 및 후처리하는 일체형 장치를 포함한다. 전처리 장치는 전처리를 위한 명령어를 담고 있는 메모리 영역, 및 메모리 영역에 담긴 명령어를 수행하는 프로세서를 포함한다. 이러한 결합된 메모리 및 전처리 장치는 개별적으로 제조된 후 비디오 시스템에 통합될 수 있는 직접 회로일 수 있다. 비디오 시스템으로의 전처리 장치의 커넥션은 이미지 캡처 장치(예컨대, 카메라)로부터의 프레임이 전처리 장치로 입력될 수 있는 위치인 입력부를 포함할 수 있다. 전처리 장치의 출력부는 코덱에 연결될 수 있다. 선택적으로, 버퍼 영역이 전처리 장치 내에 포함될 수 있다.
이와 유사하게, 후처리 장치는 본 발명의 방법에 따른 후처리를 위한 명령어를 담고 있는 메모리 영역을 포함하고, 또한 메모리 영역에 담긴 명령어를 수행하기 위한 프로세서를 포함한다. 이러한 결합된 메모리 및 후처리 장치는 개별적으로 제조된 후 비디오 시스템에 통합될 수 있는 직접 회로일 수 있다. 비디오 시스템으로의 후처리 장치의 커넥션은 코덱으로부터 후처리 장치로 압축 해제된 프레임이 입력되는 것을 가능하게 한다. 디스플레이 목적으로, 후처리 장치는, 예컨대, 비디오 모니터, 휴대 장치 스크린, 또는 텔레비전과 같은 출력 장치에 부착될 수 있다. 후처리 장치 내에 버퍼 영역이 포함될 수 있다.
예 3: 컬러 이미징
이미지 및 비디오 프레임에 관하여, 본 방법은 먼저 칼럼에 적용되고 그 다음 로우에 적용된다. 또한, 컬러 이미지에 대하여, 이 방법은 휘도(Y) 및 색차(UV) 성분에 개별적으로 적용될 수 있다.
예 4: 컴퓨터 판독 가능한 매체
컴퓨터 판독 가능한 매체는 본 발명의 방법에 따른 프레임 전처리를 위한 명령어를 담고 있는 메모리 영역을 포함한다. 물리적 장치는 디스켓, 플래시 메모리, 테이프 드라이브, 또는 다른 물리적 하드웨어 컴포넌트를 포함한다. 이러한 장치에 담긴 명령어들은 메모리 영역 내에 담긴 명령어의 실행을 위해 외부 전처리기로 전송될 수 있다.
다른 장치는 본 발명의 방법에 따른 프레임 후처리를 위한 명령어를 담고 있는 메모리 영역을 포함한다. 물리적 장치는 디스켓, 플래시 메모리, 테이프 드라이브, 또는 다른 물리적 하드웨어 컴포넌트를 포함한다. 이러한 장치에 담긴 명령어들은 메모리 영역 내에 담긴 명령어의 실행을 위해 외부 후처리기로 전송될 수 있다.
다른 실시예에서, 전처리, 후처리, 및 디스플레이를 위한 프로그래밍 명령어는 무선, 케이블, 광통신, 또는 다른 매체를 통해 전송될 수 있다.
전처리, 코덱, 후처리 방법이 하나의 시스템을 제공하도록 통합될 수 있음이 이해될 것이고, 컴퓨터, 휴대 장치, 텔레비전, 케이블 박스 또는 유사한 장치로 통합될 수 있다.
예 5: 대량 병렬 현대식 이종 컴퓨팅 아키텍처 내 구현
오늘날, 심지어 휴대용 이동 장치도 병렬 컴퓨팅 프레임워크를 이용하는 멀티코어 플랫폼을 포함한다. 계산의 컴퓨터 구현의 프로토타입은 값싼 4K TV 세트상에 실시간으로 4K UHD 비디오를 디스플레이하기 위해 효율적이고 빠른(60fps) 프로세싱을 나타내기 위해, OpenCL 프로그래밍(그 전체가 본 명세서에 참조로서 통합된, 참고문헌 5: OpenCL Programming by Example by R. Banger and K. Bhattacharyya, 2013 Packt Publishing Ltd., UK) 및 NVIDIA 그래픽 카드를 요한 CUDA 언어(그 전체가 본 명세서에 참조로서 통합된, 참고문헌 6: CUDA Programming by Shane Cook, 2013 Elsevier, Inc.)를 이용하여 개발될 수 있다.
그러므로, 저비용 구현은 최소한의 저장 및 전송 비용과 인지되는 높은 비디오 품질과 더불어 본 기술의 다른 중요한 장점이다.
이러한 대략 병렬 구현은 본 발명의 고유한 특징의 결과가 동일한 아키텍처 또는 심지어 동일한 벤더를 가질 필요가 없이 복수의 장치에 포팅(port)될 수 있다.
요약하자면, 본 기술은 4K 및 8K UHD 비디오 통신이 예상보다 빠르게 접근 가능하고 감당할 수 있게 되게 만들 수 있다.
본 발명의 시스템 및 방법은 컴퓨터 저장 용량에 대한 감소된 요구사항과 함께 감소된 비용으로 고품질 비디오가 저장, 전송, 및 재생되는 것을 가능하게 하기 위해 원격 통신 및 비디오 산업에 사용될 수 있다. 비디오 저장 및 전송을 위한 현재의 엄청난 비용을 감소시킬 수 있는 본 발명의 형태의 결과는 유의미하다.
(참조문헌)
본 명세서에서 상기 및 하기 나열된 참조문헌 및 문서 각각의 내용은 그 전체가 참조로서 완전히 본 명세서에 통합된다.
1. Ten Lectures on Wavelets by Ingrid Daubechies, Society for Industrial and Applied Mathematics.
2. A New Wavelet Transform Video Compression Algorithm, IEEE 3rd International Conference on Communications Software Networkds, 2011, Zhange Shu.
3. Three Dimensional Wavelet Transform Video Compression, 1999 IEEE International Conference on Multimedica Computing and Systems, July 1999, L.K. Levy.
4. A New and Novel Image Compression Algorithm using Wavelet Footprints, Academic Journal 2005, Vol. 14, part 6, page 17, N. Malmurugan, A. Shamugan, S. Jayaraman, V. V. Dinesh, Chader.
5. OpenCL Programming by Example by R. Banger and K. Bhattacharyya, 2013 Packt Publishing Ltd., UK.
6. CUDA Programming by Shane Cook, 2013 Elsevier, Inc.

Claims (16)

  1. 비디오 이미지 프레임을 전처리하는 컴퓨터 장치로서,
    입력부;
    데시메이팅된 하르 WT에 따라 상기 입력부에 의해 수신된 비디오 프레임을 프레임 전처리하기 위한 명령어를 담고 있는 컴퓨터 저장 모듈;
    저주파수 부분을 유지하고 고주파수 부분을 폐기함으로써 상기 데시메이팅된 WT를 처리하는 프로세서; 및
    출력부를 포함하고,
    상기 전처리하기 위한 명령어는:
    i. 모든 로우, i에 대하여, 오리지널 프레임, W0(i, 0)의 첫 항에 제1 픽셀을 저장하고, HWT의 모든 저주파수 값을 계산하고, 그것들을 프레임 W0(i, j)에 저장하는 단계; 및
    ii. 각각의 프레임, W0(i, j)의 모든 칼럼에 대하여, 프레임, W0(0, j)의 첫 항에 제1 픽셀을 저장하고, HWT의 모든 저주파수 값을 계산하고, 그것들을 프레임 W(i, j)에 저장하는 단계를 포함하는 것을 특징으로 하는 비디오 이미지 프레임을 전처리하는 컴퓨터 장치.
  2. 비디오 이미지 프레임을 후처리하는 컴퓨터 장치로서,
    입력부;
    아래의 단계를 이용하여, 하르 WT의 저주파수 부분을 이용하여 프레임 후처리하기 위한 명령어를 담고 있는 컴퓨터 저장 모듈;
    프로세서로서,
    i. 프레임, Wx(i, j)의 모든 로우, i에 대하여, 제1 로우를, F0(0, j) = Wx(0, j)에 카피하는 단계;
    ii. 모든 칼럼, j에 대하여, 다음 로우, F0(1, j) = (2*Wx(1, j) + F0(O, J))/3를 계산하는 단계;
    iii. 모든 칼럼, j에 대하여, 다음 로우, F0(2, j) = (2*Wx(2, j) - F0(1, j))/3)를 계산하는 단계;
    iv. 모든 칼럼, j에 대하여, 다음 로우, F0(3, j) = 2*Wx(2, j) - F0(2, j)를 계산하는 단계;
    v. 모든 칼럼, j에 대하여, 후속 로우들을 유사하게 계산하는 단계;
    vi. F0(i, j)의 제1 칼럼을 F(i, 0)로 카피하는 단계, F(i, 0) = F0(i,0);
    vii. F0(i, j)의 모든 로우, i에 대하여, 다음 칼럼:
    F(i, 1) = ((2F0(i, 1) + F(i, 0))/3;
    F(i, 2) = ((2F0(i, 2) + F(i, 1))/3;
    F(i, 3) = ((2F0(i, 2) - F(i, 2))/3을 계산하는 단계;
    viii. j > 3인 모든 칼럼에 대하여, 후속 칼럼들을 유사하게 계산하는 단계; 및
    ix. 계산된 픽셀들을 저장하는 단계를 수행하도록 프로그래밍된, 상기 프로세서를 포함하는 것을 특징으로 하는 비디오 이미지 프레임을 후처리하는 컴퓨터 장치.
  3. 비디오 이미지 압축 및 압축 해제 시스템으로서,
    청구항 제1 항의 이미지 프레임 전처리를 위한 제1 컴퓨터 모듈;
    비디오 코덱;
    청구항 제2 항의 이미지 프레임 후처리를 위한 제2 컴퓨터 모듈; 및
    출력 장치를 포함하고,
    상기 제1 컴퓨터 모듈 또는 상기 제2 컴퓨터 모듈은 메인프레임 컴퓨터, 데스크탑 컴퓨터, 퍼스널 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 무선 컴퓨터, 및 휴대 전화로 이루어진 그룹에서 선택된 프로그래밍 가능한 처리 장치인 것을 특징으로 하는 비디오 이미지 압축 및 압축 해제 시스템.
  4. 컴퓨터 판독 가능한 매체로서,
    물리적 매체; 및
    물리적 매체 내에 청구항 제1 항에 따른 비디오 프레임을 전처리하기 위한 명령어를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
  5. 컴퓨터 판독 가능한 매체로서,
    물리적 매체; 및
    물리적 매체 내에 청구항 제2 항에 따른 축소된 비디오 프레임을 후처리하기 위한 명령어를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
  6. 제 4 항 또는 제 5 항에 있어서, 상기 물리적 매체는 디스켓, 컴팩트 디스크(CD), 자기 테이프, 종이, 플래시 드라이브, 펀치 카드, 자기 디스크, 제거 가능한 플래시 메모리 장치, 및 컴퓨터 프로세서 저장 버퍼로 이루어진 그룹으로부터 선택된 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
  7. 제 3 항에 있어서, 상기 후처리 모듈은 Y, U, V, R, G, 또는 B로 이루어진 그룹으로부터 선택된 2개의 필터를 포함하는 것을 특징으로 하는 비디오 이미지 압축 및 압축 해제 시스템.
  8. 대상의 비디오 이미지를 만드는 방법으로서,
    a. 상기 대상의 디지털화된 이미지 프레임을 제공하고, 상기 디지털화된 이미지 프레임을 컴퓨터 프로세서의 메모리 장치에 저장하는 단계;
    b. 상기 디지털화된 이미지 프레임의 데시메이팅된 하르 웨이브렛 변환(WT)을 제공하는 단계;
    c. 상기 데시메이팅된 WT의 고주파수 성분을 폐기함으로써,
    i. 모든 로우, i에 대하여, 오리지널 프레임, W0(i, 0)의 첫 항에 제1 픽셀을 저장하고, HWT의 모든 저주파수 값을 계산하고, 그것들을 프레임, W0(i, j)에 저장하는 스텝; 및
    ii. 각각의 프레임, W0(i, j)의 모든 칼럼, j에 대하여, 프레임, W(0, j)의 첫 항에 제1 픽셀을 저장하고, HWT의 모든 저주파수 값을 계산하고, 그것들을 프레임, W(i, j)에 저장하는 스텝에 따라 전처리된 프레임을 만들어내는 단계;
    d. 각각의 프레임, W(i, j)을 비디오 코덱으로 보내는 단계;
    e. 비디오 코덱을 이용하여 상기 전처리된 프레임을 압축하여 압축된 비디오 프레임을 만들어내는 단계;
    f. 상기 비디오 코덱을 이용하여 상기 압축된 비디오 프레임을 압축 해제하는 단계; 및
    g. i. 프레임, Wx(i, j)의 모든 로우, i에 대하여, 제1 로우를 F0(0, j) = Wx(0, j)에 카피하는 스텝;
    ii. 모든 칼럼, j에 대하여, 다음 로우, F0(1, j) = (2* Wx(1, j) + F0(0, j))/3를 계산하는 스텝;
    iii. 모든 칼럼, j에 대하여, 다음 로우, F0(2, j) = (2*Wx(2, j) - F0(1, j))/3)를 계산하는 스텝;
    iv. 모든 칼럼, j에 대하여, 다음 로우, F0(3, j) - 2*Wx(2, j) - F0(2, j)을 계산하는 스텝;
    v. 모든 칼럼, j에 대하여, 후속 로우들을 유사하게 계산하는 스텝;
    vi. F0(i, j)의 제1 칼럼을 F(i, 0)에 카피하는 스텝, F(i,0) = F0(i,0);
    vii. F0(i j)의 모든 로우, i에 대하여, 다음 칼럼:
    F(i, l) = ((2F0(i, 1) + F(i, 0))/3;
    F(i, 2) = ((2F0(i, 2) + F(i, 1))/3;
    F(i, 3) = ((2F0(i, 2) - F(i, 2))을 계산하는 스텝;
    viii. j > 3인 모든 칼럼에 대하여, 후속 칼럼들을 유사하게 계산하는 스텝을 수행함으로써,
    WT의 저주파수 부분 및 WT 이전에 오리지널 이미지의 모든 로우 및 칼럼의 마지막 픽셀을 이용하여, 후처리를 이용하여, 상기 프레임의 풀 사이즈 이미지를 재생성하는 단계; 및
    h. 프레임, F(i, j)을 디스플레이 단계를 포함하는 것을 특징으로 하는 대상의 비디오 이미지를 만드는 방법.
  9. 제 8 항에 있어서, 단일 레벨 프레임 크기 축소를 포함하는 것을 특징으로 하는 대상의 비디오 이미지를 만드는 방법.
  10. 제 9 항에 있어서, 제2 레벨의 프레임 크기 축소를 더 포함하는 것을 특징으로 하는 대상의 비디오 이미지를 만드는 방법.
  11. 제 10 항에 있어서, 제3 레벨의 프레임 크기 축소를 더 포함하는 것을 특징으로 하는 대상의 비디오 이미지를 만드는 방법.
  12. 제 8 항에 있어서, 단일 레벨 프레임 크기 확대를 포함하는 것을 특징으로 하는 대상의 비디오 이미지를 만드는 방법.
  13. 제 12 항에 있어서, 제2 레벨의 프레임 크기 확대를 더 포함하는 것을 특징으로 하는 대상의 비디오 이미지를 만드는 방법.
  14. 제 13 항에 있어서, 제3 레벨의 프레임 크기 확대를 더 포함하는 것을 특징으로 하는 대상의 비디오 이미지를 만드는 방법.
  15. 여기 서술된 시스템.
  16. 여기 서술된 방법.
KR1020177004031A 2014-07-16 2015-07-13 4ｋ 및 8ｋ 애플리케이션을 위한 다중 비디오 압축, 압축 해제, 및 디스플레이 KR102367075B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462025365P 2014-07-16 2014-07-16
US62/025,365 2014-07-16
US201462097255P 2014-12-29 2014-12-29
US62/097,255 2014-12-29
US201562150436P 2015-04-21 2015-04-21
US62/150,436 2015-04-21
PCT/US2015/040108 WO2016010880A1 (en) 2014-07-16 2015-07-13 Multilevel video compression, decompression, and display for 4k and 8k applications

Publications (2)

Publication Number Publication Date
KR20170033355A true KR20170033355A (ko) 2017-03-24
KR102367075B1 KR102367075B1 (ko) 2022-02-24

Family

ID=55078943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177004031A KR102367075B1 (ko) 2014-07-16 2015-07-13 4ｋ 및 8ｋ 애플리케이션을 위한 다중 비디오 압축, 압축 해제, 및 디스플레이

Country Status (11)

Country Link
US (1) US10313704B2 (ko)
EP (1) EP3170306B1 (ko)
JP (1) JP6535082B2 (ko)
KR (1) KR102367075B1 (ko)
CN (1) CN106664387B9 (ko)
AU (1) AU2015289923B2 (ko)
CA (1) CA2954683C (ko)
ES (1) ES2786600T3 (ko)
MA (1) MA40545B1 (ko)
MX (1) MX371127B (ko)
WO (1) WO2016010880A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11064219B2 (en) * 2018-12-03 2021-07-13 Cloudinary Ltd. Image format, systems and methods of implementation thereof, and image processing
US11785068B2 (en) * 2020-12-31 2023-10-10 Synaptics Incorporated Artificial intelligence image frame processing systems and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168809A (ja) * 1993-03-30 1995-07-04 Klics Ltd ウェーブレット変換方法及びウェーブレット変換回路
KR20050018659A (ko) * 2002-04-19 2005-02-23 드로플렛 테크놀로지 인코포레이티드 웨이브렛 변환 시스템, 방법 및 컴퓨터 프로그램 제품
KR20080066708A (ko) * 2005-09-27 2008-07-16 퀄컴 인코포레이티드 웨이블렛 변환 멀티미디어 코딩에서의 보간 기술
JP2009506606A (ja) * 2005-08-26 2009-02-12 エレクトロソニック リミティド 画像データ処理方法
US20100172419A1 (en) * 2008-08-29 2010-07-08 Decegama Angel Systems and methods for compression, transmission and decompression of video codecs

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757438B2 (en) * 2000-02-28 2004-06-29 Next Software, Inc. Method and apparatus for video compression using microwavelets
US8031782B2 (en) 2008-08-29 2011-10-04 ADC2 Technologies LLC Systems and methods for compression, transmission and decompression of video codecs
US8542938B2 (en) * 2008-12-31 2013-09-24 Entropic Communications, Inc. System and method for intra-frame compression using predictive coding
US8279259B2 (en) * 2009-09-24 2012-10-02 Microsoft Corporation Mimicking human visual system in detecting blockiness artifacts in compressed video streams
US8711170B2 (en) * 2011-02-14 2014-04-29 Apple Inc. Edge alphas for image translation
US20130156114A1 (en) 2011-12-17 2013-06-20 Faramarz Azadegan Data Movement Reduction In Video Compression Systems
CN102905132B (zh) * 2012-10-16 2016-01-13 上海大学 无线视频传输的压缩和解压缩装置
CN103077510B (zh) * 2013-01-21 2015-03-04 中国计量学院 基于小波hmt模型的多变量压缩感知重构方法
CN103546759A (zh) * 2013-10-29 2014-01-29 沈阳工业大学 一种基于小波包和矢量量化相结合的图像压缩编码方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168809A (ja) * 1993-03-30 1995-07-04 Klics Ltd ウェーブレット変換方法及びウェーブレット変換回路
KR20050018659A (ko) * 2002-04-19 2005-02-23 드로플렛 테크놀로지 인코포레이티드 웨이브렛 변환 시스템, 방법 및 컴퓨터 프로그램 제품
JP2009506606A (ja) * 2005-08-26 2009-02-12 エレクトロソニック リミティド 画像データ処理方法
KR20080066708A (ko) * 2005-09-27 2008-07-16 퀄컴 인코포레이티드 웨이블렛 변환 멀티미디어 코딩에서의 보간 기술
US20100172419A1 (en) * 2008-08-29 2010-07-08 Decegama Angel Systems and methods for compression, transmission and decompression of video codecs

Also Published As

Publication number Publication date
MX371127B (es) 2020-01-17
CN106664387B (zh) 2020-03-20
US20170164009A1 (en) 2017-06-08
EP3170306A4 (en) 2018-05-16
CA2954683C (en) 2022-10-25
MX2017000549A (es) 2017-08-16
AU2015289923B2 (en) 2019-07-18
EP3170306A1 (en) 2017-05-24
KR102367075B1 (ko) 2022-02-24
JP6535082B2 (ja) 2019-06-26
JP2017521014A (ja) 2017-07-27
US10313704B2 (en) 2019-06-04
ES2786600T3 (es) 2020-10-13
CN106664387A (zh) 2017-05-10
AU2015289923A1 (en) 2017-03-09
CA2954683A1 (en) 2016-01-21
CN106664387B9 (zh) 2020-10-09
MA40545A (fr) 2017-05-24
WO2016010880A1 (en) 2016-01-21
MA40545B1 (fr) 2020-05-29
EP3170306B1 (en) 2020-01-29

Similar Documents

Publication Publication Date Title
US10750179B2 (en) Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
KR102525578B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JP5128976B2 (ja) 復元されたフレームのフレーム率をアップコンバートする装置および方法
JP2022050585A (ja) クロマ予測方法及びデバイス
US9734557B2 (en) Method and apparatus for generating 3K-resolution display image for mobile terminal screen
US20090074052A1 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program
JP2020529782A (ja) ビデオ圧縮のための変換を構成する方法および装置
KR102500761B1 (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
US20170186187A1 (en) Distinct encoding and decoding of stable information and transient/stochastic information
US20130230104A1 (en) Method and apparatus for encoding/decoding images using the effective selection of an intra-prediction mode group
CN103596008A (zh) 编码器及编码方法
CN112203088B (zh) 用于非基带信号代码化的变换选择
KR20150068402A (ko) 동영상 압축 방법
JP2016096428A (ja) ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置ならびにピクチャ復号化プログラム
CN117730338A (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
KR102367075B1 (ko) 4ｋ 및 8ｋ 애플리케이션을 위한 다중 비디오 압축, 압축 해제, 및 디스플레이
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN105359508A (zh) 视频多级时空分辨率的增加
US20190007702A1 (en) Methods and devices for panoramic video coding and decoding based on multi-mode boundary fill
KR20220063063A (ko) 인공지능 부호화 및 인공지능 복호화를 수행하기 위한 방법 및 장치
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
Barman et al. On the performance of video super-resolution algorithms for HTTP-based adaptive streaming applications
KR102421719B1 (ko) 저복잡도 신경망을 이용한 영상의 ai 부호화 장치 및 방법, ai 복호화 장치 및 방법
KR20230030435A (ko) 화상회의시 AI(artificial intelligence)를 이용한 다운스케일 및 업스케일 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant