KR101747757B1 - 고해상도 디지털 영상을 부호화하는 방법 및 이를 위한 장치 - Google Patents

고해상도 디지털 영상을 부호화하는 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR101747757B1
KR101747757B1 KR1020140001786A KR20140001786A KR101747757B1 KR 101747757 B1 KR101747757 B1 KR 101747757B1 KR 1020140001786 A KR1020140001786 A KR 1020140001786A KR 20140001786 A KR20140001786 A KR 20140001786A KR 101747757 B1 KR101747757 B1 KR 101747757B1
Authority
KR
South Korea
Prior art keywords
frames
picture
digital image
lowest frequency
frame
Prior art date
Application number
KR1020140001786A
Other languages
English (en)
Other versions
KR20140099180A (ko
Inventor
이정우
윤기송
김범호
문성원
이정수
정연정
정효택
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20140099180A publication Critical patent/KR20140099180A/ko
Application granted granted Critical
Publication of KR101747757B1 publication Critical patent/KR101747757B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

고해상도 디지털 영상을 부호화/복호화하는 방법 및 이를 위한 장치가 개시된다. 디지털 영상 부호화 방법은, 디지털 영상(digital video)에 대한 부호화(encoding) 방법에 있어서, 픽처(picture)를 복수의 분할 프레임(frame)으로 분할하는 단계와, 복수의 분할 프레임 각각에 대하여 복수의 요소 프레임을 생성하는 단계와, 복수의 요소 프레임 중 가장 낮은 주파수 대역(frequency band)을 갖는 최저 주파수 요소 프레임을 추출하는 단계와, 복수의 분할 프레임 각각의 최저 주파수 요소 프레임을 결합하여 픽처보다 낮은 해상도를 갖는 저해상도 픽처를 생성하는 단계를 포함하여 구성될 수 있다.

Description

고해상도 디지털 영상을 부호화하는 방법 및 이를 위한 장치{METHOD FOR ENCODIG HIGH RESOLUTION DIGITAL VIDEO AND APPARATUS THEREFOR}
본 발명은 고해상도 디지털 영상을 부호화 및 복호화하는 기술에 관한 것으로, 더욱 상세하게는 8K 급 디지털 시네마(digital cinema) 서비스를 위하여 JPEG-2000 표준과 영상 분할 기법을 활용하는 기술에 관한 것이다.
멀티미디어 사회에서 멀티미디어 데이터의 통신 및 저장에 있어서 데이터 압축은 필수적이다. 특히 방대한 양을 갖는 영상 데이터의 경우 압축을 하기 위해서는 원 정보를 다른 형태로 표현하는 변환과정을 거치게 된다. 그런 다음, 사람의 눈이 인식하지 못하는 고주파 성분은 제거하거나 적은 비트를 할당하는 방식으로 정보의 양을 줄이게 된다.
이렇듯, 디지털 영상을 압축하기 위해서는 변환 부호화(transform coding)를 수행하는 과정이 필수적인데 변환 알고리즘은 변환 영역의 데이터 간에 상관관계가 없고 밀집된 데이터를 가질 것, 역변환이 가능할 것, 변환은 적은 메모리, 제한된 정확도, 적은 수의 연산으로도 충분히 계산이 가능해야 할 것 등의 요건이 충족되어야 한다. 이러한 변환 부호화에는 이산 코사인 변환(DCT, discrete cosine transform), 웨이블릿 변환(wavelet transform), 푸리에 변환(Fourier Transform) 등이 있다.
그러나 저 비트 레이트 압축시 이산 코사인 변환은 블록화 현상이 발생하는 단점을 가지고 있다. 이에 반해 이산 웨이블릿 변환은 영상 전체에 대해 변환을 하기 때문에 블록화 현상이 없고, 전달함수의 특성으로 주파수 정보와 위치 정보를 모두 표현하는 것이 가능하다는 장점이 있다.
한편, 디지털 영상에 대한 처리 기술로서, 디지털 시네마 표준에서는 대용량의 영상 압축을 위해 JPEG-2000 알고리즘을 채택하였다. JPEG-2000 알고리즘은 이산 코사인 변환을 기본으로 하는 JPEG과 MPEG과는 달리 웨이블릿(Wavelet) 변환을 기본으로 한다.
8x8 혹은 4x4 크기의 블록을 기본 단위로 하는 이산 코사인 변환과는 달리 웨이블릿 변환은 부호화 화면 전체를 기본 단위로 하기 때문에 앞서 살펴본 블록화 현상이 없는 장점을 갖는 반면에 화면이 4K 이상으로 커지면 부호화 및 복호화를 위한 복잡도뿐만 아니라 데이터 이동을 위한 입출력 시간도 급격히 증가하는 한계도 존재한다.
기술적 측면에서 디지털 시네마 극장의 상영은 해상도 1.3K(1280*1024), 2K(2048*1080), 4K(4096*2048)의 해상도로 제작되고 암호화된 압축 동영상(Wavelet, MPEG-HD, JPEG-2000)을 1.3K 이상의 디지털 영사기로 상영하는 것이다. 현재 해상도 2K, 4K 대상의 디지털 시네마 기술은 이미 상용화되었고, 국제표준인 JPEG-2000 압축 방식과 디지털 시네마 표준 규격(DCI, Digital Cinema Initiative)을 지원하고 있다.
그런데, 8K 급 디지털 시네마 서비스를 제공하기 위해서는 2K 및 4K 디지털 시네마 서비스를 위한 역방향 호환성을 제공해야 한다. 즉, 2K 혹은 4K 프로젝터를 가진 극장에서 8K 콘텐츠를 받은 경우에서 2K 혹은 4K로 상영 가능하여야 하는데, 기존의 시스템은 이러한 기능을 제공하지 못한다는 문제가 있다. 또한 상술한 부호화 및 복호화를 위한 복잡도 문제와 데이터 이동을 위한 입출력 시간의 증가 문제도 해결이 필요한 상황이다.
상술한 문제점을 극복하기 위한 본 발명의 목적은, 8K 급 디지털 시네마 서비스를 위한 JPEG-2000 부호화 및 복호화 방법을 제공하는 데 있다.
또한 상술한 문제점을 극복하기 위한 본 발명의 다른 목적은 상기 부호화 및 복호화 방법을 이용하는 부호화/복호화 장치를 제공하는 데 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 디지털 영상 부호화 방법은, 디지털 영상(digital video)에 대한 부호화(encoding) 방법에 있어서, 픽처(picture)를 복수의 분할 프레임(frame)으로 분할하는 단계와, 복수의 분할 프레임 각각에 대하여 복수의 요소 프레임을 생성하는 단계와, 복수의 요소 프레임 중 가장 낮은 주파수 대역(frequency band)을 갖는 최저 주파수 요소 프레임을 추출하는 단계와, 복수의 분할 프레임 각각의 최저 주파수 요소 프레임을 결합하여 픽처보다 낮은 해상도를 갖는 저해상도 픽처를 생성하는 단계를 포함하여 구성될 수 있다.
여기에서, 상기 분할하는 단계는, 복수의 분할 프레임이 소정의 해상도보다 낮아질 때까지 재귀적(recursively) 혹은 반복적으로(iteratively) 픽처를 분할할 수 있다.
여기에서, 상기 복수의 요소 프레임을 생성하는 단계는, 복수의 분할 프레임 각각을 변환 부호화(transform coding)하여 압축한 복수의 요소 프레임을 생성할 수 있다.
나아가, 상기 변환 부호화는, 웨이블릿 변환(wavelet transform)일 수 있다.
여기에서, 디지털 영상 부호화 방법은, 낮은 해상도를 갖는 픽처를 구성하는 최저 주파수 요소 프레임 간의 경계에 대하여 디블로킹 필터(deblocking filter)를 적용하는 단계를 더 포함하여 구성될 수 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 측면에 따른 디지털 영상 부호화 장치는, 디지털 영상을 부호화하는 장치에 있어서, 픽처를 복수의 분할 프레임으로 분할하는 프레임 분할부와, 복수의 분할 프레임 각각에 대하여 복수의 요소 프레임을 요소 프레임 생성부와, 복수의 요소 프레임 중 가장 낮은 주파수 대역을 갖는 최저 주파수 요소 프레임을 추출하는 최저 주파수 요소 프레임 추출부와, 복수의 분할 프레임 각각의 최저 주파수 요소 프레임을 결합하여 픽처보다 낮은 해상도를 갖는 저해상도 픽처를 생성하는 요소 프레임 결합부를 포함하여 구성될 수 있다.
여기에서, 상기 프레임 분할부는, 복수의 분할 프레임이 소정의 해상도보다 낮아질 때까지 재귀적 혹은 반복적으로 픽처를 분할할 수 있다.
여기에서, 상기 요소 프레임 생성부는, 복수의 분할 프레임 각각을 변환 부호화하여 압축한 복수의 요소 프레임을 생성할 수 있다.
나아가, 상기 변환 부호화는, 웨이블릿 변환일 수 있다.
여기에서, 디지털 영상 부호화 장치는, 낮은 해상도를 갖는 픽처를 구성하는 최저 주파수 요소 프레임 간의 경계에 대하여 디블로킹 필터(deblocking filter)를 적용하는 디블로킹 필터부를 더 포함하여 구성될 수 있다.
본 발명이 제공하는 디지털 영상 부호화/복호화 방법과 장치의 구성을 사용하면, 대용량인 8K 급 영상을 분할 처리하기 때문에 각각의 데이터 영역에 대해서 멀티 GPU 혹은 멀티 CPU 상에서 별도의 쓰레드를 이용하여 병렬처리를 수행하는 것이 가능하다는 장점이 있다.
나아가 이를 이용한 고속의 디지털 시네마용 8K 급 해상도의 영상 처리 시스템을 구성하는 것이 가능하다.
또한, 데이터를 분할 처리하기 때문에 JPEG-2000 부호화 및 복호화 과정에서 수행되는 웨이블릿 변환을 위한 복잡도를 줄일 수 있어 고속의 연산이 가능하다는 장점이 있다.
또한 데이터 분할 처리로 인해 원본 데이터 자체를 분할하여 저장하는 것이 가능하기 때문에 대용량 데이터에 대한 입출력 시간을 단축할 수 있다.
도 1은 본 발명의 일 실시예에 따른 원본 영상에 대해 웨이블릿 기반의 JPEG-2000 압축 알고리즘을 적용한 결과를 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 디지털 시네마 4K 서비스를 위한 데이터 구조를 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 디지털 영상 부호화 방법과 그 세부단계를 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 디지털 영상 부호화 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 분할 프레임 각각에 대해 압축 알고리즘을 적용한 결과를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 최저 주파수 요소 프레임 추출 및 디블로킹 필터의 적용 결과를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 디지털 시네마 8K 서비스를 위한 데이터 구조를 설명하기 위한 개념도이다.
도 8은 본 발명의 일 실시예에 따른 디지털 영상 부호화 장치와 그 구성요소를 설명하기 위한 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.
통상적으로 동영상(video)은 일련의 픽처(picture)로 구성될 수 있으며, 각 픽처들은 블록(block)과 같은 소정의 영역으로 분할될 수 있다. 또한, 이하에 기재된 픽처(picture)라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
다만, 본 발명에서 픽처는 소정의 공간 영역으로 분할되지 않은 하나의 이미지라는 의미로, 프레임은 픽처의 전체 혹은 일부를 이루는 부분이라는 의미로 주로 사용되고 있다.
디지털 시네마(digital cinema)는 필름 혹은 디지털 카메라로 촬영한 영화를 디지털 파일 형태로 가공처리하고 포장해서 이 디지털 파일을 공정매체(하드디스크)나 위성, 광대역 접속망(네트워크) 등을 통해 디지털 영사기 및 홈시어터와 이동용 단말기 등 다양한 매체를 통해 배급하고 관람객과 이용자에게 고화질의 디지털 영상 서비스를 제공하는 영화를 의미한다.
기술적인 측면에서는 디지털 시네마 극장의 상영은 해상도 1.3K(1280*1024), 2K(2048*1080), 4K(4096*2160)의 해상도로 제작되고 암호화된 압축 동영상(Wavelet, MPEG-HD, JPEG-2000)을 1.3K 이상의 디지털 영사기로 상영하는 것이다.
4K 해상도(4K Ultra High Definition, 4K Ultra HD, 4K UHD)는 풀 HD(1920*1080)의 약 4배 화소 수(가로 4000 전후, 세로 2000 전후)로 차세대 고화질 해상도를 지칭하는 용어이다. 2012년 1월 기준으로 아직 표준이 확립되지 않아 4096*2160이나 3840*2160의 두 가지 제품이 출시되고 있다.
전미가전협회(Consumer Electronics Association)는 텔레비전 방송용 풀 HD는 2배인 3840×2160, 디지털 시네마의 표준규격인 Digital Cinema Initiatives(DCI)에서 규정된 4K는 4096*2160으로 정하고 있다.
디블로킹 필터(deblocking filter)는 블록 부호화 기술이 사용될 때 매크로 블록 사이에 형성되는 날카로운 모서리를 부드럽게 만들어 영상 품질과 예측 성능을 향상시키기 위해 복호화된 영상 속 블록에 적용되는 영상 필터이다. 디블로킹 필터는 복호화된 화상의 질을 향상시키는 것을 목적으로 한다. 이 기술은 마이크로소프트 VC-1 코덱과 H.264 코덱의 사양에 포함되어 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 원본 영상에 대해 웨이블릿 기반의 JPEG-2000 압축 알고리즘을 적용한 결과를 설명하기 위한 예시도이다. 도 1을 참조하여 JPEG-2000 압축 알고리즘을 적용한 결과를 설명하면 다음과 같다.
본 발명은 디지털 시네마에서 영상 압축 알고리즘으로 사용하는 JPEG-2000 영상 압축에 관한 것으로, 8K 급 디지털 시네마 서비스를 위한 타일 구조 및 부호화/복호화 방법에 관한 것이다. 본 발명에서는 기존의 2K 및 4K 디지털 시네마 서비스와 호환되는 8K 디지털 시네마 서비스를 위한 방법을 제공하고자 한다.
본 발명에서는 또한, 대용량 데이터 처리를 위한 다중 파일 입력 방식, 데이터 압축 방법 및 데이터 파일 형식을 제시한다. 도 1은 원본 영상에 대해 웨이블릿 기반의 JPEG-2000 압축 알고리즘을 적용한 결과를 보여주는데, 4K 영상에 대해 압축 알고리즘을 적용하면 2K 영상(LL) 1개와 2K 고주파수 영상(HL, LH, HH) 3개가 도출된다. 도 1에서 알 수 있듯이 LL 영상은 원본과 크기만 다르다.
4K 영상을 저주파 성분과 고주파 성분으로 분리하기 위하여 Haar 웨이블릿 변환을 적용하는 경우, 저주파 영역인 LL(low-low)과 3개의 고주파 영역 LH(low-high), HL(high-low), HH(high-high)의 요소 프레임으로 분해할 수 있다. 각각의 요소 프레임은 입력된 영상 프레임의 4분의1 크기로 줄어든다.
도 2는 본 발명의 일 실시예에 따른 디지털 시네마 4K 서비스를 위한 데이터 구조를 설명하기 위한 개념도이다. 도 2를 참조하여 디지털 시네마 4K 서비스를 위한 데이터 구조를 설명하면 다음과 같다.
2K 배급의 각각의 압축된 프레임은 3개의 타일 파트를 가지며 각 타일 부분은 한 컬러 컴포넌트의 모든 데이터를 포함할 수 있다. 4K 배급을 위한 각각의 압축된 프레임은 6개의 타일 파트를 가지며 처음 3개 타일 파트는 각각 한 개의 2K 컬러 컴포넌트를 복호화하는 데 필요한 모든 데이터를 포함할 수 있다. 다음 3개의 타일 부분은 4K 컬러 컴포넌트를 복호화하는 데 필요한 모든 데이터를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 디지털 영상 부호화 방법과 그 세부단계를 설명하기 위한 흐름도이다. 도 3을 참조하여 디지털 영상 부호화 방법을 설명하면 다음과 같다.
디지털 영상 부호화 방법은, 디지털 영상(digital video)에 대한 부호화(encoding) 방법에 있어서, 픽처(picture)를 복수의 분할 프레임(frame)으로 분할하는 단계(S310)와, 복수의 분할 프레임 각각에 대하여 복수의 요소 프레임을 생성하는 단계(S320)와, 복수의 요소 프레임 중 가장 낮은 주파수 대역(frequency band)을 갖는 최저 주파수 요소 프레임을 추출하는 단계(S330)와, 복수의 분할 프레임 각각의 최저 주파수 요소 프레임을 결합하여 픽처보다 낮은 해상도를 갖는 저해상도 픽처를 생성하는 단계(S340)를 포함하여 구성될 수 있다.
분할하는 단계(S310)는, 복수의 분할 프레임이 소정의 해상도보다 낮아질 때까지 재귀적(recursively) 혹은 반복적으로(iteratively) 픽처를 분할할 수 있다. 복수의 요소 프레임을 생성하는 단계(S320)는, 복수의 분할 프레임 각각을 변환 부호화(transform coding)하여 압축한 복수의 요소 프레임을 생성할 수 있다. 나아가 변환 부호화는, 웨이블릿 변환(wavelet transform)일 수 있다.
여기에서 재귀적이란 말은 하나의 루틴 내에서 다시 자신의 루틴을 호출하거나 자신이 호출한 서브루틴에 의해 자신이 재호출되는 루틴을 이용하여 진행 상태를 간직하는 것을 말한다. 이런 형태의 처리 방법은 여러 단계로 구성되며, 트리(tree) 구조와 관계가 있다. 반면 반복적인 실행은 자기 자신을 호출하지는 않으나 일정한 조건이 만족할 때까지 같은 과정을 계속하여 실행하는 것을 말한다. 소정의 해상도보다 낮아질 때까지 반복하는 이유는 웨이블릿 변환으로 인한 연산의 부담을 줄여주는 데에 있다.
도 4는 본 발명의 일 실시예에 따른 디지털 영상 부호화 방법을 설명하기 위한 예시도이다. 도 4를 참조하여 8K 디지털 영상을 분할하는 것을 설명하면 다음과 같다.
8K 영상을 부호화하기 위해 8K 영상을 먼저 4개의 4K 영상으로 분할할 수 있다. 8K 영상을 4개의 4K 콘텐츠로 분할하여 처리하기 때문에 1개의 8K 영상을 저장하는 대신 DCDM(Digital Cinema Distribution Master) 생성 과정에서 4개의 4K 영상으로 분할하여 저장하는 것이 가능하다.
도 5는 본 발명의 일 실시예에 따른 분할 프레임 각각에 대해 압축 알고리즘을 적용한 결과를 설명하기 위한 예시도이다. 도 5를 참조하여 압축 알고리즘을 적용한 결과를 설명하면 다음과 같다.
본 발명에 따르면, 분할된 4개 각각의 프레임에 대해 디지털 시네마 JPEG-2000 압축 알고리즘을 적용할 수 있다. 도 5는 분할 프레임 영역들에 대해 압축 알고리즘을 적용한 결과 영상을 나타낸다. 도 4에서 분할된 4개의 프레임 영역 각각에 대한 JPEG-2000 압축 알고리즘 적용 후의 영상을 확인할 수 있다. JPEG-2000 압축 알고리즘 적용 후의 각각의 영상은 1개의 LL 요소 프레임과 3개의 고주파수 요소 프레임을 포함하여 구성될 수 있다.
도 6은 본 발명의 일 실시예에 따른 최저 주파수 요소 프레임 추출 및 디블로킹 필터의 적용 결과를 설명하기 위한 예시도이다. 도 6을 참조하여 최저 주파수 요소 프레임 추출 및 디블로킹 필터의 적용 결과를 설명하면 다음과 같다.
디지털 영상 부호화 방법은, 낮은 해상도를 갖는 픽처를 구성하는 최저 주파수 요소 프레임 간의 경계에 대하여 디블로킹 필터(deblocking filter)를 적용하는 단계(S350)를 더 포함하여 구성될 수 있다.
도 6의 일 실시예에서는, 도 5에서 살펴본 JPEG-2000을 사용하여 변환된 4개의 분할 프레임 영역에서 각각 LL 밴드 데이터(A_LL0, B_LL0, C_LL0, D_LL0)를 추출하여 새로운 4K 영상을 구성할 수 있다.
또한, 화면 분할 후 화면 재구성으로 인해 발생할 수 있는 오류를 방지하기 위해 선택적으로 디블로킹(deblocking) 필터를 적용할 수 있다. 디블로킹 필터를 적용하기 때문에 경계면에서 발생할 수 있는 계단 현상과 같은 노이즈를 제거할 수 있다. 이후, 새롭게 구성된 4K 영상에 대해 기존 디지털 시네마에서 적용된 JPEG-2000 알고리즘을 적용할 수 있다.
도 7은 본 발명의 일 실시예에 따른 디지털 시네마 8K 서비스를 위한 데이터 구조를 설명하기 위한 개념도이다. 도 7을 참조하여 디지털 시네마 8K 서비스를 위한 데이터 구조를 설명하면 다음과 같다.
도 6에 도시된 방법으로 생성된 4K 영상에 대한 압축 데이터는 기존 디지털 시네마와 같은 형식으로 저장될 수 있다. 도 7을 참조하면, 본 발명에 따른 8K 배급을 위한 각각의 압축된 프레임은 9개 이상의 타일 파트를 가질 수 있다.
처음 3개 타일 파트는 각각 한 개의 2K 컬러 컴포넌트를 복호화하는 데 필요한 모든 데이터를 포함할 수 있다. 다음 3개의 타일 부분은 4K 컬러 컴포넌트를 복호화하는데 필요한 모든 데이터를 포함할 수 있다.
마지막 타일 부분은 8K 컬러 컴포넌트를 복호화하는 데 필요한 모든 데이터를 포함할 수 있는데, A_HL0, A_LH0, A_HH0, B_HL0, B_LH0, B_HH0, C_HL0, C_LH0, C_HH0, D_HL0, D_LH0, D_HH0가 하나의 타일로 구성되어 총 3개의 타일을 포함하거나, A_HL0, A_LH0, A_HH0로 구성되는 타일, B_HL0, B_LH0, B_HH0로 구성되는 타일, C_HL0, C_LH0, C_HH0로 구성되는 타일, D_HL0, D_LH0, D_HH0로 구성되는 타일 등 총 12개의 타일을 포함할 수 있다.
도 8은 본 발명의 일 실시예에 따른 디지털 영상 부호화 장치(10)와 그 구성요소를 설명하기 위한 블록도이다. 도 8을 참조하여 디지털 영상 부호화 장치(10)를 설명하면 다음과 같다.
디지털 영상 부호화 장치(10)는, 디지털 영상을 부호화하는 장치에 있어서, 픽처를 복수의 분할 프레임으로 분할하는 프레임 분할부(100)와, 복수의 분할 프레임 각각에 대하여 복수의 요소 프레임을 요소 프레임 생성부(200)와, 복수의 요소 프레임 중 가장 낮은 주파수 대역을 갖는 최저 주파수 요소 프레임을 추출하는 최저 주파수 요소 프레임 추출부(300)와, 복수의 분할 프레임 각각의 최저 주파수 요소 프레임을 결합하여 픽처보다 낮은 해상도를 갖는 저해상도 픽처를 생성하는 요소 프레임 결합부(400)를 포함하여 구성될 수 있다.
프레임 분할부(100)는, 복수의 분할 프레임이 소정의 해상도보다 낮아질 때까지 재귀적 혹은 반복적으로 픽처를 분할할 수 있다. 요소 프레임 생성부(200)는, 복수의 분할 프레임 각각을 변환 부호화하여 압축한 복수의 요소 프레임을 생성할 수 있다. 나아가 변환 부호화는, 웨이블릿 변환일 수 있다.
디지털 영상 부호화 장치(10)는, 낮은 해상도를 갖는 픽처를 구성하는 최저 주파수 요소 프레임 간의 경계에 대하여 디블로킹 필터(deblocking filter)를 적용하는 디블로킹 필터부(500)를 더 포함하여 구성될 수 있다.
디지털 영상 부호화 장치(10)와 세부 구성요소에 대한 설명은 앞서 설명한 디지털 영상 부호화 방법에 대한 설명에서 상술한 바 있으므로 중복하여 기재하지는 않는다. 다만, 디지털 영상 부호화 장치(10)와 그 구성요소들은 논리적으로 구분 가능한 요소일 뿐, 물리적인 위치가 서로 다름을 의미하지는 않는다. 즉, 예를 들면, 디지털 영상 부호화 장치(10)의 각 구성요소들은 실제로는 서로 같은 물리적 위치에 있는 구성도 가능하다.
8K 디지털 시네마 서비스를 위한 본 발명에 따른 복호화 방법은, 상술한 부호화 방법과 역순으로 수행될 수 있다. 정리하자면, 본 발명은 기존의 2K 및 4K 디지털 시네마 서비스와 호환되는 8K 디지털 시네마 서비스를 위한 부호화 방법을 제공한다.
본 발명은 또한, 대용량 데이터 처리를 위한 다중 파일 입력 방식, 데이터 압축 방법 및 데이터 파일 형식을 제시한다. 상술한 바와 같은 본 발명의 구성에 따르면, 기존의 2K 및 4K 디지털 시네마 시스템과의 역호환성을 지원하기 때문에 기존 시스템에서도 제시된 8K 콘텐츠를 재생하는 경우 2K 혹은 4K 상영이 가능하다.
비록 몇몇의 측면들은 방법의 관점에서 설명되었지만, 이러한 측면들은 상응하는 장치의 설명을 나타내는 것이 명확하며, 여기서 방법의 단계는 장치에 대응한다. 특정 구현 요구들에 따르면, 발명의 실시예들은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 본 발명의 실시예들은 프로그램 코드, 방법들 중 하나의 수행을 위해 동작하는 프로그램 코드를 가지는 컴퓨터 프로그램 제품으로서 수행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 디지털 영상 부호화 장치 100: 프레임 분할부
200: 요소 프레임 생성부
300: 최저 주파수 요소 프레임 추출부
400: 요소 프레임 결합부 500: 디블로킹 필터부

Claims (12)

  1. 디지털 영상(digital video)에 대한 부호화(encoding) 방법에 있어서,
    디지털 영상의 픽처(picture)를 복수의 분할 프레임(frame)으로 분할하는 단계;
    상기 복수의 분할 프레임 각각에 대하여 복수의 요소 프레임을 생성하는 단계;
    상기 복수의 요소 프레임 중 가장 낮은 주파수 대역(frequency band)을 갖는 최저 주파수 요소 프레임을 추출하는 단계; 및
    상기 복수의 분할 프레임 각각의 상기 최저 주파수 요소 프레임들을 결합하여 상기 디지털 영상의 픽처보다 낮은 해상도를 갖는 저해상도 픽처를 생성하는 단계를 포함하며,
    상기 분할하는 단계 전에, 8K급의 디지털 영상을 수신하는 단계를 더 포함하고, 여기서, 상기 8K급의 디지털 영상은 9개의 타일 부분들을 포함하고, 상기 9개의 타일 부분들 중 처음 3개의 타일 부분은 각각 한 개의 2K 컬러 컴포넌트를 포함하고, 상기 처음 3개의 타일 부분 다음의 3개의 타일 부분은 각각 한 개의 4K 컬러 컴포넌트를 포함하고, 나머지 타일 부분은 8K 컬러 컴포넌트를 포함하며,
    상기 요소 프레임을 생성하는 단계는, 2K급의 디지털 영상이 요구될 때 상기 각각 한 개의 2K 컬러 컴포넌트에서 2K급 요소 프레임들을 추출하거나, 4K 디지털 영상이 요구될 때 상기 각각 한 개의 4K 컬러 컴포넌트에서 4K급 요소 프레임들을 추출하는 단계를 포함하며,
    상기 저해상도 픽처를 생성하는 단계 이후에, 상기 저해상도 픽처에 디블록킹 필터(deblocking filter)를 적용하여 상기 저해상도 픽처의 최저 주파수 요소 프레임들 간의 경계를 필터링하는 단계를 더 포함하는, 디지털 영상 부호화 방법.
  2. 청구항 1에 있어서,
    상기 분할하는 단계는, 상기 복수의 분할 프레임이 소정의 해상도보다 낮아질 때까지 재귀적(recursively) 혹은 반복적으로(iteratively) 상기 픽처를 분할하는, 디지털 영상 부호화 방법.
  3. 청구항 1에 있어서,
    상기 복수의 요소 프레임을 생성하는 단계는, 상기 복수의 분할 프레임 각각을 변환 부호화(transform coding)하여 압축한 상기 복수의 요소 프레임을 생성하는, 디지털 영상 부호화 방법.
  4. 청구항 3에 있어서,
    상기 변환 부호화는, 웨이블릿 변환(wavelet transform)인 것을 특징으로 하는, 디지털 영상 부호화 방법.
  5. 삭제
  6. 삭제
  7. 디지털 영상을 부호화하는 장치에 있어서,
    디지털 영상의 픽처를 복수의 분할 프레임으로 분할하는 프레임 분할부;
    상기 복수의 분할 프레임 각각에 대하여 복수의 요소 프레임을 요소 프레임 생성부;
    상기 복수의 요소 프레임 중 가장 낮은 주파수 대역을 갖는 최저 주파수 요소 프레임을 추출하는 최저 주파수 요소 프레임 추출부;
    상기 복수의 분할 프레임 각각의 상기 최저 주파수 요소 프레임들을 결합하여 상기 디지털 영상의 픽처보다 낮은 해상도를 갖는 저해상도 픽처를 생성하는 요소 프레임 결합부; 및
    상기 저해상도 픽처를 구성하는 상기 최저 주파수 요소 프레임들 간의 경계에 대하여 디블록킹 필터(deblocking filter)를 적용하는 디블록킹 필터부를 포함하며,
    상기 디지털 영상은 9개의 타일 부분들을 포함하고, 상기 9개의 타일 부분들 중 처음 3개의 타일 부분은 각각 한 개의 2K 컬러 컴포넌트를 포함하고, 상기 처음 3개의 타일 부분 다음의 3개의 타일 부분은 각각 한 개의 4K 컬러 컴포넌트를 포함하고, 나머지 타일 부분은 8K 컬러 컴포넌트를 포함하며,
    상기 요소 프레임 생성부를 포함하는 프로세서는, 2K급의 디지털 영상이 요구될 때 상기 각각 한 개의 2K 컬러 컴포넌트에서 2K급 요소 프레임들을 추출하거나, 4K 디지털 영상이 요구될 때 상기 각각 한 개의 4K 컬러 컴포넌트에서 4K급 요소 프레임들을 추출하는, 디지털 영상 부호화 장치.
  8. 청구항 7에 있어서,
    상기 프레임 분할부는, 상기 복수의 분할 프레임이 소정의 해상도보다 낮아질 때까지 재귀적 혹은 반복적으로 상기 픽처를 분할하는, 디지털 영상 부호화 장치.
  9. 청구항 8에 있어서,
    상기 요소 프레임 생성부는, 상기 복수의 분할 프레임 각각을 변환 부호화하여 압축한 상기 복수의 요소 프레임을 생성하는, 디지털 영상 부호화 장치.
  10. 청구항 9에 있어서,
    상기 변환 부호화는, 웨이블릿 변환을 포함하는, 디지털 영상 부호화 장치.
  11. 삭제
  12. 삭제
KR1020140001786A 2013-01-31 2014-01-07 고해상도 디지털 영상을 부호화하는 방법 및 이를 위한 장치 KR101747757B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130011012 2013-01-31
KR20130011012 2013-01-31

Publications (2)

Publication Number Publication Date
KR20140099180A KR20140099180A (ko) 2014-08-11
KR101747757B1 true KR101747757B1 (ko) 2017-06-27

Family

ID=51745676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140001786A KR101747757B1 (ko) 2013-01-31 2014-01-07 고해상도 디지털 영상을 부호화하는 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR101747757B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536165A (zh) * 2019-09-02 2019-12-03 北京海辰亿华科技有限公司 一种数字影片处理方法、控制数字影片播放的方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314660A (zh) * 2020-02-25 2020-06-19 四川新视创伟超高清科技有限公司 应用于超高清视频切画的视频信号处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100304667B1 (ko) * 1998-09-17 2001-11-05 윤종용 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치
JP2012068951A (ja) 2010-09-24 2012-04-05 Canon Inc 画像処理装置及びその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100304667B1 (ko) * 1998-09-17 2001-11-05 윤종용 웨이블릿 변환을 이용한 정지영상에 대한 스케일러블 부호화/복호화 방법 및 장치
JP2012068951A (ja) 2010-09-24 2012-04-05 Canon Inc 画像処理装置及びその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536165A (zh) * 2019-09-02 2019-12-03 北京海辰亿华科技有限公司 一种数字影片处理方法、控制数字影片播放的方法及装置

Also Published As

Publication number Publication date
KR20140099180A (ko) 2014-08-11

Similar Documents

Publication Publication Date Title
JP6351040B2 (ja) 層状の信号品質階層のおける信号処理およびインヘリタンスの方法、プログラム、及び、コンピュータシステム
TW201832562A (zh) 具有減低複雜性之視訊寫碼中之雙邊濾波器
CN114208197A (zh) 用于视频编解码的块划分方法
KR101868247B1 (ko) 영상 부호화, 복호화 방법 및 장치
US11528493B2 (en) Method and system for video transcoding based on spatial or temporal importance
TWI590662B (zh) 解碼器及解碼方法
CN114788264B (zh) 用于发出虚拟边界和环绕运动补偿的信号的方法
US20210067803A1 (en) Matrix weighted intra prediction of video signals
JP2017508415A (ja) 画像符号化／復号方法及び装置
EA032859B1 (ru) Многоуровневое декодирование сигнала и восстановление сигнала
KR102621118B1 (ko) 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법
Hu et al. An adaptive two-layer light field compression scheme using GNN-based reconstruction
US20210092388A1 (en) Lossless coding of video data
JP2017537491A (ja) 改善された転置バッファを有するスケーラブルな変換ハードウェアアーキテクチャ
CN114868393A (zh) 执行环绕运动补偿的方法
JP2010226672A (ja) 画像分割装置、分割画像符号化装置及びプログラム
CN116506635B (zh) 用于对图像执行逐步解码刷新处理的方法和系统
KR101747757B1 (ko) 고해상도 디지털 영상을 부호화하는 방법 및 이를 위한 장치
KR20230107627A (ko) 후처리 제어를 이용한 비디오 디코딩
CN106664387B (zh) 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质
JP2015076765A (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム
CN115552900A (zh) 用信号通知最大变换大小和残差编码的方法
CN114424528A (zh) 视频编码的运动补偿方法
Rao et al. Video Codec IP using Discrete Wavelet Transform
US11683523B2 (en) Group of pictures based patch packing for video based point cloud coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant