KR102174900B1 - 영상 복호화 장치 및 방법 - Google Patents

영상 복호화 장치 및 방법 Download PDF

Info

Publication number
KR102174900B1
KR102174900B1 KR1020190026888A KR20190026888A KR102174900B1 KR 102174900 B1 KR102174900 B1 KR 102174900B1 KR 1020190026888 A KR1020190026888 A KR 1020190026888A KR 20190026888 A KR20190026888 A KR 20190026888A KR 102174900 B1 KR102174900 B1 KR 102174900B1
Authority
KR
South Korea
Prior art keywords
screen
decoding
temporary storage
pixel data
storage block
Prior art date
Application number
KR1020190026888A
Other languages
English (en)
Other versions
KR20200079408A (ko
Inventor
밍-융 쑨
Original Assignee
샤먼 시그마스타 테크놀로지 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤먼 시그마스타 테크놀로지 엘티디. filed Critical 샤먼 시그마스타 테크놀로지 엘티디.
Publication of KR20200079408A publication Critical patent/KR20200079408A/ko
Application granted granted Critical
Publication of KR102174900B1 publication Critical patent/KR102174900B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

본 발명은, 영상 스트림 중의 제어 정보를 판독 및 복호화하는 단계와, 제어 정보에 근거하여 영상 스트림 중의 복수의 영상 스트림 패킷을 판독하는 단계와, 적어도 제어 정보에 근거하여, 메모리 모듈의 제1 임시 저장 블록으로부터 제1 참조 화면 중 대응되는 픽셀 데이터를 판독하되, 제1 임시 저장 블록의 저장 콘텐츠는 순차적으로 저장되는 단계와, 복호화 화면의 픽셀 데이터를 생성하기 위해 영상 스트림 패킷 및 제1 참조 화면 중 대응되는 픽셀 데이터에 근거하여 복호화를 수행하는 단계와, 및 복호화 수행 시, 복호화 화면의 픽셀 데이터를 후처리 회로에 전송하여 후처리를 수행하고, 제1 임시 저장 블록 중 순서가 가장 앞인 저장 콘텐츠로부터 시작하여 순차적으로 저장 콘텐츠를 대체하기 위해, 제어 정보에 근거하여 복호화 화면의 픽셀 데이터를 제1 임시 저장 블록에 저장하는 단계를 포함하는 영상 복호화 방법을 포함한다.

Description

영상 복호화 장치 및 방법{IMAGE DECODING APPARATUS AND METHOD OF THE SAME}
본 발명은 영상 복호화 기술에 관한 것으로, 특히, 영상 복호화 장치 및 방법에 관한 것이다.
영상 코덱(codec)은 보다 효율적인 전송을 위해 디지털 비디오를 압축하거나 압축 해제할 수 있다. 많은 현재의 코딩 기술, 예를 들어, H.264, H.265 또는 HEVC 등 비디오 코딩 표준에서는, 이동 추정 및 이동 보상 기술을 사용하여, 기간 내의 화면을 참조로 부호화를 수행하여 동적 영상을 효율적으로 기록하고 압축함으로써, 전송 및 저장되는 데이터 양을 절약한다. 이로 인해, 영상 디코더 측에서는, 복호화 진행 중인 화면을 참조 화면에 근거하여 처리하기 위해, 복수의 부호화 타이밍과 관련된 참조 화면을 저장할 수 있어야 한다. 또한, 복호화 진행 중인 화면 역시 복호화 과정에 따라 임시 저장해야 한다.
그런데, 참조 화면 및 복호화 화면은 모두 메모리 중에 저장되어야 한다. 만약 저장 메커니즘에 대한 보다 효율적인 설계가 없다면, 메모리 공간의 사용에 있어서 낭비를 초래하기 쉽다.
종래 기술의 문제점을 고려하여, 본 발명의 목적은 종래 기술을 개선하기 위한 영상 복호화 장치 및 방법을 제공하는 것이다.
본 발명의 목적은, 영상 복호화에 필요한 참조 화면 및 생성된 복호화 화면이 메모리 모듈 중의 임시 저장 블록을 공유하도록 할 수 있게 하여, 메모리의 사용량을 효과적으로 감소시키는 영상 복호화 장치 및 방법을 제공하는 것에 있다.
본 발명은, 영상 스트림 중의 제어 정보를 판독하는 단계와, 제어 정보에 근거하여 영상 스트림 중의 복수의 영상 스트림 패킷을 판독하는 단계와, 적어도 제어 정보에 근거하여, 복호화 회로가 메모리 모듈의 제1 임시 저장 블록으로부터 제1 참조 화면 중 대응되는 픽셀 데이터 및/또는 제2 임시 저장 블록으로부터 제2 참조 화면 중 대응되는 픽셀 데이터를 선택적으로 판독하게 하는 단계와, 복호화 화면의 픽셀 데이터를 생성하기 위해, 영상 스트림 패킷에 근거하여, 또한, 제1 참조 화면 중 대응되는 픽셀 데이터 및/또는 제2 참조 화면 중 대응되는 픽셀 데이터에 선택적으로 근거하여, 복호화를 수행하는 단계와, 복호화 수행 시, 복호화 화면의 픽셀 데이터를 후처리 회로에 전송하고, 제어 정보에 근거하여 복호화 화면의 픽셀 데이터를 제1 임시 저장 블록 및 제2 임시 저장 블록 중 하나에 저장하는 단계를 포함하는 영상 복호화 방법을 포함한다.
본 발명은 또한 영상 복호화 장치를 포함한다. 영상 복호화 장치는, 메모리 모듈, 복호화 회로, 후처리 회로 및 처리 회로를 포함한다. 처리 회로는 메모리 모듈, 후처리 회로 및 복호화 회로와 전기적으로 결합되고, 영상 복호화 방법을 수행하기 위해 소프트 펌웨어 실행 가능 명령을 실행하도록 구성되며, 영상 복호화 방법은, 적어도 제어 정보에 근거하여 복호화 회로가 메모리 모듈의 제1 임시 저장 블록으로부터 제1 참조 화면 중 대응되는 픽셀 데이터 및/또는 제2 임시 저장 블록으로부터 제2 참조 화면 중 대응되는 픽셀 데이터를 선택적으로 판독하게 하는 단계와, 복호화 화면의 픽셀 데이터를 생성하기 위해, 영상 스트림 패킷에 근거하여, 또한, 제1 참조 화면 중 대응되는 픽셀 데이터 및/또는 제2 참조 화면 중 대응되는 픽셀 데이터에 선택적으로 근거하여, 복호화를 수행하는 단계와, 복호화 수행 시, 복호화 화면의 픽셀 데이터를 후처리 회로에 전송하고, 제어 정보에 근거하여 복호화 화면의 픽셀 데이터를 제1 임시 저장 블록 및 제2 임시 저장 블록 중 하나에 저장하는 단계를 포함한다.
본 발명은, 영상 스트림 중의 제어 정보를 판독 및 복호화하는 단계와, 제어 정보에 근거하여 영상 스트림 중의 복수의 영상 스트림 패킷을 판독하는 단계와, 적어도 제어 정보에 근거하여, 메모리 모듈의 제1 임시 저장 블록으로부터 적어도 제1 참조 화면 중 대응되는 픽셀 데이터를 판독하되, 제1 임시 저장 블록의 저장 콘텐츠는 순차적으로 저장되고, 또한 저장 콘텐츠는 순서가 앞인 최대 이동 벡터 검색 범위 화면 및 순서가 뒤인 상기 제1 참조 화면을 포함하는 단계와, 복호화 화면의 픽셀 데이터를 생성하기 위해, 영상 스트림 패킷에 근거하여, 또한, 제1 참조 화면 중 대응되는 픽셀 데이터에 근거하여, 복호화를 수행하는 단계와, 복호화 수행 시, 복호화 화면의 픽셀 데이터를 후처리 회로에 전송하여 후처리를 수행하고, 제1 임시 저장 블록 중 순서가 가장 앞인 저장 콘텐츠로부터 시작하여 순차적으로 저장 콘텐츠를 대체하기 위해, 제어 정보에 근거하여 복호화 회로가 복호화 화면의 픽셀 데이터를 제1 임시 저장 블록에 순차적으로 저장하게 하는 단계를 포함하는 영상 복호화 방법을 포함한다.
본 발명은 또한 영상 복호화 장치를 포함한다. 영상 복호화 장치는, 메모리 모듈, 복호화 회로, 후처리 회로 및 처리 회로를 포함한다. 처리 회로는 메모리 모듈, 후처리 회로 및 복호화 회로와 전기적으로 결합되고, 영상 복호화 방법을 수행하기 위해 소프트 펌웨어 실행 가능 명령을 실행하도록 구성되며, 영상 복호화 방법은, 영상 스트림 중의 제어 정보를 판독 및 복호화하는 단계와, 제어 정보에 근거하여 복호화 회로가 영상 스트림 중의 복수의 영상 스트림 패킷을 판독하게 하는 단계와, 적어도 제어 정보에 근거하여, 복호화 회로가 메모리 모듈의 제1 임시 저장 블록으로부터 적어도 제1 참조 화면 중 대응되는 픽셀 데이터를 판독하되, 제1 임시 저장 블록의 저장 콘텐츠는 순차적으로 저장되고, 또한 저장 콘텐츠는 순서가 앞인 최대 이동 벡터 검색 범위 화면 및 순서가 뒤인 상기 제1 참조 화면을 포함-하는 단계와, 복호화 화면의 픽셀 데이터를 생성하기 위해, 복호화 회로가 영상 스트림 패킷에 근거하여, 또한, 제1 참조 화면 중 대응되는 픽셀 데이터에 근거하여, 복호화를 수행하게 하는 단계와, 복호화 수행 시, 복호화 화면의 픽셀 데이터를 후처리 회로에 전송하여 후처리를 수행하고, 제1 임시 저장 블록 중 순서가 가장 앞인 저장 콘텐츠로부터 시작하여 순차적으로 저장 콘텐츠를 대체하기 위해, 제어 정보에 근거하여 복호화 화면의 픽셀 데이터를 제1 임시 저장 블록에 순차적으로 저장하게 하는 단계를 포함한다.
본 발명의 특징, 실시 및 효과를 첨부된 도면과 바람직한 실시예와 함께 다음과 같이 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 복호화 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 제1 임시 저장 블록을 나타내는 모식도이다.
본 발명의 목적은 복호화 수행 시, 메모리가 참조 화면 및 복호화 화면의 저장 메커니즘에 있어서 보다 효율적으로 공간 절약 효과를 달성하게 할 수 있는 영상 복호화 장치 및 방법을 제공하는 것이다.
도 1을 참조하면, 도 1은 본 발명의 일 실시예에 따른 영상 복호화 장치(100)를 나타내는 블록도이다. 영상 복호화 장치(100)는 영상 스트림(Element Stream, ES)을 수신하며, 또한 영상 스트림(ES) 중의 영상 스트림 패킷 및 제어 정보에 근거하여 복호화 및 후처리를 수행하여 출력 복호화 영상(DOI)을 생성하고, 또한 디스플레이 모듈(미도시)이 복호화 영상(DOI)을 디스플레이하도록 한다.
영상 복호화 장치(100)는 적어도 메모리 컨트롤러(150), 메모리 모듈(110), 복호화 회로(120), 후처리 회로(130) 및 처리 회로(140)를 포함한다. 여기서, 메모리 모듈(110)은 독립적인 구성요소로서 인터페이스를 통해 영상 복호화 장치(100)에 연결될 수도 있다.
일 실시예에서, 메모리 모듈(110)은 메모리 컨트롤러(150)를 통해 복호화 회로(120), 후처리 회로(130) 및 처리 회로(140)와 연결된다. 메모리 모듈(110)은 영상 복호화에 필요한 상이한 데이터를 저장하기 위해 상이한 블록을 가지며, 적어도 영상 스트림 블록, 하나 또는 복수의 근거리 참조 화면 블록, 하나 또는 복수의 장거리 참조 화면 블록 및 EOI 블록을 포함한다. 메모리 모듈(110)은, 예에 한정되는 것이 아니나 예를 들면 2배속 동기식 동적 랜덤 액세스 메모리(double data rate synchronous dynamic random access memory, DDR SDRAM)와 같은, 속도가 상대적으로 빠른 메모리로 구현될 수 있다.
일 실시예에서, 영상 복호화 장치(100)는 메모리 컨트롤러(150)를 더 포함할 수 있다. 메모리 컨트롤러(150)는, 예에 한정되는 것이 아니나 예를 들면 메모리 인터페이스 유닛(memory interface unit, MIU)으로 구현될 수 있다. 영상 복호화 장치(100)에 있는 복호화 회로(120), 후처리 회로(130) 및 처리 회로(140)와 같은 다른 회로 모듈은 데이터를 메모리 모듈(110)에 저장하거나 메모리 모듈(110)로부터 데이터를 판독하기 위해 메모리 컨트롤러(150)를 통해 메모리 모듈(110)을 액세스할 수 있다.
복호화 회로(120)는, 예에 한정되는 것이 아니나 예를 들면 참조 화면 및 영상 스트림 패킷과 같은, 필요한 데이터에 근거하여 복호화를 수행하고, 또한 복호화가 완료된 픽셀을 단계적으로 메모리 그룹에 저장하고 후처리 회로(130)에 전송하여 복호화 화면(DI)을 생성한다. 디코더는, 예에 한정되는 것이 아니나 예를 들면 H.264 또는 H.265와 같은, 부호화 표준에 의거하여 복호화 프로세스를 수행할 수 있다.
후처리 회로(130)는, 출력 복호화 영상(DOI)을 생성하도록, 복호화 화면(DI)에 대하여, 예에 한정되는 것이 아니나 예를 들면 스케일링(Scaling), 영상 품질 처리 또는 포맷 변환과 같은, 후처리를 수행하기 위한 것이다.
처리 회로(140)는 메모리 모듈(110), 복호화 회로(120) 및 후처리 회로(130)와 전기적으로 연결된다. 처리 회로(140)는 하나 또는 복수의 마이크로프로세서(microprocessor) 또는 영상 스트림을 결부한 분석 회로로 구성될 수 있고, 영상 복호화 장치(100)의 기능을 수행하도록 소프트 펌웨어 실행 가능 명령(141)을 실행할 수 있다. 더욱 상세하게는, 처리 회로(140)는 영상 복호화 장치(100)에 포함된 저장 모듈(미도시)로부터 소프트 펌웨어 실행 가능 명령(141)을 획득할 수 있고, 또한 소프트 펌웨어 실행 가능 명령(141)은, 예에 한정되는 것이 아니나 예를 들면, 영상 스트림 제어 정보 복호화, 복호화 회로(120) 및 후처리 회로(130) 등 하드웨어 모듈의 펌웨어/드라이버(firmware/driver) 및 복호화 회로(120) 및 후처리 회로(130) 등 하드웨어 모듈을 조작하기 위한 다른 관련 명령을 포함하고, 복호화 회로(120) 및 후처리 회로(130) 등 하드웨어 모듈을 더욱 조작하고 제어하여, 상술한 바와 같이 영상 스트림(ES)에 대해 복호화 및 후처리를 수행하며, 출력 복호화 영상(DOI)을 생성한다.
일 실시예에서, 복호화 회로(120), 후처리 회로(130) 및 처리 회로(140)는, 영상 스트림 복호화 및 영상 후처리 과정에서, 필요한 제어 정보를 교환한다.
또한, 도 2를 참조한다. 아래에서는 도 1 및 도 2를 결부하여 영상 복호화 장치(100)의 상세한 기능에 대해 더 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 방법(200)을 나타내는 흐름도이다. 영상 복호화 방법(200)은 도 1에 도시된 영상 복호화 장치(100)에 적용될 수 있다. 도 2에 도시된 바와 같이, 영상 복호화 방법(200)의 실시예는 아래의 단계를 포함한다.
단계 S210에서, 처리 회로(140)가 영상 스트림(ES) 중의 제어 정보를 판독 및 복호화하게 하는데, 제어 정보는, 패킷이 근거리 참조 화면(Short Term Reference Frame, STRF) 또는 장거리 참조 화면(Long Term Reference Frame, LTRF)에 속하는지의 여부 및 복호화를 위한 파라미터 등을 식별하는 데에 사용될 수 있다.
일 실시예에서, 영상 스트림(ES)은 메모리 모듈(110) 중의 영상 스트림 패킷 임시 저장 블록(112) 중에 임시 저장된다. 처리 회로(140)와 복호화 회로(120)는 메모리 컨트롤러(150)를 통해 영상 스트림 패킷 임시 저장 블록(112)을 판독할 수 있으며, 또한 영상 스트림(ES) 중의 제어 정보 및 영상 스트림 패킷(ES Packets)을 얻을 수 있다.
단계 S220에서, 제어 정보에 근거하여, 복호화 회로(120)가 영상 스트림(ES) 중의 영상 스트림 패킷을 판독하게 한다.
일 실시예에서, 영상 스트림(ES)은 제어 정보 이외에, 영상 스트림 패킷을 더 포함한다. 여기서, 영상 스트림(ES) 중의 제어 정보는 부호화와 관련된 정보를 포함하며, 영상 스트림 패킷은 실제 영상 데이터이다. 처리 회로(140)는 제어 정보에 근거하여 복호화를 수행할 패킷 및 참조 될 대상 화면을 인식하고, 또한 복호화 회로(120)를 제어하여 메모리 컨트롤러(150)를 통해 영상 스트림(ES) 중의 영상 스트림 패킷을 판독할 수 있다.
단계 S230에서, 적어도 제어 정보에 근거하여, 복호화 회로(120)가 메모리 모듈(110)의 제1 임시 저장 블록(114)으로부터 제1 참조 화면(SF) 중 대응되는 픽셀 데이터 및/또는 제2 임시 저장 블록(116)으로부터 제2 참조 화면(LF) 중 대응되는 픽셀 데이터를 선택적으로 판독하게 한다.
일 실시예에서, 복호화 회로(120)는 제어 정보 및 영상 스트림 패킷의 콘텐츠에 동시에 의거할 수도 있고, 상술한 판독 동작을 선택적으로 수행할 수도 있다.
일 실시예에서, 제1 임시 저장 블록(114)의 저장 콘텐츠는 적어도 제1 참조 화면(SF)을 포함하며, 본 실시예에서, 제1 참조 화면(SF)은 근거리 참조 화면이다. 현재 복호화 화면이 타이밍 상 N 번째 화면인 경우를 예로 들면, 제1 참조 화면(SF)은 N-1 번째 화면, 즉, 복호화를 완료한 이전 복호화 화면일 수 있다. 제2 임시 저장 블록(116)의 저장 콘텐츠는 적어도 제2 참조 화면(LF)을 포함하며, 본 실시예에서, 제2 참조 화면(LF)은 장거리 참조 화면이다. 현재 복호화 화면이 타이밍 상 N 번째 화면인 경우를 예로 들면, 제2 참조 화면(LF)은 이전 복호화 화면이 아닌 N-5 번째 화면일 수 있다. 복호화 회로(120)는 각각의 현재 복호화 화면의 필요에 따라 필요한 참조 데이터를 판독하며, 근거리 참조 화면 및 장거리 참조 화면을 판독할 수도 있고, 근거리 참조 화면 및 장거리 참조 화면 중 하나만 판독할 수도 있고, 아무런 참조 화면도 판독할 필요가 없을 수도 있다.
보다 상세하게, 메모리 절약을 고려하여, 현재 복호화 화면이 근거리 참조 화면이면, 현재 복호화 화면은 이전 복호화 화면과 제1 임시 저장 블록(114)을 공유하고, 현재 복호화 화면은 이전 복호화 화면을 점차적으로 커버하나 적어도 현재 화면을 복호화하는데 필요한 이전 복호화 화면 블록을 보존해야 한다. 본 실시예에서, 영상 스트림(ES)에 포함된 영상 화면의 화면 높이는 H, 화면 폭은 W, 영상 화면의 크기는 H × W이며, 코딩 표준 설정 화면 사이의 이동 벡터의 최대 검색 라인 수가 V인 경우, 최대 이동 벡터 검색 범위 화면의 크기는 V × W이다. 따라서, 제1 임시 저장 블록(114)의 크기는 H × W + V × W이고, 제1 임시 저장 블록(114)은 링 버퍼(ring buffer) 메모리로 설계될 수 있지만, 본 발명은 이에 한정되지 않는다. 현재 복호화 화면이 장거리 참조 화면이면, 현재 복호화 화면은 이전 복호화 화면과 제2 임시 저장 블록(116)을 공유하는 것을 제외하면 근거리 참조 화면과 제1 임시 저장 블록(114)을 공유하는 조작과 동일하므로 여기서 더이상 설명하지 않는다.
단계 S240에서, 복호화 회로(120)를 제어하여, 복호화 화면(DI)의 픽셀 데이터를 생성하도록, 영상 스트림 패킷에 근거하여, 또한, 제1 참조 화면(SF) 중 대응되는 픽셀 데이터 및/또는 제2 참조 화면(LF) 중 대응되는 픽셀 데이터에 선택적으로 근거하여, 복호화를 수행한다.
일 실시예에서, 복호화 화면(DI)을 생성하도록, 복호화 회로(120)는 예를 들어 H.264 또는 H.265와 같은 비디오 코딩 표준에 근거하여, 영상 스트림(ES) 중의 영상 스트림 패킷을 순차적으로 복호화하고, 복호화가 완료된 픽셀을 현재 화면의 복호화가 완료될 때까지 메모리 모듈(110)에 저장하고 또한 후처리 회로(130)에 전송한다. 복호화 회로(120)가 영상 스트림 패킷에 대해 복호화할 경우, 제어 신호 및 영상 스트림 패킷 데이터에 근거하여, 제1 참조 화면(SF)의 픽셀 데이터 및/또는 제2 참조 화면(LF)의 픽셀 데이터를 선택적으로 참조하여 복호화를 수행해야 한다.
단계 S250에서, 복호화를 수행하는 동시에, 복호화 회로(120)를 제어하여 복호화 화면(DI) 중 복호화가 완료된 픽셀 데이터를 순차적으로 후처리 회로(130)에 전송하여 후처리를 수행하고, 제어 정보에 근거하여, 복호화 화면(DI) 중 복호화가 완료된 픽셀 데이터를 순차적으로 제1 임시 저장 블록(114) 또는 제2 임시 저장 블록(116)에 저장한다. 일 실시예에서, 복호화 화면(DI)이 근거리 참조 화면일 경우, 복호화 화면(DI) 중 복호화가 완료된 픽셀을 순차적으로 제1 임시 저장 블록(114)에 저장하거나, 복호화 화면(DI)이 장거리 참조 화면일 경우, 복호화 화면(DI) 중 복호화가 완료된 픽셀을 순차적으로 제2 임시 저장 블록(116)에 저장한다.
다른 일 실시예에서는, 하나의 근거리 참조 화면과 하나의 장거리 참조 화면을 저장하는 것에 한정되지 않고, 제1 임시 저장 영역이 근거리 참조 화면을 저장하는 것에 한정되지 않으며, 제2 임시 저장 영역이 장거리 참조 화면을 저장하는 것에 한정되지 않고, 시스템은 필요에 따라 그 구성을 조절할 수 있다.
이 밖에, 일 실시예에서, 후처리 회로(130)에 의한 후처리를 거쳐 생성된 출력 복호화 화면(DOI)은 외부 디스플레이 장치에 의한 디스플레이에 사용된다.
본 실시예에서, 복호화 화면이 근거리 참조 화면일 경우, 복호화 회로(120)는 메모리 컨트롤러(150)를 통해 제1 임시 저장 블록(114) 중의 제1 참조 화면(SF)의 픽셀 데이터를 판독하는 동시에 또 메모리 컨트롤러(150)를 통해 생성된 복호화 화면(DI)의 픽셀 데이터를 제1 임시 저장 블록(114)에 저장한다.
제1 임시 저장 블록(114)이 링 버퍼 메모리인 경우를 예로 들어, 현재 화면 복호화 시 제1 참조 화면(SF)을 참조해야 할 경우, 필요한 최대 이동 벡터 검색 범위(MF)는 V × W여야 하므로, 복호화 회로(120)에 의해 생성된 복호화 화면(DI)은 제1 임시 저장 블록(114) 중 제1 참조 화면(SF) 이전의 V × W 위치부터 시작하여 저장해야 한다. 복호화 회로(120)에 의해 생성된 복호화 화면(DI)은 우선 원래의 최대 이동 벡터 검색 범위 화면(MF1)의 콘텐츠를 대체한다. 이어서, 크기가 V × W인 최대 이동 벡터 검색 범위 화면(MF1)이 대체된 후, 모든 복호화 화면(DI)의 데이터가 모두 생성되고 또한 저장 완료되기까지 복호화 회로(120)는 계속하여 제1 부분의 제1 참조 화면(SF)이 대체되도록 한다.
제1 임시 저장 블록(114)은 상기 복호화 화면(DI)이 제1 임시 저장 블록(114)의 저장 콘텐츠를 단계적으로 대체하는 방식을 통해, 제1 참조 화면(SF) 및 복호화 화면(DI)이 제1 임시 저장 블록(114)을 공유하도록 할 수 있다. 그러나, 복호화 회로(120)가 복호화 수행 시, 이동 벡터의 정보를 필요로 하므로 복호화 화면(DI)이 마지막 일 부분의 화면 블록에서 여전히 제1 참조 영상(SF)을 참조하여 복호화 회로(120)에 의해 복호화될 수 있도록, 적어도 제1 참조 영상(SF) 중 최대 이동 벡터 검색에 부합되는 범위를 보존해야 한다. 여기서, 최대 이동 벡터 검색 범위의 크기(즉 V의 크기)는 필요에 따라 결정될 수 있다.
복호화 화면이 장거리 참조 화면일 경우, 복호화 회로(120)는 메모리 컨트롤러(150)를 통해 제2 임시 저장 블록(116) 중의 제2 참조 화면(LF)을 판독하는 동시에 또 메모리 컨트롤러(150)를 통해 생성된 복호화 화면(DI)의 픽셀을 제2 임시 저장 블록(116)에 저장한다. 제2 임시 저장 블록(116)의 액세스 조작은 상술한 제1 임시 저장 블록(114)의 액세스 조작과 동일하므로 여기서 더이상 설명하지 않는다.
도 3a 내지 도 3c를 참조하면, 도 3a 내지 도 3c는 각각 본 발명의 일 실시예에 따른 제1 임시 저장 블록을 나타내는 모식도이다.
도 3a에 도시된 바와 같이, 제1 임시 저장 블록(114)은 제1 참조 영상(SF) 및 최대 이동 벡터 검색 범위 화면(MF1)을 저장한다. 복호화 시작 시, 복호화 회로(120)는 제1 참조 영상(SF)의 시작 위치로부터 판독하기 시작하여, 복호화 후, 최대 이동 벡터 검색 범위 화면(MF1)의 시작 위치로부터 사작하여 복호화 화면(DI)을 저장한다.
일 실시예에서, 제1 참조 영상(SF)을 아래와 같은 방식으로 판독할 수 있다. 우선, 제1 임시 저장 블록(114)의 시작 위치에 대한 제1 참조 영상(SF)의 시작 위치의 위치 오프셋량은 처리 회로(140)에 의해 참조 화면 시작 주소 오프셋량(Stoff)으로 기록될 수 있다. 더 나아가, 처리 회로(140)는 제어 정보를 통해 제1 참조 화면(SF) 중 대응되는 참조 화면 블록(RB)의 화면 블록 시작 주소 오프셋량(Mboff)을 획득할 수 있다.
처리 회로(140)는 나아가 화면 블록 시작 주소 오프셋량(Mboff)과 참조 화면 시작 주소 오프셋량(Stoff)을 가산한 후, 제1 임시 저장 블록(114)의 크기(H × W + V × W)로 나누어 하나의 나머지(R1)를 얻는다. 더 상세하게는, 나머지(R1) = (Mboff + Stoff) mod (H × W + V × W)이다. 본 실시예에서, 제1 참조 영상(SF)이 저장된 위치는 연속적인 것이므로, 화면 블록 시작 주소 오프셋량(Mboff)과 참조 화면 시작 주소 오프셋량(Stoff)을 가산한 결과는 제1 임시 저장 블록(114)의 크기를 초과할 수 없으며, 그 나머지(R1)는 서로 가산한 결과와 동일하다.
이어서, 처리 회로(140)는 제1 임시 저장 블록(114)이 메모리 모듈(110)에서의 임시 저장 블록 시작 주소(IA)에 나머지를 가산한 후의 판독 시작 주소(IA + R1)를 계산하며, 또한 복호화 회로(120)가 상기 판독 시작 주소에 근거하여 필요한 참조 화면 블록(RB)을 판독한다.
다른 한편, 복호화 화면(DI)은 아래와 같은 방식으로 저장될 수 있다. 우선, N 번째 복호화 화면(DI)에 대해, 제1 임시 저장 블록(114)의 시작 위치에 대한 그 시작 위치의 주소 오프셋량은 처리 회로(140)에 의해 복호화 화면 시작 주소 오프셋량(Nfoff)으로 기록될 수 있다. 그리고 복호화 화면(DI) 시작 위치에 대한 복호화 화면(DI)에 포함된 복호화 화면 블록의 오프셋량은 처리 회로(140)에 의해 복호화 화면 블록 시작 주소 오프셋량(MBoff)으로 결정될 수 있다.
처리 회로(140)는 나아가 복호화 화면 블록 시작 주소 오프셋량(MBoff)과 복호화 화면 시작 주소 오프셋량(Nfoff)을 서로 가산한 후, 제1 임시 저장 블록(114)의 크기로 나누어, 하나의 나머지(R2)를 얻는다. 더 상세하게는, 나머지(R2) = (MBoff + Nfoff) mod (H × W + V × W)이다.
본 실시예에서, 복호화 화면(DI)을 최대 이동 벡터 검색 범위 화면(MF1)을 초과하는 크기까지 저장하지 못한 경우, 복호화 화면 블록 시작 주소 오프셋량(MBoff)과 복호화 화면 시작 주소 오프셋량(Nfoff)을 가산한 결과는 제1 임시 저장 블록(114)의 크기를 초과하지 않게 되며, 그 나머지(R2)는 가산한 결과와 동일하다.
이어서, 처리 회로(140)는 제1 임시 저장 블록(114)이 메모리 모듈(110)에서의 임시 저장 블록 시작 주소(IA)에 나머지를 가산한 후의 저장 시작 주소(IA + R2)를 계산하며, 또한 복호화 회로(120)가 상기 저장 시작 주소에 근거하여 복호화 화면 블록(DB)을 저장하도록 한다.
복호화 화면(DI)을 최대 이동 벡터 검색 범위 화면(MF1)을 초과하는 크기까지 저장한 경우, 복호화 화면 블록 시작 주소 오프셋량(MBoff)과 복호화 화면 시작 주소 오프셋량(Nfoff)을 가산한 결과는 제1 임시 저장 블록(114)의 크기보다 크게 되며, 가산한 결과를 제1 임시 저장 블록(114)의 크기로 나눈 후 몫이 1보다 크게 된다. 따라서, 이를 통해 획득한 나머지(R2)에 의해, 처리 회로(140)는 제1 임시 저장 블록(114)이 메모리 모듈(110)에서의 임시 저장 블록 시작 주소(IA)에 나머지를 가산한 후, 실제 저장 시작 주소(IA + R2)를 계산할 수 있으며, 복호화 회로(120)가 상기 저장 시작 주소에 근거하여 복호화 화면 블록을 저장하게 한다.
더 상세하게는, 복호화 화면(DI)을 최대 이동 벡터 검색 범위 화면(MF1)을 초과하는 크기까지 저장한 경우, 처리 회로(140)는 원래의 제1 참조 화면(SF)을 대체하기 위해 제1 임시 저장 블록(114)의 처음부터 시작하여 저장한다.
따라서, 상술한 방식에 따라 복호화를 수행한 후, 도 3b에 도시된 바와 같이, 저장된 N 번째 복호화 화면(DI)은 새로운 제1 참조 화면(SF)으로서 제1 임시 저장 블록(114)에서 두 개의 부분으로 나뉘어진다. 제1 부분의 순서는 앞에 놓이며 이는 도 3a 중의 최대 이동 벡터 검색 범위 화면(MF1)에 해당된다. 제2 부분의 순서는 뒤에 놓이며, 제1 임시 저장 블록(114)에서의 주소는 시작 주소로부터 저장되므로 제1 부분보다 앞에 놓이고, 이는 도 3a 중 제1 참조 화면(SF)의 일부분에 해당된다. 도 3a 중의 제1 참조 화면(SF)의 다른 부분은 새로운 최대 이동 벡터 검색 범위 화면(MF1)으로 된다.
N+1 번째 복호화 화면(DI)의 복호화 수행 시, 다시 상기 과정을 수행한다. 더 상세하게는, 복호화 회로(120)는 상기 주소를 계산하여 도 3b 중의 제1 참조 영상(SF)의 시작 위치로부터 판독하기 시작한다. 복호화 후, 상기 주소를 계산하여 도 3b 중의 최대 이동 벡터 검색 범위 화면(MF1)의 시작 위치로부터 복호화 화면(DI)을 저장하기 시작한다.
따라서, 상술한 방식에 따라 복호화를 수행한 후, 도 3c에 도시된 바와 같이, 저장된 N+1 번째 복호화 화면(DI)은 새로운 제1 참조 화면(SF)이 된다. 그리고 남은 일부 제1 참조 화면(SF)은 새로운 최대 이동 벡터 검색 범위 화면(MF1)이 된다.
따라서, 본 발명의 영상 복호화 장치(100)는 상기 순차적으로 순환 저장된 메커니즘을 통해 제1 참조 화면(SF) 및 복호화 화면(DI)이 동일한 임시 저장 블록을 효과적으로 공유하도록 한다. 실제 작업에서, 제1 임시 저장 블록(114)의 순환 저장은 원형 버퍼(circular buffer)에 의해 구현되거나 메모리 관리 유닛(memory management unit)을 설치하여 구현될 수 있다.
나아가, 복호화 화면(DI)이 생성되는 동시에, 복호화 회로(120)는 복호화 화면(DI)을 후처리 회로(130)에 전송하여 동기적으로 후처리를 수행할 수 있으며, 후처리 회로 (130)의 액세스를 위한 복호화 화면(DI)을 다시 추가로 저장할 필요가 없다. 따라서, 상기 본안의 메커니즘은 메모리 액세스 대역폭을 절약하는 목적을 달성할 수 있다.
일 실시예에서, 복호화 회로(120)는 우선 생성된 복호화 화면(DI)을 압축한 후, 압축한 후의 복호화 화면(DI)을 제1 임시 저장 블록(114)에 저장할 수 있다. 따라서, 제1 임시 저장 블록(114)의 크기가 더욱 감소되어, 메모리 사용량을 더 절약할 수 있다.
유의해야 할 것은, 상기 실시예에서는 근거리 참조 화면(제1 참조 화면(SF))을 저장하는 제1 임시 저장 블록(114)을 예로 들어 설명하였으나, 다른 일 실시예에서는, 장거리 참조 화면인 제2 참조 화면(LF) 및 복호화 화면(DI)이 동일한 임시 저장 블록을 공유하도록, 장거리 참조 화면(제2 참조 화면(LF))을 저장하는 제2 임시 저장 블록(116)이 상기 원형 버퍼 메커니즘을 구비 가능하도록 구성된다.
보다 상세하게, 처리 회로(140)는 제어 정보를 판독한 후, 현재 복호화에 의해 생성된 복호화 화면(DI)이 근거리 참조 화면에 대응되는 제1 임시 저장 블록(114) 또는 장거리 참조 화면에 대응되는 제2 임시 저장 블록(116)에 저장되는지의 여부를 판단하고, 상기 메커니즘을 통해 저장 콘텐츠를 대체할 수 있다. 따라서 제2 임시 저장 블록(116)에 관한 작동 메커니즘에 대해 여기서 더이상 설명하지 않는다.
또한, 상기 실시예에서는 제1 임시 저장 블록(114)에 하나의 근거리 참조 화면을 저장하는 것을 예로 들어 설명한다. 다른 실시예에서, 복호화 회로(120)가 복수 개의 근거리 참조 화면에 근거하여 복호화를 수행할 수 있도록 제1 임시 저장 블록(114)은 복수 개의 근거리 참조 화면을 저장할 수 있다.
이 밖에, 상기 실시예에서는 근거리 참조 화면 및 장거리 참조 화면을 동시에 참조하는 복호화 메커니즘에 대해 설명한다. 다른 실시예에서, 복호화 회로(120)는 근거리 참조 화면만 참조하는 방식으로 복호화를 수행할 수 있다.
유의해야 할 것은, 상기 실시 형태는 단지 예시적인 것일 뿐이고, 다른 실시예에서, 본 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어남이 없이 변형이 가능하다.
상술한 바를 종합하면, 본 발명의 영상 복호화 장치 및 방법에서 영상 복호화에 필요한 참조 화면 및 생성된 복호화 화면은 메모리 모듈 중의 임시 저장 블록을 공유할 수 있으므로, 메모리의 사용량을 효과적으로 감소시킬 수 있다.
본 발명의 실시예를 위와 같이 설명하였으나, 본 발명은 이러한 실시예에 한정되는 것은 아니며, 본 기술 분야의 통상의 지식을 가진 자라면 본 발명에 명시되거나 암시된 내용에 따라 본 발명의 기술적 특징을 변경할 수 있고, 이러한 모든 변경은 본 발명이 추구하는 특허 보호 범위 내에 속한다. 다시 말해, 본 발명의 특허 보호 범위는 본 명세서의 특허 청구 범위의 정의를 기준으로 한다.
100: 영상 복호화 장치
110: 메모리 모듈
112: 영상 스트림 패킷 임시 저장 블록
114: 제1 임시 저장 블록
116: 제2 임시 저장 블록
118: 디스플레이 임시 저장거리
120: 복호화 회로
130: 후처리 회로
140: 처리 회로
141: 소프트 펌웨어 실행 가능 명령
150: 메모리 컨트롤러
200: 영상 복호화 방법
DB: 복호화 화면 블록
DI: 복호화 화면
DOI: 출력 복호화 영상
ES: 영상 스트림
LF: 제2 참조 화면
MBoff: 복호화 화면 블록 시작 주소 오프셋량
Mboff: 화면 블록 시작 주소 오프셋량
MF1: 최대 이동 벡터 검색 범위 화면
MF2: 최대 이동 벡터 검색 범위 화면
Nfoff: 복호화 화면 시작 주소 오프셋량
RB: 참조 화면 블록
SF: 제1 참조 화면
Stoff: 참조 화면 시작 주소 오프셋량
S210~S260: 단계

Claims (20)

  1. 영상 복호화 방법으로서,
    영상 스트림 중의 제어 정보를 판독 및 복호화하는 단계와,
    상기 제어 정보에 근거하여 상기 영상 스트림 중의 복수의 영상 스트림 패킷을 판독하는 단계와,
    적어도 상기 제어 정보에 근거하여, 복호화 회로가 메모리 모듈의 제1 임시 저장 블록으로부터 제1 참조 화면 중 대응되는 픽셀 데이터 및 제2 임시 저장 블록으로부터 제2 참조 화면 중 대응되는 픽셀 데이터 중 적어도 하나를 선택적으로 판독하게 하는 단계와,
    복호화 화면의 픽셀 데이터를 생성하기 위해, 상기 영상 스트림 패킷에 근거하여, 상기 제1 참조 화면 중 대응되는 픽셀 데이터 및 상기 제2 참조 화면 중 대응되는 픽셀 데이터 중 적어도 하나에 선택적으로 근거하여, 복호화를 수행하는 단계와,
    복호화 수행 시, 상기 복호화 화면의 픽셀 데이터를 후처리 회로에 전송하고, 상기 제어 정보에 근거하여 상기 복호화 화면의 픽셀 데이터를 상기 제1 임시 저장 블록 및 상기 제2 임시 저장 블록 중 하나에 저장하는 단계 -상기 복호화 화면이 근거리 참조 화면인 경우, 상기 복호화 화면의 픽셀 데이터를 상기 제1 임시 저장 블록 중 상기 제1 참조 화면의 전방 최대 이동 벡터 검색 범위 위치로부터 시작하여 저장함-
    를 포함하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 제어 정보에 근거하여 상기 복호화 화면의 픽셀 데이터를 상기 제1 임시 저장 블록 및 상기 제2 임시 저장 블록 중 하나에 저장하는 단계는, 상기 복호화 화면의 픽셀 데이터를 압축하는 단계를 더 포함하는 영상 복호화 방법.
  3. 제1항에 있어서,
    상기 제1 임시 저장 블록과 상기 제2 임시 저장 블록이 동일한 동적 랜덤 액세스 메모리 내에 위치하는 영상 복호화 방법.
  4. 영상 복호화 장치로서,
    메모리 모듈과,
    복호화 회로와,
    후처리 회로와,
    상기 메모리 모듈, 상기 복호화 회로 및 상기 후처리 회로와 전기적으로 결합되고, 영상 복호화 방법을 수행하기 위해 복수의 소프트 펌웨어 실행 가능 명령을 실행하도록 구성된 처리 회로를 포함하며,
    상기 영상 복호화 방법은,
    영상 스트림 중의 제어 정보를 판독 및 복호화하는 단계와,
    상기 복호화 회로가 상기 제어 정보에 근거하여 상기 영상 스트림 중의 복수의 영상 스트림 패킷을 판독하게 하는 단계와,
    상기 복호화 회로가 적어도 상기 제어 정보에 근거하여 메모리 모듈의 제1 임시 저장 블록으로부터 제1 참조 화면 중 대응되는 픽셀 데이터 및 제2 임시 저장 블록으로부터 제2 참조 화면 중 대응되는 픽셀 데이터 중 적어도 하나를 선택적으로 판독하게 하는 단계와,
    복호화 화면의 픽셀 데이터를 생성하기 위해, 상기 복호화 회로가 상기 영상 스트림 패킷 에 근거하여, 또한, 상기 제1 참조 화면 중 대응되는 픽셀 데이터 및 상기 제2 참조 화면 중 대응되는 픽셀 데이터 중 적어도 하나에 선택적으로 근거하여, 복호화를 수행하게 하는 단계와,
    복호화 수행 시, 상기 복호화 회로가 상기 복호화 화면의 픽셀 데이터를 후처리 회로에 전송하고, 상기 제어 정보에 근거하여 상기 복호화 화면의 픽셀 데이터를 상기 제1 임시 저장 블록 및 상기 제2 임시 저장 블록 중 하나에 저장하게 하는 단계 -상기 복호화 화면이 근거리 참조 화면인 경우, 상기 복호화 화면의 픽셀 데이터를 상기 제1 임시 저장 블록 중 상기 제1 참조 화면의 전방 최대 이동 벡터 검색 범위 위치로부터 시작하여 저장함-
    를 포함하는 영상 복호화 장치.
  5. 제4항에 있어서,
    상기 제어 정보에 근거하여 상기 복호화 화면의 픽셀 데이터를 상기 제1 임시 저장 블록 및 상기 제2 임시 저장 블록 중 하나에 저장하는 단계는, 상기 복호화 화면의 픽셀 데이터를 압축하는 단계를 더 포함하는 영상 복호화 장치.
  6. 제4항에 있어서,
    상기 제1 임시 저장 블록과 상기 제2 임시 저장 블록이 동일한 동적 랜덤 액세스 메모리 내에 위치하는 영상 복호화 장치.
  7. 영상 복호화 방법으로서,
    영상 스트림 중의 제어 정보를 판독 및 복호화하는 단계와,
    상기 제어 정보에 근거하여 상기 영상 스트림 중의 복수의 영상 스트림 패킷을 판독하는 단계와,
    적어도 상기 제어 정보에 근거하여, 메모리 모듈의 제1 임시 저장 블록으로부터 적어도 제1 참조 화면 중 대응되는 픽셀 데이터를 판독하는 단계 - 상기 제1 임시 저장 블록의 저장 콘텐츠는 순차적으로 저장되고, 또한 상기 저장 콘텐츠는 순서가 앞인 최대 이동 벡터 검색 범위 화면 및 순서가 뒤인 상기 제1 참조 화면을 포함함 - 와,
    복호화 화면의 픽셀 데이터를 생성하기 위해, 상기 영상 스트림 패킷에 근거하여, 또한, 적어도 상기 제1 참조 화면 중 대응되는 픽셀 데이터에 근거하여, 복호화를 수행하는 단계와,
    복호화 수행 시, 상기 복호화 화면의 픽셀 데이터를 후처리 회로에 전송하여 후처리를 수행하고, 상기 제1 임시 저장 블록 중 순서가 가장 앞인 상기 저장 콘텐츠로부터 시작하여 순차적으로 상기 저장 콘텐츠를 대체하기 위해, 상기 제어 정보에 근거하여 상기 복호화 화면의 픽셀 데이터를 상기 제1 임시 저장 블록에 저장하는 단계를 포함하는 영상 복호화 방법.
  8. 제7항에 있어서,
    상기 복호화 화면의 픽셀 데이터가 순차적으로 원래의 상기 최대 이동 벡터 검색 범위 화면 및 제1 부분의 상기 제1 참조 화면을 대체하여 새로운 상기 제1 참조 화면이 되고, 순서가 제1 부분의 뒤인 제2 부분의 상기 제1 참조 화면이 새로운 상기 최대 이동 벡터 검색 범위 화면이 되도록 하는 영상 복호화 방법.
  9. 제7항에 있어서,
    상기 제1 참조 화면을 판독하는 단계는,
    상기 제어 정보에 근거하여, 상기 제1 참조 화면의 참조 화면 블록에 대응되는 화면 블록 시작 주소 오프셋량을 획득하는 단계와,
    상기 화면 블록 시작 주소 오프셋량과 상기 제1 참조 화면의 참조 화면 시작 주소 오프셋량을 가산한 후, 상기 제1 임시 저장 블록의 크기로 나누어 나머지를 얻는 단계와,
    상기 메모리 모듈에서의 상기 제1 임시 저장 블록의 임시 저장 블록 시작 주소에 상기 나머지를 가산한 후의 판독 시작 주소로부터 상기 참조 화면 블록을 판독하는 단계를 더 포함하는 영상 복호화 방법.
  10. 제7항에 있어서,
    상기 복호화 화면을 상기 제1 임시 저장 블록에 순차적으로 저장하는 단계는,
    상기 복호화 화면의 복호화 화면 블록에 대응되는 복호화 화면 블록 시작 주소 오프셋량을 결정하는 단계와,
    상기 복호화 화면 블록 시작 주소 오프셋량과 상기 복호화 화면의 복호화 화면 시작 주소 오프셋량을 가산한 후, 상기 제1 임시 저장 블록의 크기로 나누어 나머지를 얻는 단계와,
    상기 메모리 모듈에서의 상기 제1 임시 저장 블록의 임시 저장 블록 시작 주소에 상기 나머지를 가산한 후의 저장 시작 주소에 상기 복호화 화면 블록을 저장하는 단계를 더 포함하는 영상 복호화 방법.
  11. 제7항에 있어서,
    상기 제어 정보에 근거하여, 상기 메모리 모듈의 제2 임시 저장 블록으로부터 적어도 제2 참조 화면을 순차적으로 판독하는 단계와,
    상기 복호화 화면을 생성하기 위해, 상기 영상 스트림 패킷 및 상기 제1 참조 화면과 상기 제2 참조 화면에 근거하여 복호화를 수행하는 단계를 더 포함하는 영상 복호화 방법.
  12. 제11항에 있어서,
    상기 제1 참조 화면이 근거리 참조 화면 및 장거리 참조 화면 중 하나이고, 상기 제2 참조 화면은 근거리 참조 화면 및 상기 장거리 참조 화면 중 다른 하나인 영상 복호화 방법.
  13. 제7항에 있어서,
    상기 최대 이동 벡터 검색 범위 화면의 크기가 화면 폭과 최대 검색 행 수의 곱인 영상 복호화 방법.
  14. 제7항에 있어서,
    후처리를 거친 상기 복호화 화면의 픽셀 데이터를 상기 메모리 모듈의 디스플레이 임시 저장 블록에 저장하는 단계를 더 포함하는 영상 복호화 방법.
  15. 제7항에 있어서,
    압축 후의 상기 복호화 화면의 픽셀 데이터를 상기 제1 임시 저장 블록에 저장하기 위해, 상기 복호화 화면의 픽셀 데이터를 압축하는 단계를 더 포함하는 영상 복호화 방법.
  16. 영상 복호화 장치로서,
    메모리 모듈과,
    복호화 회로와,
    후처리 회로와,
    상기 메모리 모듈, 상기 복호화 회로 및 상기 후처리 회로와 전기적으로 결합되고, 영상 복호화 방법을 수행하기 위해 복수의 소프트 펌웨어 실행 가능 명령을 실행하도록 구성된 처리 회로를 포함하며,
    상기 영상 복호화 방법은,
    영상 스트림 중의 제어 정보를 판독하는 단계와,
    상기 복호화 회로가 상기 제어 정보에 근거하여 상기 영상 스트림 중의 복수의 영상 스트림 패킷을 판독하게 하는 단계와,
    상기 복호화 회로가 적어도 상기 제어 정보에 근거하여, 메모리 모듈의 제1 임시 저장 블록으로부터 적어도 제1 참조 화면 중 대응되는 픽셀 데이터를 판독하게 하는 단계 - 상기 제1 임시 저장 블록의 저장 콘텐츠는 순차적으로 저장되고, 또한 저장 콘텐츠는 순서가 앞인 최대 이동 벡터 검색 범위 화면 및 순서가 뒤인 상기 제1 참조 화면을 포함함 - 와,
    복호화 화면의 픽셀 데이터를 생성하기 위해, 상기 복호화 회로가 상기 영상 스트림 패킷에 근거하여, 또한, 적어도 상기 제1 참조 화면 중 대응되는 픽셀 데이터에 근거하여 복호화를 수행하게 하는 단계와,
    복호화를 수행하는 동시에, 상기 복호화 화면의 픽셀 데이터를 후처리 회로에 전송하여 후처리를 수행하고, 상기 제1 임시 저장 블록 중 순서가 가장 앞인 상기 저장 콘텐츠로부터 시작하여 순차적으로 상기 저장 콘텐츠를 대체하기 위해, 상기 제어 정보에 근거하여 상기 복호화 화면의 픽셀 데이터를 상기 제1 임시 저장 블록에 저장하는 단계를 포함하는 영상 복호화 장치.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020190026888A 2018-12-25 2019-03-08 영상 복호화 장치 및 방법 KR102174900B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811593362.0 2018-12-25
CN201811593362.0A CN111372085B (zh) 2018-12-25 2018-12-25 影像解码装置与方法

Publications (2)

Publication Number Publication Date
KR20200079408A KR20200079408A (ko) 2020-07-03
KR102174900B1 true KR102174900B1 (ko) 2020-11-05

Family

ID=68917544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190026888A KR102174900B1 (ko) 2018-12-25 2019-03-08 영상 복호화 장치 및 방법

Country Status (7)

Country Link
US (1) US10931957B2 (ko)
EP (1) EP3675495A1 (ko)
JP (1) JP7017542B2 (ko)
KR (1) KR102174900B1 (ko)
CN (1) CN111372085B (ko)
TW (1) TWI700921B (ko)
WO (1) WO2020135406A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372038B (zh) * 2018-12-26 2021-06-18 厦门星宸科技有限公司 多串流影像处理装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100752530B1 (ko) 2000-03-23 2007-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션 추정 알고리즘
KR100874518B1 (ko) * 2006-03-28 2008-12-16 가부시끼가이샤 도시바 동화상 복호화 방법 및 장치
KR101610725B1 (ko) * 2014-09-23 2016-04-08 삼성전자주식회사 참조 빈도에 따라 참조 영상 데이터를 제어하는 비디오 부복호화 방법 및 장치
US20170006303A1 (en) 2015-06-30 2017-01-05 Intel Corporation Method and system of adaptive reference frame caching for video coding

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955941A (ja) * 1995-08-16 1997-02-25 Sony Corp 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置
DE69803639T2 (de) * 1997-08-07 2002-08-08 Matsushita Electric Ind Co Ltd Vorrichtung und Verfahren zur Detektion eines Bewegungsvektors
JP3855522B2 (ja) * 1999-02-23 2006-12-13 松下電器産業株式会社 動画変換装置
US7190806B2 (en) * 2002-08-30 2007-03-13 Hewlett-Packard Development Company, L.P. System and method for data encryption/decryption
US8265145B1 (en) * 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
US20070274402A1 (en) * 2006-05-23 2007-11-29 Honeywell International Inc. Application of short term and long term background scene dynamics in motion detection
US20090252323A1 (en) * 2008-04-03 2009-10-08 Simon Cooper Methods, techniques and system for maintaining security on computer systems
TWI387347B (zh) * 2009-02-18 2013-02-21 Novatek Microelectronics Corp 圖像解碼器，參考圖資訊溝通介面以及參考圖控制方法
CN102045557B (zh) * 2009-10-20 2012-09-19 鸿富锦精密工业（深圳）有限公司 视频编解码方法及使用其的视频编码、解码装置
US9232233B2 (en) * 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
KR101733795B1 (ko) * 2011-10-28 2017-05-10 삼성전자주식회사 인터 예측 방법 및 그 장치, 움직임 보상 방법 및 그 장치
TWI488502B (zh) * 2012-12-06 2015-06-11 Acer Inc 視訊編修方法與視訊編修裝置
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
US10432928B2 (en) * 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
EP3158752B1 (en) * 2014-06-18 2021-08-04 Telefonaktiebolaget LM Ericsson (publ) Dependent random access point pictures
JP6568306B2 (ja) 2015-09-08 2019-08-28 聯發科技股▲ふん▼有限公司Ｍｅｄｉａｔｅｋ Ｉｎｃ． イントラ・ブロック・コピーモードの復号化ピクチャバッファの方法およびシステム
JP2017055275A (ja) * 2015-09-10 2017-03-16 株式会社東芝 復号装置、及び映像伝送システム
CN106488227B (zh) * 2016-10-12 2019-03-15 广东中星电子有限公司 一种视频参考帧管理方法和系统
CN107948654A (zh) * 2017-11-21 2018-04-20 广州市百果园信息技术有限公司 视频发送、接收方法和装置及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100752530B1 (ko) 2000-03-23 2007-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션 추정 알고리즘
KR100874518B1 (ko) * 2006-03-28 2008-12-16 가부시끼가이샤 도시바 동화상 복호화 방법 및 장치
KR101610725B1 (ko) * 2014-09-23 2016-04-08 삼성전자주식회사 참조 빈도에 따라 참조 영상 데이터를 제어하는 비디오 부복호화 방법 및 장치
US20170006303A1 (en) 2015-06-30 2017-01-05 Intel Corporation Method and system of adaptive reference frame caching for video coding

Also Published As

Publication number Publication date
CN111372085A (zh) 2020-07-03
TW202025755A (zh) 2020-07-01
TWI700921B (zh) 2020-08-01
JP2020108135A (ja) 2020-07-09
US10931957B2 (en) 2021-02-23
WO2020135406A1 (zh) 2020-07-02
EP3675495A1 (en) 2020-07-01
JP7017542B2 (ja) 2022-02-08
US20200204811A1 (en) 2020-06-25
KR20200079408A (ko) 2020-07-03
CN111372085B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
US6470051B1 (en) MPEG video decoder with integrated scaling and display functions
US20090103630A1 (en) Image processing device
US6442206B1 (en) Anti-flicker logic for MPEG video decoder with integrated scaling and display functions
US8279919B2 (en) Image processing apparatus
US20100232513A1 (en) Video compression circuit and method thereof
US8170375B2 (en) Image processing apparatus and method for controlling the same
US20170365033A1 (en) Image processing device
US8699808B2 (en) Method and apparatus of temporary image frame compression
US7515761B2 (en) Encoding device and method
KR102174900B1 (ko) 영상 복호화 장치 및 방법
JPH08280022A (ja) 符号化ビデオ信号の復号化方法及び装置
US9392291B2 (en) Method and apparatus of temporary image frame compression
CN111428560A (zh) 视频图像处理方法、装置、电子设备及存储介质
JP2014078891A (ja) 画像処理装置、画像処理方法
CN107241601B (zh) 图像数据传输方法、装置及终端
JPH1127662A (ja) 画像符号化装置
JP2009124547A (ja) 画像処理装置および画像録画再生装置
JP4449694B2 (ja) 動画像予測符号化装置
CN117061773A (zh) 一种视频编码的预分析处理方法、系统、设备及存储介质
KR100902420B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
JP2013219611A (ja) 符号化装置および符号化方法、ならびに、復号装置および復号方法
JP2001119699A (ja) 画像復号装置及び画像復号方法
JP3812155B2 (ja) 動画像デコーダ
JP2011015358A (ja) 映像復号化装置及び映像復号化方法
KR20040099581A (ko) 주 연산장치의 데이터 전송률과 내부 메모리의 증가없이 고해상도의 디지털 신호를 발생시킬 수 있는 장치의 개발.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right