KR100772379B1 - 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한영상 처리 장치 - Google Patents

외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한영상 처리 장치 Download PDF

Info

Publication number
KR100772379B1
KR100772379B1 KR1020050088678A KR20050088678A KR100772379B1 KR 100772379 B1 KR100772379 B1 KR 100772379B1 KR 1020050088678 A KR1020050088678 A KR 1020050088678A KR 20050088678 A KR20050088678 A KR 20050088678A KR 100772379 B1 KR100772379 B1 KR 100772379B1
Authority
KR
South Korea
Prior art keywords
image
block
data
image data
external memory
Prior art date
Application number
KR1020050088678A
Other languages
English (en)
Other versions
KR20070034231A (ko
Inventor
이영섭
전종구
심우성
강우석
유기원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050088678A priority Critical patent/KR100772379B1/ko
Priority to US11/519,857 priority patent/US20070071099A1/en
Priority to CN2006101595096A priority patent/CN1937773B/zh
Publication of KR20070034231A publication Critical patent/KR20070034231A/ko
Application granted granted Critical
Publication of KR100772379B1 publication Critical patent/KR100772379B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 영상의 부호화 및/또는 복호화 속도를 향상시키기 위한 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한 영상 처리 장치에 관한 것으로, 본 발명에 따른 외부 메모리에 영상 데이터를 저장하는 방법은, 매크로 블록을 분할한 소정 크기의 서브 블록에 구비된 영상 데이터를 적어도 하나의 데이터 저장 단위로 형성하고, 데이터 저장 단위를 외부 메모리에 저장하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 영상 처리시 이용되는 외부 메모리에 액세스하는 횟수, 연산량 및 전력소비량을 감소시킬 수 있다.

Description

외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한 영상 처리 장치 {External memory device, method for storing image date thereof, apparatus for processing image using the same}
도 1은 종래 기술에 따른 영상 부호화 장치의 일 예를 개략적으로 나타낸 도면이다.
도 2는 종래 기술에 따라서 외부 메모리에 영상 데이터를 저장하는 방식을 나타낸 도면이다.
도 3은 종래 기술에 따라서 외부 메모리로부터 영상 데이터를 독출하고 움직임 보상을 수행하는데 소요되는 시간을 나타낸 타이밍도이다.
도 4는 본 발명에 따른 영상 처리 장치의 구성을 개략적으로 나타낸 블록도이다.
도 5는 본 발명에 따른 4×4 서브 블록을 저장한 상기 도 4의 외부 메모리의 구조를 나타낸 도면이다.
도 6은 본 발명에 따른 8×8 서브 블록을 저장한 상기 도 4의 외부 메모리의 구조를 나타낸 도면이다.
도 7은 상기 도 4의 영상 처리부의 일 실시예로서 영상 부호화 장치의 구성을 나타낸 블록도이다.
도 8은 본 발명에 따른 외부 메모리로부터 영상 데이터를 독출하고 움직임 보상을 수행하는데 소요되는 시간을 나타낸 타이밍도이다.
도 9는 본 발명에 따른 외부 메모리에 영상 데이터를 저장하는 방법을 나타낸 플로우 차트이다.
본 발명은 영상 데이터 저장 장치 및 그 저장 방법에 관한 것으로서, 보다 구체적으로는 영상의 부호화 및/또는 복호화 속도를 향상시키기 위한 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한 영상 처리 장치에 관한 것이다.
MPEG-1, MPEG-2, MPEG-4 Visual, H.261, H.263 및 H.264 등의 비디오 압축 표준안에 있어서, 입력 영상은 16×16 크기의 매크로 블록 단위로 분할된다. 그리고, 각각의 매크로 블록은 인터 예측에서의 모든 부호화 모드 및 인트라 예측에서의 모든 부호화 모드에서 부호화되고, 각 부호화 모드에서 부호화에 소요되는 비트율 및 원 매크로 블록과 복호화된 매크로 블록과의 왜곡 정도가 비교된다. 그리고 상기 비교 결과를 토대로, 적절한 부호화 모드를 하나 정해 각각의 매크로 블록이 부호화된다. 여기서, 인터 예측은 비디오 프레임 사이의 유사성을 이용하여 시간적 중복 요소를 제거하는 것으로, 인터 예측시에 매크로 블록 단위로 움직임 추정(motion estimation) 및 움직임 보상(motion compensation)이 수행된다.
도 1은 종래 기술에 따른 영상 부호화 장치의 일 예를 개략적으로 나타낸 도 면이다.
도 1을 참조하면, 종래 기술에 따른 영상 부호화 장치(10)는 외부 메모리(11), 압축부(12) 및 출력 버퍼(13)를 포함한다.
외부 메모리(11)는 외부로부터 입력되는 영상 및 압축부(12)에서 압축 부호화 과정을 거친 다음 복원된 이전 프레임의 영상을 저장한다.
압축부(12)는 인터 예측시에 매크로 블록 단위로 입력 영상에 대한 움직임 추정, 움직임 보상, 양자화, 이산 여현 변환 및 엔트로피 부호화를 수행하여 영상을 압축한다. 구체적으로, 상기 압축부(12)는 현재 매크로 블록과 가장 유사한 영역을 상기 외부 메모리(11)에 저장된 이전 프레임에서 탐색하여 움직임 벡터를 계산하는 움직임 추정을 수행한다. 또한, 상기 압축부(12)는 상기 움직임 추정 결과에 따른 움직임 벡터를 이용하여 상기 외부 메모리(11)에 저장된 이전 프레임의 영상에서 현재 매크로 블록과 가장 유사한 영역을 독출하고, 독출된 영역을 현재 매크로 블록으로부터 빼서 오차 데이터(residual data)를 생성하는 움직임 보상을 수행한다. 여기서, 상기 압축부(12)는 내부에 별도로 로컬 메모리를 구비하여 움직임 추정 및 보상에 이용되는 이전 프레임의 영상 데이터를 저장할 수도 있지만, 메모리 용량 등의 한계로 인하여 상기 압축부(12)에 내장시킬 수 있는 메모리의 크기에는 한계가 있으므로 상기 압축부(12)는 상대적으로 높은 저장 용량을 갖는 외부 메모리(11)로부터 필요한 이전 프레임의 영상 데이터를 독출하여 영상을 처리한다.
출력 버퍼(13)는 FIFO(First-In First-Out) 메모리로 구현될 수 있으며, 상기 압축부(12)에서 압축된 영상을 출력 비트 스트림으로서 출력한다.
도 2는 종래 기술에 따라서 외부 메모리에 영상 데이터를 저장하는 방식을 나타낸 도면이다.
도 2를 참조하면, 영상의 부호화 또는 복호화시의 기본 처리 단위인 매크로 블록을 구성하는 한 행의 화소값들은 상기 외부 메모리(11)의 하나의 행(row)에 저장된다. 예를 들어, 상기 외부 메모리(11)의 x0001_0000 어드레스에 대응되는 행에는 매크로 블록의 한 행을 구성하는 16개의 화소값들이 저장된다. 한 화소값을 나타내는데 필요한 비트수를 8비트라고 한다면 상기 외부 메모리(11)의 한 행에는 총 128비트 용량의 영상 데이터가 저장된다.
전술한 바와 같이, 상기 도 1의 영상 부호화 장치(10)의 압축부(12)에서 움직임 보상을 수행하는 경우, 상기 압축부(12)는 움직임 추정 결과에 따른 움직임 벡터가 나타내는 이전 프레임의 데이터를 상기 외부 메모리(11)로부터 독출한다. H.264 표준안 등에 따르면 매크로 블록은 다시 16×8, 8×16, 8×8 및 4×4 크기의 블록들로 분할되어 움직임 보상될 수 있다. 즉, 각 매크로 블록은 다양한 크기의 서브 블록으로 분할되어 움직임 보상이 수행된다. 이러한 방법을 트리 구조 움직임 보상(tree structured motion compensation)이라고 한다.
이러한 트리 구조 움직임 보상에 따라서, 상기 압축부(12)에서 4×4 크기의 블록에 대한 움직임 추정 및 보상을 수행하는 경우 상기 외부 메모리(11)로부터 4×4 크기의 블록에 대응되는 이전 프레임의 영상 데이터를 독출하는데 소요되는 시간은 다음과 같다.
Tc=(버스 인터페이스 오버헤드 처리 시간+전송시간)×(총 독출되는 외부 메 모리의 행 수)
여기서, 버스 인터페이스 오버헤드 처리 시간은 지연 시간(latency)으로서, 상기 외부 메모리(11)의 한 행으로부터 다음 행으로 액세스할 때 소요되는 시간을 의미한다. 상기 버스 인터페이스 오버헤드 처리 시간은 상기 외부 메모리(11)이 디램(DRAM), 동기식 디램(Synchronous DRAM:SDRAM), 또는 DDR(Double Data Rate) SDRAM일 때 발생될 수 있다. 즉, 상기 외부 메모리(11)에 대한 액세스는 소정의 독출 단위로 수행되기 때문에, 상기 독출 단위가 변경될 때 소정의 지연 시간이 발생하는 것이다. 상기 도 2의 경우에 상기 버스 인터페이스 오버헤드 처리 시간은 7cc이 소요된다고 가정한다.
전송시간은 상기 외부 메모리(11)의 한 행으로부터 독출하고자 하는 데이터의 비트수를 버스 대역폭으로 나눈 값이다. 여기서, 버스 대역폭은 상기 외부 메모리(11)와 상기 압축부(12) 사이의 데이터 전송로인 버스가 한 클럭 사이클당 전송할 수 있는 비트 수를 의미하며, 상기 버스 대역폭은 32비트라고 가정한다. 따라서, 상기 외부 메모리(11)의 한 행으로부터 4개의 화소값, 즉 4 바이트(32비트)의 데이터를 독출하고자 하는 경우 전송시간은 32/32, 즉 1클럭 사이클이 소요된다.
도 3은 종래 기술에 따라서 외부 메모리로부터 영상 데이터를 독출하고 움직임 보상을 수행하는데 소요되는 시간을 나타낸 타이밍도이다.
이전 프레임의 영상 데이터들이 상기 외부 메모리(11)에 저장된 경우에, 상기 압축부(12)는 현재 4×4 블록에 대응되는 상기 외부 메모리(11)에 저장된 이전 프레임의 영상 데이터를 독출하기 위하여 4번 상기 외부 메모리(11)에 액세스한다. 왜냐하면, 4×4 블록의 각 행의 영상 데이터가 상기 외부 메모리(11)의 서로 다른 행에 저장되어 있기 때문이다. 이와 같은 경우, 하나의 4×4 블록이 참조하는 이전 프레임의 4×4 크기의 영상 데이터를 독출하는데 소요되는 총 독출 클럭 사이클(Tc1)은 다음과 같이 계산된다.
Tc1={(7+1)×4)=32cc(clock cycle)
전술한 바와 같이, 버스 오버페이스 인터페이스 시간은 7cc, 상기 외부 메모리(11)의 한 행에 저장된 4개의 화소값을 읽어오는데 소요되는 전송시간은 1cc이 며, 총 4행의 이전 프레임의 영상 데이터를 독출하기 위하여 4번 상기 외부 메모리(11)에 액세스하여야 한다.
상기 식으로부터, 하나의 매크로 블록에 포함된 총 16개의 4×4 블록에 대한 이전 프레임의 영상 데이터를 추출하는데는 16×Tc1, 즉 512cc이 소요됨을 알 수 있다. 하나의 4×4 블록에 대한 움직임 보상에 소요되는 시간을 9cc이고, 상기 움직임 보상은 상기 독출 과정과 병렬적으로 수행될 수 있다고 한다면, 매크로 블록에 포함된 총 16개의 4×4 블록의 움직임 보상을 위해서 외부 메모리(11)로부터 영상 데이터를 독출하고 움직임 보상을 수행하는데 소요되는 시간은 도 3에 도시된 바와 같이 총 521cc이 소요된다.
전술한 바와 같은 종래 기술에 따르면 매크로 블록을 분할한 4×4 블록 단위로 움직임 보상을 수행할 때, 매크로 블록의 한 행의 화소값들이 상기 외부 메모리의 별도의 행에 저장되기 때문에 상기 하나의 4×4 블록이 움직임 보상에 이용되는 이전 프레임의 영상 데이터를 독출하기 위해서 적어도 4번은 외부 메모리에 액세스하여 이전 프레임의 영상 데이터를 독출하는 과정이 필요하다. 이로 인해서, 영상의 압축 부호화에 소요되는 전체 처리 시간이 증가되는 문제점이 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 영상 처리시에 참조 프레임이 저장되는 외부 메모리로의 액세스 횟수를 최소화하여 전체 영상의 압축 부호화 또는 복호화에 소요되는 시간을 단축시킬 수 있는 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한 영상 처리 장치를 제공하는 데에 목적이 있다.
또한, 본 발명은 외부 메모리로의 액세스 회수를 최소화함으로써 동작 주파수 및 소비 전력을 감소시키는 데에 목적이 있다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상의 압축 부호화 또는 복호화를 위해 이용되는 외부 메모리에 영상 데이터를 저장하는 방법은, 매크로 블록을 분할한 소정 크기의 서브 블록에 구비된 영상 데이터를 분할하고, 분할된 상기 서브 블록의 영상 데이터를 연결하여 적어도 하나의 데이터 저장 단위로 형성하는 단계; 및 상기 데이터 저장 단위를 상기 외부 메모리에 저장하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 영상의 압축 부호화 또는 복호화에 이용되는 영상 데이터를 저장하는 외부 메모리 장치는, 상기 외부 메모리 장치는 상기 영상의 압축 부호화 또는 복호화를 위한 처리 단위인 기본 블록을 분할한 소정 크기의 서브 블록에 포함된 영상 데이터를 분할하고, 분할된 상기 서브 블록의 영상 데이터를 연결하여 적어도 하나의 데이터 저장 단위로 하여 저장하는 것을 특징으로 한다.
본 발명에 따른 영상을 압축 부호화 및/또는 복호화하는 영상 처리 장치는,외부로부터 입력되는 영상 데이터 및 처리가 완료된 참조 프레임의 영상 데이터를 저장하는 외부 메모리; 매크로 블록을 분할한 소정 크기의 서브 블록에 구비된 영상 데이터를 분할하고, 분할된 상기 서브 블록의 영상 데이터를 연결하여 적어도 하나의 데이터 저장 단위로 형성하고, 상기 데이터 저장 단위별로 상기 외부 메모리에 저장되거나 독출되도록 제어하는 메모리 제어부; 및 상기 메모리 제어부에 영상 데이터를 요청하고, 상기 메모리 제어부의 제어에 따라 독출된 영상 데이터를 수신하여 영상의 부호화 및/또는 복호화를 수행하는 영상 처리부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 4는 본 발명에 따른 영상 처리 장치의 구성을 개략적으로 나타낸 블록도이다.
도 4를 참조하면, 본 발명에 따른 영상 처리 장치는 외부 메모리(400), 메모리 제어부(520) 및 영상 처리부(530)를 포함한다. 상기 메모리 제어부(520) 및 영상 처리부(530)는 하나의 시스템 온 칩(System On Chip:SOC)(500)에 구비될 수 있다. 본 발명에 따른 영상 처리 장치는 메모리 제어부(520)를 통해 외부 메모리(400)와 상호 데이터 인터페이스를 위한 구조를 가진다. 상기 영상 처리부(530)로는 움직임 추정, 움직임 보상, 이산여현변환(DCT), 양자화 및 엔트로피 부호화를 수행하는 부호화 장치 또는 부호화 과정의 역순으로 영상 데이터를 처리하여 복호화를 수행하는 복호화 장치가 이용될 수 있다.
상기 영상 처리부(530)는 영상 데이터의 부호화 또는 복호화시에 필요한 영상 데이터를 독출(read) 또는 저장(write)을 상기 메모리 제어부(520)에 요청한다.
상기 메모리 제어부(520)는 상기 요청에 따라서 상기 외부 메모리(400)에 소정의 데이터 단위로 영상 데이터를 저장하거나 독출하는 동작을 제어한다. 구체적으로는, 상기 메모리 제어부(520)는 상기 외부 메모리(400)에 매크로 블록을 분할한 소정 크기의 서브 블록에 구비된 영상 데이터를 하나의 데이터 단위로 형성하고, 상기 서브 블록에 구비된 영상 데이터가 상기 외부 메모리(400)의 하나의 데이터 단위에 포함되어 제공되도록 저장 및 독출 동작을 제어한다. 이로 인해서, 상기 메모리 제어부(520)는 상기 영상 처리부(530)가 서브 블록 단위로 움직임 추정 및 움직임 보상을 수행하는 경우 외부 메모리(400)에 액세스하는 횟수를 감소시킨다. 여기서, 상기 하나의 데이터 단위는 외부 메모리(400)의 하나의 어드레스에 대응되는 독출 단위로서, 상기 외부 메모리(400)의 한 행이 될 수 있다.
도 5는 본 발명에 따른 4×4 서브 블록을 저장한 상기 도 4의 외부 메모리(400)의 구조를 나타낸 도면이다. 도 5에서 M1 내지 M64는 4×4 블록의 한 행, 즉 4개의 픽셀을 나타낸다. 또한, 상기 외부 메모리(400)의 한 행에 저장될 수 있는 데이터의 크기는 16 바이트(byte)라고 가정한다.
도 5를 참조하면, 매크로 블록을 분할한 소정 크기의 서브 블록이 상기 외부 메모리의 한 행에 저장된다. 구체적으로는, 4×4 블록을 구성하는 4개의 행들이 연속적으로 연결되어 상기 외부 메모리(400)의 하나의 어드레스에 대응되는 한 행에 저장된다. 예를 들어, 매크로 블록의 좌상측 모서리에 위치한 4×4 블록을 구성하는 4개의 행들인 M1, M2, M3 및 M4는 서로 연결되어 상기 외부 메모리(400)의 한 행(A1)에 저장된다. 여기서, 상기 A1의 어드레스를 x0001_0000이라고 한다. 전술한 바와 같은 종래 기술에 의하면, 외부 메모리의 한 행에는 서브 블록을 구성하는 행들이 저장되는 것이 아니라 매크로 블록의 한 행이 저장된다. 즉, 종래 기술에 따르면 상기 외부 메모리(400)의 한 행, 즉 하나의 독출 단위에는 M1,M5,M9 및 M13을 구비한 화소값이 저장된다.
일반적으로 영상 처리 과정에서 움직임 추정 및 움직임 보상을 수행하는 과정은 가장 많은 연산 및 메모리 액세스를 필요로 한다. 본 발명에 따른 외부 메모리(400)를 이용하여 4×4 블록에 대한 움직임 보상을 수행하는 경우, 종래 기술처럼 외부 메모리(400)의 4행에 저장된 영상 데이터를 독출할 필요없이 외부 메모리(400)의 한 행에 저장된 영상 데이터만을 독출함으로써 현재 4×4 블록에 대한 움직임 보상을 위해 필요한 참조 프레임의 영상 데이터를 추출할 수 있으므로 액세스 횟수를 감소시킬 수 있다.
한편, 상기 외부 메모리(400)의 한 행에 저장될 수 있는 데이터의 크기가 변경되는 경우에도, 적어도 상기 4×4 블록 내부의 영상 데이터들이 연속적으로 상기 외부 메모리(400)에 저장되게 함으로써 액세스 횟수를 감소시킬 수 있다.
도 6은 본 발명에 따른 8×8 서브 블록을 저장한 상기 도 4의 외부 메모리(400)의 구조를 나타낸 도면이다. 도 6에서 N1 내지 N32는 8×8 블록의 한 행, 즉 8개의 픽셀을 나타낸다.
도 6을 참조하면, 본 발명에 따른 상기 외부 메모리(400)의 연속적인 행들(B1 내지 B4)에는 매크로 블록을 분할한 8×8 블록의 화소값들이 저장된다. 도 6에서, 상기 외부 메모리(400)의 한 행에 저장될 수 있는 데이터의 크기를 16 바이트(byte)라고 가정한다. 이와 같은 경우, 8×8 블록을 구성하는 8개의 행들 중 2개의 행들이 하나의 데이터 저장 단위로서 상기 외부 메모리(400)의 하나의 어드레스에 대응되는 하나의 행에 저장된다. 예를 들어, 매크로 블록의 좌상측 모서리에 위치한 8×8 블록을 구성하는 N1 및 N2는 상기 외부 메모리(400)의 제 1 행(B1)에, N3 및 N4는 제 2행(B2)에, N5 및 N6는 제 3행(B3)에, N7 및 N8는 상기 외부 메모리(400)의 제 4행(B4)에 저장된다. 이와 같은 방식으로 8×8 블록을 구성하는 8개의 행들에 포함된 화소값들이 상기 외부 메모리의 4개의 행(B1 내지 B4)에 저장된다. 전술한 바와 같이 종래 기술에 따르면 외부 메모리의 한 행에는 매크로 블록의 한 행이 저장되므로, 외부 메모리에 저장된 8×8 블록에 대한 영상 데이터를 독출하기 위해서는 적어도 8개의 행에 위치한 영상 데이터를 독출하여야 한다. 그러나, 본 발명에 의하면, 4개의 행에 위치한 영상 데이터를 독출함으로써, 8×8 블록의 움직임 추정 및 보상에 필요한 참조 프레임의 영상 데이터를 독출할 수 있다.
이와 같이, 매크로 블록을 분할한 8×8 블록에 구비된 영상 데이터가 상기 외부 메모리(400)의 하나의 행에 저장될 수 없는 경우라도, 상기 8×8 블록에 구비된 영상 데이터들을 적어도 하나 이상의 데이터 저장 단위들로 형성하여 상기 외부 메모리(400)의 연속적인 행에 배치하여 저장함으로써, 8×8 블록의 움직임 추정 및 보상에 필요한 참조 프레임의 영상 데이터를 독출하기 위해 상기 외부 메모리(400)에 액세스하는 횟수를 감소시킬 수 있다.
도 7은 상기 도 4의 영상 처리부(530)의 일 실시예로서 영상 부호화 장치의 구성을 나타낸 블록도이다.
도 7을 참조하면, 상기 영상 처리부(530)는 움직임 추정부(531), 움직임 보상부(532), 변환부(533), 양자화부(534), 재정렬부(535), 엔트로피 코딩부(536), 역양자화부(537), 역변환부(538), 필터(539), 제 2 로컬 메모리(540) 및 인트라 예측부(541)를 구비한다. 상기 움직임 추정부(531)의 내부에는 움직임 추정을 위해 임시로 영상 데이터를 저장하기 위한 제 1 로컬 메모리(540)를 구비할 수 있다.
인터 예측을 위해 현재 매크로 블록의 예측값을 참조 픽처에서 찾는 것은 움직임 추정부(531)에서 수행된다. 상기 움직임 추정부(531)는 움직임 추정을 위해 필요로 하는 참조 프레임의 영상 데이터를 얻기 위해서 상기 제 2 로컬 메모리(540)로부터 필요한 영상 데이터를 독출하거나, 또는 상기 메모리 제어부(520)에 필요한 영상 데이터를 요청하여 외부 메모리(400)로부터 참조 프레임의 영상 데이터를 얻는다. 여기서, 참조 프레임은 과거 또는 미래의 프레임, 이전에 코딩되어 전송된 프레임이 될 수 있다.
그리고, 상기 움직임 추정부(531)는 소정 크기의 블록과 일치하는 영역을 찾기 위해 참조 프레임의 영역을 탐색하다. 상기 소정 크기의 블록은 H.264 표준안에서 이용되는 트리 구조 움직임 보상(tree structured motion compensation)에 따른 경우 매크로 블록을 분할한 16×8, 8×16, 8×8 및 4×4 크기의 블록들일 수 있 다. 구체적으로는 상기 움직임 추정부(531)는 현재 프레임의 소정 크기의 블록과 현재 블록의 위치를 기준으로 소정의 탐색 영역 내의 블록을 비교하여, 그중 가장 일치하는 영역을 찾아낸다. 여기서, 상기 움직임 추정부(531)는 현재의 소정 크기의 블록에서 후보 영역을 뺌으로서 구해지는 오차 에너지가 최소가 되는 후보 영역을 가장 일치하는 영역으로 선택하게 된다. 상기 움직임 추정 결과 상기 가장 일치하는 영역의 위치를 나타내는 움직임 벡터가 계산된다.
움직임 보상부(532)는 상기 움직임 벡터를 이용하여 현재 소정 크기의 블록으로부터 참조 프레임에서 추출된 가장 일치하는 영역을 빼서 오차 데이터(residue)를 생성한다. 전술한 바와 같이, 본 발명에 따른 상기 외부 메모리(400)에는 소정 크기의 블록 단위로 데이터가 저장되어 있기 때문에 상기 움직임 보상부(532)가 상기 외부 메모리(400)에 액세스하는 횟수가 감소된다.
상기 움직임 보상 결과에 따른 오차 데이터는 변환부(533), 양자화부(534)에서 변환 및 양자화 과정을 거친다. 양자화된 오차 데이터는 엔트로피 코딩부(536)에서 부호화하기 위하여 재정렬부(535)를 거친다. 또한, 인터 예측에 사용될 참조 픽처를 얻기 위하여 양자화된 픽처를 역양자화부(537)와 역변환부(538)를 거쳐 현재 픽처를 복원한다. 이렇게 복원된 현재 픽처는 디블록킹 필터링을 수행하는 필터(539)를 거친 후, 제 2 로컬 메모리(540) 또는 상기 외부 메모리(400)에 저장되었다가 다음 픽처에 대하여 인터 예측, 즉 움직임 추정 및 보상을 수행하는데 사용된다.
도 8은 본 발명에 따른 외부 메모리로부터 영상 데이터를 독출하고 움직임 보상을 수행하는데 소요되는 시간을 나타낸 타이밍도이다.
상기 영상 처리부(530)는 상기 외부 메모리(400)에 한 번만 액세스하여 현재 4×4 블록에 대응되는 참조 프레임의 영상 데이터를 독출할 수 있다.
본 발명에 따른 상기 외부 메모리(400)로부터 이전 프레임의 4×4 크기의 영상 데이터를 독출하는데 소요되는 총 독출 클럭 사이클(Tc2)은 다음식과 같다.
Tc2=7+4=11cc
여기서, 7cc는 버스 오버페이스 인터페이스 시간을 의미하며, 4cc은 버스 대역폭을 32비트라고 하였을 때 상기 외부 메모리(400)의 한 행에 저장된 16개의 화소값에 대응되는 128비트를 독출하는데 소요되는 전송시간을 의미한다. 따라서, 하나의 매크로 블록에 포함된 총 16개의 4×4 블록에 대한 참조 프레임의 영상 데이터를 추출하는데는 16×Tc2, 즉 176cc이 소요된다. 하나의 4×4 블록에 대한 움직임 보상에 소요되는 시간을 9cc이고, 상기 움직임 보상은 상기 독출 과정과 병렬적으로 수행될 수 있다고 한다면, 매크로 블록에 포함된 총 16개의 4×4 블록의 움직임 보상을 위해서 외부 메모리(400)로부터 영상 데이터를 독출하고 움직임 보상을 수행하는데 소요되는 시간은 도 8에 도시된 바와 같이 총 185cc이 소요된다. 상기 도 3에 도시된 종래 기술과 비교하면 약 50%이상의 처리 속도가 향상되는 것을 확인할 수 있다.
도 9는 본 발명에 따른 외부 메모리에 영상 데이터를 저장하는 방법을 나타낸 플로우 차트이다.
도 9를 참조하면, 단계 910에서 상기 메모리 제어부(520)는 처리가 완료된 참조 프레임의 영상 데이터를 구성하는 매크로 블록을 재분할한 소정 크기의 서브 블록에 구비된 영상 데이터를 적어도 하나의 데이터 저장 단위로 형성한다.
또한, 단계 920에서 상기 메모리 제어부(520)는 상기 데이터 저장 단위를 상기 외부 메모리(400)에 저장함으로써, 상기 영상 처리부(530)의 요청에 따라서 상기 소정 크기의 서브 블록 단위별로 영상 데이터가 저장되거나 독출될 수 있도록 제어한다.
전술한 바와 같은 본 발명에 따르면 매크로 블록을 분할한 소정 크기의 서브 블록, 예를 들어 4×4 블록에 대한 움직임 추정 및 보상을 수행하기 위하여 이용되는 참조 프레임의 영상 데이터를 독출하는 경우, 상기 외부 메모리에 액세스하는 횟수를 감소시킬 수 있다. 이로 인해서, 영상 처리시에 소비되는 연산량 및 전력소비량을 감소시킬 수 있다. 특히, 본 발명에 따른 외부 메모리 장치는 파이프라인 방식의 움직임 추정 및 보상 모듈에 적용될 때 버스 인터페이스의 과도한 오버헤드를 방지하고 움직임 추정 및 보상에 소요되는 연산량 및 전력량을 감소시킴으로써 전체 영상의 부호화 또는 복호화에 소요되는 처리 시간을 단축시킬 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매 체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 바와 같은 본 발명에 따르면, 영상 처리시 이용되는 외부 메모리에 액세스하는 횟수를 감소시킬 수 있으며, 이로 인해 영상 처리시의 연산량 및 전력소비량을 감소시킬 수 있다.
또한, 본 발명에 의하면 외부 메모리와 영상 처리부 사이의 버스 대역폭의 사용을 최적화할 수 있다.

Claims (18)

  1. 영상의 압축 부호화 또는 복호화를 위해 이용되는 메모리에 영상 데이터를 저장하는 방법에 있어서,
    매크로 블록을 분할한 소정 크기의 서브 블록에 구비된 영상 데이터를 분할하고, 분할된 상기 서브 블록의 영상 데이터를 연결하여 적어도 하나의 데이터 저장 단위로 형성하는 단계; 및
    상기 데이터 저장 단위를 상기 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 영상 데이터 저장 방법.
  2. 제 1항에 있어서,
    상기 데이터 저장 단위는, 상기 소정 크기의 서브 블록의 각 행을 연결하여 형성되는 것을 특징으로 하는 영상 데이터 저장 방법.
  3. 제 1항에 있어서,
    상기 데이터 저장 단위는 상기 메모리의 하나의 어드레스에 대응되는 한 행에 저장되는 것을 특징으로 하는 영상 데이터 저장 방법.
  4. 제 1항에 있어서,
    상기 서브 블록은 4×4 및 ８×8 크기의 블록 중 어느 하나인 것을 특징으로 하는 영상 데이터 저장 방법.
  5. 제 1항에 있어서,
    상기 영상 데이터는 상기 영상을 구성하는 화소들의 화소값인 것을 특징으로 하는 영상 데이터 저장 방법.
  6. 영상의 압축 부호화 또는 복호화에 이용되는 영상 데이터를 저장하는 메모리 장치에 있어서,
    상기 메모리 장치는 상기 영상의 압축 부호화 또는 복호화를 위한 처리 단위인 기본 블록을 분할한 소정 크기의 서브 블록에 포함된 영상 데이터를 분할하고, 분할된 상기 서브 블록의 영상 데이터를 연결하여 적어도 하나의 데이터 저장 단위로 하여 저장하는 것을 특징으로 하는 메모리 장치.
  7. 제 6항에 있어서,
    상기 데이터 저장 단위는, 상기 소정 크기의 서브 블록의 각 행을 연결하여 형성되는 것을 특징으로 하는 메모리 장치.
  8. 제 6항에 있어서,
    상기 데이터 저장 단위는 상기 메모리의 하나의 어드레스에 대응되는 한 행에 저장되는 것을 특징으로 하는 메모리 장치.
  9. 제 6항에 있어서,
    상기 서브 블록은 4×4 및 ８×8 크기의 블록 중 어느 하나인 것을 특징으로 하는 메모리 장치.
  10. 제 6항에 있어서,
    상기 영상 데이터는 상기 영상을 구성하는 화소들의 화소값인 것을 특징으로 하는 메모리 장치.
  11. 영상을 압축 부호화 및/또는 복호화하는 영상 처리 장치에 있어서,
    외부로부터 입력되는 영상 데이터 및 처리가 완료된 참조 프레임의 영상 데이터를 저장하는 메모리;
    매크로 블록을 분할한 소정 크기의 서브 블록에 구비된 영상 데이터를 분할하고, 분할된 상기 서브 블록의 영상 데이터를 연결하여 적어도 하나의 데이터 저장 단위로 형성하고, 상기 데이터 저장 단위별로 상기 메모리에 저장되거나 독출되도록 제어하는 메모리 제어부; 및
    상기 메모리 제어부에 영상 데이터를 요청하고, 상기 메모리 제어부의 제어에 따라 독출된 영상 데이터를 수신하여 영상의 부호화 및/또는 복호화를 수행하는 영상 처리부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  12. 제 11항에 있어서,
    상기 데이터 저장 단위는, 상기 소정 크기의 서브 블록의 각 행을 연결하여 형성되는 것을 특징으로 하는 영상 처리 장치.
  13. 제 11항에 있어서,
    상기 데이터 저장 단위는 상기 메모리의 하나의 어드레스에 대응되는 한 행에 저장되는 것을 특징으로 하는 영상 처리 장치.
  14. 제 11항에 있어서,
    상기 서브 블록은 4×4 및 ８×8 크기의 블록 중 어느 하나인 것을 특징으로 하는 영상 처리 장치.
  15. 제 11항에 있어서,
    상기 영상 데이터는 상기 영상을 구성하는 화소들의 화소값인 것을 특징으로 하는 영상 처리 장치.
  16. 제 11항에 있어서,
    상기 영상 데이터는 상기 서브 블록의 움직임 예측 및 보상에 이용된 참조 프레임으로부터 추출되는 것을 특징으로 하는 영상 처리 장치.
  17. 제 1항에 있어서,
    상기 영상 데이터는 상기 서브 블록의 움직임 예측 및 보상에 이용된 참조 프레임으로부터 추출되는 것을 특징으로 하는 영상 데이터 저장 방법.
  18. 제 6항에 있어서,
    상기 영상 데이터는 상기 서브 블록의 움직임 예측 및 보상에 이용된 참조 프레임으로부터 추출되는 것을 특징으로 하는 메모리 장치.
KR1020050088678A 2005-09-23 2005-09-23 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한영상 처리 장치 KR100772379B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020050088678A KR100772379B1 (ko) 2005-09-23 2005-09-23 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한영상 처리 장치
US11/519,857 US20070071099A1 (en) 2005-09-23 2006-09-13 External memory device, method of storing image data for the same, and image processor using the method
CN2006101595096A CN1937773B (zh) 2005-09-23 2006-09-25 外部存储装置、存储图像数据的方法及图像处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050088678A KR100772379B1 (ko) 2005-09-23 2005-09-23 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한영상 처리 장치

Publications (2)

Publication Number Publication Date
KR20070034231A KR20070034231A (ko) 2007-03-28
KR100772379B1 true KR100772379B1 (ko) 2007-11-01

Family

ID=37893910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050088678A KR100772379B1 (ko) 2005-09-23 2005-09-23 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한영상 처리 장치

Country Status (3)

Country Link
US (1) US20070071099A1 (ko)
KR (1) KR100772379B1 (ko)
CN (1) CN1937773B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861586B2 (en) * 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
US8867605B2 (en) * 2008-10-14 2014-10-21 Nvidia Corporation Second deblocker in a decoding pipeline
JP5083170B2 (ja) * 2008-10-23 2012-11-28 富士ゼロックス株式会社 符号化装置、復号装置、画像形成装置、及びプログラム。
US9179166B2 (en) * 2008-12-05 2015-11-03 Nvidia Corporation Multi-protocol deblock engine core system and method
JP4840440B2 (ja) * 2008-12-24 2011-12-21 ソニー株式会社 画像処理装置およびその方法、並びにプログラム
DE102009011251A1 (de) 2009-03-02 2010-09-09 Siemens Enterprise Communications Gmbh & Co. Kg Multiplexverfahren und zugehörige funktionelle Datenstruktur zum Zusammenfassen digitaler Videosignale
JP2011146980A (ja) * 2010-01-15 2011-07-28 Sony Corp 画像処理装置および方法
KR101499919B1 (ko) * 2010-11-23 2015-03-10 한국전자통신연구원 비트 플레인 기반의 예측 오차 데이터 복호화 장치 및 방법
KR101898464B1 (ko) * 2011-03-17 2018-09-13 삼성전자주식회사 모션 추정 장치 및 그것의 모션 추정 방법
KR101951171B1 (ko) * 2012-08-09 2019-02-25 삼성전자 주식회사 멀티미디어 프로세싱 시스템 및 그 동작 방법
CN103297780A (zh) * 2013-06-06 2013-09-11 上海高清数字科技产业有限公司 提高解码速率的方法及系统
KR102445243B1 (ko) * 2017-10-23 2022-09-21 삼성전자주식회사 데이터 암호화 방법 및 그에 따른 전자 장치
WO2022241729A1 (zh) * 2021-05-20 2022-11-24 深圳市大疆创新科技有限公司 一种图像处理方法、装置、可移动平台及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089389A (ja) * 1994-06-14 1996-01-12 Daewoo Electron Co Ltd デジタルビデオ信号の並列復号化装置
JPH09312847A (ja) * 1996-05-22 1997-12-02 Kokusai Electric Co Ltd 動画像の符号化方法
KR980013410A (ko) * 1996-07-08 1998-04-30 김주용 대상물 영상의 부호화 방법 및 부호화 장치
KR19990019200A (ko) * 1997-08-29 1999-03-15 전주범 프레임 메모리의 독출 방법에 따른 출력 데이터 재배열장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5440182B2 (ko) * 1974-02-26 1979-12-01
US5263030A (en) * 1991-02-13 1993-11-16 Digital Equipment Corporation Method and apparatus for encoding data for storage on magnetic tape
US5815646A (en) * 1993-04-13 1998-09-29 C-Cube Microsystems Decompression processor for video applications
US5506810A (en) * 1994-08-16 1996-04-09 Cirrus Logic, Inc. Dual bank memory and systems using the same
US6847990B2 (en) * 2002-05-17 2005-01-25 Freescale Semiconductor, Inc. Data transfer unit with support for multiple coherency granules
JP4598374B2 (ja) * 2003-06-12 2010-12-15 パナソニック株式会社 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089389A (ja) * 1994-06-14 1996-01-12 Daewoo Electron Co Ltd デジタルビデオ信号の並列復号化装置
JPH09312847A (ja) * 1996-05-22 1997-12-02 Kokusai Electric Co Ltd 動画像の符号化方法
KR980013410A (ko) * 1996-07-08 1998-04-30 김주용 대상물 영상의 부호화 방법 및 부호화 장치
KR19990019200A (ko) * 1997-08-29 1999-03-15 전주범 프레임 메모리의 독출 방법에 따른 출력 데이터 재배열장치

Also Published As

Publication number Publication date
KR20070034231A (ko) 2007-03-28
CN1937773B (zh) 2010-11-17
CN1937773A (zh) 2007-03-28
US20070071099A1 (en) 2007-03-29

Similar Documents

Publication Publication Date Title
KR100772379B1 (ko) 외부 메모리 장치, 그 영상 데이터 저장 방법, 이를 이용한영상 처리 장치
KR101227667B1 (ko) 오버랩 평활화 및 인-루프 디블록킹의 구분적 프로세싱
JP3966524B2 (ja) 改善された効率のためにスキュードタイル記憶フォーマットを用いる動き補償を行うシステム及び方法
KR100952861B1 (ko) 디지털 비디오 데이터 처리
US9948934B2 (en) Estimating rate costs in video encoding operations using entropy encoding statistics
US9509992B2 (en) Video image compression/decompression device
KR20060091510A (ko) 영상처리시스템에 있어서 데이터 기록/독출장치 및 방법
US20060133512A1 (en) Video decoder and associated methods of operation
US20170019679A1 (en) Hybrid video decoding apparatus for performing hardware entropy decoding and subsequent software decoding and associated hybrid video decoding method
US20160050431A1 (en) Method and system for organizing pixel information in memory
KR20050078706A (ko) 메모리 액세스 방법 및 메모리 액세스 장치
JP2006279574A (ja) 復号装置と方法
JPH10108199A (ja) 画像符号化装置
CN116233453B (zh) 一种视频编码方法及装置
US20110249959A1 (en) Video storing method and device based on variable bit allocation and related video encoding and decoding apparatuses
US6928115B2 (en) Compression-encoded data decoding apparatus cross-reference to related applications
US7330595B2 (en) System and method for video data compression
JP2003230148A (ja) 画像データ符号化装置
KR100891116B1 (ko) 대역폭 인식 움직임 보상 장치 및 그 방법
JP7359653B2 (ja) 動画像符号化装置
KR20060036511A (ko) 향상된 압축 속도를 가지는 동영상 압축 장치 및 그 방법
KR102171119B1 (ko) 복수개의 블록 기반의 파이프라인을 이용한 데이터 처리 속도 개선 장치 및 그 동작 방법
KR100498445B1 (ko) 성능향상을 위한 동영상 압축방법 및 장치
KR100708183B1 (ko) 움직임 추정을 위한 영상 데이터 저장 장치 및 그 데이터저장 방법
US11622106B2 (en) Supporting multiple partition sizes using a unified pixel input data interface for fetching reference pixels in video encoders

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee