KR20130082304A - 고해상도용 상세단위 움직임 추정 장치 - Google Patents

고해상도용 상세단위 움직임 추정 장치 Download PDF

Info

Publication number
KR20130082304A
KR20130082304A KR1020120003443A KR20120003443A KR20130082304A KR 20130082304 A KR20130082304 A KR 20130082304A KR 1020120003443 A KR1020120003443 A KR 1020120003443A KR 20120003443 A KR20120003443 A KR 20120003443A KR 20130082304 A KR20130082304 A KR 20130082304A
Authority
KR
South Korea
Prior art keywords
motion estimation
unit
data
fir
pixel
Prior art date
Application number
KR1020120003443A
Other languages
English (en)
Inventor
박성모
김영일
엄낙웅
정희범
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120003443A priority Critical patent/KR20130082304A/ko
Priority to US13/738,638 priority patent/US20130177086A1/en
Publication of KR20130082304A publication Critical patent/KR20130082304A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

본 발명은 움직임 추정 대상이 되는 현재영상의 매크로블록이 저장되는 현재영상 저장메모리, 현재영상의 매크로블록에 대한 이전영상의 탐색영역 데이터가 저장되는 이전영상 저장메모리, 이전영상 저장메모리에 저장되어 있는 탐색영역 데이터에 대하여 FIR 필터링을 수행하는 FIR 필터, FIR 필터링된 탐색영역 데이터를 동작모드에 따라 구분하여 저장하는 메모리, 메모리에 저장된 FIR 필터링된 탐색영역 데이터를 이용하여 1/4픽셀 단위의 움직임 추정을 위한 참조영역 데이터를 생성하는 QME 데이터 처리부, FIR 필터에서 전달된 FIR 필터링된 탐색영역 데이터 및 매크로블록을 이용하여 1/2픽셀 단위의 움직임 추정을 수행하고, 1/2픽셀단위의 움직임 추정에 따른 1/2픽셀 움직임 벡터를 중심으로 참조영역 데이터를 이용하여 1/4픽셀 단위의 움직임 추정을 수행하는 프로세싱 어레이부; 및 FIR 필터, 프로세싱 어레이부 및 QME 데이터 처리부의 동작을 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

고해상도용 상세단위 움직임 추정 장치{FINE MOTION ESTIMATION DEVICE FOR HIGH RESOLUTION}
본 발명은 영상데이터를 압축알고리즘을 이용하여 이를 하드웨어로 구현하기 위한 SoC(System On a Chip) 설계 분야에 관한 것으로서, 더욱 상세하게는 H.264의 구성요소 블록에서 연산량이 가장 많은 움직임 추정 블록의 상세단위의 움직임 추정기법을 최소의 하드웨어를 이용하여 움직임 추정이 가능하도록 한 고해상도용 상세단위 움직임 추정 장치에 관한 것이다.
H.264는 국제적인 동영상 표준 제정 그룹인 ITU의 VCEG과 ISO의 MPEG이 공동으로 개발하고 있는 표준이다. 이 표준은 매우 높은 압축율을 주요 기술적 목표로 하고 있으며, 저장매체, 인터넷, 위성방송 등의 거의 모든 전송미디어 및 다양한 동영상 해상도의 환경에서 사용될 수 있는 범용 동영상 부호화 기술이다.
전통적으로 ITU의 국제 표준은 유선 통신 매체를 기반으로 한 H.261, H.263, H.264 등의 동영상 부호화 표준을 제정하여 왔으며, MPEG은 저장매체나 방송매체에서의 동영상 처리를 위한 MPEG-1, MPEG-2 등을 표준으로 제정하여 왔다. MPEG은 또한 멀티미디어 전반에 걸친 부호 표준인 MPEG-4에서 객체 기반 동영상 부호를 중요한 특징으로 하는 다양한 기능과 고압축율을 실현한 MPEG-4 동영상 표준 제정을 완료하였다. ITU의 VCEG 그룹에서는 MPEG-4 동영상 표준 제정 이후에도 계속 H.26L이라는 이름으로 고압축율의 동영상 표준을 제정하여 왔는데, MPEG에서의 공식적인 비교 실험에서, 비슷한 기능의 MPEG-4 동영상 표준(advanced simple profile)보다 압축률의 측면에서 큰 우위성을 나타내었다. 이에 따라 MPEG은 H.26L을 기반으로 ITU VCEG 그룹과 공동으로 JVT 동영상 표준인 H.264/AVC를 개발하기로 하였다. 이같은 역사를 가지는 H.264/AVC은 다양한 우수한 특성들을 가지고 있다.
멀티미디어 동영상 압축 표준인 H.264를 이용하여 SoC(System On a Chip)를 구현시 인코더에서 가장 연산량이 많은 블록이 바로 움직임 추정(Motion Estimation) 블록이다. 움직임 추정은 특히 영상 신호의 인접한 화면들 간의 높은 상관성(correlation)을 가지고 있다. 이러한 시간축 상에서 존재하는 중복적인 정보(redundant information)를 줄임으로써 영상 신호의 압축효율을 높일 수 있게 된다. 움직임 추정은 많은 계산량이 필요한 부분으로 지금까지 많은 알고리즘 및 하드웨어 구조가 연구되어 왔다.
한국공개특허 2008-0005146호를 참조하면, 종래 움직임 추정의 알고리즘을 이용하여 SoC로 구현 시 계산량을 감소시키고 처리 속도를 향상시킬 수 있는 고속 전역 탐색 블록정합 알고리즘을 이용한 움직임 추정 기법이 개시되어 있다. 이에 의하면, 현재 매크로블록의 픽셀값들 중 빈도가 가장 낮은 픽셀부터 높은 순서로 SAD를 계산하고 조기에 제거하는 방법을 이용하고 있으나, 참조영상을 액세스하는 경우 코딩모드에 따른 선택을 통해 최적의 SAD 및 움직임 벡터를 연산해야 하는 한계가 있다.
또한, 미국공개특허 2010/0091863호를 참조하면, 예측된 데이터를 빠른 탐색을 위해 재사용하는 구조를 가지는 움직임 추정 기법이 개시되어 있다.
도 1은 종래 예측된 데이터를 재사용하는 구조를 가지는 움직임 추정 기법의 순서도이다.
먼저, 코딩 데이터의 현재 블록의 움직임 데이터를 검색한다(S110).
움직임 데이터를 검색하면, 빠른 예측 플레인(rapid prediction plane)이 현재 블록에 이웃하는 3개의 블록의 움직임 벡터의 강한 공간적 상관관계에 상응하여 설정된다(S120).
여기서, 이웃하는 3개의 블록은 좌측 블록, 상측 블록, 좌상측 블록이 된다. 빠른 예측 플레인에 따르면, 빠른 움직임 추정 방법이 탐색 범위 내에서 현재 블록의 움직임 벡터를 예측하고, 그 후 탐색 범위 내에서 현재 블록의 검색 경로를 예측한다.
다음으로, BMA 데이터를 빠르게 검색하여 다이아몬드 검색 알고리즘과 같은 최적 매칭 알고리즘이 선택된다. 다이아몬드 검색 알고리즘은 목표 지점으로부터 동일한 거리에 있는 상하좌우 4개의 지점을 포함하게 된다.
이후, 탐색 범위 내에 있는 각각의 현재 블록의 검색 경로가 각각의 빠른 검색 BMA 데이터를 위해서 예측(S140)되며, BMA 데이터는 최적 매칭 블록을 획득하기 위해 계산되고, 최적으로 매칭된 참조 블록에 대한 현재 블록의 움직임 벡터를 획득하게 된다. 이러한 예측 플레인을 이용한 움직임 추정 기법에 의하면, 하드웨어가 추가로 필요하며, 하드웨어를 더 사용하기 때문에 소비전력이 증가하는 문제점이 있다.
본 발명의 배경기술은 미국공개특허 2010/0091863호(2010.07.18)의 'Low-Power And High-Throughput Design Of Fast Motion Estimation VLSI Architecture For Multimedia System-On-Chip Design'에 개시되어 있다.
본 발명은 전술한 문제점을 개선하기 위해 창작된 것으로서, H.264의 구성요소 블록 중에서 연산량이 가장 많은 움직임 추정 블록에 대하여 상세단위의 움직임 추정 기법에서 다양한 모드를 병렬 처리가 가능한 구조로 구성하며, 하나의 하드웨어를 이용하여 구현하여 성능 저하 없이 하드웨어 면적을 줄이는 것이 가능한 상세단위의 움직임 추정 장치를 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 고해상도용 상세단위 움직임 추정 장치는 움직임 추정 대상이 되는 현재영상의 매크로블록이 저장되는 현재영상 저장메모리; 상기 현재영상의 매크로블록에 대한 이전영상의 탐색영역 데이터가 저장되는 이전영상 저장메모리; 상기 이전영상 저장메모리에 저장되어 있는 상기 탐색영역 데이터에 대하여 FIR 필터링을 수행하는 FIR 필터; 상기 FIR 필터링된 탐색영역 데이터를 동작모드에 따라 구분하여 저장하는 메모리; 상기 메모리에 저장된 상기 FIR 필터링된 탐색영역 데이터를 이용하여 1/4픽셀 단위의 움직임 추정을 위한 참조영역 데이터를 생성하는 QME 데이터 처리부; 상기 FIR 필터에서 전달된 상기 FIR 필터링된 탐색영역 데이터 및 상기 매크로블록을 이용하여 1/2픽셀 단위의 움직임 추정을 수행하고, 상기 1/2픽셀 단위의 움직임 추정에 따른 1/2픽셀 움직임 벡터를 중심으로 상기 참조영역 데이터를 이용하여 1/4픽셀 단위의 움직임 추정을 수행하는 프로세싱 어레이부; 및 상기 FIR 필터, 상기 프로세싱 어레이부 및 상기 QME 데이터 처리부의 동작을 제어하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 상기 프로세싱 어레이부는 SAD(Sum of Absolute Difference) 계산을 통해 상기 1/2픽셀 움직임 벡터 및 상기 1/4픽셀 단위의 움직임 추정에 따른 1/4픽셀 움직임 벡터를 탐색하는 것을 특징으로 한다.
본 발명의 상기 프로세싱 어레이부는 상기 현재영상 매크로블록 데이터와 상기 참조영상 데이터 및 상기 탐색영역 데이터 중 하나와의 SAD값을 계산하는 9개의 프로세싱 엘리먼트; 및 상기 복수의 프로세싱 엘리먼트에서 출력된 SAD값 중 최소값 및 이에 상응하는 위치를 출력하는 SAD 결정부를 포함하는 것을 특징으로 한다.
본 발명의 상기 FIR 필터는 상기 탐색영상 데이터에 대하여 수평방향으로 6-탭 FIR 필터링을 수행하는 수평방향 필터링부; 수평방향의 움직임이 정수 성분일 경우 상기 수평방향 필터링부의 64비트 크기의제1 출력값에 대하여 수직방향에 대한 6-탭 FIR 필터링을 수행하는 제1 수직방향 필터링부; 수평방향의 움직임이 1/2픽셀 성분일 경우 상기 수평방향 필터링부의 120비트 크기의 제2 출력값에 대하여 수직방향에 대한 6-탭 FIR 필터링을 수행하는 제2 수직방향 필터링부; 및 상기 제1 수직방향 필터링부의 출력값과 상기 제2 수직방향 필터링부의 출력값에 대하여 데이터 정렬을 수행하는 데이터 정렬부를 포함하는 것을 특징으로 한다.
본 발명은 상기 현재영상의 매크로블록에 대하여 상기 FIR 필터링된 탐색영역 데이터와 동기를 맞추어 주는 데이터 동기화부를 더 포함하는 것을 특징으로 한다.
본 발명은 상기 현재영상의 매크로블록이 16x16인 경우, 상기 이전영상의 탐색영역의 크기는 64x48인 것을 특징으로 한다.
본 발명의 상기 동작모드는 16x16 모드, 16x8 모드, 8x16 모드, 8x8 모드 중 적어도 하나인 것을 특징으로 한다.
본 발명의 상기 메모리는 병렬 구조를 가지는 4개의 SRAM으로 구성되는 것을 특징으로 한다.
본 발명의 상기 QME 데이터 처리부는 1/4픽셀 단위의 움직임 추정을 위한 데이터를 처리하는 1/4픽셀 단위 움직임 추정 처리부를 포함하는 것을 특징으로 한다.
본 발명은 H.264의 구성요소 블록 중에서 연산량이 가장 많은 움직임 추정 블록에 대하여 상세단위의 움직임 추정 기법에서 다양한 모드를 병렬 처리가 가능한 구조로 구성하며, 하나의 하드웨어를 이용하여 구현하여 성능 저하 없이 하드웨어 면적을 줄일 수 있다.
본 발명은 16x16, 8x16, 16x8, 8x8의 4개 모드에 대해서 하나의 하드웨어를 사용하여 Full HD의 해상도를 가지는 상세단위(1/4픽셀 단위) 움직임 추정이 가능하며, 적은 하드웨어 리소스를 가지고 고성능의 움직임 추정이 가능하다.
게다가, 본 발명은 기존의 방법에 비해서 하드웨어를 대략 50% 줄이며, 그 결과 소모전력 측면에서 50% 정도의 이득을 얻을 수 있다.
도 1 은 종래 예측된 데이터를 재사용하는 구조를 가지는 움직임 추정 기법의 순서도이다.
도 2 는 본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치의 구성 블록도이다.
도 3 은 본 발명의 일 실시예에 따른 이전영상 저장메모리로 움직임 추정과 휘도 성분의 움직임 보상을 위해 정수레벨 움직임 추정 장치가 공유하는 SRAM의 데이터 구조도를 도시한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치에서 프로세싱 어레이부의 구성 블록도이다.
도 5 는 프로세싱 어레이부에 포함되는 하나의 프로세싱 엘리먼트에서의 SAD 계산 과정을 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 FSM(Finite State Machine)의 상태 다이어그램이다.
도 7 은 본 발명의 일 실시예에 따른 시간별 SRAM의 동작 모드를 나타낸 도면이다.
도 8 은 본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치의 FIR 필터의 내부 구조를 나타낸 도면이다.
도 9 는 본 발명의 일 실시예에 따른 QME 데이터 처리부의 필터 연산부를 나타낸 도면이다.
이하에서는 본 발명의 일 실시예에 따른 고해상도용 상세단위 움직임 추정 장치를 첨부된 도면을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치의 구성 블록도이다.
본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치(200)는 현재영상 저장메모리(201), 이전영상 저장메모리(202), FIR 필터(203), 메모리(204), QME 데이터 처리부(205), 프로세싱 어레이부(206) 및 제어부(207)를 포함한다.
본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치(FMEMC: Fine Motion Estimation and Motion Compensation for SVC)는 정수레벨 움직임 추정 모듈(IME: Integer-level Motion Estimation Module)로부터 동작 모드, 최대 4개의 정수 단위 움직임 벡터를 입력받아서 동작하게 된다. 여기서, 1/4픽셀 단위의 움직임 추정 및/또는 보상을 위해서 필요한 현재 매크로블록 데이터와 참조영역 데이터는 정수레벨 움직임 추정 모듈과 상세단위 움직임 추정 장치 사이에 위치한 64비트 SRAM을 통하여 제공받을 수 있다. 동작에 필요한 모든 제어 신호는 외부로부터 입력되며, 현재 매크로블록에 대한 움직임 보상된 데이터와 최대 4개의 움직임 벡터를 생성한 후에 동작의 완료를 알리는 신호를 발생함으로써 매크로블록 단위의 동작이 완료된다.
본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치에서 지원하는 블록의 크기는 16x16, 16x8, 8x16, 8x8 중 하나 이상이며, 계층적 움직임 추정을 통한 1/2픽셀 및 1/4픽셀을 지원한다. 이 경우 수평/수직 탐색영역은 -0.75 내지 +0.75이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치(200)는 현재영상 저장메모리(201), 이전영상 저장메모리(202), FIR 필터(203), 메모리(204), QME 데이터 처리부(205), 프로세싱 어레이부(206), 제어부(207)를 포함한다.
제어부(207)는 메모리(204)로부터 읽어야 할 영역을 결정하고, 이를 위한 메모리 주소 등을 연산한다.
상세단위 움직임 추정 장치(200)는 동작을 위해서 필요한 매크로블록 수준의 전용 제어 신호를 제공받으며, 정수레벨 움직임 추정(IME) 모듈에서 추출된 움직임 벡터를 중심으로 2단계의 움직임 추정을 개시한다.
1단계는 1/2픽셀 단위의 움직임 추정으로써, 수평과 수직 각 방향으로 -0.5에서 +0.5의 범위에서 움직임 추정을 수행한다. 2단계에서는 1단계에서 추정된 1/2픽셀 단위 움직임 벡터를 중심으로 1/4픽셀 정밀도로 최종 움직임 벡터를 추정한다.
전체적으로 정수레벨 움직임 추정 모듈에서 결정된 블록 분할 모드(block partition mode)에 따라서 반복적으로 동작하게 된다. 즉, 16x16 모드일 경우에는 16x16 매크로블록 데이터를 중심으로 1번의 움직임 추정과 보상이 수행되지만, 8x8 모드일 경우에는 8x8 매크로블록 데이터를 중심으로 4번의 움직임 추정과 보상이 반복되어 수행된다.
외부에서 입력된 영상 신호(Input data)는 이전영상 저장메모리(202)와 현재영상 저장메모리(201)에 저장된다. 현재영상 저장메모리(201)에는 현재 매크로블록 데이터 즉, 움직임 추정을 수행하고자 하는 현재 프레임에 관한 영상 신호가 저장되어 있으며, 이전영상 저장메모리(202)에는 탐색영역 데이터 즉, 움직임 추정을 수행하고자 하는 현재 프레임의 이전 프레임에 해당하는 영상 신호가 저장되어 있다.
이전영상 저장메모리(202)에 탐색영역 데이터가 입력되면, 후단의 FIR 필터(203)로 전달되어 FIR(Finite Impulse Response) 필터링이 수행된다.
FIR 필터링된 데이터들은 필터링된 데이터의 종류에 따라 4개의 SRAM(204a~204d)에 저장되며, 이와 동시에 9개의 프로세싱 엘리먼트(PE: Processing Element)로 이루어진 프로세싱 어레이부(206)에서 현재 매크로블록과의 SAD(Sum of Absolute Difference)를 계산한다. 이 계산 결과에 따라 1/2픽셀 단위의 움직임 벡터가 결정된다. 프로세싱 어레이부(206)의 구성 및 동작에 대해서는 추후 관련 도면을 참조하여 상세히 설명하기로 한다.
QME 데이터 처리부(205)는 1/4픽셀 단위로 움직임 추정을 수행하는 1/4픽셀 움직임 추정처리부이다. QME 데이터 처리부(205)는 결정된 1/2픽셀 단위의 움직임 벡터를 기준으로 1/4픽셀 움직임 추정을 위해서 필요한 참조영역 데이터를 생성한다. 참조영역 데이터를 생성하기 위해서 FIR 필터링된 데이터가 저장된 SRAM(204a~204d)에 저장된 데이터를 읽는다. 참조영역 데이터는 프로세싱 어레이부(206)로 전달되어 1/4픽셀 단위 움직임 벡터를 탐색하는데 사용된다.
1/4픽셀 단위 움직임 벡터가 결정되면, 이를 기준으로 QME 데이터 처리부(205)가 움직임 보상을 수행함으로써 휘도 성분에 대한 움직임 추정과 보상이 완료된다.
도 3은 본 발명의 일 실시예에 따른 이전영상 저장메모리로 움직임 추정과 휘도 성분의 움직임 보상을 위해 정수레벨 움직임 추정 장치가 공유하는 SRAM의 데이터 구조도를 도시한 도면이다.
SRAM(204a~204d)은 64비트 워드 단위로 구성되어 있으며, 픽셀 수를 기준으로 할 경우 64x48 크기의 탐색영역 블록에 해당하는 이전영상 데이터 즉, 64x48의 이전영상 탐색영역(310)을 저장한다. 이 경우 도 3을 참조하면, 중심부의 16x16 정사각형은 탐색영역에서 현재 매크로블록에 대응하는 영역(320)을 나타낸다.
후단의 FIR 필터(203)에서 수행되는 2차원 FIR 필터링을 위한 여분의 데이터를 감안할 경우, 정수 단위로 움직임 추정이 가능한 범위는 수평방향으로 -23 내지 +23가 되며, 수직방향으로 -15 내지 +15가 된다.
도 4는 본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치에서 프로세싱 어레이부의 구성 블록도이고, 도 5는 프로세싱 어레이부에 포함되는 하나의 프로세싱 엘리먼트에서의 SAD 계산 과정을 나타낸 도면이다.
도 4를 참조하면, 프로세싱 어레이부(206)는 9개의 프로세싱 엘리먼트(410), SAD 결정부(420)를 포함한다.
프로세싱 엘리먼트(410) 각각은 현재영상의 매크로블록 데이터와 참조영상 데이터(이전영상 데이터)를 입력받고, SAD를 계산한다. 9개의 프로세싱 엘리먼트(410)는 서로 독립적으로 동작하여 9개의 SAD를 동시에 계산할 수 있다.
현재영상 매크로블록 데이터 및 참조영상 데이터(CE0[63:0]~ CE8[63:0], PE0[63:0]~PE8[63:0])는 64비트 데이터로서, 전술한 SRAM(204a~204d)에 구성 단위와 동일하다. 그리고 프로세싱 엘리먼트(410)에서 계산되는 SAD값은 16비트 데이터이다.
도 5를 참조하면, 임의의 프로세싱 엘리먼트(410)에서의 SAD 계산 과정이 도시되어 있다.
프로세싱 엘리먼트(410)는 64비트 데이터인 현재영상 매크로블록 데이터와 참조영상 데이터를 최상위 비트에서부터 최하위 비트까지 8비트 단위로 분할하고, 8개의 뺄셈기에 서로 대응시켜 입력한다. 예를 들면, 현재영상 매크로블록 데이터의 최상위 8비트인 Cur[63:56]과 참조영상 데이터의 최상위 8비트인 Ref[63:56]을 하나의 뺄셈기에 입력하고, 그 차이값을 Diff0로 산출한다.
이처럼 8비트 단위로 산출된 차이값에 대하여 순서대로 2개씩 그룹핑하여 덧셈을 수행하고, 다시 그 결과를 2개씩 그룹핑하여 덧셈을 수행하여, 10비트 데이터인 제1 덧셈값(Sum0[9:0])과 제2 덧셈값(Sum1[9:0])을 획득한다. 제1 덧셈값과 제2 덧셈값에 대해서 덧셈을 수행하고, 이전 덧셈값과 누적 덧셈을 수행하여(acc[15:0]) 16비트의 SAD값(SAD[15:0])을 출력한다.
다시 도 4를 참조하면, SAD 결정부(420)는 9개의 프로세싱 엘리먼트(410)에서 계산된 9개의 SAD 중에서 최소값을 찾고, 이에 대한 위치를 출력한다.
본 실시예에서 이러한 프로세싱 어레이부(206)는 1/2픽셀 단위의 움직임 추정뿐만 아니라 1/4픽셀 단위의 움직임 추정을 위해서도 활용된다.
도 6은 본 발명의 일 실시예에 따른 FSM(Finite State Machine)의 상태 다이어그램이다.
상태를 전이하는 과정에서 사용되는 신호로는 FMEMC_st, MEF_HALF, MEF_END 등이 사용된다. FMEMC_st는 매크로블록 수준에서의 동작이 시작될 때 발생한다. MEF_HALF는 코어 모듈에서 발생되며, 서브-매크로블록에 대한 움직인 벡터 수정이 완료되는 시점에서 발생한다. MEF_END는 서브-매크로블록에 대한 움직임 보상이 완료되는 시점에서 발생한다.
상태 4(S4)에서는 매크로블록 수준에서 동작이 시작될 때 FMEMC_st 신호가 발생하여, 상태 0(S0)으로 전이한다.
상태 0(S0)에서는 MEF_HALF 신호가 발생될 때까지 대기하며, MEF_HALF 신호가 발생한 경우 IMODE 값에 따라 IMODE 값이 0인 경우에는 상태 5(S5)로, IMODE 값이 1인 경우에는 상태 2(S2)로, IMODE 값이 2 혹은 3인 경우에는 상태 1(S1)로 전이한다.
상태 1(S1)에서는 MEF_HALF 신호가 발생될 때까지 대기하며, MEF_HALF 신호가 발생한 경우 IMODE 값이 2인 경우에는 상태 5(S5)로, IMODE 값이 2가 아닌 경우에는 상태 2(S2)로 전이한다.
상태 2(S2)에서는 MEF_HALF 신호가 발생될 때까지 대기하며, MEF_HALF 신호가 발생한 경우 IMODE 값이 1인 경우에는 상태 3(S3)로, 그렇지 않은 경우에는 상태 5(S5)로 전이한다.
상태 3(S3)에서는 MEF_HALF 신호가 발생될 때까지 대기하며, MEF_HALF 신호가 발생한 경우 상태 5(S5)로 전이한다.
상태 5(S5)에서는 MEF_END 신호가 발생될 때까지 대기하며, MEF_END 신호가 발생한 경우 상태 4(S4)로 전이한다.
도 7은 본 발명의 일 실시예에 따른 시간별 SRAM의 동작 모드를 나타낸 도면이다.
본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치는 병렬 구조의 SRAM 구조를 가지고 있다.
병렬 구조를 가지는 경우는 순차 구조를 가지는 경우에 비해 SRAM의 비용이 2배로 늘어나지만, 하나의 서브 매크로블록에 대한 움직임 보상이 완료되기 이전에 다음 서브 매크로블록에 대한 1/2픽셀 움직임 추정이 가능해지기 때문에, 하나의 매크로블록에 대한 움직임 추정 및/또는 보상을 위해서 소요되는 사이클 수를 대폭 절감할 수 있는 장점이 있다.
도 7을 참조하면, 0번 서브 매크로블록에 대하여 쓰기 동작을 수행한 후 읽기 동작을 수행하는 과정 중에 1번 서브 매크로블록에 대하여 쓰기 동작을 함께 수행할 수 있다. 즉, 0번 서브 매크로블록에 대한 읽기 동작을 완료하기 이전에 1번 서브 매크로블록에 대한 쓰기 동작의 수행이 가능하여 소요 시간을 단축시킬 수 있게 된다.
도 8은 본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치의 FIR 필터의 내부 구조를 나타낸 도면이고, 도 9는 본 발명의 일 실시예에 따른 QME 데이터 처리부의 필터 연산부를 나타낸 도면이다.
FIR 필터(203)는 수평방향 필터링부(fmemc_hfilter)(810), 제1 수직방향 필터링부(fmemc_vfilterx8)(820), 제2 수직방향 필터링부(fmemc_vfilterx15)(830), 데이터 정렬부(840)와 같이 모두 4개의 하위 모듈을 포함하고 있다.
수평방향 필터링부(810)는 64비트 크기의 이전영상 데이터 즉, 탐색영역 데이터(PI[63:0])에 대하여 수평방향으로의 6-탭(tab) FIR 필터링을 수행한다.
제1 수직방향 필터링부(820)는 수평방향의 움직임이 정수 성분일 경우에 수평방향 필터링부(810)의 제1 출력 데이터(hfilter_po[63:0])에 대하여 수직방향에 대한 6-탭 FIR 필터링을 수행하며, 제2 수직방향 필터링부(830)는 수평방향의 움직임이 1/2픽셀 성분일 경우에 수평방향 필터링부(810)의 제2 출력 데이터(hfilter_po_fu[119:0])에 대하여 수직방향에 대한 6-탭 FIR 필터링을 수행한다.
데이터 정렬부(840)는 제1 수직방향 필터링부(820)에서 출력된 80비트 데이터(POV[79:0]), 제2 수직방향 필터링부(830)에서 출력된 72비트 데이터(POD[71:0], POH[71:0])에 대하여 데이터 정렬을 수행하여, 9개의 프로세싱 엘리먼트에서 각각 입력될 64비트 크기의 FIR 필터링된 탐색영역 데이터(PE0[63:0]~PE8[63:0])를 출력한다.
데이터 동기화부(fmemc_cm_buf)(850)는 현재 매크로블록에 대한 데이터(DIN[63:0])를 FIR 필터링된 탐색영역 데이터와 동기를 맞추어 준다. 즉, 9개의 현재영상 데이터(CI0[63:0]~CI8[63:0])이 출력된다.
이처럼 수평, 수직, 수평/수직방향으로 필터링된 데이터들과 현재 매크로블록 데이터가 확보되면, FIR 필터(203)는 이들을 효과적으로 정리하여 SAD 연산에 적합한 형태로 데이터 열로 정렬하여 각각의 프로세싱 엘리먼트(410)로 전달한다.
수직방향 필터링을 위해서는 수직방향으로 인접한 6개의 픽셀이 확보되어야 한다. 이를 위해, 시프트 레지스터(900)에는 정수 위치에서의 데이터 PI[63:0]가 수평방향 필터링부(810)에서 3 사이클(16x16 혹은 16x8 모드) 혹은 2 사이클(8x16 혹은 8x8 모드) 동안 입력된다. 8-8-2개(16x16 혹은 16x8 모드) 혹은 8-2개(8x16 혹은 8x8 모드)씩의 유효한 데이터를 최상위 비트부터 가진다.
시프트 레지스터(shift register)(900)는 복수의 D-플립플롭이 순차적으로 연결되어 구성되며, 수평방향 필터링부(810)에서 입력되는 데이터를 저장하여 6 라인에 대응되는 데이터(PO0[63:0]~PO5[63:0])를 모두 출력한다. 6 라인에 대응되는 출력 데이터는 6-탭 FIR 필터링을 수행할 수 있도록 모두가 유효한 경우를 나타내는 데이터 인에이블 신호도 같이 출력된다.
수평방향으로 필터링된 데이터는 모두 17개(16x16 혹은 16x8 모드) 혹은 9개(8x16 혹은 8x8 모드)가 출력되므로, 64비트 데이터로 표현하더라도 3 사이클(16x16 혹은 16x8 모드) 혹은 2 사이클(8x16 혹은 8x8 모드) 동안 데이터 인에이블 신호가 발생하기 때문에, 시프트 레지스터(900)는 64비트 레지스터가 15개(16x16 혹은 16x8 모드) 혹은 10개(8x16 혹은 8x8 모드)가 연결된 형태가 되며, 시프트 레지스터(900)의 체인 길이는 IMODE 신호에 의해서 결정된다.
본 발명의 일 실시예에 따른 상세단위 움직임 추정 장치는 적은 하드웨어 구조를 채택하여 기존의 방법보다 50% 정도 하드웨어 자원을 절감하였으며, 이로 인해 소비전력도 50% 정도 줄이는 효과가 있다.
또한, 수평/수직방향으로 -0.75에서 +0.75의 범위에서 움직임 추정을 수행하고, 휘도 성분에 대한 움직임 보상 데이터를 생성하게 된다.
4가지 동작모드를 지원하며, 각 동작모드에서는 매크로블록당 소요되는 처리 사이클 수는 다음과 같다. 16x16 모드의 시뮬레이션 시에는 178 사이클이 소요되며, 16x8 모드의 시뮬레이션 시에는182 사이클이 소요되고, 8x16 모드의 시뮬레이션 시에는 202 사이클이 소요되며, 8x8 모드의 시뮬레이션 시에는 246 사이클이 소요되어, Full HD(1920x1080)의 해상도를 가지는 영상을 실시간 처리하는 것이 가능하다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
200: 상세단위 움직임 추정 장치 201: 현재영상 저장메모리
202: 이전영상 저장메모리 203: FIR 필터
204: 메모리 205: QME 데이터 처리부
206: 프로세싱 어레이부 207: 제어부
310: 탐색영역 데이터블록 320: 현재영상영역
410: 프로세싱 엘리먼트 420: SAD 결정부
810: 수평방향 필터링부 820: 제1 수직방향 필터링부
830: 제2 수직방향 필터링부 840: 데이터 정렬부
850: 데이터 동기화부 900: 시프트 레지스터

Claims (9)

  1. 현재영상의 매크로블록에 대한 이전영상의 탐색영역 데이터가 저장되는 이전영상 저장메모리;
    상기 이전영상 저장메모리에 저장되어 있는 상기 탐색영역 데이터에 대하여 FIR 필터링을 수행하는 FIR 필터;
    상기 FIR 필터링된 탐색영역 데이터를 동작모드에 따라 구분하여 저장하는 메모리;
    상기 메모리에 저장된 상기 FIR 필터링된 탐색영역 데이터를 이용하여 1/4픽셀 단위의 움직임 추정을 위한 참조영역 데이터를 생성하는 QME 데이터 처리부;
    상기 FIR 필터에서 전달된 상기 FIR 필터링된 탐색영역 데이터 및 상기 매크로블록을 이용하여 1/2픽셀 단위의 움직임 추정을 수행하고, 상기 1/2픽셀 단위의 움직임 추정에 따른 1/2픽셀 움직임 벡터를 중심으로 상기 참조영역 데이터를 이용하여 1/4픽셀 단위의 움직임 추정을 수행하는 프로세싱 어레이부; 및
    상기 FIR 필터, 상기 프로세싱 어레이부 및 상기 QME 데이터 처리부의 동작을 제어하는 제어부를 포함하는 고해상도용 상세단위 움직임 추정 장치.
  2. 제 1 항에 있어서, 상기 프로세싱 어레이부는
    SAD(Sum of Absolute Difference) 계산을 통해 상기 1/2픽셀 움직임 벡터 및 상기 1/4픽셀 단위의 움직임 추정에 따른 1/4픽셀 움직임 벡터를 탐색하는 것을 특징으로 하는 고해상도용 상세단위 움직임 추정 장치.
  3. 제 2 항에 있어서, 상기 프로세싱 어레이부는
    상기 현재영상 매크로블록 데이터와 상기 참조영상 데이터 및 상기 탐색영역 데이터 중 하나와의 SAD값을 계산하는 9개의 프로세싱 엘리먼트; 및
    상기 복수의 프로세싱 엘리먼트에서 출력된 SAD값 중 최소값 및 이에 상응하는 위치를 출력하는 SAD 결정부를 포함하는 것을 특징으로 하는 고해상도용 상세단위 움직임 추정 장치.
  4. 제 1 항에 있어서, 상기 FIR 필터는
    상기 탐색영상 데이터에 대하여 수평방향으로 6-탭 FIR 필터링을 수행하는 수평방향 필터링부;
    수평방향의 움직임이 정수 성분일 경우 상기 수평방향 필터링부의 64비트 크기의제1 출력값에 대하여 수직방향에 대한 6-탭 FIR 필터링을 수행하는 제1 수직방향 필터링부;
    수평방향의 움직임이 1/2픽셀 성분일 경우 상기 수평방향 필터링부의 120비트 크기의 제2 출력값에 대하여 수직방향에 대한 6-탭 FIR 필터링을 수행하는 제2 수직방향 필터링부; 및
    상기 제1 수직방향 필터링부의 출력값과 상기 제2 수직방향 필터링부의 출력값에 대하여 데이터 정렬을 수행하는 데이터 정렬부를 포함하는 것을 특징으로 하는 고해상도용 상세단위 움직임 추정 장치.
  5. 제 4 항에 있어서,
    상기 현재영상의 매크로블록에 대하여 상기 FIR 필터링된 탐색영역 데이터와 동기를 맞추어 주는 데이터 동기화부를 더 포함하는 것을 특징으로 하는 고해상도용 상세단위 움직임 추정 장치.
  6. 제 1 항에 있어서, 상기 현재영상의 매크로블록이 16x16인 경우,
    상기 이전영상의 탐색영역의 크기는 64x48인 것을 특징으로 하는고해상도용 상세단위 움직임 추정 장치.
  7. 제 6 항에 있어서, 상기 동작모드는
    16x16 모드, 16x8 모드, 8x16 모드, 8x8 모드 중 적어도 하나인 것을 특징으로 하는 고해상도용 상세단위 움직임 추정 장치.
  8. 제 1 항에 있어서, 상기 메모리는
    병렬 구조를 가지는 4개의 SRAM으로 구성된 것을 특징으로 하는 고해상도용 상세단위 움직임 추정 장치.
  9. 제 1 항에 있어서, 상기 QME 데이터 처리부는
    1/4픽셀 단위의 움직임 추정을 위한 데이터를 처리하는 1/4픽셀 단위 움직임 추정 처리부인 것을 특징으로 하는 고해상도용 상세단위 움직임 추정 장치.
KR1020120003443A 2012-01-11 2012-01-11 고해상도용 상세단위 움직임 추정 장치 KR20130082304A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120003443A KR20130082304A (ko) 2012-01-11 2012-01-11 고해상도용 상세단위 움직임 추정 장치
US13/738,638 US20130177086A1 (en) 2012-01-11 2013-01-10 Fine motion estimation device for high resolution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120003443A KR20130082304A (ko) 2012-01-11 2012-01-11 고해상도용 상세단위 움직임 추정 장치

Publications (1)

Publication Number Publication Date
KR20130082304A true KR20130082304A (ko) 2013-07-19

Family

ID=48743914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120003443A KR20130082304A (ko) 2012-01-11 2012-01-11 고해상도용 상세단위 움직임 추정 장치

Country Status (2)

Country Link
US (1) US20130177086A1 (ko)
KR (1) KR20130082304A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469381B (zh) * 2014-12-30 2017-06-30 合肥工业大学 一种h.264运动估计搜索窗口自适应调整算法的vlsi实现系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2766946B1 (fr) * 1997-08-04 2000-08-11 Thomson Multimedia Sa Procede et dispositif de pretraitement pour estimation de mouvement
US20060088104A1 (en) * 2004-10-27 2006-04-27 Stephen Molloy Non-integer pixel sharing for video encoding
TW200850006A (en) * 2007-06-01 2008-12-16 Nat Univ Chung Cheng Scalable fractional motion estimation method for multimedia encoding system
GB0800277D0 (en) * 2008-01-08 2008-02-13 Imagination Tech Ltd Video motion compensation
TWI401970B (zh) * 2008-10-14 2013-07-11 Univ Nat Taiwan 在多媒體系統晶片設計中的低電量且高效率的快速移動評估超大型積體電路
US20130177081A1 (en) * 2010-05-14 2013-07-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video using expanded block filtering

Also Published As

Publication number Publication date
US20130177086A1 (en) 2013-07-11

Similar Documents

Publication Publication Date Title
US10469868B2 (en) Motion estimation and in-loop filtering method and device thereof
KR101578052B1 (ko) 움직임 추정 장치 및 이를 구비하는 동영상 부호화 장치
Pastuszak et al. Adaptive computationally scalable motion estimation for the hardware H. 264/AVC encoder
Yang et al. High performance VLSI architecture of fractional motion estimation in H. 264 for HDTV
US12114005B2 (en) Encoding and decoding method and apparatus, and devices
US7324596B2 (en) Low complexity block size decision for variable block size motion estimation
Tsai et al. High efficiency architecture design of real-time QFHD for H. 264/AVC fast block motion estimation
Elhamzi et al. An efficient low-cost FPGA implementation of a configurable motion estimation for H. 264 video coding
Tasdizen et al. Dynamically variable step search motion estimation algorithm and a dynamically reconfigurable hardware for its implementation
Kao et al. A memory-efficient and highly parallel architecture for variable block size integer motion estimation in H. 264/AVC
CN101778280B (zh) 一种基于avs运动补偿亮度插值运算的电路及方法
KR20130082304A (ko) 고해상도용 상세단위 움직임 추정 장치
US20050089099A1 (en) Fast motion estimating apparatus
JP6390275B2 (ja) 符号化回路、符号化方法
Ndili et al. Fast algorithm and efficient architecture for integer and fractional motion estimation
Elhamzi et al. Efficient smart-camera accelerator: A configurable motion estimator dedicated to video codec
Hsia et al. Very large scale integration (VLSI) implementation of low-complexity variable block size motion estimation for H. 264/AVC coding
KR101321898B1 (ko) 동영상 압축 코딩의 고속 움직임 추정 장치
Pastuszak et al. Hardware implementation of adaptive motion estimation and compensation for H. 264/AVC
Wang et al. An efficient fractional motion estimation architecture for AVS real-time full HD video encoder
Pyen et al. An efficient hardware architecture for full-search variable block size motion estimation in H. 264/AVC
Yu et al. A high-performance configurable VLSI architecture for integer motion estimation in H. 264
Lee et al. Reconfigurable architecture design of motion compensation for multi-standard video coding
JP2008005545A (ja) 動画像符号化装置および動画像符号化方法
Dang et al. An efficient hardware architecture for inter-prediction in H. 264/AVC encoders

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination