KR20170115809A - 움직임 추정 장치 및 방법 - Google Patents

움직임 추정 장치 및 방법 Download PDF

Info

Publication number
KR20170115809A
KR20170115809A KR1020160043470A KR20160043470A KR20170115809A KR 20170115809 A KR20170115809 A KR 20170115809A KR 1020160043470 A KR1020160043470 A KR 1020160043470A KR 20160043470 A KR20160043470 A KR 20160043470A KR 20170115809 A KR20170115809 A KR 20170115809A
Authority
KR
South Korea
Prior art keywords
value
block
motion estimation
pes
current frame
Prior art date
Application number
KR1020160043470A
Other languages
English (en)
Inventor
김재석
오경묵
소재혁
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160043470A priority Critical patent/KR20170115809A/ko
Publication of KR20170115809A publication Critical patent/KR20170115809A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

현재 프레임 픽셀 값을 입력 받아 현재 프레임 버퍼에 저장하고, 참조 프레임 픽셀 값을 입력 받아 참조 프레임 버퍼에 저장하며, 현재 프레임 픽셀 값 및 참조 프레임 픽셀 값을 이용하여 하나 이상의 PE(Process Element)를 연산하고, 하나 이상의 PE를 기반으로 현재 블록과 참조 블록의 상관도를 측정하여 하나 이상의 PE에 대응하는 하나 이상의 SAD(Sum of Absolute Difference)를 연산하며, 하나 이상의 SAD 값을 이용하여 최적 블록을 결정하여, 결정된 최적 블록에 대한 최적 블록 값을 연산하며, 최적 블록 값과 블록 단위의 MVP(Motion Vector Predictor) 값을 이용하여 MV(Motion Vector) 값을 연산하고, 기설정된 기준에 따라 선택된 하나 이상의 모드에 대응하는 하나 이상의 SAD 값 및 최적 블록 값을 출력하는 움직임 추정 장치 및 방법을 제공한다.

Description

움직임 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING MOTION}
본 발명의 실시예들은 움직임 추정 장치 및 방법에 관한 것이다.
정보통신기술의 비약적인 발전으로 인하여, 화상 회의 시스템, 와이브로(Wibro), 차세대 이동통신, 고품질의 무선랜 등이 연구 개발되면서, 고속의 멀티미디어 데이터 통신에 대한 관심과 요구가 증대되고 있다. 이러한 멀티미디어 데이터 통신 중에서 현재 가장 관심을 많이 받고 있는 분야가 무선망을 통한 다양한 정보의 송수신이다.
현재 무선 데이터 송수신의 전송속도가 비약적으로 향상됨에 따라 데이터 크기가 큰 동영상 데이터까지도 무선 통신 네트워크를 통해 실시간으로 송수신할 수 있게 되었다.
그런데, 동영상 데이터는 정보 전달 능력이 뛰어난 것에 반하여 용량이 상당히 크기 때문에 일반적으로 저장과 전송에 어려움이 존재한다. 또한, 어플리케이션의 요구에 따라서 방대한 동영상 정보가 적절히 처리되어야 하므로, 동영상을 처리하기 위한 시스템 또한 높은 사양이 요구된다. 이러한 문제점들을 해결할 수 있는 방법으로, 동영상 데이터를 작은 정보로 변환시키는 기술인 동영상 압축 알고리즘이 활발히 연구되어 오고 있다. 현재까지 연구된 동영상 압축과 관련된 대표적인 국제 표준에는 ISO/IEC의 엠펙(MPEG) 시리즈와 ITU-T의 H.26x 시리즈가 있다.
또한, 차세대 멀티미디어 동영상 압축 표준인 HEVC(High Efficiency Video Coding)는 H.264의 압축률 보다 2배의 압축률을 목표로 표준화가 진행되고 있으며, 이 표준은 매우 높은 압축율을 주요 기술적 목표로 하고 있어 저장매체, 인터넷, 위성방송 등의 거의 모든 전송미디어 및 다양한 동영상 해상도의 환경에서 사용될 수 있는 범용 동영상 부호화 기술이다.
특히, HEVC의 구성요소 블록에서 연산량이 가장 많은 움직임 추정 블록에서 HEVC에서는 다양한 코딩 유니트(Coding Unit)를 이용하여 표준을 제정하고 있다.
현재 시장에서는 초고화질 고해상도의 처리가 가능한 SoC(System On a Chip)를 요구에 따라 HEVC 기반의 SoC를 구현시 해상도의 증가에 대응하여 외부메모리와 내부메모리 간의 데이터 전송이 빈번하게 일어나 성능 저하를 가져오고 있다.
본 발명의 일실시예는 움직임 추정에 있어 복잡도를 감소시킬 수 있는 움직임 추정 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 움직임 추정 장치는 현재 프레임 픽셀 값을 입력 받아 저장하는 현재 프레임 버퍼, 참조 프레임 픽셀 값을 입력 받아 저장하는 참조 프레임 버퍼, 상기 현재 프레임 픽셀 값 및 상기 참조 프레임 픽셀 값을 이용하여 하나 이상의 PE(Process Element)를 연산하는 PE 연산부, 상기 하나 이상의 PE를 기반으로 현재 블록과 참조 블록의 상관도를 측정하여 상기 하나 이상의 PE에 대응하는 하나 이상의 SAD(Sum of Absolute Difference)를 연산하는 SAD 연산부, 상기 하나 이상의 SAD 값을 이용하여 최적 블록을 결정하여, 상기 결정된 최적 블록에 대한 최적 블록 값을 연산하고, 상기 최적 블록 값과 블록 단위의 MVP(Motion Vector Predictor) 값을 이용하여 MV(Motion Vector) 값을 연산하는 MV/RD 값 연산부, 및 기설정된 기준에 따라 선택된 하나 이상의 모드에 대응하는 상기 하나 이상의 SAD 값 및 상기 최적 블록 값을 출력하는 블록 판단부를 포함한다.
본 발명의 일측에 따르면, 상기 현재 프레임 버퍼는 상기 현재 프레임 픽셀 값으로 16X16 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM(Static Random Access Memory)이며, 상기 참조 프레임 버퍼는 상기 참조 프레임 픽셀 값으로 32X32 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM일 수 있다.
본 발명의 일측에 따르면, 상기 PE 연산부는 라스터 스캔 순서(raster scan order)에 따라 4X4 블록 단위의 픽셀을 묶은 형태로 상기 하나 이상의 PE를 배열할 수 있다.
본 발명의 일측에 따르면, 상기 SAD 연산부는 프레임 데이터(frame data), 파티션 인덱스(partition index), 및 람다 데이터(lambda data)를 참조하여 상기 선택된 하나 이상의 모드에 대한 상기 하나 이상의 SAD 값을 연산할 수 있다.
본 발명의 일측에 따르면, 상기 선택된 하나 이상의 모드는 8x8 블록 단위 또는 16x16 블록 단위 중 어느 하나일 수 있다.
본 발명의 일측에 따르면, 상기 PE 연산부는 상기 현재 프레임 픽셀 값 및 상기 참조 프레임 픽셀 값의 각각에 대하여 정수 픽셀(Integer pixel) 값만을 이용하여 상기 하나 이상의 PE를 연산할 수 있다.
본 발명의 일측에 따르면, 상기 MV/RD 값 연산부는 P 슬라이스(P Slice) 방식을 통하여 상기 MV 값을 연산할 수 있다.
본 발명의 일측에 따르면, 상기 MVP 값은 AMVP(Advanced Motion Vector Predictor) 모드에 의하여 예측되는 값일 수 있다.
본 발명의 일실시예에 따른 움직임 추정 방법은 현재 프레임 픽셀 값을 입력 받아 현재 프레임 버퍼에 저장하는 단계, 참조 프레임 픽셀 값을 입력 받아 참조 프레임 버퍼에 저장하는 단계, 상기 현재 프레임 픽셀 값 및 상기 참조 프레임 픽셀 값을 이용하여 하나 이상의 PE(Process Element)를 연산하는 단계, 상기 하나 이상의 PE를 기반으로 현재 블록과 참조 블록의 상관도를 측정하여 상기 하나 이상의 PE에 대응하는 하나 이상의 SAD(Sum of Absolute Difference)를 연산하는 단계, 상기 하나 이상의 SAD 값을 이용하여 최적 블록을 결정하여, 상기 결정된 최적 블록에 대한 최적 블록 값을 연산하는 단계, 상기 최적 블록 값과 블록 단위의 MVP(Motion Vector Predictor) 값을 이용하여 MV(Motion Vector) 값을 연산하는 단계, 및 기설정된 기준에 따라 선택된 하나 이상의 모드에 대응하는 상기 하나 이상의 SAD 값 및 상기 최적 블록 값을 출력하는 단계를 포함한다.
본 발명의 일측에 따르면, 상기 현재 프레임 버퍼는 상기 현재 프레임 픽셀 값으로 16X16 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM(Static Random Access Memory)이며, 상기 참조 프레임 버퍼는 상기 참조 프레임 픽셀 값으로 32X32 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM일 수 있다.
본 발명의 일측에 따르면, 상기 하나 이상의 PE를 연산하는 단계는 라스터 스캔 순서(raster scan order)에 따라 4X4 블록 단위의 픽셀을 묶은 형태로 상기 하나 이상의 PE를 배열하는 단계를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 하나 이상의 SAD를 연산하는 단계는 프레임 데이터(frame data), 파티션 인덱스(partition index), 및 람다 데이터(lambda data)를 참조하여 상기 선택된 하나 이상의 모드에 대한 상기 하나 이상의 SAD 값을 연산하는 단계를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 선택된 하나 이상의 모드는 8x8 블록 단위 또는 16x16 블록 단위 중 어느 하나일 수 있다.
본 발명의 일측에 따르면, 상기 하나 이상의 PE를 연산하는 단계는 상기 현재 프레임 픽셀 값 및 상기 참조 프레임 픽셀 값의 각각에 대하여 정수 픽셀(Integer pixel) 값만을 이용하여 상기 하나 이상의 PE를 연산하는 단계를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 MV 값을 연산하는 단계는 P 슬라이스(P Slice) 방식을 통하여 상기 MV 값을 연산하는 단계를 포함할 수 있다.
본 발명의 일측에 따르면, 상기 MVP 값은 AMVP(Advanced Motion Vector Predictor) 모드에 의하여 예측되는 값일 수 있다.
본 발명의 일실시예에 따르면 움직임 추정에 있어 복잡도를 감소시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 움직임 추정 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일측에 따른 PE 블록을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 움직임 추정 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시예에 따른 움직임 추정 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 움직임 추정 장치는 현재 프레임 버퍼(110), 참조 프레임 버퍼(120), PE 연산부(130), SAD 연산부(140), MVP 인덱스 버퍼(150), MV/RD 값 연산부(160), 및 블록 판단부(170)을 포함한다.
움직임 추정 장치는 데이터 입력(Data in)을 통해서 참조 프레임의 픽셀 값, 현재 CU(Coding Unit)의 픽셀 값, 람다_움직임(lambda_motion)의 SAD 값(Sum of Absolute Difference), 4x4 블록단위 MVP 값을 입력 받을 수 있다.
현재 프레임 버퍼(110)는 현재 프레임 픽셀 값을 입력 받아 저장하는 현재 프레임 버퍼, 참조 프레임 픽셀 값을 입력 받아 저장하며, 참조 프레임 버퍼(120)는 참조 프레임 픽셀 값을 입력 받아 저장한다.
예를 들어, 현재 프레임 버퍼(110)는 현재 프레임 픽셀 값으로 16X16 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM(Static Random Access Memory)이며, 참조 프레임 버퍼(120)는 참조 프레임 픽셀 값으로 32X32의 검색 범위(search range)에 해당하는 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM일 수 있다.
PE 연산부(130)는 현재 프레임 픽셀 값 및 참조 프레임 픽셀 값을 이용하여 하나 이상의 PE(Process Element)를 연산한다.
도 2는 본 발명의 일측에 따른 PE 블록을 도시한 도면이다.
예를 들어, PE 연산부(130)는 라스터 스캔 순서(raster scan order)에 따라 4X4 블록 단위의 픽셀을 묶은 형태로 하나 이상의 PE를 배열할 수 있다. PE 연산부(130)는 도 2에 도시된 바와 같이 16x16 픽셀의 블록 단위를 4x4 PE 블록 단위로 변환할 수 있다.
SAD 연산부(140)는 하나 이상의 PE를 기반으로 현재 블록과 참조 블록의 상관도를 측정하여 하나 이상의 PE에 대응하는 하나 이상의 SAD(Sum of Absolute Difference)를 연산한다.
예를 들어, SAD 연산부(140)는 4x4 단위의 PE를 활용하여 참조 블록과 현재 블록의 상관도를 측정하여 각각의 PE에 해당하는 SAD를 연산할 수 있다. SAD 연산부(140)는 프레임 데이터(frame data), 파티션 인덱스(partition index), 및 람다 데이터(lambda data)를 참조하여 선택된 하나 이상의 모드에 대한 하나 이상의 SAD 값을 연산할 수 있다.
이때, 선택된 하나 이상의 모드는 8x8 블록 단위 또는 16x16 블록 단위 중 어느 하나일 수 있다.
MVP 인덱스 버퍼(150)는 블록 단위의 MVP(Motion Vector Predictor) 값을 입력 받아 저장한다.
MV/RD 값 연산부(160)는 하나 이상의 SAD 값을 이용하여 최적 블록을 결정하여, 결정된 최적 블록에 대한 최적 블록 값을 연산하고, 최적 블록 값과 MVP 값을 이용하여 MV(Motion Vector) 값을 연산한다.
예를 들어, MV/RD 값 연산부(160)는 SAD 값을 이용하여 최적의 블록을 결정한 후, 결정된 최적의 블록에 대한 값(cost)을 연산하고, 픽셀 데이터와 MVP 값을 이용하여 MV 값을 구할 수 있다.
블록 판단부(170)는 기설정된 기준에 따라 선택된 하나 이상의 모드에 대응하는 하나 이상의 SAD 값 및 최적 블록 값을 출력한다.
예를 들어, 블록 판단부(170)는 최적의 모드를 연산하고, 연산된 최적의 모드에 대응하는 SAD 값 및 최적 블록 값을 적용하여 최종 결과 값으로 출력할 수 있다.
본 발명의 일측에 따르면, PE 연산부(130)는 현재 프레임 픽셀 값 및 참조 프레임 픽셀 값의 각각에 대하여 정수 픽셀(Integer pixel) 값만을 이용하여 하나 이상의 PE를 연산할 수 있다.
본 발명의 일측에 따르면, MV/RD 값 연산부(160)는 P 슬라이스(P Slice) 방식을 통하여 MV 값을 연산할 수 있다.
본 발명의 일측에 따르면, MVP 값은 AMVP(Advanced Motion Vector Predictor) 모드에 의하여 예측되는 값일 수 있다.
본 발명의 일측에 따르면, 움직임 추정 장치는 HM 10.0을 기준으로 설계될 수 있으며, 표준과 비교하여 몇 가지 기능을 제거하여 계산 복잡도를 낮출 수 있다.
본 발명의 일측에 따른 움직임 추정 장치는 HEVC 표준 비디오 코덱의 움직임 추정 과정에서 몇 가지 제거한 기능으로 인해 아래와 같이, 복잡도를 감소시킬 수 있다.
본 발명의 일측에 따른 움직임 추정 장치는 보간 필터(Interpolation filter)를 제거하고, 정수 픽셀만을 이용하여 움직임을 추정하여 복잡도를 감소시킬 수 있다.
예를 들어, HEVC standard에서는 정수 화소와 함께 보간 필터를 적용하여 부화소를 사용하여 움직임을 추정함으로써 참조 프레임으로부터 정밀하게 현재 블록과 가장 유사한 블록을 탐색하나, 본 발명의 일측에 따른 움직임 추정 장치는 보간 필터를 제거하여 부화소를 사용하지 않고 정수 픽셀(Integer pixel)만을 이용하여 움직임을 추정함으로써 복잡도를 감소시킬 수 있다.
본 발명의 일측에 따른 움직임 추정 장치는 최대 코딩 유닛(Maximum CU)의 크기를 제한하여 복잡도를 감소시킬 수 있다.
예를 들어, HEVC standard에서는 최대 64x64 크기의 CTU(Coding Tree Unit) 단위로 영상을 예측하여 프레임의 부분마다 복잡한 정도에 따라 CU를 32x32, 16x16 및 8x8까지 선택하여 움직임 예측을 진행하나, 본 발명의 일측에 따른 움직임 추정 장치는 최대 가능 CU 크기를 16x16으로 제한하여 16x16과 8x8 두 가지 크기로 예측을 진행하여 움직임 추정의 핵심 기능인 참조 블록 검색(searching)의 계산량을 감소시킬 수 있다.
또한, 움직임 추정 장치는 16x16 및 8x8 두 가지 크기로 참조 블록 검색을 진행하여 검색 진행 범위를 나타내는 검색 범위(search range)는 32x32로 고정시켜 복잡도를 감소시킬 수 있다.
본 발명의 일측에 따른 움직임 추정 장치는 B 슬라이스(B slice)를 제외하고 P 슬라이스(P Slice)를 통하여 움직임을 예측할 수 있다.
예를 들어, 화면 간 예측(Inter prediction)의 움직임 추정 과정에서는 대부분 B slice를 통해 양 방향 예윽(Bi-prediction)을 진행하여, 과거 또는 미래의 프레임 중 현재 프레임과 유사한 프레임 2장을 골라 각각의 프레임에서 유사한 블록을 탐색한 후, 더 유사한 블록에 편중(weighted)를 가하여 현재 블록을 정밀하게 예측하나, 본 발명의 일측에 따른 움직임 추정 장치는 한 가지의 참조 프레임을 사용하여, 즉, 과거 프레임만을 활용하는 정 방향 예측만을 진행함으로써 복잡도를 감소시킬 수 있다.
본 발명의 일측에 따른 움직임 추정 장치는 머지 모드(Merge mode)를 제거하고 AMVP(Advanced Motion Vector Predictor) 모드를 이용하여 디코더로 데이터를 전송하여 복잡도를 감소시킬 수 있다.
예를 들어, HEVC standard에서 머지 모드는 주변 블록으로부터 참조 방향, 참조 픽쳐 인덱스, 움직임 벡터 예측 값(Motion Vector Predictor)을 유도함으로써 디코더로 전송하는 움직임 정보를 최소화하여 주변 블록과 상관도가 높은 블록에서 높은 부호화 성능을 제공하나, 본 발명의 일측에 따른 움직임 추정 장치는 머지 모드를 제거하고 AMVP 모드를 이용하여 복잡도를 감소시킬 수 있다.
구체적으로, 움직임 추정 장치는 MVD(Motion Vector Difference), 예측방향 및 참조 픽쳐 인덱스를 디코더로 전송할 수 있다.
본 발명의 일측에 따른 움직임 추정 장치는 HEVC 표준 소프트웨어인 HM 10.0을 기준으로 C 모델링(modeling)을 진행하여 시뮬레이션(simulation)한 결과, H.264/AVC(Advanced Video Coding)에 비하여 복잡도를 크게 낮춰 약 1.5배의 성능을 높일 수 있다.
아래에서는 본 발명의 일실시예에 따른 움직임 추정 방법을 설명하도록 한다.
본 발명의 일실시예에 따른 움직임 추정 방법은 전술한 움직임 추정 장치에 의하여 수행 될 수 있는 바, 움직임 추정 장치를 주체로 하여 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 움직임 추정 방법을 도시한 흐름도이다.
움직임 추정 장치는 현재 프레임 픽셀 값을 입력 받아 현재 프레임 버퍼에 저장한다(310).
움직임 추정 장치는 참조 프레임 픽셀 값을 입력 받아 참조 프레임 버퍼에 저장한다(320).
예를 들어, 현재 프레임 버퍼는 현재 프레임 픽셀 값으로 16X16 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM(Static Random Access Memory)이며, 참조 프레임 버퍼는 참조 프레임 픽셀 값으로 32X32 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM일 수 있다.
움직임 추정 장치는 현재 프레임 픽셀 값 및 참조 프레임 픽셀 값을 이용하여 하나 이상의 PE(Process Element)를 연산한다(330).
예를 들어, 움직임 추정 장치는 라스터 스캔 순서(raster scan order)에 따라 4X4 블록 단위의 픽셀을 묶은 형태로 하나 이상의 PE를 배열할 수 있다.
다른 예로, 움직임 추정 장치는 하나 이상의 PE를 연산하는 단계는 현재 프레임 픽셀 값 및 참조 프레임 픽셀 값의 각각에 대하여 정수 픽셀(Integer pixel) 값만을 이용하여 하나 이상의 PE를 연산할 수 있다.
움직임 추정 장치는 하나 이상의 PE를 기반으로 현재 블록과 참조 블록의 상관도를 측정하여 하나 이상의 PE에 대응하는 하나 이상의 SAD(Sum of Absolute Difference)를 연산한다(340).
움직임 추정 장치는 블록 단위의 MVP(Motion Vector Predictor) 값을 입력 받아 저장한다(350).
예를 들어, MVP 값은 AMVP(Advanced Motion Vector Predictor) 모드에 의하여 예측되는 값일 수 있다.
움직임 추정 장치는 하나 이상의 SAD 값을 이용하여 최적 블록을 결정하여, 결정된 최적 블록에 대한 최적 블록 값을 연산한다(360).
예를 들어, 움직임 추정 장치는 프레임 데이터(frame data), 파티션 인덱스(partition index), 및 람다 데이터(lambda data)를 참조하여 선택된 하나 이상의 모드에 대한 하나 이상의 SAD 값을 연산할 수 있다.
움직임 추정 장치는 최적 블록 값과 MVP 값을 이용하여 MV(Motion Vector) 값을 연산한다(370).
예를 들어, 움직임 추정 장치는 MV 값을 연산하는 단계는 P 슬라이스(P Slice) 방식을 통하여 MV 값을 연산할 수 있다.
움직임 추정 장치는 기설정된 기준에 따라 선택된 하나 이상의 모드에 대응하는 하나 이상의 SAD 값 및 최적 블록 값을 출력하다(380).
예를 들어, 선택된 하나 이상의 모드는 8x8 블록 단위 또는 16x16 블록 단위 중 어느 하나일 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 현재 프레임 버퍼
120: 참조 프레임 버퍼
130: PE 연산부
140: SAD 연산부
150: MVP 인덱스 버퍼
160: MV/RD 값 연산부
170: 블록 판단부

Claims (17)

  1. 움직임 추정 장치에 있어서,
    현재 프레임 픽셀 값을 입력 받아 저장하는 현재 프레임 버퍼;
    참조 프레임 픽셀 값을 입력 받아 저장하는 참조 프레임 버퍼;
    상기 현재 프레임 픽셀 값 및 상기 참조 프레임 픽셀 값을 이용하여 하나 이상의 PE(Process Element)를 연산하는 PE 연산부;
    상기 하나 이상의 PE를 기반으로 현재 블록과 참조 블록의 상관도를 측정하여 상기 하나 이상의 PE에 대응하는 하나 이상의 SAD(Sum of Absolute Difference)를 연산하는 SAD 연산부;
    상기 하나 이상의 SAD 값을 이용하여 최적 블록을 결정하여, 상기 결정된 최적 블록에 대한 최적 블록 값을 연산하고, 상기 최적 블록 값과 블록 단위의 MVP(Motion Vector Predictor) 값을 이용하여 MV(Motion Vector) 값을 연산하는 MV/RD 값 연산부; 및
    기설정된 기준에 따라 선택된 하나 이상의 모드에 대응하는 상기 하나 이상의 SAD 값 및 상기 최적 블록 값을 출력하는 블록 판단부
    를 포함하는 움직임 추정 장치.
  2. 제1항에 있어서,
    상기 현재 프레임 버퍼는 상기 현재 프레임 픽셀 값으로 16X16 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM(Static Random Access Memory)이며,
    상기 참조 프레임 버퍼는 상기 참조 프레임 픽셀 값으로 32X32 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM인,
    움직임 추정 장치.
  3. 제1항에 있어서,
    상기 PE 연산부는,
    라스터 스캔 순서(raster scan order)에 따라 4X4 블록 단위의 픽셀을 묶은 형태로 상기 하나 이상의 PE를 배열하는,
    움직임 추정 장치.
  4. 제1항에 있어서,
    상기 SAD 연산부는,
    프레임 데이터(frame data), 파티션 인덱스(partition index), 및 람다 데이터(lambda data)를 참조하여 상기 선택된 하나 이상의 모드에 대한 상기 하나 이상의 SAD 값을 연산하는,
    움직임 추정 장치.
  5. 제1항에 있어서,
    상기 선택된 하나 이상의 모드는,
    8x8 블록 단위 또는 16x16 블록 단위 중 어느 하나인,
    움직임 추정 장치.
  6. 제1항에 있어서,
    상기 PE 연산부는,
    상기 현재 프레임 픽셀 값 및 상기 참조 프레임 픽셀 값의 각각에 대하여 정수 픽셀(Integer pixel) 값만을 이용하여 상기 하나 이상의 PE를 연산하는,
    움직임 추정 장치.
  7. 제1항에 있어서,
    상기 MV/RD 값 연산부는,
    P 슬라이스(P Slice) 방식을 통하여 상기 MV 값을 연산하는,
    움직임 추정 장치.
  8. 제1항에 있어서,
    상기 MVP 값은,
    AMVP(Advanced Motion Vector Predictor) 모드에 의하여 예측되는 값인,
    움직임 추정 장치.
  9. 움직임 추정 방법에 있어서,
    현재 프레임 픽셀 값을 입력 받아 현재 프레임 버퍼에 저장하는 단계;
    참조 프레임 픽셀 값을 입력 받아 참조 프레임 버퍼에 저장하는 단계;
    상기 현재 프레임 픽셀 값 및 상기 참조 프레임 픽셀 값을 이용하여 하나 이상의 PE(Process Element)를 연산하는 단계;
    상기 하나 이상의 PE를 기반으로 현재 블록과 참조 블록의 상관도를 측정하여 상기 하나 이상의 PE에 대응하는 하나 이상의 SAD(Sum of Absolute Difference)를 연산하는 단계;
    상기 하나 이상의 SAD 값을 이용하여 최적 블록을 결정하여, 상기 결정된 최적 블록에 대한 최적 블록 값을 연산하는 단계;
    상기 최적 블록 값과 블록 단위의 MVP(Motion Vector Predictor) 값을 이용하여 MV(Motion Vector) 값을 연산하는 단계; 및
    기설정된 기준에 따라 선택된 하나 이상의 모드에 대응하는 상기 하나 이상의 SAD 값 및 상기 최적 블록 값을 출력하는 단계
    를 포함하는 움직임 추정 방법.
  10. 제9항에 있어서,
    상기 현재 프레임 버퍼는 상기 현재 프레임 픽셀 값으로 16X16 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM(Static Random Access Memory)이며,
    상기 참조 프레임 버퍼는 상기 참조 프레임 픽셀 값으로 32X32 블록 단위의 픽셀 값을 입력 받아 저장하는 SRAM인,
    움직임 추정 방법.
  11. 제9항에 있어서,
    상기 하나 이상의 PE를 연산하는 단계는,
    라스터 스캔 순서(raster scan order)에 따라 4X4 블록 단위의 픽셀을 묶은 형태로 상기 하나 이상의 PE를 배열하는 단계
    를 포함하는,
    움직임 추정 방법.
  12. 제9항에 있어서,
    상기 하나 이상의 SAD를 연산하는 단계는,
    프레임 데이터(frame data), 파티션 인덱스(partition index), 및 람다 데이터(lambda data)를 참조하여 상기 선택된 하나 이상의 모드에 대한 상기 하나 이상의 SAD 값을 연산하는 단계
    를 포함하는,
    움직임 추정 방법.
  13. 제9항에 있어서,
    상기 선택된 하나 이상의 모드는,
    8x8 블록 단위 또는 16x16 블록 단위 중 어느 하나인,
    움직임 추정 방법.
  14. 제9항에 있어서,
    상기 하나 이상의 PE를 연산하는 단계는,
    상기 현재 프레임 픽셀 값 및 상기 참조 프레임 픽셀 값의 각각에 대하여 정수 픽셀(Integer pixel) 값만을 이용하여 상기 하나 이상의 PE를 연산하는 단계
    를 포함하는,
    움직임 추정 방법.
  15. 제9항에 있어서,
    상기 MV 값을 연산하는 단계는,
    P 슬라이스(P Slice) 방식을 통하여 상기 MV 값을 연산하는 단계
    를 포함하는,
    움직임 추정 방법.
  16. 제9항에 있어서,
    상기 MVP 값은,
    AMVP(Advanced Motion Vector Predictor) 모드에 의하여 예측되는 값인,
    움직임 추정 방법.
  17. 제9항 내지 제16항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020160043470A 2016-04-08 2016-04-08 움직임 추정 장치 및 방법 KR20170115809A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160043470A KR20170115809A (ko) 2016-04-08 2016-04-08 움직임 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160043470A KR20170115809A (ko) 2016-04-08 2016-04-08 움직임 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170115809A true KR20170115809A (ko) 2017-10-18

Family

ID=60296571

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160043470A KR20170115809A (ko) 2016-04-08 2016-04-08 움직임 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170115809A (ko)

Similar Documents

Publication Publication Date Title
US9973756B2 (en) Video encoder and video encoding method
WO2016050051A1 (zh) 图像预测方法及相关装置
EP2942961A1 (en) Methods for encoding/decoding of video using common merging candidate set of asymmetric partitions
US10334271B2 (en) Encoding system using motion estimation and encoding method using motion estimation
CA2883133C (en) A video encoding method and a video encoding apparatus using the same
JP7279154B2 (ja) アフィン動きモデルに基づく動きベクトル予測方法および装置
CN118055253A (zh) 用于视频代码化中的运动补偿预测的光流估计
CA2986600A1 (en) Method and system for parallel rate-constrained motion estimation in video coding
CN105245896A (zh) Hevc并行运动补偿方法及装置
KR102129273B1 (ko) 깊이 정보를 이용한 비디오 부호화 장치 및 그 방법
KR101603413B1 (ko) 깊이 정보를 이용한 비디오 부호화 방법 및 장치
KR20130067097A (ko) 움직임 추정장치 및 그 방법
KR20170115809A (ko) 움직임 추정 장치 및 방법
CN110557639B (zh) 交织预测的应用
Hojati et al. Massively parallel rate-constrained motion estimation using multiple temporal predictors in HEVC
US20170019683A1 (en) Video encoding apparatus and method and video decoding apparatus and method
US10972751B2 (en) Video encoding apparatus and method, and video decoding apparatus and method
KR20230119806A (ko) 동영상에서 사람의 자세를 추정하는 장치, 방법 및 컴퓨터 프로그램
CN117061753A (zh) 预测帧间编码的运动矢量的方法和装置
KR101603412B1 (ko) 깊이 정보를 이용한 비디오 부호화 방법 및 장치
KR20170111471A (ko) Simd 기반 움직임 추정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment